/ / Os robôs se referem ao agente do usuário no robots.txt usando o modo OR ou AND [duplicado] - robots.txt

Os robôs se referem ao agente do usuário no robots.txt usando a maneira OR ou AND [duplicate] - robots.txt

Digamos que eu tenha uma lista de agentes do usuário no meu robots.txt, como

User-agent: Applebot
Disallow: something

User-agent: baiduspider
Disallow: something

User-agent: Bingbot
Disallow: something

User-agent: *
Disallow: something

Os bots referenciariam os Agentes do Usuário da maneira OR ou AND? Se o Bingbot rastrear este site, as regras do Bingbot e as * regras serão aplicadas em conjunto?

Respostas:

2 para resposta № 1

De acordo com Google, cada User-agent A linha inicia um novo grupo de registros e apenas um grupo de registros de membros do grupo é válido para um rastreador específico. O grupo correto é aquele com o agente do usuário mais específico.

Portanto, o Bingbot só deve ler as regras após User-agent: Bingbot, e não as regras após User-agent: *.

Perguntas relacionadas

URL bloqueado por robots.txt - xml, url, sitemap, robots.txt
Não é possível acessar o arquivo robots.txt no servidor tomcat 6 - windows, tomcat, hosting, tomcat6, robots.txt
Quais regras governam na ausência de robots.txt? - rastreador da Web
robots.txt no controle de versão - controle de versão, robots.txt
Problemas de URL restrita do robots.txt do YQL - sinatra, yql, robots.txt
Robôs ainda não são permitidos mesmo sem um arquivo robots.txt [fechado] - seo, robots.txt
O que esse robots.txt significa? Não permite robôs? - seo, robots.txt
O curinga no Robots.txt no meio da string é reconhecido? - robots.txt
como definir arquivos Robots.txt para subdomínios? - robots.txt, subdomínio
Qual é a palavra-chave "única" no robots.txt? - robots.txt
Descrição do site não aparece no mecanismo de pesquisa do Google - robots.txt
Qual a ordem de posicionamento para colocar a diretiva Host: em robots.txt - robots.txt
Alguém usando nosso site em robots.txt - magento, site, diretório, robots.txt
Evitando que a página html seja rastreada e armazenada em cache por bot / crawler - html, css
O que é chamado primeiro - robots.txt ou mod_rewrite no htaccess - .htaccess, seo, robots.txt
como proteger arquivos no diretório? - .htaccess, diretório
Por que sites grandes como o cnn estão usando o robots.txt e não o melhor htaccess? - .htaccess
O Drupal robots.txt não permitido ainda será gravado no arquivo de log do apache? - apache, drupal, robots.txt
Arquivo robots.txt único para todos os subdomínios - apache, .htaccess, robots.txt
bloquear o google para pesquisar sua seção de administração - admin, google-search