/ / Posso usar o robots.txt para enviar os robôs para uma pasta específica? [fechado] - mecanismo de pesquisa, robots.txt

Posso usar o robots.txt para enviar os robôs para uma pasta específica? [fechado] - mecanismo de pesquisa, robots.txt

Então, eu tenho um site regular e um blog no mesmo domínio. No futuro, pretendo comprar um domínio exclusivamente para o blog, mas, por enquanto, é dessa maneira que o farei.

O blog está no diretório /blog e não há links do site principal para o blog. Então, presumo que os robôs simplesmente não conseguem chegar lá.

Existe uma maneira de enviar robôs para um diretório específico usando robots.txt? Existe outra solução além de colocar um link no site principal?

Respostas:

1 para resposta № 1

Você provavelmente deseja usar sitemaps para conseguir isso

o Padrão de exclusão de robô, também conhecida como exclusão de robôs Protocolo ouprotocolo robots.txt, é uma convenção para evitar rastreadores da web que colaboram e outros robôs da web acessem tudo ou parte de um site que pode ser visualizado publicamente. Robôs são frequentemente usado pelos mecanismos de pesquisa para categorizar e arquivar sites ou pelos webmasters para revisar o código fonte. O padrão é diferente de, mas pode ser usado em conjunto com, Sitemaps, uma inclusão de robô padrão para sites.

http://en.wikipedia.org/wiki/Robots_exclusion_standard