/ / Quais regras governam na ausência de robots.txt? - rastreador da web

Quais regras governam na ausência de robots.txt? - rastreador da Web

Um mecanismo de pesquisa não deve rastrear um site que não hospeda um robots.txt?

Editar 1: E se até a meta tag do robô estiver ausente? Estou tentando determinar as legalidades envolvidas aqui. É isso aí.

Respostas:

5 para resposta № 1

Um mecanismo de pesquisa rastreará todas as páginas publicamente acessíveis em um site sem um arquivo robots.txt.