Isso é uma boa ideia??
O que significa rastreamento abusivo? Como isso é ruim para o meu site?
Respostas:
6 para resposta № 1Na verdade não. A maioria dos "bots ruins" ignora o arquivo robots.txt de qualquer maneira.
O rastreamento de abuso geralmente significa raspagem. Esses bots estão aparecendo para coletar endereços de e-mail ou, mais comumente, conteúdo.
Quanto a como você pode detê-los? Isso é realmente complicado e muitas vezes não é sensato. As técnicas anti-rastreamento tendem a ser menos do que perfeitas e causam problemas para seres humanos comuns.
Infelizmente, como "encolhimento" no varejo, é um custo para fazer negócios na web.
1 para resposta № 2
Um agente do usuário (que inclui rastreadores) está sobnenhuma obrigação de honrar seu robots.txt. O melhor que você pode fazer é tentar identificar padrões de acesso abusivos (via web logs, etc.) e bloquear o IP correspondente.