Alguém usando nosso site em robots.txt - magento, site, diretório, robots.txt

Algumas semanas atrás, descobrimos alguém acessando nosso site com o diretório robots.txt: http://www.ourdomain.com/robots.txt
Eu estive pesquisando e ele disse que o robots.txt faz as permissões do nosso mecanismo de pesquisa? Eu não tenho certeza disso ...
A razão pela qual estou perguntando isso é porque ele está tentando entrar nesse arquivo mais uma vez hoje ...
O problema é que não temos esse arquivo em nosso site ... Então, por que alguém está tentando acessar esse arquivo? É perigoso? Deveríamos estar preocupados?
Nós rastreamos o endereço IP e ele diz que o local é no Texas, e há algumas semanas, estava na Venezuela ... Ele está usando uma VPN? Isso é um bot?

Alguém pode explicar o que esse arquivo faz e por que ele está tentando acessá-lo?

Respostas:

Em um robots.txt (um arquivo de texto simples), você pode especificar quais URLs do seu site não devem ser rastreados por bots (como os rastreadores de mecanismos de pesquisa).

A localização deste arquivo é corrigida para que os robôs sempre saibam onde encontrar as regras: o arquivo chamado robots.txt deve ser colocado na raiz do documento do seu host. Por exemplo, quando seu site está http://example.com/blog, o robots.txt deve estar acessível em http://example.com/robots.txt.

Os robôs educados sempre verificarão esse arquivo antes de tentar acessar suas páginas; robôs indelicados vão ignorá-lo.

Se você não fornecer robôs.txt, os bots educados assumem que têm permissão para rastrear tudo. Para se livrar dos 404, use este robots.txt (que diz o mesmo: todos os bots podem rastrear tudo):

User-agent: *
Disallow: