A pesquisa do Google mostra "Nenhuma informação está disponível para esta página" na descrição - robots.txt
Os robôs se referem ao agente do usuário no robots.txt usando a maneira OR ou AND [duplicate] - robots.txt
Impacto do subdiretório de bloqueio via robots.txt que pertence a outro website [closed] - robots.txt