descargo de responsabilidad completo, no soy programador, soy un SEO que intenta aprender a no depender de mi desarrollador para cada pequeña pregunta que tenga.
Actualmente mi problema es este. Utilizo Screaming Frog para rastrear mis sitios para diseñar los títulos de las páginas, las meta descripciones, h1, h2, etc. para poder planificar más fácilmente mis cambios.
El otro día quise hacer un informe para mi cliente y el sitio web de mi propia empresa y obtuve lo siguiente.
Así que sé que robots.txt es una forma de crear páginas en su sitio pero que Google no las rastree. Lo que no sé es por qué un sitio completo tendría este mensaje en lugar de solo algunas páginas.
¿Alguien puede dar consejos sobre cómo solucionar esto oenlaces a cómo "s? Me sale mucho este problema y me gustaría educarme para no tener que esperar a otra persona. También obtengo estos cuando intento indexar sitios web en la Consola de búsqueda de Google.
Muchas gracias
Respuestas
0 para la respuesta № 1Lo que no sé es por qué un sitio completo tendría este mensaje como adjunto a sólo algunas páginas.
El archivo robots.txt para su sitio web no se ha escrito correctamente si la intención es indexar su contenido.
O Screaming Frog puede tener un archivo de archivo robots.txt, pero si está escrito correctamente.
O algún administrador de web decidió que no valía la pena indexar el contenido en Google o que los robots comían demasiado ancho de banda (por no ser selectivo para restringir el acceso).
0 para la respuesta № 2
Al revisar el archivo robots.txt actual en ese sitio web, veo este contenido:
User-Agent: *
Disallow:
Lo que significa que cualquier página de ese sitio web puede ser rastreada por cualquier rastreador (aquí se explica la sintaxis de ese archivo: https://moz.com/learn/seo/robotstxt)
Así que el archivo actual no debería causar ese error.Menciones OP. Al ver que esta pregunta es del 30 de junio de 2017 y el archivo robots.txt se modificó por última vez el 11 de julio de 2017, parece que desde que se abrió esta pregunta, es posible que el OP ya haya solucionado cualquier problema que haya tenido.