Necesito algo de ayuda. No estoy seguro acerca del pedido a pedido de mod_rewrite y robots.txt.
Algunas URL pertenecen a una regla de reescritura:
/index.php?id=123 to /home
Otras URL no tienen una reescritura:
/index.php?id=444
Hice esta entrada en mi robots.txt:
User-agent: *
Disallow: /index.php?id
¿El sitio con /casa ser indexado por los motores de búsqueda?
Respuestas
3 para la respuesta № 1los robots.txt el archivo es interpretado por el cliente (araña), y no saben qué reescrituras tiene en su sistema. Por lo tanto, las arañas no buscarían URL de su sitio si se parecen al patrón en robots.txt pero lo harían si encontraran el mismo contenido a través de /home.