/ / ¿Cómo obtener sitemap de páginas web? - web, mapa del sitio

¿Cómo obtener el mapa del sitio de las páginas web? - web, mapa del sitio

Estoy tratando de analizar alguna página y obtener toda la información necesaria que necesito para conocer su estructura web (mapa del sitio - mapa de páginas web, algo como esto) Páginas checas o Páginas de Harvard )

Hay alguna Servicio en línea o programa a lo que doy URL de la página y luego muestra el mapa del sitio (sé que puede haber un enlace a otras páginas, pero si el servicio tuviera la opción de buscar solo en algún nivel, sería genial)

Respuestas

0 para la respuesta № 1

Sitemap a menudo está presente en un archivo, ubicado en la raíz del sitio web, y se llama sitemap.xml.

p.ej : http://www.abcdef.com/sitemap.xml

De lo contrario, si no está presente, puede intentar ver un archivo llamado robots.txt (aún en la raíz del sitio web)

Se puede definir así en robots.txt:
Sitemap: http://www.abcdef.com/sitemap.xml