/ / Como obter sitemap de páginas da web? - web, sitemap

Como obter sitemap de páginas da web? - web, sitemap

Eu estou tentando analisar alguma página e para obter todas as informações necessárias eu preciso saber sua estrutura web (sitemap - mapa de páginas da web, algo como isto Páginas checas ou Páginas de Harvard )

Existe algum serviço on-line ou programa para o qual eu dou URL de página e, em seguida, ele exibir sitemap (eu sei que pode haver link para outras páginas, mas se o serviço teria a opção de pesquisar apenas para algum nível seria ótimo)

Respostas:

0 para resposta № 1

O Sitemap geralmente está presente em um arquivo, localizado na raiz do site, e denominado sitemap.xml.

por exemplo : http://www.abcdef.com/sitemap.xml

Caso contrário, se não estiver presente, você pode tentar dar uma olhada em um arquivo chamado arquivo robots.txt (ainda na raiz do site)

Pode ser definido assim no robots.txt:
Mapa do Site: http://www.abcdef.com/sitemap.xml