/ / Jak zdobyć mapę stron? - web, sitemap

Jak zdobyć mapę stron? - web, sitemap

Próbuję przeanalizować pewną stronę i uzyskać wszystkie niezbędne informacje potrzebne do poznania jej struktury internetowej (mapa strony - mapa stron internetowych, coś takiego Strony czeskie lub Strony Harvardu )

Czy jest trochę serwis internetowy lub program do którego daję URL strony, a następnie wyświetla mapę witryny (wiem, że może istnieć link do innych stron, ale jeśli usługa miałaby opcję wyszukiwania tylko do pewnego poziomu, byłoby świetnie)

Odpowiedzi:

0 dla odpowiedzi № 1

Mapa witryny jest często obecna w pliku znajdującym się w katalogu głównym witryny o nazwie sitemap.xml.

np .: http://www.abcdef.com/sitemap.xml

W przeciwnym razie, jeśli nie jest obecny, możesz spróbować spojrzeć do pliku o nazwie plik robots.txt (nadal w katalogu głównym witryny)

Można to zdefiniować w pliku robots.txt:
Mapa strony: http://www.abcdef.com/sitemap.xml