/ / Ako získať mapa stránok webových stránok? - web, mapa stránok

Ako získať sitemap webových stránok? -web, sitemap

Snažím sa analyzovať niektoré stránky a získať všetky potrebné informácie, ktoré potrebujem poznať ich webovú štruktúru (mapa stránok - mapa webových stránok, niečo podobné České stránky alebo Harvardské stránky )

Existujú niektoré on-line služby alebo program na ktoré dám URL stránky a potom sa zobrazí mapa stránok (viem, že môže existovať prepojenie na iné stránky, ale ak by služba mala možnosť vyhľadať iba na určitú úroveň, bolo by to skvelé)

odpovede:

0 pre odpoveď č. 1

Mapa súboru je často prítomný v súbore, ktorý sa nachádza v koreňovom adresári webových stránok a je nazvaný sitemap.xml.

napr .: http://www.abcdef.com/sitemap.xml

V opačnom prípade, ak nie je prítomný, môžete sa pokúsiť pozrieť do súboru s názvom súbor robots.txt (stále v koreňovom adresári webových stránok)

To môže byť definované v robots.txt:
Mapa webu: http://www.abcdef.com/sitemap.xml