/ / Як отримати мапу сайту веб-сторінок? - веб, мапа сайту

Як отримати карту сайту веб-сторінок? - веб-сайт, мапа сайту

Я намагаюся проаналізувати якусь сторінку і отримати всю необхідну інформацію, мені потрібно знати їх структуру веб-сайту (мапа сайту - карта веб-сторінок, щось подібне Чеські сторінки або Гарвардські сторінки )

Є щось там онлайн-сервіс або програма якому я віддаю URL-адреса сторінки, а потім відображає мапу сайту (я знаю, що може бути посилання на інші сторінки, але якби сервіс мав би можливість шукати лише до якогось рівня, було б чудово)

Відповіді:

0 для відповіді № 1

Карта сайту часто присутня у файлі, що знаходиться в корені веб-сайту, і має ім’я sitemap.xml.

наприклад: http://www.abcdef.com/sitemap.xml

В іншому випадку, якщо його немає, ви можете спробувати переглянути файл з назвою файл robots.txt (все ще в корені веб-сайту)

Це можна визначити так у robots.txt:
Карта сайту: http://www.abcdef.com/sitemap.xml