Чи можу я використовувати robots.txt для відправки роботів у певну папку? [закрито] - пошуковий движок, robots.txt

Тому у мене є звичайний веб-сайт і блог у тому ж домені. У майбутньому я планую купувати домен виключно для блогу, але зараз це так, як я це зробив.

Блог знаходиться в каталозі /blog і немає посилання з основного сайту на блог. Отже, я вважаю, що роботів просто не можуть потрапити туди.

Чи є спосіб відправляти роботів у певний каталог за допомогою robots.txt? Чи існує якесь інше рішення, ніж розміщення посилання на головному сайті?

Відповіді:

Ви, мабуть, хочете використовувати карту сайту для досягнення цього

The Стандарт виключення роботів, також відомий як виключення роботів Протокол абоПротокол robots.txt - це конвенція для запобігання співпрацюючи веб-сканери та інші веб-роботи з доступом до всіх або частина веб-сайту, який інакше публічно доступний для перегляду. Роботи є часто використовуються пошуковими системами для класифікації та архівування веб-сайтів, або веб-майстрами для корекції вихідного коду. Стандарт відрізняється від, але можна використовувати разом з Мапи сайтів, включення робота стандарт для веб-сайтів.

http://en.wikipedia.org/wiki/Robots_exclusion_standard