У мене є веб-сайт Wordpress, який був індексований у пошукових системах.
Я відредагував Robots.txt, щоб заборонити певні каталоги та веб-сторінки з пошукового індексу.
Я знаю лише, як використовувати дозволити та заборонити, але не знаю, як використовувати наступне та наступне у файлі Robots.txt.
Я читав десь під час гуглити це, що яможе мати веб-сторінки, які не будуть індексуватися в Google, але будуть скануватись для сторінок. Це можна досягти, заборонивши веб-сторінки в Robots.txt та скористайтеся функцією "follow" для веб-сторінок.
Будь ласка, дайте мені знати, як використовувати follow та nofollow у файлі Robots.txt.
Дякую
Суміт
Відповіді:
1 для відповіді № 1Google насправді розпізнає директиву Noindex: у robots.txt. Ось про це говорить Метт Куттс: http://www.mattcutts.com/blog/google-noindex-behavior/
Якщо ви поставите "Disallow" в роботах.txt для сторінки, яка вже є в індексі Google, ви зазвичай виявите, що сторінка залишається в індексі, як привид, позбавлена її ключових слів. Я гадаю, це тому, що вони знають, що вони перемогли "не сканувати її, і вони "не хочу, щоб індекс, що містить біт-гниль. Тому вони замінюють опис сторінки на" Опис цього результату недоступний, оскільки цей сайт "s robots.txt - дізнайтеся більше".
Отже, проблема залишається: Як ми видалимо це посилання з Google, оскільки "Disallow" не працював? Як правило, ви хочете використовувати мета-роботи noindex на відповідній сторінці, оскільки Google фактично видалить сторінку з індексу, якщо побачить це оновлення, але з цією директивою Disallow у вашому файлі роботів, вони ніколи про це не дізнаються.
Таким чином, ви можете видалити правило заборони цієї сторінкивід robots.txt і додайте мета-робот noindex тег до заголовка сторінки, але тепер вам доведеться чекати, поки Google повернеться назад і подивіться на сторінку, про яку ви їм сказали, щоб забути.
Ви можете створити нове посилання на нього зі свогодомашня сторінка, сподіваючись, що Google отримає підказку, або ви могли б уникнути всього цього, просто додавши це правило Noindex безпосередньо у файл robots.txt. У публікації вище Метт каже, що це призведе до видалення посилання.
0 для відповіді № 2
Ні, ти не можеш. Ви можете встановити, які каталоги ви хочете заблокувати і які боти, але ви не можете встановити наступне за допомогою robots.txt Використовуйте мета-теги роботів на сторінках, щоб встановити наступне.
0 для відповіді № 3
a.) Правила follow / no follow і index / no index не для robots.txt (встановлює загальні правила сайту), а для тегів мета-роботів на сторінці (встановлює правила для цієї конкретної сторінки)
Більше інформації про Meta-Robots
б.) Google не перескакує заборонені сторінки, але може індексувати їх на SERP (використовуючи інформацію із вхідних посилань чи каталогів веб-сайтів, таких як Dmoz).
Сказавши це, немає жодної цінності PR, яку ви можете отримати від цього.
Докладніше про поведінку індексації Googlebot