Mam stronę internetową wordpress, która została zaindeksowana w wyszukiwarkach.
Zedytowałem plik Robots.txt, aby wykluczyć niektóre katalogi i strony internetowe z indeksu wyszukiwania.
Wiem tylko, jak korzystać z funkcji allow i disallow, ale nie wiem, jak korzystać z funkcji follow i nofollow w pliku Robots.txt.
Czytałem gdzieś podczas Googlinga na ten temat, że jamogą mieć strony, które nie zostaną zaindeksowane w Google, ale będą indeksowane w poszukiwaniu stron. Można to osiągnąć, blokując strony w pliku Robots.txt i korzystając z opcji śledzenia dla stron internetowych.
Daj mi znać, jak korzystać z funkcji follow i nofollow w pliku Robots.txt.
Dzięki
Sumit
Odpowiedzi:
1 dla odpowiedzi № 1Google faktycznie rozpoznaje dyrektywę Noindex: wewnątrz pliku robots.txt. Oto Matt Cutts, który o tym mówi: http://www.mattcutts.com/blog/google-noindex-behavior/
Jeśli umieścisz „Disallow” w robotach.txt dla strony już znajdującej się w indeksie Google, zwykle zauważysz, że strona pozostaje w indeksie, jak duch, pozbawiona słów kluczowych. Przypuszczam, że dzieje się tak, ponieważ wiedzą, że nie będą go indeksować, a nie „t chcę indeksu zawierającego bit-rot. Dlatego zastępują opis strony słowem„ Opis tego wyniku nie jest dostępny z powodu pliku robots.txt tej witryny - dowiedz się więcej ”.
Problem pozostaje: Jak usunąć ten link z Google, skoro „Nie zezwalaj” nie działało? Zazwyczaj chcesz użyć meta-robotów noindex na danej stronie, ponieważ Google faktycznie usunie stronę z indeksu, jeśli zobaczy tę aktualizację, ale dzięki tej dyrektywie Disallow w pliku robotów nigdy się o tym nie dowiedzą.
Abyś mógł usunąć regułę Disallow tej stronyz pliku robots.txt i dodaj metatag robots noindex do nagłówka strony, ale teraz musisz poczekać, aż Google wróci i spojrzy na stronę, o której kazałeś im zapomnieć.
Możesz utworzyć nowy link do niego ze swojegostrona główna w nadziei, że Google dostanie podpowiedź, lub możesz tego uniknąć, dodając regułę Noindex bezpośrednio do pliku robots.txt. W powyższym poście Matt mówi, że spowoduje to usunięcie linku.
0 dla odpowiedzi nr 2
Nie, nie możesz. Możesz ustawić, które katalogi chcesz blokować i które boty, ale nie możesz ustawić nofollow przez robots.txt Użyj metatagu robots na stronach, aby ustawić nofollow.
0 dla odpowiedzi № 3
a.) Następujące / brak śledzenia i indeks / brak indeksów nie są przeznaczone dla pliku robots.txt (ustawia ogólne reguły witryny), ale dla meta-robota na stronie (ustawia reguły dla tej konkretnej strony)
Więcej informacji o Meta-Robots
b.) Google nie zaindeksuje niedozwolonych stron, ale może je indeksować na SERP (używając informacji z linków przychodzących lub katalogów witryn, takich jak Dmoz).
Powiedziawszy to, nie można uzyskać z tego żadnej wartości PR.
Więcej informacji o zachowaniu indeksowania przez Googlebota