/ / Czy jest jakaś korzyść z używania X-Robot-Tag zamiast robots.txt? - http, web, nagłówki http, robots.txt

Czy jest jakaś zaleta używania X-Robot-Tag zamiast pliku robots.txt? - http, web, http-headers, robots.txt

Wygląda na to, że istnieją dwa główne rozwiązania instruujące roboty indeksujące, co należy indeksować, a czego nie należy indeksować: dodając nagłówek HTTP X-Robot-Tag lub wskazując plik robots.txt.

Czy korzystanie z tego pierwszego ma jakąś zaletę?

Odpowiedzi:

2 dla odpowiedzi № 1

Z robots.txt nie można zabronić indeksowania dokumentów.

Mają różne cele:

  • robots.txt może zabronić czołganie (z Disallow)
  • X-Robots-Tag ¹ może zabronić indeksowanie (z noindex)

(Oba oferują dodatkowe różne funkcje, np. link do Twojej mapy witryny w robots.txt, odrzucanie poniższych linków w X-Robots-Tag, i wiele więcej.)

Czołgać się oznacza dostęp do dokumentu. Indeksowanie oznacza udostępnienie linku do (i ewentualnie metadanych z lub w pobliżu) dokumentu w indeksie. W typowym przypadku bot indeksuje dokument po zindeksowaniu go, ale nie jest to konieczne.

Bot, który nie może indeksować dokumentu, może go nadal indeksować (bez dostępu do niego). Bot, który nie może indeksować dokumentu, może go nadal indeksować. Nie możesz zabronić obu.

¹ Pamiętaj, że nagłówek jest nazywany X-Robots-Tag, nie X-Robot-Tag. Nawiasem mówiąc, nazwa metadanych robots (dla HTML meta element) jest alternatywą dla nagłówka HTTP.