/ / Gibt es einen Vorteil, wenn Sie X-Robot-Tag anstelle von robots.txt verwenden? - http, Web, http-Header, robots.txt

Gibt es einen Vorteil der Verwendung von X-Robot-Tag anstelle von robots.txt? - http, Web, http-Kopfzeilen, robots.txt

Anscheinend gibt es zwei gängige Lösungen, um Crawler anzuweisen, was indiziert werden soll und was nicht zu indizieren: Hinzufügen eines X-Robot-Tag-HTTP-Headers oder Anzeigen einer robots.txt.

Gibt es einen Vorteil, den ersteren zu verwenden?

Antworten:

2 für die Antwort № 1

Mit robots.txt Sie können die Indizierung Ihrer Dokumente nicht untersagen.

Sie haben verschiedene Zwecke:

  • robots.txt kann nicht zulassen krabbeln (mit Disallow)
  • X-Robots-Tag ¹ kann nicht zulassen Indizierung (mit noindex)

(Und beide bieten zusätzliche unterschiedliche Funktionen, z. Verlinkung zu Ihrer Sitemap im robots.txt, Folgende Links sind nicht zulässig im X-Robots-Tag, und viele mehr.)

Krabbeln bedeutet Zugriff auf das Dokument. Indizierung bedeutet, einen Link zu (und möglicherweise Metadaten von oder über) dem Dokument in einem Index bereitzustellen. Im Normalfall indiziert ein Bot ein Dokument, nachdem es gecrawlt wurde. Dies ist jedoch nicht erforderlich.

Ein Bot, der ein Dokument nicht crawlen darf, kann es trotzdem indizieren (ohne jemals darauf zuzugreifen). Ein Bot, der ein Dokument nicht indizieren darf, kann es trotzdem crawlen. Sie können beides nicht verbieten.

¹ Beachten Sie, dass der Header aufgerufen wird X-Robots-Tagnicht X-Robot-Tag. Übrigens der Name der Metadaten robots (für das HTML meta Element) ist eine Alternative zum HTTP-Header.