Beziehen sich Roboter in der Datei robots.txt auf den Benutzeragenten, indem sie OR oder AND verwenden [duplizieren] - robots.txt

Angenommen, ich habe eine Liste mit Benutzeragenten in meiner robots.txt-Datei

User-agent: Applebot
Disallow: something

User-agent: baiduspider
Disallow: something

User-agent: Bingbot
Disallow: something

User-agent: *
Disallow: something

Würden Bots auf User Agents ODER oder AND referenzieren? Wenn Bingbot diese Site crawlt, gelten die Bingbot-Regeln und * -Regeln zusammen?

Antworten:

Gemäß Google, jeder User-agent Zeile beginnt eine neue Gruppe von Datensätzen, und nur eine Gruppe von Datensätzen von Gruppenmitgliedern ist für einen bestimmten Crawler gültig. Die richtige Gruppe ist die mit dem spezifischsten Benutzeragenten.

Bingbot sollte also nur die Regeln danach lesen User-agent: Bingbotund nicht die Regeln danach User-agent: *.