Wie funktionieren Crawler / Bots? differenzierende Bots / Crawler http Anfragen - c #, asp.net, seo, Suchmaschine, Google-Suche

Ich arbeite auf einer Website.

Ich muss herausfinden, ob meine Website von Google oder einer anderen Suchmaschine besucht wird crawlers/bots

In meiner Anwendung erhalte ich HTTP-Anfragen ab. Und müssen herausfinden, ob Crawler / Bots http-Anfragen zum Crawlen meiner Site machen.

Wie kann ich das machen?

Antworten:

Überprüfen Sie die User-Agent-Zeichenfolge, um festzustellen, ob es sich um einen bekannten Roboter handelt. Ein Beispiel:

protected void Page_Load(object sender, EventArgs e)
{
if (Request.UserAgent.Contains("Googlebot"))
{
//it"s one of the google robots
}
else if (...)
{
...
}
}

Bei Google finden Sie die Liste der von ihnen verwendeten Agenten hier Hier.

Andere, du musst es selbst herausfinden.