Ako robotníci / roboty pracujú? rozlíšenie robotov / prehľadávačov http žiadostí - c #, asp.net, SEO, vyhľadávač, google-search

Pracujem na jednej webovej stránke.

Musím zistiť, či moja webová stránka dostane návštevu od spoločnosti Google alebo iného vyhľadávacieho nástroja crawlers/bots

V mojej žiadosti zaberám http žiadosti. A treba zistiť, či crawlery / roboty robia žiadosti o http, aby prehľadali môj web.

Ako to môžem urobiť?

odpovede:

Skontrolujte reťazec používateľského agenta a zistite, či je to známy robot. Príklad:

protected void Page_Load(object sender, EventArgs e)
{
if (Request.UserAgent.Contains("Googlebot"))
{
//it"s one of the google robots
}
else if (...)
{
...
}
}

V prípade služby Google nájdete zoznam agentov, ktoré používajú tu.

Iní, musíte sa zistiť.