/ / Jak działają roboty / roboty? różnicowanie żądań botów / robotów http - c #, asp.net, seo, wyszukiwarka, google-search

Jak działają roboty / roboty? różnicowanie żądań botów / robotów http - c #, asp.net, seo, wyszukiwarka, google-search

Pracuję na jednej stronie internetowej.

Muszę się dowiedzieć, czy moja witryna jest odwiedzana przez Google lub inną wyszukiwarkę crawlers/bots

W mojej aplikacji przechwytuję żądania http. I trzeba się dowiedzieć, czy roboty / roboty robią żądania http, aby zaindeksować moją witrynę.

Jak mogę to zrobić?

Odpowiedzi:

2 dla odpowiedzi № 1

Sprawdź ciąg znaków agenta użytkownika, aby sprawdzić, czy jest to znany robot. Przykład:

protected void Page_Load(object sender, EventArgs e)
{
if (Request.UserAgent.Contains("Googlebot"))
{
//it"s one of the google robots
}
else if (...)
{
...
}
}

W przypadku google listę agentów, których używają, można znaleźć tutaj tutaj.

Inni, musicie się sam dowiedzieć.