/ / Płacenie za roboty w AppEngine - google-app-engine, web-crawler

Płacenie za roboty na AppEngine - google-app-engine, crawler internetowy

Wczoraj CZŁOWIEK odwiedził moją aplikację 35 razy. Wygląda jednak na to, że maszyna indeksowała witrynę. Przekroczono mi limit w ciągu kilku godzin (głównie godzin wystąpienia instancji).

Dzisiaj płacę maksymalnie 5 USD dziennie. Dla 35 prawdziwych ludzi wydaje się to zdecydowanie za dużo.

Nie czuję się dobrze, płacąc za roboty, które blokują dostęp do mojej witryny zwykłym użytkownikom. 2 pytania do was:

  1. Czy to normalne, że tak się dzieje?
  2. Co mogę zrobić, aby zainwestować pieniądze w prawdziwych użytkowników zamiast robotów? (i nie mówię o nie odwoływaniu się do mojej aplikacji)

aplikacja: www.conceptstore.me

Odpowiedzi:

3 dla odpowiedzi № 1

Dobrze zachowujący się robot powinien:

  • postępuj zgodnie z zasadami w /robots.txt - więc prześlij jeden. Już samo to powinno wystarczyć.
  • zapewnić wyraźne User-Agent Nagłówek żądania HTTP - spójrz więc na agenty użytkownika automatycznie zapisane w dziennikach App Engine, a następnie zwróć strony błędów dla agentów użytkownika, których nie lubisz.