Prowadzę serwis internetowy, a ostatnio dostałemwiele żądań HTTP (do kilku tysięcy na sekundę) z adresów IP, które zaczynają się od 10 zgodnie z załączonym dziennikiem. Z mojej ograniczonej wiedzy na temat sieci ten prefiks oznacza, że adres IP jest lokalny, a nie adres WAN. Dlaczego silnik aplikacji miałby zgłaszać ruch z własnego adresu IP LAN Google? Co więcej, z tego powodu wydaje mi się, że nie jestem w stanie umieścić na czarnej liście tego zakresu adresów IP, co kosztuje mnie bardzo dużo w ramach kwot! Jakieś pomysły na to, dlaczego widzę lokalne adresy IP w dziennikach tych żądań i jak mogę je zablokować, zanim dotrą do mojej aplikacji?
Odpowiedzi:
2 dla odpowiedzi № 1Westchnienie, zawstydzające, jest oczywisty powódaplikacja Google App Engine zobaczyłaby adres IP z prefiksem 10 - to Google's Crawler. Problem polegał na tym, że generowałem zbyt wiele unikalnych adresów URL i próbowałem je zindeksować, co doprowadziło do nieprzyzwoitych natężeń ruchu, które widziałem. W pewnym sensie więc DOS sam się zaatakował, informując robota o zbyt wielu unikalnych adresach URL. Wydaje się, że prosta poprawka robots.txt wykonuje zadanie dla tego ruchu, chociaż jeden bot z „User-agent: Feedfetcher” wciąż odwiedza witrynę. Oczywiste z perspektywy czasu, ale może pomoże komuś innemu.