/ / Niekto, kto používa našu stránku na robots.txt - magento, web, adresár, robots.txt

Niekto používa naše stránky na stránkach robots.txt - magento, webové stránky, adresár, robots.txt

Pred niekoľkými týždňami sme objavili niekoho, kto chodí na naše stránky s adresárom robots.txt: http://www.ourdomain.com/robots.txt
Robil som nejaký výskum a hovoril som, že súbor robots.txt oprávňuje náš vyhľadávací nástroj? Nie som si tým istý ...
Dôvod, prečo sa to pýtam, je ten, že sa dnes pokúša dostať do tohto súboru ...
Ide o to, že tento súbor nemáme na našej webovej stránke ... Prečo sa teda niekto pokúša získať prístup k tomuto súboru? Je to nebezpečné? Mali by sme sa báť?
Sledovali sme IP adresu a hovorí sa, že miesto je v Texase, a pred niekoľkými týždňami to bolo vo Venezuele ... Používa VPN? Je to robota?

Môže niekto vysvetliť, čo tento súbor robí a prečo sa pokúša získať prístup k nemu?

odpovede:

1 pre odpoveď č. 1

V súbore robots.txt (jednoduchý textový súbor) môžete určiť, ktoré adresy URL vašich stránok by nemali prehľadávať roboti (napríklad prehľadávače vyhľadávacích nástrojov).

Umiestnenie tohto súboru je pevné, takže roboti vždy vedia, kde nájsť pravidlá: názov súboru robots.txt musí byť umiestnený v koreňovom adresári vášho hostiteľa. Napríklad, keď je váš web http://example.com/blog, súbor robots.txt musí byť prístupný z http://example.com/robots.txt.

Zdvorilí roboti vždy skontrolujú tento súbor pred pokusom o prístup na vaše stránky; bezradní roboti to budú ignorovať.

Ak neposkytujete roboty.txt, zdvorilí roboti predpokladajú, že majú dovolené prehľadávať všetko. Ak sa chcete zbaviť 404, použite tento súbor robots.txt (ktorý hovorí to isté: všetci roboti majú povolené prehľadávať všetko):

User-agent: *
Disallow: