/ / Czy Drupal robots.txt nie zezwala na zapisywanie w pliku dziennika Apache? - apache, drupal, robots.txt

Czy Drupal plik robots.txt będzie nadal rejestrowany w pliku dziennika Apache? - apache, drupal, robots.txt

Ustawiłem pewne reguły w pliku robots.txt dla konkretnego agenta dla mojej witryny Drupal.

Mam jedno pytanie. Kiedy ten agent próbuje uzyskać dostęp do strony internetowej, czy dostęp ten będzie nadal rejestrowany w moim pliku apache access_log?

Odpowiedzi:

1 dla odpowiedzi № 1

Disallow w robots.txt technicznie nie uniemożliwia agentom użytkownika dostępu do Twojej witryny. Każdy agent użytkownika decyduje, czy chce honorować plik robots.txt, czy nie.

Domyślnie Drupal nic nie robi z zawartością pliku robots.txt, a zawartość robots.txt w ogóle nie wpływa na dzienniki serwera.

Powiązane pytania

Funkcja Wordpress do aktualizacji lub tworzenia pliku robots.txt - wordpress, function, robots.txt
Czy plik robots.txt z "disallow /" przestanie indeksować moją witrynę? - webserver, robots.txt
robots.txt w kontroli wersji - wersja-control, robots.txt
Roboty są nadal niedozwolone nawet bez pliku robots.txt [closed] - seo, robots.txt
Co znaczy plik robots.txt? Czy to nie pozwala na jakiekolwiek roboty? - seo, robots.txt
Czy w pliku Robots.txt rozpoznano znak wieloznaczny w środku łańcucha znaków? - robots.txt
jak ustawić pliki Robots.txt dla subdomen? - robots.txt, subdomena
Wpływ podkatalogu blokującego przez plik robots.txt należący do innej witryny [closed] - robots.txt
Opis strony internetowej nie wyświetla się w wyszukiwarce Google - robots.txt
Ktoś używający naszej strony na robots.txt - magento, strona internetowa, katalog, robots.txt
noindex w Robots.txt - indeksowanie, wyszukiwarka, robots.txt, robot, nofollow
Jak zapobiec indeksowaniu witryny programistycznej? - indeksowanie, nofollow, serp, noindex
Czy jest jakaś zaleta używania X-Robot-Tag zamiast pliku robots.txt? - http, web, http-headers, robots.txt
Narzędzia lokalizują Nieznany kod w pliku robots.txt - html, robots.txt, google-webmaster-tools
Nie zezwalaj na pliki bez rozszerzenia - .htaccess, robots.txt
Jak zmodyfikować moduł wyszukiwania (Drupal 7), aby wyszukać również podstały - drupal, drupal-7, drupal-modules
Drupal: instalowanie go w podfolderze - drupal
Używanie Drupala do uwierzytelniania bez Drupala - apache, drupal
Pojedynczy plik robots.txt dla wszystkich subdomen - apache, .htaccess, robots.txt
zablokuj google, aby przeszukać sekcję administratora - admin, google-search