/ / Pojedynczy plik robots.txt dla wszystkich subdomen - apache, .htaccess, robots.txt

Pojedynczy plik robots.txt dla wszystkich subdomen - apache, .htaccess, robots.txt

Mam witrynę (example.com) i mam swoje roboty.txt skonfigurowany w katalogu głównym. Mam także wiele subdomen (foo.example.com, bar.example.com i wiele innych), których robots.txt będą identyczne jak w przykładzie example.com. Wiem, że mogę umieścić plik w katalogu głównym każdej subdomeny, ale zastanawiam się, czy możliwe jest przekierowanie przeszukiwaczy szukających pliku robots.txt na dowolnej poddomenie do example.com/robots.txt?

Odpowiedzi:

0 dla odpowiedzi № 1

Wysyłanie nagłówka przekierowania do pliku robots.txt nie jest zalecane ani oficjalnie obsługiwane.

Dokumentacja Google konkretnie stwierdza:

Obsługa przekierowań robots.txt do niedozwolonych adresów URL jest niezdefiniowana i odradzana.

Ale dokumentacja mówi „przekierowanie” będzie ogólnie śledzono ”. Jeśli dodasz swoje poddomeny do Narzędzi Google dla webmasterów i przejdziesz do „Przeszukiwanie> Zablokowane adresy URL”, możesz przetestować swoją subdomenę robots.txts, która przekierowuje 301. Powinien wrócić jako pozytywnie działający.

Powiedziałbym jednak, że tak silnie zasugeruj, aby po prostu dowiązać pliki do plikumiejsce i że każdy plik robots.txt odpowiada 200 OK pod odpowiednimi adresami URL. Jest to bardziej zgodne z oryginalną specyfikacją robots.txt, a także z dokumentacją Google'a, i kto wie dokładnie, jak bing / yahoo z czasem sobie z tym poradzi.