/ / Co oznacza plik robots.txt? Czy to nie pozwala na jakiekolwiek roboty? - seo, robots.txt

Co znaczy plik robots.txt? Czy to nie pozwala na jakiekolwiek roboty? - seo, robots.txt

User-agent: *
Disallow:
Disallow: /admin
Disallow: /admin
Sitemap: http://www.myadress.com/ext/sm/Sitemap_114.xml

Znalazłem ten plik robots.txt w jednym z folderów głównych mojej witryny. Nie wiem, czy to zrobiłem, czy kto.

Myślę, że ten plik nie pozwala żadnym robotom na administrowanie folderem. To jest dobre.

Ale zastanawiam się, czy to blokuje wszystkie roboty do wszystkich plików w mojej witrynie?

Zmieniłem go z tym plikiem:

User-agent: *
Disallow: /admin
Allow: /
Sitemap: http://www.myadress.com/ext/sm/Sitemap_114.xml

ps: ta strona nie ma żadnego indeksu od dłuższego czasu. czy stary problem z plikiem?

Odpowiedzi:

1 dla odpowiedzi № 1

Stary skrypt, inny niż duplikat / wpis Admin, był poprawny. Nie ma polecenia Allow: command, a puste "Disallow:" otwiera witrynę na roboty.

http://www.free-seo-news.com/all-about-robots-txt.htm

W szczególności sprawdź punkt # 7 w sekcji "Rzeczy, których powinieneś unikać" i # 1 w sekcji "Porady i wskazówki"


1 dla odpowiedzi nr 2

Możliwie. Czytam twój stary plik w ten sam sposób, w jaki robiłeś to - root został odrzucony. Tak czy inaczej, twój nowy plik robots jest skonfigurowany tak, jak tego oczekuję.