/ / Czy mogę użyć robots.txt, aby wysłać roboty do określonego folderu? [closed] - wyszukiwarka, robots.txt

Czy mogę użyć pliku robots.txt do wysłania robotów do określonego folderu? [zamknięty] - wyszukiwarka, plik robots.txt

Mam więc regularną witrynę i blog w tej samej domenie. W przyszłości planuję zakup domeny wyłącznie na blogu, ale na razie tak to zrobię.

Blog znajduje się w katalogu /blog i nie ma linków z głównej strony do bloga. Zakładam więc, że roboty po prostu nie mogą się tam dostać.

Czy istnieje sposób wysyłania robotów do określonego katalogu za pomocą robots.txt? Czy jest jakieś inne rozwiązanie niż umieszczenie linku na stronie głównej?

Odpowiedzi:

1 dla odpowiedzi № 1

Prawdopodobnie chcesz użyć map witryn, aby to osiągnąć

The Standard wykluczania robotów, znany również jako wykluczenie robotów Protokół lubprotokół robots.txt to konwencja, której należy zapobiegać współpracujących robotów sieciowych i innych robotów internetowych z dostępem do wszystkich lub część strony internetowej, która jest publicznie dostępna do oglądania. Roboty są często używane przez wyszukiwarki do kategoryzowania i archiwizowania stron internetowych, lub przez webmasterów do korekty kodu źródłowego. Standard jest inny z, ale mogą być używane w połączeniu z, Mapy witryn, włączenie robota standard dla stron internetowych.

http://en.wikipedia.org/wiki/Robots_exclusion_standard