Така че имам редовен уебсайт и блог в същия домейн. В бъдеще смятам да купя домейн изключително за блога, но засега това е начинът, по който ще го направя.
Блогът е в директорията /blog и няма връзки от основния сайт към блога. Така че предполагам, че роботите просто не могат да стигнат до там.
Има ли начин за изпращане на роботи в определена директория с помощта robots.txt? Има ли друго решение, освен да поставите линк в основния сайт?
Отговори:
1 за отговор № 1Вероятно искате да използвате Sitemap, за да постигнете това
Най- Стандарт за изключване на роботи, известно още като Изключение на роботи Протокол илипротокол robots.txt, е конвенция за предотвратяване съдействащи уеб сканери и други уеб роботи от достъп до всички или част от уебсайт, който иначе е обществено видим. Роботите са често използвани от търсачките за категоризиране и архивиране на уеб сайтове, или от уебмастъри за корекция на изходния код. Стандартът е различен от, но може да се използва заедно с, Карта на сайта, включване на робот стандарт за уебсайтове.
http://en.wikipedia.org/wiki/Robots_exclusion_standard