Каква е "уникалната" ключова дума в robots.txt? - robots.txt

Имам следния код в robots.txt, за да разреша обхождането от всички за сега

User-agent: *
Disallow:

Преди да променя това, оформлението на файла беше по-долу. Търся подробности за уникалните и не мога да ги намеря. Някой вижда ли това преди и какво точно е "уникалното"?

User-agent: *
Disallow: /unique/

Отговори:

Това не е ключова дума, а директория на сървъра ви, която не бива да бъде посещавана от уеб робот.