Използване на шаблон за блокиране на някои от динамичните URL адреси в robots.txt - robots.txt, googlebot
Дали роботите се отнасят за потребителския агент в robots.txt, използвайки OR или AND manner [duplicate] - robots.txt
Въздействие на поддиректорията за блокиране чрез robots.txt, които принадлежат на друг уебсайт [затворен] - robots.txt