В момента сайтът ми за разработка еиндексирани чрез SERPs. Искам да предотвратя това да се случи. Мислех, че ще можете да включите маркер: което би могло да го спре да бъде последвано и индексирано. Това трябва ли да има на всяка страница на ASP.NET? Конкретна страница? която и да е страница, която използва мета име маркер? Сайтът е изключително голям и затова би отнело много време да се вмъкне това на всяка страница. Надявах се, че ще има по-бърз метод?
Отговори:
1 за отговор № 1Случай № 1:
Ако вашият сайт работи на Apache и mod_headers е активиран (обикновено е), можете да добавите следния един ред към .htaccess файла:
Header set X-Robots-Tag "noindex, nofollow"
Случай 2:
Ако вашият сайт не работи на Apache и на васискате да скриете ефективно страниците от търсачките, трябва да ги индексират тези страници (това може да изглежда противоречиво). Защо? Защото когато индексират тези страници, можете да им кажете да не ги изброяват. чрез използване на мета маркери на роботи.
В този случай (когато сървърът не е Apache) добавете следния ред към всичките си страници (или само към заглавната ви страница)
<meta name="robots" content="noindex,nofollow"/>
Последна стъпка: дали вашият сайт се изпълнява на apache или не, създайте файл robots.txt и добавете следния ред го:
Disallow: /