Como você impede que um site de desenvolvimento seja indexado? - indexação, nofollow, serp, noindex

No momento, meu site de desenvolvimento está sendoindexados através de SERPs. Desejo evitar que isso aconteça. Eu pensei que você seria capaz de incluir uma tag: que impediria que ele fosse seguido e indexado. Isso precisa estar em todas as páginas ASP.NET? Uma página em particular? qualquer página que usa uma tag de nome de meta? O site é extremamente grande e por isso seria demorado inserir isso em cada página. Eu estava esperando que houvesse um método mais rápido?

Respostas:

Caso 1:

Se o seu site está rodando no Apache, e o mod_headers está habilitado (normalmente é), você pode adicionar a seguinte linha ao seu arquivo .htaccess:

Header set X-Robots-Tag "noindex, nofollow"

Caso 2:

Se o seu site não está sendo executado no Apache e vocêQuer efetivamente esconder páginas dos motores de busca, você precisa deles para indexar as páginas (isso pode parecer contraditório). Por quê? Porque quando eles indexam essas páginas, você pode dizer a eles para não listá-los. usando metatags robots.

Nesse caso (quando o servidor não é o Apache), inclua a seguinte linha em todas as suas páginas (ou apenas na sua página de cabeçalho)

<meta name="robots" content="noindex,nofollow"/>

Último passo: se o seu site está executando no apache ou não, crie um arquivo robots.txt e adicione a seguinte linha:

Disallow: /