Come impedire a Google di eseguire la scansione degli URL di UserDir (ma non del dominio reale)? - apache, .htaccess, seo

Abbiamo clienti che costruiscono il loro sito su un URL UserDir prima che il loro vero dominio venga pubblicato. L'URL UserDir è sempre nel formato:

http://1.2.3.4/~johndoe

A volte, Google esegue la scansione di questi URL UserDir e il sito temporaneo verrà visualizzato nei risultati anche dopo la pubblicazione del sito http://johndoe.com

Quindi, una volta che un cliente è live http://johndoe.com, come posso impedire a Google di eseguire la scansione dell'indirizzo di UserDir?

(ovviamente, ho bisogno di Google per eseguire la scansione del dominio reale perché l'SEO è importante per i nostri clienti)

risposte:

Io uso il tag canonico per questo scopo. Se metti il ​​tag canonico sul file index.html come tale:

<link rel="canonical" href="http://johndoe.com/" />

Quindi, quando Googlebot lo trova http://1.2.3.4/~johndoe saprà che è un duplicato di http://johndoe.com/ e Google indicizzerà quello corretto. Googlebot vedrà lo stesso tag quando esegue la scansione del sito reale e non ha problemi con il canonico autoreferenziale.