Consenti al motore di ricerca di eseguire la scansione dei nomi utente: asp.net, password, bot, nome utente, robots.txt

Ho un sito in cui gli utenti possono inserire il loro profiloe proteggere con password alcuni dettagli. Vorrei che i motori di ricerca eseguissero la scansione delle parti "non protette" del profilo (che varia da utente a utente). Analogamente a come se si immette il nome di un utente in Facebook, il loro profilo Facebook compare nei risultati di ricerca. Devo fare qualcosa di speciale per garantire che il bot non esegua la scansione delle sezioni protette da password, ma esegua comunque la scansione del nome utente (sempre pubblico)? Non sono sicuro che questo sia un problema, ma mi piacerebbe aggiornare il mio robots.txt per consentirlo.

Inoltre, come posso garantire che i nomi utente siano disponibili per i robot (in modo sicuro)? Devo creare una directory separata con un elenco di nomi o esiste un modo migliore?

Grazie per qualsiasi consiglio

risposte:

I motori di ricerca indicizzeranno solo ciò che unl'utente anonimo vede. Se non lo fai già, creerei una pagina di elenco per sfogliare i profili utente in cui mostri solo i dati che desideri. Ciò garantisce che esista un collegamento per ogni userProfile.aspx?uid=XXXXXX hai. Gli spider dei motori di ricerca non saranno in grado di vedere i dati protetti da una password.

Vorrei anche aggiungere una mappa del sito per garantire la ricercai ragni del motore arrivano alla pagina dell'elenco. Non dare per scontato che Google troverà magicamente TUTTE le tue pagine, sebbene in genere lo facciano in base ai link ai tuoi contenuti. Invia una mappa del sito a Google.

Modifica per quanto riguarda le mappe del sito e i risultati di ricerca
Affinché gli spider possano eseguire la ricerca per indicizzazione dei risultati della ricerca, vorrei specificare una voce nella mappa del sito che punti gli spider alla pagina dei risultati della ricerca che visualizza tutto (ad es. Search.aspx? Param = all).

Non devi fare nulla. I robot di ricerca non saranno in grado di accedere alle tue pagine protette mentre accederanno senza problemi al contenuto pubblico fintanto che non lo vieterai esplicitamente su robots.txt