/ / Posso usare robots.txt per inviare i robot ad una cartella specifica? [chiuso] - motore di ricerca, robots.txt

Posso usare robots.txt per inviare i robot ad una cartella specifica? [chiuso] - motore di ricerca, robots.txt

Quindi ho un sito web regolare e un blog nello stesso dominio. In futuro ho intenzione di acquistare un dominio esclusivamente per il blog ma per ora questo è il modo in cui lo farò.

Il blog è nella directory /blog e non ci sono collegamenti dal sito principale al blog. Quindi presumo che i robot non possano arrivarci.

C'è un modo per inviare i robot ad una particolare directory usando robots.txt? C'è qualche altra soluzione che mettere un link nel sito principale?

risposte:

1 per risposta № 1

Probabilmente vorresti usare le sitemap per ottenere ciò

Il Robot Exclusion Standard, noto anche come Esclusione dei robot Protocollo oprotocollo robots.txt, è una convenzione da prevenire crawler web cooperanti e altri robot Web dall'accedere a tutti o parte di un sito web che è altrimenti visibile pubblicamente. I robot sono spesso utilizzato dai motori di ricerca per categorizzare e archiviare siti Web, o dai webmaster per correggere il codice sorgente. Lo standard è diverso da, ma può essere usato insieme a, Sitemaps, inclusione di robot standard per siti Web.

http://en.wikipedia.org/wiki/Robots_exclusion_standard