/ / Zapobieganie indeksowaniu i buforowaniu strony html przez bota / przeszukiwacza - html, css

Zapobieganie przeszukiwaniu i buforowaniu strony html przez bot / crawler - html, css

Czy jest jakiś sposób, aby zapobiec przeszukiwaniu indeksów internetowych i buforowaniu mojej publicznej witryny sieci Web?

Dzięki.

Odpowiedzi:

3 dla odpowiedzi № 1

Możesz użyć Robots.txt:

User-agent: *
Disallow: /

Ale to nie jest w 100% wiarygodne, nie wszystkie roboty indeksujące to uszanują.

Z tego, czego się ostatnio nauczyłem, jedynym w 100% niezawodnym sposobem jest zabezpieczenie wszystkich stron.


2 dla odpowiedzi nr 2

Robots.txt (jak już sugerowano) zapobiega indeksowaniu. Jeśli chcesz tylko zapobiec buforowaniu, dodaj następujący kod HTML do sekcji <head>:

<META NAME="ROBOTS" CONTENT="NOARCHIVE" />

1 dla odpowiedzi nr 3

Tak, utwórz plik robots.txt w katalogu głównym Twojej witryny. Jest wiele innych ciekawe tutoriale na około.


1 dla odpowiedzi nr 4

Powszechnym sposobem zatrzymania wyszukiwarek takich jak Google itp. Jest umieszczenie pliku ROBOTS.TXT w katalogu głównym witryny.

Oto dobry artykuł na ten temat http://www.javascriptkit.com/howto/robots.shtml


1 dla odpowiedzi nr 5

Zatrzymaj roboty