/ / Запобігання сканування сторінок HTML та кешування за допомогою бота / сканера - html, css

Запобігання сканування сторінок HTML та кешування за допомогою бот / сканерів - html, css

Чи існує який-небудь спосіб запобігти сканування веб-сканерами та кешування мого веб-сайту на веб-сайті?

Дякую.

Відповіді:

3 для відповіді № 1

Ви можете використовувати Robots.txt:

User-agent: *
Disallow: /

Але це не на 100% надійне, не всі сканери будуть поважати це.

З того, що я недавно дізнався, єдиний надійний спосіб 100% - захистити всі сторінки.


2 для відповіді № 2

Robots.txt (як вже було запропоновано) перешкоджає скануванню. Якщо ви просто хочете запобігти кешування, додайте наступний HTML у розділ <head>:

<META NAME="ROBOTS" CONTENT="NOARCHIVE" />

1 для відповіді № 3

так, створити файл robots.txt в корені вашого веб-сайту. Є багато інших цікаві підручники навколо.


1 для відповіді № 4

Ну звичайним способом зупинити пошукові системи, такі як google і т. Д., Є включення файлу ROBOTS.TXT у корінь вашого веб-сайту.

Ось хороша стаття з цього питання http://www.javascriptkit.com/howto/robots.shtml


1 для відповіді № 5

Зупинити сканери