повна відмова від відповідальності, я не програміст, я SEO, намагаючись дізнатися, як не покладатися на мого розробника для кожного маленького питання у мене.
Наразі моє питання це. Я використовую Screaming Frog для сканування моїх сайтів, щоб розташувати назви сторінок, мета описи, h1, h2 і т.д.
Днями я хотів запустити звіт для мого клієнта і власного веб-сайту компанії і отримав наступне.
Так що я знаю, robots.txt - це спосіб зробити сторінки на вашому сайті, але не матиме їх сканування. Що я не знаю, чому весь сайт має це повідомлення, а не лише деякі сторінки.
Хто-небудь може дати поради про те, як це виправити абоПосилання на те, як "s? Я отримую цю проблему багато, і хотів би виховувати себе, щоб я не" чекати на когось іншого. Я також отримую ці дані, коли намагаюся індексувати веб-сайти в консолі пошуку Google.
Дуже дякую
Відповіді:
0 для відповіді № 1Що я не знаю, чому весь сайт має це повідомлення, як додається лише до деяких сторінок.
Файл robots.txt для вашого веб-сайту не написано належним чином, якщо він має намір індексувати його вміст.
Або Screaming Frog може мати, але якщо дійсно файл robots.txt написано належним чином.
Або якийсь веб-майстер вирішив, що вміст не варто індексувати на Google або що боти з'їдять занадто багато пропускної здатності (як не бути вибірковим для обмеження доступу).
0 для відповіді № 2
Перевіряючи поточний файл robots.txt на цьому веб-сайті, я бачу цей вміст:
User-Agent: *
Disallow:
Це означає, що будь-яка сторінка цього веб-сайту може скануватися будь-яким сканером (тут пояснення синтаксису цього файлу: https://moz.com/learn/seo/robotstxt)
Тому поточний файл не повинен викликати цю помилкуУП згадує. Побачивши, що це питання з 30 червня 2017 року і файл robots.txt був останній раз змінений 11 липня 2017 року, здається, що після того, як це питання було відкрито, операційна система, можливо, вже встановила будь-яку проблему.