У мене є сайт, де користувачі можуть ввести свій профільта захистити паролем певні деталі. Я хотів би, щоб пошукові системи сканували "незахищені" частини профілю (що залежить від користувача). Подібно до того, як якщо ви вводите ім’я користувача у facebook, його профіль Facebook з’являється в результатах пошуку. Чи потрібно мені робити щось особливе, щоб бот не сканував розділи, захищені паролем, але все одно сканує (завжди загальнодоступне) ім'я користувача? Я не впевнений, що це навіть проблема, але я хотів би оновити мій файл robots.txt, щоб дозволити це.
Крім того, як я можу переконатися, що імена користувачів доступні ботам (у безпечному порядку)? Чи потрібно створювати окремий каталог зі списком імен, чи є кращий спосіб?
Дякую за будь-яку пораду
Відповіді:
2 для відповіді № 1Пошукові системи лише індексують, що такеанонімний користувач бачить. Якщо ви цього ще не зробили, я створив би сторінку списку для перегляду профілів користувачів, в яких ви показуєте лише ті дані, які хочете. Це гарантує наявність посилання для кожного userProfile.aspx?uid=XXXXXX ти маєш. Павуки пошукової системи не зможуть побачити жодних даних, які стоять за паролем.
Я б також додав карту сайту, щоб забезпечити пошукпавуки двигуна потрапляють на сторінку списку. Не вважайте, що Google чарівно знайде ВСІ ваші сторінки, хоча зазвичай вони це роблять на основі посилань на ваш вміст. Надішліть у Google карту веб-сайтів.
Редагувати щодо Карт сайту та результатів пошуку
Для того, щоб павуки сканували результати пошуку, я б вказав запис на карті сайту, який спрямовує павуків на сторінку результатів пошуку, на якій відображаються всі (наприклад, search.aspx? Param = all).
1 для відповіді № 2
Вам не потрібно нічого робити. Пошукові боти не зможуть отримати доступ до ваших захищених сторінок, поки вони будуть без проблем отримувати доступ до загальнодоступного вмісту, якщо ви явно не забороните це на robots.txt