Я використовую Joomla і бачив деякі справдідивні варіації посилань, що індексуються. Я досліджував це досить ретельно і ще не знайшов причини, але, схоже, це пов'язано з назвами категорій та ідентифікаторами.
Незалежно від того, я намагаюся обійтивирішивши проблему, заблокувавши імена категорій та ідентифікатори в robots.txt. Проблема полягає в тому, що, незважаючи на мої зусилля, я не можу створити відповідне правило заборони. Я спробував незліченну кількість варіацій, і кожного разу, коли тестер Google robots.txt повідомляє мені, що URL-адреса все ще "дозволена".
Прикладом одного з назв категорій та ідентифікаторів є: 64-зона обслуговування
Я знаходжу саме цю категорію та ідентифікатор у всіх видах URL-адрес, таких як ця: / location / north-dakota / 64-service-area / hawaii / 64-news
Хто-небудь має пораду щодо того, як я можу спеціально заблокувати URL-адреси в 64-зоні обслуговування?
Відповіді:
0 для відповіді № 1Bing і Google дозволяють узагальнювальні символи *? (від https://youtu.be/G29Zt-UH_Ko)
Ви можете спробувати:
disallow: /locations/north-dakota/64-service-area/*