Jak naprawić plik robots.txt - robots.txt, google-search-console

pełne zastrzeżenie, nie jestem programistą, jestem SEO próbującym nauczyć się, jak nie polegać na moim deweloperze na każde małe pytanie, które mam.

Obecnie moim problemem jest to. Używam Screaming Frog do indeksowania moich stron, aby rozmieścić tytuły stron, opisy meta, h1, h2 itd., Dzięki czemu mogę łatwiej zaplanować moje zmiany.

Któregoś dnia chciałem uruchomić raport dla mojego klienta i mojej własnej strony internetowej firmy i uzyskać następujące informacje.

Wiem więc, że robots.txt to sposób na tworzenie stron w witrynie, ale go nie indeksują. Nie wiem, dlaczego cała strona miałaby tę wiadomość, a nie tylko kilka stron.

Czy ktoś może udzielić porady, jak to naprawić lublinki do tego, jak to zrobić? Często dostaję ten problem i chciałbym się kształcić, więc nie muszę czekać na kogoś innego. Dostaję je równie dobrze, gdy próbuję indeksować strony internetowe w Google Search Console.

Wielkie dzięki

Odpowiedzi:

Nie wiem, dlaczego cała witryna miałaby tę wiadomość jako na niektórych stronach.

1. Robots.txt dla Twojej witryny nie został poprawnie napisany, jeśli ma zamiar zaindeksować jego zawartość.

2. Albo Screaming Frog może mieć, ale jeśli rzeczywiście plik robots.txt jest napisany poprawnie.

3. Albo jakiś webmaster zdecydował, że treść nie jest warta indeksowania w Google lub że boty spożywają za dużo pasma (nie będąc wybiórczym w ograniczaniu dostępu).

Sprawdzając aktualny plik robots.txt na tej stronie, widzę tę treść:

User-Agent: *
Disallow:

Oznacza to, że dowolna strona tej witryny może zostać zaindeksowana przez dowolnego robota (tutaj wyjaśniono składnię tego pliku: https://moz.com/learn/seo/robotstxt)

Tak więc bieżący plik nie powinien powodować tego błęduOP wspomina. Widząc, że to pytanie pochodzi z 30 czerwca 2017 r., A plik robots.txt został ostatnio zmodyfikowany 11 lipca 2017 r., Wydaje się, że od momentu otwarcia tego pytania OP mógł już rozwiązać problem, który mieli.