/ / Comment gérer les pages d'indexation de Google qui n'existent pas - php, seo, google-webmaster-tools

Comment gérer les pages d'indexation de Google qui n'existent pas - php, seo, google-webmaster-tools

Je construis des sites Web dynamiques où la structure est sauvegardée de manière hiérarchique dans la base de données (CMS propre). J'utilise le modèle Adjacency pour gérer ces tables de base de données (PHP et Mysql via PDO)

J'ai détecté que Google indexait des pages qu'il ne devrait pas.

Un exemple d'arborescence utilisée pour la navigation:

home
about us
products
productgroup 1
productgroup 2
contact
support
sales

Imaginez cette structure dans un menu déroulant avecliens vers les pages. Lorsque je sélectionne products-> productgroup 1, je reçois une URL telle que www.domain.com/products/productgroup-1 qui extrait les données de la base de données (en fonction du dernier élément uri: productgroup-1, une version du titre en slug) et le montre dans mon modèle. Je n'interroge pas tous les éléments, mais le dernier (je devrais, je sais).

Jusqu'ici tout va bien. Google indexe cette page comme prévu:

http://www.domain.com/products/productgroup-1

Mais ... Lorsque j'utilise les outils Google pour les webmasters, je vois beaucoup de pages indexées avec 404 ", comme:

http://www.domain.com/products
http://www.domain.com/contact

Et tellement fort.

Ces pages sont vides et n'ont pas de lien dans la structure de navigation.

J'ai conçu ma structure pour que ces pagesrenvoyer une erreur 404. Webmastertools le confirme, mais continue d'indexer ces pages. Je sais que je peux utiliser le fichier robots.txt pour interdire le moteur de recherche de Google afin de conserver l'indexation des URL. Y a-t-il une autre façon de faire cela? Devrais-je générer un 403 au lieu d'un 404?

Je suis dans le noir ici.

Réponses:

1 pour la réponse № 1

Vous devriez faire quelques choses:

  1. Utilisez la redirection permanente 301 pour diriger ces pages vides vers une page pertinente:

  2. Soumettez un plan du site aux outils Google pour les webmasters.

    • Ceci est une liste définitive des URL de votre site.

    • Avoir un sitemap annulera la liste des 404 URL déjà indexées sur Google, mais informera Google de toutes vos URL "officielles" sur votre site et de la fréquence d'analyse prévue.

    • Lire plus de Outils Google pour les webmasters ici.

  3. Vérifiez dans votre code HTML les références à "/ products" ou "/ contact". Googlebot n'explorera pas ces URL autrement.


0 pour la réponse № 2

La redirection 301 est la meilleure option pour laquelle vous ne voulez pas de pages et vous pouvez également affecter ces pages dans la page robots.txt.