मैं डायनामिक वेबसाइट्स का निर्माण करता हूं, जहां संरचना को डेटाबेस (स्वयं के सीएमएस) में श्रेणीबद्ध रूप से सहेजा गया है। मैं इस डेटाबेस तालिकाओं (पीडीओ के माध्यम से PHP और माईस्क्ल) को प्रबंधित करने के लिए आसन्न मॉडल का उपयोग कर रहा हूँ
मैंने पाया कि Google उन पृष्ठों को अनुक्रमित कर रहा है जो इसे नहीं करना चाहिए।
नेविगेशन के लिए उपयोग की जाने वाली ट्री संरचना का एक उदाहरण:
home
about us
products
productgroup 1
productgroup 2
contact
support
sales
इस संरचना की कल्पना एक पुलडाउन मेनू में करेंपृष्ठों के लिंक। जब मैं उत्पादों का चयन करता हूं-> उत्पाद समूह 1 मुझे www.domain.com/products/productgroup-1 जैसा यूआरएल मिलता है, जो डेटाबेस से डेटा को खींचता है (अंतिम uri तत्व के आधार पर: उत्पाद समूह -1, शीर्षक का एक स्लग संस्करण) और इसे मेरे टेम्पलेट में दिखाता है। मैं सभी तत्वों को क्वेरी नहीं करता, केवल अंतिम (मुझे चाहिए, मुझे पता है)।
अब तक सब ठीक है। Google इस पृष्ठ को अपेक्षित रूप से अनुक्रमित कर रहा है:
http://www.domain.com/products/productgroup-1
लेकिन ... जब मैं Google वेबमास्टर टूल का उपयोग करता हूं तो मुझे 404 के साथ अनुक्रमित बहुत सारे पृष्ठ दिखाई देते हैं, जैसे:
http://www.domain.com/products
http://www.domain.com/contact
और इसलिए किला।
ये पृष्ठ खाली हैं और नेविगेशन संरचना में कोई लिंक नहीं है।
मैंने अपनी संरचना तैयार की है ताकि ये पृष्ठ404 त्रुटि लौटाएं। Webmastertools इसकी पुष्टि करते हैं लेकिन इन पृष्ठों को अनुक्रमित करते रहते हैं। मुझे पता है कि मैं Google के खोज बॉट को अस्वीकार करने के लिए robots.txt का उपयोग कर सकता हूं, इसे drom अनुक्रमण url रखने के लिए। क्या इसे करने का और कोई तरीका है? क्या मुझे 404 के बजाय 403 उत्पन्न करना चाहिए?
मैं यहां अंधेरे में हूं।
उत्तर:
उत्तर № 1 के लिए 1आपको कुछ चीजें करनी चाहिए:
प्रासंगिक पृष्ठ पर इस खाली पृष्ठ को निर्देशित करने के लिए 301 स्थायी पुनर्निर्देशन का उपयोग करें:
भले ही Google क्रॉल न करे http://www.domain.com/products, कुछ लोग अभी भी ब्राउज़र से URL से अंतिम खंड को हटाकर इस लिंक तक पहुँच सकते हैं। आप शायद उन्हें 404 नहीं बल्कि कुछ प्रासंगिक जानकारी दिखाना चाहते हैं।
उदाहरण के लिए, आप पुनर्निर्देशित कर सकते हैं http://www.domain.com/products तथा http://www.domain.com/products/ सेवा मेरे http://www.domain.com/products/productgroup-1
301 पुनर्निर्देशन के बारे में अधिक जानें Moz
कोड स्तर पर करने के बजाय 301 पुनर्निर्देशन करने के लिए mod-rewrite का उपयोग करना संभव है।
Google वेबमास्टर टूल पर साइटमैप सबमिट करें।
यह आपकी साइट के URL की एक निश्चित सूची है।
साइटमैप पहले से Google पर अनुक्रमित 404 URL की सूची को हटा देगा, लेकिन Google को आपकी साइट के सभी "आधिकारिक" URL और इच्छित क्रॉल आवृत्ति के बारे में सूचित करेगा।
से और पढ़ें Google वेबमास्टर टूल्स यहाँ.
"/ उत्पादों" या "/ संपर्क" के संदर्भ के लिए अपना HTML कोड जांचें। Googlebot इन URL को अन्यथा क्रॉल नहीं करेगा।
जवाब के लिए 0 № 2
301 पुनर्निर्देशन सबसे अच्छा विकल्प है जो आप पृष्ठों को नहीं चाहते हैं और आप उन पृष्ठों को robots.txt पृष्ठ में भी असाइन कर सकते हैं।