Robots.txt file क्या है? Blog के लिए क्यों जरूरी है।

  दोस्तों जो नए ब्लॉगर होते है उन्हें ज्यादातर ऐसे बहुत से फीचर के बारे में नही पता होता है। और न ही वो इसकी अच्छे से सेटिंग्स कर पाते है मै उन सभी ब्लॉगर की मदत करना चाहता हूँ जिससे वो भी एक कामयाब ब्लॉगर बने और वो लोग भी ब्लॉग से अच्छा पैसा कमाये। तो चलिए शुरू करते हैं।
Robots.txt क्या है?

Robots.txt एक Text फ़ाइल है जिसमें सरल कोड की कुछ पंक्तियाँ हैं। यह वेबसाइट या ब्लॉग के सर्वर पर सहेजा जाता है जो वेब क्रॉलर्स को खोज परिणामों में अपने ब्लॉग को इंडेक्स और क्रॉल करने का निर्देश देता है। इसकी मदत से  आप अपने ब्लॉग पर वेब क्रॉलर्स से किसी भी वेब पेज को प्रतिबंधित कर सकते हैं, ताकि इसे अपने ब्लॉग लेबल पृष्ठ, आपके डेमो पेज या किसी अन्य पृष्ठ जैसे खोज इंजनों में अनुक्रमित (Indexed) नहीं किया जा सके जो अनुक्रमित करने के लिए महत्वपूर्ण नहीं हैं। हमेशा याद रखें कि खोज क्रॉलर्स किसी वेब पेज को क्रॉल करने से पहले robots.txt फ़ाइल को स्कैन करता हैं।

ब्लॉगर पर होस्ट किए गए प्रत्येक ब्लॉग की अपनी डिफ़ॉल्ट robots.txt फ़ाइल होती है जो कुछ इस तरह दिखती है:

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED

स्पष्टीकरण
यह कोड तीन खंडों में विभाजित है। चलो पहले उनमें से प्रत्येक का अध्ययन करें, हम सीखें कि ब्लॉगस्पॉट ब्लॉग्स में कस्टम robots.txt फ़ाइल कैसे जोड़ें।

1:- User-agent: Mediapartners-Google

यह कोड Google ऐडसेंस रोबोटों के लिए है जो उन्हें अपने ब्लॉग पर बेहतर विज्ञापन देने में मदद करता है।

2:- User-agent: *

User-agent: *यह तारांकन चिह्न (*) के साथ चिह्नित सभी रोबोटों के लिए है डिफ़ॉल्ट सेटिंग में हमारे ब्लॉग के लेबल लिंक खोज क्रॉलर्स द्वारा अनुक्रमित करने के लिए प्रतिबंधित हैं जिसका मतलब है कि वेब क्रॉलर हमारे लेबल पृष्ठ लिंक को नीचे कोड के कारण नहीं दिखाएंगे।

 Disallow: /search

इसका मतलब होता है कि शब्द खोज करने वाले लिंक्स के बाद ही डोमेन नाम को अनदेखा कर दिया जाएगा। नीचे दिए गए उदाहरण देखें, जो SEO नामक लेबल पेज का लिंक है।

https://hinditechnews.com/search/label/SEO

और अगर हम Disallow: /search  निकाल देते हैं तो फिर क्रॉलर्स हमारे संपूर्ण ब्लॉग को इंडेक्स में एक्सेस करेंगे और इसकी सारी सामग्री और वेब पेज क्रॉल करेंगे।

यहां Allow: / मुखपृष्ठ से संदर्भित करता है जिसका मतलब है कि वेब क्रॉलर हमारे ब्लॉग के होमपेज को क्रॉल और Index कर सकते हैं।

अस्वीकार विशिष्ट पोस्ट

अब मान लीजिए कि यदि हम अनुक्रमण से एक विशेष पोस्ट को बाहर करना चाहते हैं तो हम कोड में नीचे पंक्ति जोड़ सकते हैं।

: /yyyy/mm/post-url.html

यहां पर yyyy और mm जो है वो वर्ष और महीने को संदर्भित करता है। मतलब आपने उस पोस्ट को कौन से से साल और कौन से महीने में लिखे थे उदाहरण के लिए, यदि आपने जुलाई 2016 में प्रकाशित ( Publish)किया है तो  उसे आपको इस तरह से लिखना होगा। नीचे देखे example….

: /2016/07/post-url.html

यह कार्य आसान बनाने के लिए, आप बस पोस्ट यूआरएल की प्रतिलिपि बना सकते हैं और शुरुआत से ही ब्लॉग का नाम निकाल सकते हैं।

अस्वीकृत विशेष पृष्ठ

यदि हमें किसी विशेष पृष्ठ को अस्वीकार करने की आवश्यकता है तो हम इसके बाद के संस्करण के समान पद्धति का उपयोग कर सकते हैं। बस पृष्ठ यूआरएल की प्रतिलिपि बनाएँ और उस से ब्लॉग पते को हटा दें जो कुछ इस तरह दिखेंगे। नीचे देखे।

: /p/page-url.html

साइटमैप:

://example.blogspot.com/feeds/posts/default?orderby=

यह कोड हमारे ब्लॉग के साइटमैप को संदर्भित करता है। यहां साइटमैप लिंक जोड़कर हम बस हमारे ब्लॉग की क्रॉलिंग दर को अनुकूलित कर रहे हैं। जब भी वेब क्रॉलर्स हमारी robots.txt फ़ाइल को स्कैन करते हैं, तब वे हमारे साइटमैप का पथ पा सकते हैं जहां हमारे प्रकाशित पोस्ट के सभी लिंक मौजूद होते हैं। वेब क्रॉलर्स को हमारे सभी पदों को क्रॉल करने में आसान लगता है। इसलिए, बेहतर संभावनाएं हैं कि वेब क्रॉलर किसी भी एक को अनदेखा किए बिना हमारे सभी ब्लॉग पोस्ट क्रॉल करते हैं

Custom Robots Header Tag क्या है और ब्लॉग में कैसे Add करते है।
नोट: यह साइटमैप केवल 25 क्रॉलर के बारे में बताएगा, जो हाल में 25 पोस्ट हैं। यदि आप अपने साइटमैप में लिंक की संख्या में वृद्धि करना चाहते हैं, तो नीचे एक के साथ डिफ़ॉल्ट साइटमैप की जगह आपको  अपने ब्लॉग का एक sitemap बनाना होगा Sitemap कैसे बनाते है और Sitemap को कैसे add करते है उसकी पूरी जानकारी यहाँ पर है ये Sitemap 500 Recent Post के लिए काम करेगा। ये sitemap इस तरह से होगा नीचे देखे example….

Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500

यदि आपके पास अपने ब्लॉग में 500 से अधिक प्रकाशित पोस्ट हैं तो आप दो साइटमैप का उपयोग कर सकते हैं नीचे देखे example….

Also Read:-

Robots. txt फाइल कैसे बनाते है और उसे ब्लॉग में कैसे add करते है?
Blog का sitemap कैसे बनाते है।

Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=500&max-results=1000

तो दोस्तों अब आप लोग समझ गए होंगे कि robots.txt क्या होता है और क्यों जरूरी होता है ब्लॉग के लिए।
   अगर आपको कोई समस्या या हो तो मुझे comment में ज़रूर बताये। और अगर कोई सवाल हो तो Contact us पर मुझसे संपर्क करे या अपने सवाल के बारे में पूरी details में Ask Question पेज पर भेजे।