robots.txt जनरेटर क्या है?
robots.txt जनरेटर एक टेक्स्ट फ़ाइल बनाता है जो भाग लेने वाले वेब क्रॉलर को बताती है कि वे आपकी साइट पर किन पथों को क्रॉल कर सकते हैं। फ़ाइल डोमेन की जड़ पर प्रकाशित होती है, जैसे example.com/robots.txt। इसमें एक या अधिक user-agent समूह, allow या disallow नियम, वैकल्पिक crawl-delay मान और साइटमैप स्थान हो सकते हैं। यह टूल टेक्स्ट स्थानीय रूप से तैयार करता है ताकि प्रकाशन से पहले आप समीक्षा कर सकें।
robots.txt फ़ाइल बनाएँ
- सभी क्रॉलर पर नियम लागू करने के लिए तारांकन (*) दर्ज करें, या विशिष्ट user-agent नाम जोड़ें।
- फॉरवर्ड स्लैश से शुरू होने वाले allow या disallow पथ जोड़ें।
- वैकल्पिक रूप से क्रॉल डिले और पूर्ण साइटमैप URL शामिल करें।
- फ़ाइल जनरेट करें, फिर robots.txt कॉपी या डाउनलोड करें।
यदि नियम सूची खाली छोड़ते हैं, यह जनरेटर पूरी साइट के लिए allow नियम लिखता है। disallow नियम केवल उन पथों के लिए जोड़ें जिन्हें आप जानबूझकर क्रॉलर से दूर रखना चाहते हैं। पथ नियम एक क्रॉल निर्देश है, सुरक्षा नियंत्रण नहीं। संवेदनशील पेज और फ़ाइलों को अभी भी प्रमाणीकरण, प्राधिकरण या अन्य सुरक्षा चाहिए।
allow और disallow नियम समझें
Allow नियम संकेत देता है कि क्रॉलर मिलते पथ तक पहुँच सकता है, जबकि Disallow संकेत देता है कि उसे क्रॉल से बचना चाहिए। अलग-अलग क्रॉलर में उन्नत robots सिंटैक्स का समर्थन भिन्न हो सकता है, इसलिए सरल पथ नियम सबसे सुरक्षित शुरुआत हैं। यदि कई नियम ओवरलैप करें, व्यवहार सबसे विशिष्ट मिलान और क्रॉलर के अपने कार्यान्वयन पर निर्भर कर सकता है।
हर पथ की शुरुआत में फॉरवर्ड स्लैश उपयोग करें। उदाहरण के लिए, /admin/ उस फ़ोल्डर पथ को लक्षित करता है, और /search? क्रॉलर समर्थन के अनुसार URL पैटर्न लक्षित कर सकता है। जनरेट के बाद हर पंक्ति जाँचें। एक व्यापक नियम गलती से महत्वपूर्ण पेज, स्टाइलशीट या साइट समझने के लिए आवश्यक सामग्री तक पहुँच रोक सकता है।
साइटमैप और क्रॉल डिले
Sitemap पंक्ति क्रॉलर को आपके XML साइटमैप की पूर्ण URL देती है। सर्च-इंजन कंसोल से साइटमैप सबमिट करने पर भी यह उपयोगी है। Crawl-delay कुछ क्रॉलर समर्थन करते हैं, सभी नहीं, और इसका सटीक अर्थ भिन्न हो सकता है। सावधानी से उपयोग करें; उच्च डिले क्रॉलिंग और नए या अपडेटेड पेज की खोज धीमी कर सकता है।
सावधानी से प्रकाशित करें
तैयार फ़ाइल सही डोमेन की जड़ पर अपलोड करें और डिप्लॉय के बाद परीक्षण करें। robots.txt यह गारंटी नहीं देता कि URL सर्च परिणामों में कभी नहीं दिखेगी, खासकर यदि अन्य पेज उससे लिंक करें। जब वह वास्तविक लक्ष्य हो तो noindex निर्देश या एक्सेस नियंत्रण उपयोग करें। जनरेटर आपकी लाइव फ़ाइल प्रकाशित या परीक्षण नहीं करता, इसलिए होस्टिंग सेटअप और क्रॉलर टूल से सत्यापित करें।