robots.txt क्या करता है
यह `yoursite.com/robots.txt` पर एक छोटी टेक्स्ट फ़ाइल है जो खोज-इंजन क्रॉलर को बताती है कि साइट के कौन से हिस्से एक्सेस कर सकते हैं। यह अच्छे बॉट्स के लिए मार्गदर्शन है, सुरक्षा नहीं — पेज छिपाती नहीं, सिर्फ अनुरोध करती है कि क्रॉल न हों।
जेनरेट करें
- नियम बनाने और फ़ाइल कॉपी करने के लिए Robots.txt जेनरेटर उपयोग करें।
- साइट रूट पर अपलोड करें ताकि `/robots.txt` पर उपलब्ध हो।
सिंटैक्स की मूल बातें
- `User-agent: *` — सभी क्रॉलर पर लागू।
- `Allow: /` — सब कुछ क्रॉल करने दें।
- `Disallow: /private/` — उस फ़ोल्डर को क्रॉल न करने को कहें।
- `Sitemap: https://yoursite.com/sitemap.xml` — sitemap की ओर इशारा।
sitemap के साथ जोड़ें
robots.txt बताता है क्या *नहीं* क्रॉल करें; sitemap सूचीबद्ध करता है क्या आप *चाहते* हैं क्रॉल हो। Sitemap जेनरेटर से बनाएँ और robots.txt से संदर्भित करें।
चेतावनी
गलती से पूरे साइट पर `Disallow: /` न लगाएँ — यह सारा क्रॉलिंग ब्लॉक कर खोज से हटा देता है।
निजी
फ़ाइल आपके ब्राउज़र में जेनरेट होती है।