Robots.txt जेनरेटर
robots.txt फ़ाइल बनाने के लिए एक डिफ़ॉल्ट नियम चुनें, सभी बॉट या Googlebot और GPTBot जैसे खास बॉट के लिए Disallow या Allow पाथ जोड़ें, अपना sitemap URL जोड़ें और डाउनलोड करें। बिल्ट-इन टेस्टर बताता है कि कोई URL ब्लॉक होगा या नहीं।
- मुफ़्त
- साइनअप नहीं
- आपके ब्राउज़र में चलता है
Robots.txt जेनरेटर: इस्तेमाल का तरीका
- 1अपना टेक्स्ट टूल में टाइप या पेस्ट करें।
- 2ज़रूरी ऑप्शन चुनें।
- 3नतीजा तुरंत अपडेट होता दिखेगा।
- 4नतीजा कॉपी या डाउनलोड करें।
Robots.txt जेनरेटर: अक्सर पूछे जाने वाले सवाल
क्या robots.txt किसी पेज को इंडेक्स होने से रोकता है?
नहीं। यह क्रॉलिंग रोकता है। ब्लॉक किया गया पेज लिंक के ज़रिए फिर भी इंडेक्स हो सकता है। पेज को सर्च नतीजों से बाहर रखने के लिए noindex मेटा टैग इस्तेमाल करें (और क्रॉलिंग की अनुमति दें)।
AI क्रॉलर को कैसे ब्लॉक करूँ?
GPTBot, ClaudeBot, Google-Extended और CCBot जैसे user agent के लिए Disallow: / के साथ ग्रुप जोड़ें। जेनरेटर में इसके लिए एक-क्लिक प्रीसेट है।
क्या "Robots.txt जेनरेटर" टूल इस्तेमाल करने पर मेरा डेटा अपलोड होता है?
नहीं। "Robots.txt जेनरेटर" टूल पूरी तरह आपके वेब ब्राउज़र में चलता है, इसलिए आपकी टेक्स्ट और नंबर आपके डिवाइस पर ही रहती हैं और यह धीमे कनेक्शन पर भी काम करता है।
क्या "Robots.txt जेनरेटर" टूल iPhone, Android और Mac पर चलता है?
हाँ। "Robots.txt जेनरेटर" टूल किसी भी नए ब्राउज़र (Safari, Chrome, Edge या Firefox) में iPhone, iPad, Android फ़ोन, Mac, Windows और Chromebook पर चलता है। कोई ऐप इंस्टॉल करने की ज़रूरत नहीं।
क्या "Robots.txt जेनरेटर" टूल मुफ़्त है?
हाँ। "Robots.txt जेनरेटर" टूल मुफ़्त है: साइनअप, वॉटरमार्क या रोज़ की सीमा कुछ नहीं।