// गाइड
AI क्रॉलर के लिए robots.txt कैसे सेट करें?
लेखक: Dmitry Filippov, Founder, GET-GEO.AI
प्रकाशित: 2026-08-19 · अपडेट: 2026-09-22
// संक्षिप्त उत्तर
robots.txt में एक नहीं, तीन फ़ैसले हैं: प्रशिक्षण, सर्च इंडेक्स और उपयोगकर्ता के अनुरोध पर चलने वाले क्रॉलर को आने देना है या नहीं। हर कंपनी हर काम का अलग user-agent चलाती है। ज़्यादातर साइटों को सर्च और अनुरोध वाली पहुँच खोलनी चाहिए, प्रशिक्षण पर सोच-समझकर तय करना चाहिए और जानना चाहिए कि कुछ क्रॉलर robots.txt अनदेखा करते हैं।
- robots.txt में तीन फ़ैसले होते हैं, हर काम का एक: प्रशिक्षण, सर्च इंडेक्स, उपयोगकर्ता के अनुरोध पर पेज प्राप्त करना। हमने अगस्त 2026 में कंपनियों के दस्तावेज़ों से मिलाकर 19 user-agent जाँचे।
- OAI-SearchBot रोकने की क़ीमत दर्ज है: बाहर रहना चुनने वाली साइटें “ChatGPT सर्च के जवाबों में नहीं दिखाई जाएँगी”। GPTBot रोकने से दृश्यता नहीं घटती, क्योंकि OpenAI के तीन क्रॉलर प्रशिक्षण अलग रखते हैं।
- उपयोगकर्ता के अनुरोध पर चलने वाले चार क्रॉलर (ChatGPT-User, Perplexity-User, Meta-ExternalFetcher, Amzn-User) अपनी कंपनियों के ही बयान के मुताबिक़ robots.txt को अनदेखा कर सकते हैं, और Bytespider मापे गए व्यवहार में इसे अनदेखा करता है।
- सौदा यह है: भारी क्रॉलिंग के बदले उद्धरण। जून 2025 के Cloudflare Radar डेटा के मुताबिक़ OpenAI के लिए हर रेफ़रल पर लगभग 1,700 क्रॉल हुए और Anthropic के लिए लगभग 70,900।
- जाने-पहचाने AI क्रॉलर का user-agent बताने वाला हर अठारहवाँ अनुरोध नक़ली है (HUMAN Security, 2026)। इसलिए स्रोत IP को कंपनियों की प्रकाशित सूचियों से मिलाएँ और रोक CDN या WAF पर लगाएँ।
एक फ़ैसला असल में तीन हैं
“क्या मुझे AI क्रॉलर रोक देने चाहिए?” का एक जवाब नहीं हो सकता, क्योंकि यह एक सवाल है ही नहीं। हर बड़ी AI कंपनी अलग-अलग काम के लिए अलग क्रॉलर चलाती है: प्रशिक्षण क्रॉलर मॉडल के प्रशिक्षण डेटा के लिए सामग्री जुटाते हैं, सर्च-इंडेक्स क्रॉलर उन जवाबों के लिए पेज दर्ज करते हैं जो आपको उद्धृत करते हैं, और उपयोगकर्ता के अनुरोध पर चलने वाले क्रॉलर इसलिए पेज पढ़ते हैं कि किसी व्यक्ति ने अभी असिस्टेंट से उसके बारे में पूछा है। सबको एक पंक्ति से रोक दें, तो आपने AI प्रशिक्षण पर कोई रुख़ नहीं अपनाया — आप AI के जवाबों से बाहर हो गए।
क़ीमत दोनों तरफ़ बराबर नहीं है। प्रशिक्षण क्रॉलर को रोकना सैद्धांतिक चुनाव है; ज़्यादातर मामलों में इससे दृश्यता पर कोई असर नहीं पड़ता। Google और Apple यह साफ़ दस्तावेज़ में लिखते हैं, और OpenAI व Anthropic के लिए यह क्रॉलरों के बँटवारे से निकलता है — सर्च अलग क्रॉलरों पर चलती है, जिनके नतीजे अलग से दर्ज हैं। सर्च या अनुरोध वाले क्रॉलर को रोकने की सीधी, दर्ज क़ीमत है — मिसाल के लिए OpenAI कहता है कि OAI-SearchBot से बाहर रहने वाली साइटें “ChatGPT सर्च के जवाबों में नहीं दिखाई जाएँगी”। ChatGPT, Claude और Perplexity में उद्धृत होने की हमारी गाइड में हर असिस्टेंट की बारीकियाँ हैं; यह पेज पूरा नक़्शा है।
दो आँकड़े इस सौदे की तस्वीर देते हैं। Cloudflare ने मापा कि AI कंपनियाँ साइट को एक विज़िट भेजने के बदले कितने पेज क्रॉल करती हैं: जून 2025 के Cloudflare Radar डेटा के मुताबिक़ OpenAI के लिए हर रेफ़रल पर लगभग 1,700 क्रॉल थे और Anthropic के लिए लगभग 70,900। तब से ये अनुपात घट रहे हैं — Cloudflare का AI Insights डैशबोर्ड इन्हें लाइव दिखाता है — पर सौदे का स्वरूप साफ़ है: आप भारी क्रॉलिंग के बदले उद्धरण पाते हैं। नीचे की तालिका से आप शर्तें तय करते हैं।
कंपनियों के दस्तावेज़ों से जाँची गई AI क्रॉलर की पूरी सूची
नीचे की हर पंक्ति अगस्त 2026 तक संचालक कंपनी के अपने दस्तावेज़ों से जाँची गई है। “टोकन” का मतलब है कि वह नाम सिर्फ़ robots.txt के समूह के रूप में काम करता है; उस user-agent वाला कोई अलग क्रॉलर नहीं है।
| User-agent | काम | robots.txt मानता है | रोकने का असर |
|---|---|---|---|
| GPTBot — OpenAI | प्रशिक्षण | हाँ | भविष्य की सामग्री OpenAI के मॉडल प्रशिक्षण से बाहर; ChatGPT सर्च OAI-SearchBot पर चलती है |
| OAI-SearchBot — OpenAI | सर्च इंडेक्स | हाँ | “ChatGPT सर्च के जवाबों में नहीं दिखाई जाएँगी” (“Will not be shown in ChatGPT search answers”) |
| ChatGPT-User — OpenAI | उपयोगकर्ता के अनुरोध पर पेज खोलना | “ज़रूरी नहीं कि नियम लागू हों” (“Rules may not apply”; आधिकारिक) | सिर्फ़ घोषणा भर — पेज उपयोगकर्ता के अनुरोध पर खुलते हैं |
| ClaudeBot — Anthropic | प्रशिक्षण | हाँ | भविष्य की सामग्री Anthropic के प्रशिक्षण डेटासेट से बाहर |
| Claude-SearchBot — Anthropic | सर्च इंडेक्स | हाँ | इंडेक्स में नहीं आएगा — “साइट की दृश्यता घट सकती है” (“may reduce your site’s visibility”) |
| Claude-User — Anthropic | उपयोगकर्ता के अनुरोध पर पेज खोलना | हाँ | Claude के किसी उपयोगकर्ता के कहने पर पेज नहीं खोला जा सकता |
| PerplexityBot — Perplexity | सर्च इंडेक्स | हाँ | Perplexity के सर्च इंडेक्स और उद्धरणों से बाहर |
| Perplexity-User — Perplexity | उपयोगकर्ता के अनुरोध पर पेज खोलना | “आम तौर पर robots.txt को अनदेखा करता है” (“Generally ignores robots.txt”; आधिकारिक) | सिर्फ़ घोषणा भर |
| Google-Extended — Google (टोकन) | प्रशिक्षण + स्रोतों पर आधार (grounding) का नियंत्रण | Googlebot के ज़रिए माना जाता है | Gemini के प्रशिक्षण और स्रोतों पर आधार से बाहर; Search और AI Overviews पर असर नहीं |
| Applebot — Apple | सर्च इंडेक्स (Siri, Spotlight, Safari) | हाँ — नाम न हो तो Googlebot के नियम मानता है | Apple की सर्च सेवाओं से बाहर |
| Applebot-Extended — Apple (टोकन) | प्रशिक्षण का नियंत्रण | Applebot के ज़रिए माना जाता है | Apple के फ़ाउंडेशन-मॉडल प्रशिक्षण से बाहर; Siri और Spotlight में बना रहता है |
| Meta-ExternalAgent — Meta | प्रशिक्षण + इंडेक्सिंग | हाँ | Meta AI के प्रशिक्षण और उसके इंडेक्स से बाहर |
| Meta-ExternalFetcher — Meta | उपयोगकर्ता के अनुरोध पर पेज खोलना | “robots.txt को पार कर सकता है” (“May bypass robots.txt”; आधिकारिक) | सिर्फ़ घोषणा भर |
| CCBot — Common Crawl | खुला वेब आर्काइव | हाँ | उन सार्वजनिक डेटासेट से बाहर जिन पर कई AI लैब मॉडल को प्रशिक्षित करती हैं — यानी एक साथ पूरी तरह बाहर |
| Amazonbot — Amazon | उत्पाद सुधार; Amazon के AI मॉडल का प्रशिक्षण भी कर सकता है | हाँ | Amazon की क्रॉलिंग से बाहर, मॉडल प्रशिक्षण समेत |
| Amzn-SearchBot — Amazon | सर्च इंडेक्स (Alexa के सर्च अनुभव; प्रशिक्षण नहीं) | हाँ — नाम न हो तो सर्च क्रॉलर के सामान्य नियम मानता है | Alexa के सर्च अनुभवों से बाहर |
| Amzn-User — Amazon | उपयोगकर्ता के अनुरोध पर पेज खोलना (Alexa अनुरोध) | “ज़रूरी नहीं कि सभी robots.txt निर्देश माने” (“May not follow all robots.txt directives”; आधिकारिक) | सिर्फ़ घोषणा भर |
| DuckAssistBot — DuckDuckGo | रियल-टाइम जवाब (प्रशिक्षण नहीं) | हाँ (72 घंटे में लागू) | DuckAssist के जवाबों से बाहर |
| Bytespider — ByteDance | प्रशिक्षण (दस्तावेज़ों में दर्ज नहीं) | नहीं — मापे गए व्यवहार में इसे अनदेखा करता है | robots.txt से कुछ नहीं होता; सर्वर-स्तर की रोक चाहिए |
AI क्रॉलर के लिए robots.txt के तीन कॉन्फ़िगरेशन
तालिका से तीन व्यावहारिक नीतियाँ बनती हैं।
कॉन्फ़िग 1 — दृश्यता पहले। सब कुछ साफ़ तौर पर Allow करें: तालिका के हर दर्ज क्रॉलर का अलग Allow समूह (Bytespider को छोड़कर — फ़ाइल को अनदेखा करने वाले क्रॉलर के लिए Allow सिर्फ़ शोर है), साथ में एक कैच-ऑल समूह। यह उन साइटों के लिए सही है जो खोजे और उद्धृत होने पर टिकी हैं — सामग्री वाले कारोबार, एजेंसियाँ, ज़्यादातर B2B। हम ख़ुद यही चलाते हैं; नीचे “हम अपनी robots.txt कैसे चलाते हैं” देखें।
User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ClaudeBot
Allow: /…और तालिका के हर क्रॉलर के लिए इसी तरह। get-geo.ai/robots.txt पर हमारी लाइव फ़ाइल इसका पूरा रूप है।
कॉन्फ़िग 2 — बिना प्रशिक्षण। सबसे आम सोच-समझा चुनाव: मॉडल के प्रशिक्षण डेटा से बाहर रहें, जवाबों में बने रहें। प्रशिक्षण क्रॉलर और टोकन को Disallow करें, बाक़ी को Allow। कॉपी करने से पहले दो बातें: Bytespider वाली पंक्ति सिर्फ़ घोषणा भर है (अगला खंड बताता है क्यों), और Meta-ExternalAgent को रोकना प्रशिक्षण से बाहर रहने का अकेला ऐसा फ़ैसला है जिसकी दृश्यता पर क़ीमत चुकानी पड़ती है — यह Meta के इंडेक्स से भी बाहर कर देता है:
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: Meta-ExternalAgent
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Amazonbot
Disallow: /
User-agent: Bytespider
Disallow: /
User-agent: *
Allow: /कॉन्फ़िग 3 — लॉकडाउन। पेवॉल वाली या मालिकाना सामग्री के लिए सही। robots.txt में कई User-agent पंक्तियाँ एक ही नियम-ब्लॉक साझा कर सकती हैं, इसलिए पूरा कॉन्फ़िग छोटा रहता है — यहाँ हमने Applebot को छोड़ दिया है, क्योंकि उसे रोकना आपको Siri और Spotlight सर्च से भी हटा देता है, जो AI जवाबों से बड़ा फ़ैसला है:
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Meta-ExternalAgent
User-agent: Meta-ExternalFetcher
User-agent: CCBot
User-agent: Amazonbot
User-agent: Amzn-SearchBot
User-agent: Amzn-User
User-agent: DuckAssistBot
User-agent: Bytespider
Disallow: /इसे लगाने से पहले अगला खंड पढ़ें: ऊपर के कई क्रॉलर के लिए यह फ़ाइल अनुरोध भर है, रुकावट नहीं।
कौन-से AI क्रॉलर robots.txt को अनदेखा करते हैं?
robots.txt एक प्रकाशित नीति है, उसे लागू करवाने का तंत्र नहीं — और क्रॉलरों के एक पूरे वर्ग के लिए कंपनियाँ ख़ुद यही कहती हैं। ChatGPT-User पर OpenAI कहता है: “ये कार्रवाइयाँ उपयोगकर्ता शुरू करता है, इसलिए ज़रूरी नहीं कि robots.txt के नियम लागू हों”। Meta-ExternalFetcher के बारे में Meta लिखता है कि वह robots.txt को “पार कर सकता है, क्योंकि वह उपयोगकर्ता के माँगे हुए पेज प्राप्त करता है”। Perplexity का अनुरोध-आधारित क्रॉलर “आम तौर पर robots.txt के नियम अनदेखे करता है”। Amazon के अनुसार Amzn-User “ज़रूरी नहीं कि सभी robots.txt निर्देश माने”। तर्क एक-सा है: किसी इंसान ने कहा, इसलिए पेज खोलना क्रॉल नहीं, उस इंसान की विज़िट माना जाता है।
फिर Bytespider है: उसका कोई दस्तावेज़ ही नहीं है, और मापे गए व्यवहार में वह फ़ाइल को अनदेखा करता है। Cloudflare ने पाया कि वह किसी भी दूसरे AI क्रॉलर से ज़्यादा संरक्षित साइटों पर पहुँचा (2024 के मध्य में 40.4%), और HAProxy ने उसे अपने AI-क्रॉलर ट्रैफ़िक का क़रीब 90% मापा, साथ में यह भी बताया कि वह robots.txt के निर्देश अनदेखे करता है।
इसलिए रोक लगाने का काम फ़ाइल से नीचे, सर्वर की तरफ़ होता है। ज़्यादातर कंपनियों की प्रकाशित IP सूचियों से क्रॉलरों की जाँच करें — OpenAI, Anthropic, Apple, Common Crawl और DuckDuckGo JSON सूचियाँ रखते हैं, Amazon अपनी रेंज डेवलपर पेज पर देता है — और जिसे सचमुच रोकना है, उसे CDN या WAF पर ब्लॉक करें। यह जाँच जितनी लगती है, उससे ज़्यादा मायने रखती है: HUMAN Security ने मापा कि जाने-पहचाने AI क्रॉलर का user-agent बताने वाला हर अठारहवाँ अनुरोध नक़ली है।
हम अपनी robots.txt कैसे चलाते हैं
हमारी अपनी robots.txt दृश्यता-पहले वाला कॉन्फ़िग है: उन्नीस साफ़ अलग-अलग Allow समूह — तालिका का हर वह क्रॉलर जो फ़ाइल मानता है, वे अनुरोध-आधारित क्रॉलर जिनका हम वैसे भी स्वागत करते हैं, और क्लासिक Bingbot — और आख़िर में एक कैच-ऑल Allow। हमने इसे अगस्त 2026 में इस शक्ल में ढाला। उसी बदलाव में पुराना anthropic-ai समूह हटाया, और इस गाइड की तथ्य-जाँच के दौरान एक अटकल पर बना cohere-ai समूह भी: Cohere के अपने दस्तावेज़ कहते हैं कि वह फ़िलहाल कोई क्रॉलर नहीं चलाता।
सीधी आपत्ति: एक पंक्ति का “User-agent: * / Allow: /” भी क्रॉलरों से यही बर्ताव करवाएगा। सही बात है। अलग-अलग समूह वे तीन चीज़ें देते हैं जो एक पंक्ति नहीं देती। हर कंपनी को आपत्ति की ग़ैरमौजूदगी नहीं, इरादे का साफ़ संकेत मिलता है। आगे के बदलाव ज़्यादा सुरक्षित रहते हैं — किसी एक क्रॉलर के लिए जोड़ा गया Disallow चुपचाप उन क्रॉलरों पर लागू नहीं होता जिनके बारे में किसी ने सोचा ही नहीं। और फ़ाइल हमारी समीक्षा-चेकलिस्ट का भी काम करती है: जब कोई कंपनी नया क्रॉलर लाती है — जैसा OpenAI और Anthropic दोनों ने पिछले दो वर्षों में किया — तो कमी फ़ाइल में और हमारे क्रॉल लॉग में दिख जाती है।
पूरा सेटअप इस साइट पर हमारे GEO की गाइड में समझाया गया है। पेवॉल वाले आर्काइव का प्रकाशक शायद कॉन्फ़िग 2 या 3 चुने। जो भी चुनें, फ़ाइल की हर तिमाही समीक्षा करें: OpenAI ने 2024 में OAI-SearchBot जोड़ा, Anthropic ने 2025 में Claude-SearchBot, और Amazon ने 2026 तक अपनी क्रॉलिंग तीन क्रॉलरों में बाँट दी थी। 2024 में लिखी नीति आज के ज़रूरी क्रॉलरों को शायद कवर न करे।
संबंधित प्रश्न
क्या मुझे AI क्रॉलर रोकने चाहिए?
सवाल को काम के हिसाब से बाँटें। प्रशिक्षण क्रॉलर (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot, Amazonbot) को रोकने से सर्च दृश्यता की कोई क़ीमत नहीं चुकानी पड़ती — Google और Apple इसे साफ़ दस्तावेज़ में लिखते हैं, बाक़ियों के लिए यह ढाँचे से ही निकलता है। अपवाद Meta-ExternalAgent है, जो एक ही क्रॉलर में प्रशिक्षण और इंडेक्सिंग करता है: उसे रोकने से दोनों से बाहर हो जाते हैं। सर्च-इंडेक्स और अनुरोध-आधारित क्रॉलर को रोकने से आप AI के जवाबों से हट जाते हैं, और ख़रीदारी के सवालों का बढ़ता हिस्सा वहीं पूछा जाता है। प्रशिक्षण का फ़ैसला सिद्धांत पर करें; दृश्यता का फ़ैसला इस पर कि आपके उद्धरण और ट्रैफ़िक कहाँ से आते हैं।
क्या GPTBot को रोकने से मेरी साइट ChatGPT से हट जाती है?
नहीं। GPTBot सिर्फ़ मॉडल के प्रशिक्षण के लिए सामग्री जुटाता है। ChatGPT की सर्च OAI-SearchBot पर चलती है, और उपयोगकर्ता के कहने पर पेज पढ़ना ChatGPT-User से होता है — GPTBot को रोकने पर दोनों पहले की तरह काम करते हैं। Anthropic में भी यही बँटवारा है: ClaudeBot, Claude-SearchBot और Claude-User।
क्या Google-Extended AI Overviews पर असर डालता है?
नहीं — और इस विषय की यह सबसे आम ग़लती है। Google के दस्तावेज़ों के अनुसार Google-Extended Gemini के प्रशिक्षण और स्रोतों पर आधार को नियंत्रित करता है, और “Google Search में साइट के शामिल होने पर असर नहीं डालता” (“does not impact a site’s inclusion in Google Search”)। AI Overviews और AI Mode ख़ुद Search का हिस्सा हैं: उन्हें Googlebot की पहुँच और स्निपेट के नियंत्रण तय करते हैं — nosnippet, data-nosnippet, max-snippet, noindex। पूरा तंत्र हमारी Google AI Overviews में दिखने की गाइड में है।
मैं कैसे जाँचूँ कि क्रॉलर असली है?
सिर्फ़ user-agent स्ट्रिंग पर कभी भरोसा न करें — HUMAN Security के 2026 के मापों के अनुसार जाने-पहचाने AI क्रॉलर होने का दावा करने वाला हर अठारहवाँ अनुरोध नक़ली है। स्रोत IP को कंपनी की प्रकाशित सूची से मिलाएँ: OpenAI, Anthropic, Apple, Common Crawl और DuckDuckGo JSON IP सूचियाँ प्रकाशित करते हैं, Amazon अपनी रेंज डेवलपर पेज पर देता है, और Google व Apple रिवर्स-DNS जाँच का समर्थन करते हैं। जो जाँच में फ़ेल हो, उसे स्क्रैपर मानें, चाहे वह ख़ुद को कुछ भी कहे।
क्या robots.txt काफ़ी है, या llms.txt भी चाहिए?
दोनों के काम अलग हैं। robots.txt पहुँच तय करता है — कौन क्या पढ़ सकता है। llms.txt नेविगेशन में मदद है — मशीन के पढ़ने लायक़ नक़्शा, जो मॉडल को साइट के भीतर आने के बाद आपके मुख्य पेज ढूँढ़ने और समझने में मदद करता है। पहले पहुँच: सबको रोकने वाले Disallow के पीछे रखी llms.txt किसी के काम की नहीं। llms.txt की इस शृंखला में अपनी अलग गाइड है।
संबंधित गाइड
स्रोत
- 01GET-GEO.AI – Google AI Overviews में कैसे दिखें?
- 02GET-GEO.AI – अपनी साइट पर GEO असल में कैसे करें?
- 03OpenAI – bot documentation: GPTBot, OAI-SearchBot, ChatGPT-User
- 04Anthropic – crawler documentation: ClaudeBot, Claude-SearchBot, Claude-User
- 05Perplexity – crawler documentation: PerplexityBot, Perplexity-User
- 06Google – common crawlers and Google-Extended
- 07Google – AI features in Search and site owner controls
- 08Apple – Applebot and Applebot-Extended
- 09Meta – web crawlers: Meta-ExternalAgent, Meta-ExternalFetcher
- 10Common Crawl – CCBot documentation
- 11Amazon – Amazonbot documentation
- 12DuckDuckGo – DuckAssistBot documentation
- 13Cloudflare – the crawl-to-refer ratio of AI platforms (जुलाई 2025) and live AI Insights
- 14Cloudflare – Bytespider leads AI-bot traffic and blocks (जुलाई 2024)
- 15HAProxy – ~90% of our AI-crawler traffic is Bytespider (अक्टूबर 2024)
- 16HUMAN Security – 2026 State of AI traffic: crawler spoofing benchmarks
// साझा करें
इस पेज को कैसे उद्धृत करें
आप इस सामग्री को उद्धृत और दोबारा इस्तेमाल कर सकते हैं। स्रोत के रूप में इस पेज का लिंक दें।
“AI क्रॉलर के लिए robots.txt कैसे सेट करें?” — GET-GEO.AI, 2026-09-22. https://get-geo.ai/hi/guides/robots-txt-for-ai-crawlers