// गाइड
llms.txt क्या है — और क्या आपकी साइट को इसकी ज़रूरत है?
लेखक: Dmitry Filippov, Founder, GET-GEO.AI
प्रकाशित: 2026-08-19 · अपडेट: 2026-09-22
// संक्षिप्त उत्तर
llms.txt AI के लिए आपके अहम पेजों का प्रस्तावित मार्कडाउन नक़्शा है, जो /llms.txt पर रखा जाता है। किसी बड़े प्रदाता ने इसे पढ़ने का वादा नहीं किया है, और ज़्यादातर प्रकाशित फ़ाइलों को किसी महीने में एक भी अनुरोध नहीं मिलता। बनाने में कुछ ख़र्च न हो, तो एक प्रकाशित करें; अभी इससे किसी असर की उम्मीद न रखें।
- llms.txt प्रमुख पेजों का मार्कडाउन नक़्शा है, जिसे Jeremy Howard ने 3 सितंबर 2024 को प्रस्तावित किया; इससे कोई पहुँच नहीं मिलती, और किसी AI प्रदाता ने इसे पढ़ने का वादा नहीं किया है।
- Ahrefs ने जून 2026 में 137,000 डोमेन जाँचे: 97% प्रकाशित llms.txt फ़ाइलों को पिछले महीने एक भी अनुरोध नहीं मिला।
- SE Ranking ने 300,000 डोमेन परखे, पर llms.txt फ़ाइल होने और AI के जवाबों में उद्धृत होने के बीच कोई संबंध नहीं मिला।
- फिर भी इसे अपनाने वाले लगभग नौ गुना हो गए: जून 2025 में क़रीब 4,100 प्रकाशित फ़ाइलें थीं, एक साल बाद 36,100, जिनमें Anthropic, Cloudflare, Stripe और Zapier शामिल हैं।
- मापा गया इकलौता संकेत मार्कडाउन के पक्ष में है, इंडेक्स फ़ाइल के नहीं: Evil Martians ने पाया कि Claude Code अपने 76% अनुरोधों में मार्कडाउन माँगता है।
llms.txt क्या है
यह प्रस्ताव Answer.AI के Jeremy Howard का है, जो 3 सितंबर 2024 को llmstxt.org पर प्रकाशित हुआ। विचार यह है: भाषा मॉडलों के लिए HTML पेज भारी और अव्यवस्थित होते हैं, इसलिए साइट को /llms.txt पर एक छाँटा हुआ मार्कडाउन नक़्शा देना चाहिए: साइट के नाम के साथ एक H1, एक ब्लॉककोट जिसमें “फ़ाइल के बाक़ी हिस्से को समझने के लिए ज़रूरी मुख्य जानकारी” हो, और उसके बाद लिंक वाले अनुभाग, जिनमें हर लिंक एक मार्कडाउन हाइपरलिंक हो और साथ में एक पंक्ति की वैकल्पिक टिप्पणी। Optional नाम का अनुभाग उन लिंक पर निशान लगाता है जिन्हें छोटा संदर्भ चाहिए होने पर पढ़ने वाला सॉफ़्टवेयर छोड़ सकता है। स्पेसिफ़िकेशन यह भी सुझाती है कि आपके पेजों के साफ़ मार्कडाउन जुड़वाँ उसी URL पर हों, अंत में .md जोड़कर।
llms.txt के बारे में दो बातें साफ़ कर दें। यह पहुँच को नियंत्रित नहीं करती: यह न किसी को अनुमति देती है, न रोकती है। वह काम robots.txt का है, और हर AI क्रॉलर की सेटिंग हमने अपनी robots.txt गाइड में दर्ज की है। और llms-full.txt, यानी आपकी साइट का पूरा पाठ एक फ़ाइल में, स्पेसिफ़िकेशन में है ही नहीं: यह उद्योग में चल पड़ी परंपरा है, जो नवंबर 2024 में तब लोकप्रिय हुई जब Mintlify ने अपने यहाँ होस्ट की गई हर दस्तावेज़ीकरण साइट के लिए दोनों फ़ाइलें अपने-आप बनानी शुरू कीं।
क्या llms.txt को वाक़ई कोई पढ़ता है?
प्रकाशित माप बताते हैं कि AI क्रॉलर llms.txt का बहुत कम इस्तेमाल करते हैं।
किसी AI प्रदाता ने इसे पढ़ने की प्रतिबद्धता नहीं दी है। न OpenAI ने, न Anthropic ने, न Google ने, न Perplexity ने: इनमें से किसी के आधिकारिक दस्तावेज़ में नहीं लिखा कि उनके क्रॉलर या मॉडल llms.txt को प्राप्त करते या पढ़ते हैं। Google का रवैया खुलकर ख़ारिज करने वाला रहा है: John Mueller ने अप्रैल 2025 में लिखा कि “जहाँ तक मुझे पता है, किसी भी AI सेवा ने नहीं कहा कि वह LLMs.TXT का इस्तेमाल करती है (और अपने सर्वर लॉग देखने पर पता चल जाता है कि वे इसे जाँचते तक नहीं)। मेरे लिए यह कीवर्ड मेटा टैग जैसा है”, और Gary Illyes ने जुलाई 2025 में पुष्टि की कि Google इसे समर्थन नहीं देता और देने की योजना भी नहीं है।
सर्वर लॉग भी यही कहते हैं। Ahrefs ने जून 2026 में 137,000 डोमेन जाँचे: 97% प्रकाशित llms.txt फ़ाइलों को पिछले महीने एक भी अनुरोध नहीं मिला, और जिन 3% को कुछ ट्रैफ़िक मिला, उसमें भी सिर्फ़ लगभग 1% AI के पेज प्राप्त करने वाले क्रॉलर से आया। Evil Martians ने अपनी साइट के दो महीने के लॉग खँगाले: फ़ाइल के लगभग 770 अनुरोधों में से 37 नाम से पहचाने गए AI क्रॉलर के थे। Otterly ने 90 दिन में AI क्रॉलर की 62,100 विज़िट देखीं: 84 ने /llms.txt को छुआ, जो एक औसत सामग्री पेज को मिलने वाली संख्या का एक-तिहाई है। और SE Ranking ने 300,000 डोमेन पर परखा कि फ़ाइल होने और AI के जवाबों में उद्धृत होने के बीच कोई संबंध है या नहीं: कोई नहीं मिला।
इस बीच अपनाना बढ़ता जा रहा है: जून 2025 में लगभग 4,100 प्रकाशित फ़ाइलों से एक साल बाद 36,100 तक, यानी उन फ़ाइलों में लगभग नौ गुना बढ़त जिन्हें लगभग कोई नहीं पढ़ता। प्रकाशकों की सूची जितनी प्रभावशाली है, उतनी ही विडंबना भरी भी: Anthropic, Cloudflare, Zapier, Stripe और Vercel सभी एक फ़ाइल देते हैं, ज़्यादातर अपने दस्तावेज़ीकरण वाले डोमेन पर, और Perplexity अपनी llms.txt प्रकाशित करता है जबकि किसी और की पढ़ने का दावा कभी नहीं करता।
इन्हीं लॉग में एक असली संकेत छिपा है, और वह प्रस्ताव के एक दूसरे हिस्से की ओर इशारा करता है: Evil Martians ने पाया कि Claude Code अपने 76% अनुरोधों में हेडर के ज़रिए सीधे मार्कडाउन माँगता है। मशीनें HTML के मुक़ाबले साफ़ मार्कडाउन को पसंद करती हैं; वे इंडेक्स फ़ाइल को अनदेखा करती हैं, विचार को नहीं।
| दावा | स्थिति | प्रमाण |
|---|---|---|
| AI प्रदाता llms.txt पढ़ते हैं | नहीं: किसी ने प्रतिबद्धता नहीं दी | किसी प्रदाता के दस्तावेज़ में यह दावा नहीं; Google साफ़ मना करता है (Mueller, Illyes) |
| AI क्रॉलर व्यवहार में फ़ाइल लाते हैं | मुश्किल से मापने लायक़ | 97% फ़ाइलें: शून्य अनुरोध (Ahrefs, 137K डोमेन); 2 महीने में नाम से पहचाने गए क्रॉलर के 37 अनुरोध (Evil Martians) |
| फ़ाइल होने से AI के उद्धरण बेहतर होते हैं | कोई असर नहीं मिला | SE Ranking, 300K डोमेन: उद्धरण की आवृत्ति से कोई संबंध नहीं |
| प्रकाशक फिर भी इसे अपना रहे हैं | हाँ: तेज़ी से | एक साल में 4.1K → 36.1K फ़ाइलें (Ahrefs); इनमें Anthropic, Stripe, Cloudflare, Zapier |
| मशीनें HTML से ज़्यादा मार्कडाउन पसंद करती हैं | हाँ: मापा गया | Claude Code 76% अनुरोधों में मार्कडाउन माँगता है (Evil Martians) |
फिर भी हम इसे क्यों चलाते हैं
हमारी साइट /llms.txt और हर भाषा के लिए llms-full.txt फ़ाइलें परोसती है, और हम इनके किसी असर का दावा नहीं करते: हमारे पास ऐसा कोई प्रमाण नहीं कि किसी असिस्टेंट को हमारी सामग्री क्रॉलिंग और सर्च इंडेक्स के बजाय इस नक़्शे से मिली। हम मानकर चलते हैं कि हमारी फ़ाइल का हाल मापे गए औसत से बेहतर नहीं है। तो इसे रखें क्यों?
यह फ़ाइल उसी सामग्री-रजिस्ट्री से बनती है जिससे हमारे पेज, sitemap और गाइड सूची बनते हैं। जब हम कोई गाइड प्रकाशित या बदलते हैं, llms.txt उसके साथ अपने-आप अपडेट हो जाती है। इसलिए इसे बनाए रखना सस्ता है, इस स्थिति के लिए कि कल और सॉफ़्टवेयर इसे अपना लें। हाथ से सँभाली जाने वाली फ़ाइल में काम बढ़ता, और उसके साइट से बेमेल हो जाने का जोखिम रहता।
इसे प्रोडक्शन में चलाने से वे असली इंजीनियरिंग बंदिशें भी सामने आती हैं जिन्हें विचार-लेख छोड़ देते हैं। हिन्दी संस्करण जुड़ने के बाद से हमारा llms-full.txt एक्सपोर्ट कई बार अपनी आकार-सीमा से बाहर निकला है: UTF-8 में देवनागरी प्रति अक्षर लगभग तीन बाइट लेती है, और हिन्दी के छोटे पाठों के बावजूद वही गाइड अंग्रेज़ी से लगभग दोगुनी भारी पड़ती हैं। इसलिए सीमा अगस्त 2026 के 100 किलोबाइट से बढ़कर आज 2 मेगाबाइट हो गई है। अगर आपकी llms-full.txt किसी मॉडल की संदर्भ-सीमा से बड़ी है, तो आपने वही समस्या फिर खड़ी कर ली जिसे यह फ़ाइल हल करने आई थी।
हम इसे एक ऐसे प्रयोग के रूप में प्रकाशित करते हैं जिसे चलाने में हमारा कुछ ख़र्च नहीं होता। यह हमारी तकनीकी तैयारी का हिस्सा है, जो अपनी साइट पर हम GEO कैसे करते हैं वाली गाइड में दर्ज है। उसी गाइड में क्रॉलर की पहुँच, निकाले जा सकने वाले पेज और कंपनी की एक जैसी जानकारी भी है, जिनकी उद्धरण के काम में मापने लायक़ भूमिका है।
फ़ाइल कैसे बनाएँ और बनाए रखें
अगर llms.txt आपके स्टैक में मुफ़्त है (प्लगइन, स्टैटिक-साइट हुक, CMS टेम्प्लेट), तो स्पेसिफ़िकेशन से सीधे लिया गया llms.txt प्रारूप यह है:
एक न्यूनतम llms.txt का उदाहरण: साइट के नाम वाला एक H1, फिर एक ब्लॉककोट जो दो-तीन वाक्यों में बताए कि साइट क्या है, ऐसे वाक्य जिन्हें पढ़ने वाला सॉफ़्टवेयर दोहरा सके। फिर H2 अनुभाग (पेज, गाइड, दस्तावेज़), हर अनुभाग में मार्कडाउन लिंक की सूची और हर लिंक के साथ एक पंक्ति की टिप्पणी। और एक Optional अनुभाग उस सामग्री के लिए जिसे पढ़ने वाला सॉफ़्टवेयर छोड़ सकता है। पूरा मानक इतना ही है।
तीन ग़लतियाँ, जिनसे फ़ाइल न होने से भी बुरी हो जाती है:
- फ़ाइल को पहुँच से बाहर कर देना। अगर robots.txt क्रॉलर को रोकती है, तो वह नक़्शा नहीं पढ़ सकता। खोज के लिए फ़ाइल पर निर्भर होने से पहले क्रॉलर की पहुँच जाँचें।
- हर URL गिना देना। फ़ाइल का मक़सद पाठक को काम के पेज चुनने में मदद देना है; सौ एक जैसे लिंक sitemap.xml का ही काम दोहराते हैं। दस प्रमुख पेज चुनें और हर एक को सटीक एक-पंक्ति विवरण दें।
- फ़ाइल को साइट से बेमेल होने देना। हाथ से लिखी llms.txt, जो उन पेजों का वर्णन करती है जिन्हें आप बाद में दोबारा लिख चुके हैं, वही कीवर्ड मेटा टैग है जिससे Mueller ने इसकी तुलना की थी: ऐसा आत्म-वर्णन जिसे कोई जाँचता नहीं। इसे उसी स्रोत से बनाएँ जिससे पेज बनते हैं, या रखें ही नहीं।
संबंधित प्रश्न
llms.txt और robots.txt में क्या अंतर है?
robots.txt तय करती है कि कौन-सा क्रॉलर किन पाथ को प्राप्त कर सकता है। बड़े AI प्रदाता बताते हैं कि वे इसका पालन कैसे करते हैं, उपयोगकर्ता के अनुरोध पर चलने वाले क्रॉलर के अपवादों सहित, जिन्हें हमारी क्रॉलर गाइड में समझाया है। llms.txt कोई पहुँच नहीं देती: यह एक वैकल्पिक पठन-सूची है, और मौजूदा माप इसका बहुत कम इस्तेमाल दिखाते हैं। पहले क्रॉलर की पहुँच ठीक करें।
क्या llms.txt आज SEO या AI दृश्यता में मदद करती है?
कोई मापने लायक़ असर नहीं: SE Ranking ने 300,000 डोमेन परखे और फ़ाइल होने तथा AI के जवाबों में उद्धृत होने के बीच कोई संबंध नहीं पाया, और Google कहता है कि वह इस फ़ाइल का इस्तेमाल ही नहीं करता। उद्धरण को जो चीज़ें हिलाती हैं, उन्हें इस शृंखला का बाक़ी हिस्सा बताता है: क्रॉलर की पहुँच, जवाब से शुरू होने वाले और निकाले जा सकने वाले पेज, पुष्टि। और AI दृश्यता मापने की हमारी गाइड दिखाती है कि इनमें से किसी भी चीज़ को अपने आँकड़ों पर कैसे जाँचें। llms.txt को प्रयोग मानें, योजना कभी नहीं।
llms.txt फ़ाइल कैसे बनाएँ?
छोटा जवाब: हाथ से न लिखें। अगर आपका प्लेटफ़ॉर्म इसे आपकी सामग्री से बना देता है (दस्तावेज़ीकरण होस्ट यह अपने-आप करते हैं, और ज़्यादातर फ़्रेमवर्क और CMS के लिए प्लगइन मौजूद हैं), तो उसे चालू कर दें, और आपको ऐसी फ़ाइल मुफ़्त में मिल जाएगी जो हमेशा साइट से मेल खाती रहेगी। दस पेज की साइट के लिए हाथ से लिखना ठीक है, उस पैमाने पर रखरखाव की लागत शून्य के बराबर है; इससे बड़ी किसी भी चीज़ के लिए इसे उसी स्रोत से जोड़ें जिससे आपके पेज बनते हैं।
क्या llms-full.txt भी प्रकाशित करनी चाहिए?
तभी, जब वह अपने-आप बनती हो। यह स्पेसिफ़िकेशन का हिस्सा नहीं है: यह आपकी पूरी सामग्री को एक मार्कडाउन फ़ाइल में भेजने की परंपरा है, जो ज़्यादातर किसी साइट के दस्तावेज़ों को हाथ से किसी AI सॉफ़्टवेयर के संदर्भ में चिपकाने के काम आती है। आकार का ध्यान रखें: कुछ सौ किलोबाइट के बाद आप उन्हीं संदर्भ-सीमाओं को भर देते हैं जिनकी सेवा के लिए यह फ़ाइल बनी है। हमारी फ़ाइल की सीमा तय है और भाषा के हिसाब से बँटी है, ठीक इसी वजह से।
क्या AI प्रदाता आगे चलकर llms.txt अपनाएँगे?
पता नहीं, और रुझान दोनों तरफ़ जाता है: एक साल में प्रकाशकों का अपनाना लगभग नौ गुना बढ़ा, जबकि प्रदाताओं की प्रतिबद्धता शून्य रही और Google ने सीधे मना कर दिया। प्रस्ताव के जिस हिस्से को मापने लायक़ पकड़ मिली है, वह मार्कडाउन ही है: पेश किए जाने पर AI क्रॉलर पेजों के .md संस्करण पहले से माँगते हैं। अगर स्पेसिफ़िकेशन का कुछ भी टिका रहा, तो हमारा दाँव साफ़, मशीन से पढ़े जा सकने वाले पेजों पर है, इंडेक्स फ़ाइल पर नहीं।
संबंधित गाइड
स्रोत
- 01GET-GEO.AI – AI क्रॉलर के लिए robots.txt कैसे सेट करें?
- 02GET-GEO.AI – अपनी साइट पर GEO असल में कैसे करें?
- 03GET-GEO.AI – AI दृश्यता और उद्धरण कैसे मापें?
- 04llmstxt.org – the llms.txt proposal (Jeremy Howard, सितंबर 2024)
- 05Search Engine Journal – Google’s Mueller: llms.txt comparable to the keywords meta tag (अप्रैल 2025)
- 06Ahrefs – llms.txt study: 97% of files got no requests (137,000 domains, जून 2026)
- 07Evil Martians – two months of LLM traffic, measured (जुलाई 2026)
- 08SE Ranking – llms.txt shows no effect on AI citations (300,000 domains, नवंबर 2025)
- 09Otterly – the llms.txt experiment: 90 days of AI-bot logs (फ़रवरी 2026)
- 10Mintlify – auto-generating llms.txt for hosted docs (नवंबर 2024)
- 11Ahrefs – what is llms.txt, and do you need it? (जून 2026 में अपडेट)
// साझा करें
इस पेज को कैसे उद्धृत करें
आप इस सामग्री को उद्धृत और दोबारा इस्तेमाल कर सकते हैं। स्रोत के रूप में इस पेज का लिंक दें।
“llms.txt क्या है — और क्या आपकी साइट को इसकी ज़रूरत है?” — GET-GEO.AI, 2026-09-22. https://get-geo.ai/hi/guides/llms-txt-guide