// गाइड
llms.txt क्या है — और क्या आपकी साइट को इसकी ज़रूरत है?
अपडेट: 2026-08-19
// संक्षिप्त उत्तर
llms.txt एक प्रस्तावित मानक है — AI सिस्टम के लिए आपकी साइट के मुख्य पेजों का markdown नक़्शा, जो /llms.txt पर रखा जाता है। मुख्य शब्द “प्रस्तावित” है: किसी भी बड़े AI vendor ने इसे पढ़ने की प्रतिबद्धता नहीं दी है, और माप बताते हैं कि 97% प्रकाशित फ़ाइलों को महीने भर में एक भी request नहीं मिलती। अगर आपका आर्किटेक्चर इसे मुफ़्त बना देता है तो प्रकाशित करें; फ़िलहाल इससे कोई अपेक्षा न रखें।
llms.txt क्या है
यह प्रस्ताव Answer.AI के Jeremy Howard का है, जो 3 सितंबर 2024 को llmstxt.org पर प्रकाशित हुआ। विचार यह है: भाषा मॉडलों के लिए HTML पेज भारी और अव्यवस्थित हैं, इसलिए साइट को /llms.txt पर एक छाँटा हुआ markdown नक़्शा देना चाहिए — साइट के नाम के साथ एक H1, एक blockquote जिसमें “फ़ाइल के बाक़ी हिस्से को समझने के लिए ज़रूरी मुख्य जानकारी” हो, और उसके बाद लिंक के अनुभाग, जिनमें हर लिंक एक markdown hyperlink हो और साथ में एक पंक्ति की वैकल्पिक टिप्पणी। Optional नाम का अनुभाग उन लिंक पर निशान लगाता है जिन्हें छोटा context चाहिए होने पर agent छोड़ सकता है। spec यह भी सुझाती है कि आपके पेजों के साफ़ markdown जुड़वाँ उसी URL पर हों, अंत में .md जोड़कर।
दो चीज़ें, जो llms.txt नहीं है। यह पहुँच को नियंत्रित नहीं करती — यह कुछ भी न देती है, न रोकती है; वह काम robots.txt का है, और हर AI crawler के स्विच हमने अपने robots.txt गाइड में दर्ज किए हैं। और llms-full.txt — वह एक फ़ाइल जिसमें आपकी साइट का पूरा पाठ होता है — spec में है ही नहीं: यह पारिस्थितिकी की एक परंपरा है, जो नवंबर 2024 में लोकप्रिय हुई, जब Mintlify ने अपने होस्ट किए हर documentation साइट के लिए दोनों फ़ाइलें स्वतः बनाना शुरू किया।
क्या llms.txt को वाक़ई कोई पढ़ता है?
यही वह प्रश्न है जिससे अधिकतर गाइड कतराते हैं — क्या AI crawlers वाक़ई llms.txt का उपयोग करते हैं? — और मापा हुआ उत्तर सीधा है: लगभग कोई नहीं।
किसी भी AI vendor ने इसे पढ़ने की प्रतिबद्धता नहीं दी है। न OpenAI, न Anthropic, न Google, न Perplexity — किसी के भी आधिकारिक दस्तावेज़ में यह नहीं लिखा कि उनके सिस्टम llms.txt को लाते या पढ़ते हैं। Google का रवैया खुलकर ख़ारिज करने वाला है: John Mueller ने अप्रैल 2025 में लिखा कि “जहाँ तक मुझे पता है, किसी भी AI सेवा ने यह नहीं कहा कि वह LLMs.TXT का उपयोग कर रही है (और अपने server logs देखने पर पता चल जाता है कि वे इसे खोजते भी नहीं हैं)। मेरे लिए यह keywords meta tag के बराबर है”, और Gary Illyes ने जुलाई 2025 में पुष्टि की कि Google इसका समर्थन नहीं करता और करने की योजना भी नहीं है।
Server logs भी यही कहते हैं। Ahrefs ने जून 2026 में 137,000 domains जाँचे: 97% प्रकाशित llms.txt फ़ाइलों को पिछले महीने एक भी request नहीं मिली, और जिन 3% को कुछ ट्रैफ़िक मिला, उनमें भी केवल लगभग 1% AI-retrieval bots से आया। Evil Martians ने अपनी ही साइट के दो महीने के logs खंगाले: फ़ाइल के लगभग 770 fetches में से 37 पहचाने गए AI agents से थे। Otterly ने 90 दिनों में AI bots की 62,100 विज़िट देखीं — उनमें से 84 /llms.txt पर पहुँचीं, जो एक औसत content पेज को मिलने वाली संख्या का एक-तिहाई है। और SE Ranking ने 300,000 domains पर परखा कि फ़ाइल होने और AI उत्तरों में उद्धृत होने के बीच कोई संबंध है या नहीं: कोई नहीं मिला।
इस बीच अपनाना बढ़ता ही जा रहा है — जून 2025 में लगभग 4,100 प्रकाशित फ़ाइलों से एक साल बाद 36,100 तक, यानी उन फ़ाइलों में लगभग नौ गुना बढ़ोतरी जिन्हें कोई पढ़ता ही नहीं। प्रकाशकों की सूची जितनी प्रभावशाली है, उतनी ही विडंबनापूर्ण: Anthropic, Cloudflare, Zapier, Stripe और Vercel — सब एक फ़ाइल देते हैं, अधिकतर अपने documentation domains पर — और Perplexity अपनी llms.txt प्रकाशित करता है, यह कभी दावा किए बिना कि वह किसी और की पढ़ता है।
इन्हीं logs में एक असली संकेत छिपा है, और वह प्रस्ताव के दूसरे हिस्से की ओर इशारा करता है: Evil Martians ने पाया कि Claude Code अपने 76% fetches में content negotiation के ज़रिए markdown माँगता है। मशीनें HTML के मुक़ाबले साफ़ markdown को सचमुच पसंद करती हैं — वे index फ़ाइल को अनदेखा करती हैं, विचार को नहीं।
| दावा | स्थिति | आधार |
|---|---|---|
| AI vendors llms.txt पढ़ते हैं | नहीं — किसी ने प्रतिबद्धता नहीं दी | किसी vendor दस्तावेज़ में यह दावा नहीं; Google स्पष्ट रूप से मना करता है (Mueller, Illyes) |
| व्यवहार में AI bots फ़ाइल लाते हैं | मापने लायक़ भी नहीं | 97% फ़ाइलें: शून्य requests (Ahrefs, 137,000 domains); 2 महीनों में पहचाने गए agents से 37 fetches (Evil Martians) |
| फ़ाइल होने से AI citations बढ़ते हैं | कोई असर नहीं मिला | SE Ranking, 300,000 domains: उद्धरण की आवृत्ति से कोई संबंध नहीं |
| प्रकाशक इसे फिर भी अपना रहे हैं | हाँ — तेज़ी से | एक साल में 4,100 → 36,100 फ़ाइलें (Ahrefs); इनमें Anthropic, Stripe, Cloudflare, Zapier |
| मशीनें HTML से ज़्यादा markdown पसंद करती हैं | हाँ — मापा गया | Claude Code 76% fetches में markdown माँगता है (Evil Martians) |
फिर हम इसे क्यों चलाते हैं
हमारी साइट /llms.txt और प्रति-locale llms-full फ़ाइलें देती है, और हम उनसे किसी असर का दावा नहीं करते: हमारे पास कोई सबूत नहीं कि किसी assistant ने हमारा कंटेंट crawling और search indexes के बजाय इस नक़्शे से पाया हो, और हम यही मानकर चलते हैं कि हमारी फ़ाइल मापे गए औसत से बेहतर नहीं है। तो इसे रखा क्यों?
क्योंकि हमारे आर्किटेक्चर में इसकी कोई लागत नहीं है और यह बासी नहीं हो सकती। फ़ाइल उसी content registry से बनती है जिससे पेज, sitemap और गाइड hub बनते हैं — कोई गाइड आती या बदलती है, तो llms.txt उसी commit में अपडेट हो जाती है। ख़ुद को सँभालने वाला नक़्शा उस भविष्य पर एक मुफ़्त option है जिसमें कोई agent इसे सचमुच पढ़े; हाथ से सँभालने वाला नक़्शा एक बोझ है, जो चुपचाप साइट से बेमेल हो जाएगा।
इसे production में चलाने से वे असली इंजीनियरिंग बंदिशें भी सामने आती हैं जिन्हें विचार-लेख छोड़ देते हैं। हिन्दी locale आने के बाद से हमारा llms-full export दो बार अपनी आकार-सीमा से बाहर निकल चुका है — UTF-8 में देवनागरी प्रति अक्षर लगभग तीन bytes लेती है, और हिन्दी के छोटे पाठों के बावजूद वही गाइड अंग्रेज़ी से लगभग दोगुनी भारी पड़ती हैं — इसलिए सीमा अब 300 किलोबाइट पर है, मूल से तीन गुना। अगर आपकी llms-full.txt किसी मॉडल के context बजट से बड़ी है, तो आपने वही समस्या फिर खड़ी कर ली जिसे यह फ़ाइल हल करने आई थी।
निर्णय का ईमानदार रूप यही है: हम इसे शून्य-लागत की बाज़ी के तौर पर प्रकाशित करते हैं और ठीक वैसा ही बताते हैं — तकनीकी परत का हिस्सा, जो हमारे उस गाइड में दर्ज है कि हम अपनी ही साइट पर GEO कैसे करते हैं, कोई ranking लीवर नहीं। citations पर जिनका मापने योग्य असर है, वे वहीं शामिल हैं: crawler पहुँच, निकाले जा सकने वाले पेज, entity पर काम।
ऐसा llms.txt कैसे बनाएँ जिससे शर्मिंदगी न हो
अगर आपके stack में llms.txt मुफ़्त मिलती है — कोई plugin, static-site hook या CMS template — तो यह है llms.txt का प्रारूप, सीधे spec से।
एक न्यूनतम llms.txt का उदाहरण: साइट के नाम के साथ एक H1, फिर एक blockquote जो दो-तीन वाक्यों में बताए कि साइट क्या है — ऐसे वाक्य जिन्हें agent उद्धृत कर सके। H2 अनुभाग — पेज, गाइड, दस्तावेज़ — हर अनुभाग में markdown लिंक की सूची और प्रति लिंक एक पंक्ति की टिप्पणी। एक Optional अनुभाग उसके लिए जिसे agent छोड़ सकता है। पूरा मानक इतना ही है।
तीन ग़लतियाँ, जिनसे फ़ाइल न होने से भी बुरी हो जाती है:
- इसे सिरे से लगे Disallow के पीछे प्रकाशित करना। अगर robots.txt bot को रोक रहा है, तो वह नक़्शा कभी नहीं देखेगा। पहले पहुँच, फिर नेविगेशन — नक़्शे बनाने से पहले अपने crawler स्विच जाँच लें।
- अपने सारे URL इसमें उड़ेल देना। फ़ाइल का एक ही सैद्धांतिक मूल्य है — छँटाई; सौ बेतरतीब लिंक तो sitemap ही हैं, और sitemap.xml पहले से मौजूद है। ईमानदार एक-पंक्ति टिप्पणियों वाले दस मुख्य पेज बाक़ी सब पर भारी पड़ते हैं।
- इसे साइट से बहकने देना। हाथ से लिखी llms.txt, जो उन पेजों का वर्णन करती है जिन्हें आप तब से दोबारा लिख चुके हैं, वही keywords meta tag है जिससे Mueller ने इसकी तुलना की थी: एक आत्म-वर्णन, जिसे कोई परखता नहीं। इसे पेजों के उसी स्रोत से बनाएँ — या रखें ही नहीं।
संबंधित प्रश्न
llms.txt और robots.txt में क्या अंतर है?
काम पूरी तरह अलग हैं। robots.txt पहुँच तय करता है — कौन-सा crawler कौन-से path ले सकता है — और हर बड़ा AI vendor इसका पालन करने का दस्तावेज़ देता है (उपयोगकर्ता-प्रेरित fetchers के अपवादों सहित, जिन्हें हम robots.txt गाइड में देखते हैं)। llms.txt कुछ भी तय नहीं करती: यह एक सुझाई गई पठन-सूची है, जिसे नियम मानने वाला bot देख सकता है और जिसे मौजूदा माप के अनुसार लगभग कोई नहीं देखता। पहले पहुँच ठीक करें; नक़्शा वैकल्पिक सजावट है।
आज llms.txt से SEO या AI दृश्यता में मदद मिलती है?
कोई मापने योग्य असर नहीं: SE Ranking ने 300,000 domains परखे और फ़ाइल होने तथा AI उत्तरों में उद्धृत होने के बीच कोई संबंध नहीं पाया, और Google कहता है कि वह इस फ़ाइल का उपयोग ही नहीं करता। citations को जो हिलाता है, वह इस श्रृंखला का बाक़ी हिस्सा बताता है — crawler पहुँच, उत्तर-पहले वाले निकाले जा सकने वाले पेज, बाहरी पुष्टि — और AI दृश्यता मापने पर हमारा गाइड दिखाता है कि इनमें से किसी को अपने ही आँकड़ों पर कैसे जाँचें। llms.txt को प्रयोग मानें, योजना कभी नहीं।
llms.txt फ़ाइल कैसे बनाएँ?
छोटा उत्तर: हाथ से न लिखें। अगर आपका platform इसे आपके कंटेंट से बना देता है — documentation hosts यह अपने आप करते हैं, और अधिकतर frameworks तथा CMS के लिए plugins मौजूद हैं — तो उसे चालू कर दें और आपको मुफ़्त में तालमेल बनाए रखने वाली फ़ाइल मिल जाएगी। दस पेज की साइट के लिए हाथ से लिखना ठीक है — उस पैमाने पर रखरखाव की लागत शून्य के बराबर है; उससे बड़ा कुछ भी हो, तो इसे उसी स्रोत से जोड़ें जिससे आपके पेज बनते हैं।
llms-full.txt भी प्रकाशित करनी चाहिए?
केवल तब, जब वह अपने आप बनती हो। यह spec का हिस्सा नहीं है — यह पूरा कंटेंट एक markdown फ़ाइल में देने की परंपरा है, जो मुख्यतः किसी साइट के दस्तावेज़ को हाथ से AI टूल के context में चिपकाने के काम आती है। आकार का ध्यान रखें: कुछ सौ किलोबाइट के बाद आप उन्हीं context windows को भर देते हैं जिनके लिए यह फ़ाइल बनी है। हमारी फ़ाइल की सीमा तय है और locale के हिसाब से बँटी है, ठीक इसी वजह से।
क्या AI vendors आगे चलकर llms.txt अपनाएँगे?
पता नहीं, और रुझान दोनों तरफ़ इशारा करता है: प्रकाशकों में अपनाना एक साल में लगभग नौ गुना बढ़ा, जबकि vendors की प्रतिबद्धता शून्य पर रही और Google ने सीधे मना कर दिया। प्रस्ताव का जो हिस्सा माप में असल ज़ोर पकड़ रहा है, वह markdown ख़ुद है — पेजों के .md संस्करण उपलब्ध हों, तो agents उन्हें पहले से माँगते हैं। spec से कुछ बचता है, तो हमारी बाज़ी साफ़, मशीन-पठनीय पेजों पर है, index फ़ाइल पर नहीं।
संबंधित गाइड
स्रोत
- 01हमारा गाइड: AI crawlers के लिए robots.txt कैसे सेट करें?
- 02हमारा गाइड: अपनी ही साइट पर GEO व्यवहार में कैसे करें?
- 03हमारा गाइड: AI दृश्यता और citations कैसे मापें?
- 04llmstxt.org — llms.txt प्रस्ताव (Jeremy Howard, सितंबर 2024)
- 05Search Engine Journal — Google के Mueller: llms.txt keywords meta tag के बराबर (अप्रैल 2025)
- 06Ahrefs — llms.txt अध्ययन: 97% फ़ाइलों को कोई request नहीं मिली (137,000 domains, जून 2026)
- 07Evil Martians — दो महीने का LLM ट्रैफ़िक, मापा गया (जुलाई 2026)
- 08SE Ranking — llms.txt का AI citations पर कोई असर नहीं (300,000 domains, नवंबर 2025)
- 09Otterly — llms.txt प्रयोग: AI bot logs के 90 दिन (फ़रवरी 2026)
- 10Mintlify — होस्ट किए दस्तावेज़ों के लिए llms.txt स्वतः बनाना (नवंबर 2024)
- 11Ahrefs — llms.txt क्या है, और क्या आपको इसकी ज़रूरत है? (जून 2026 में अद्यतन)
// साझा करें