מה זה llms.txt — והאם האתר שלכם צריך כזה?

ההצעה היא של Jeremy Howard מ-Answer.AI, ופורסמה ב-3 בספטמבר 2024 באתר llmstxt.org. הרעיון: דפי HTML כבדים ועמוסים מדי עבור מודלי שפה, ולכן אתר צריך להגיש מפת markdown ערוכה בכתובת /llms.txt — H1 אחד עם שם האתר, בלוק ציטוט שמסכם את «המידע המרכזי הנחוץ להבנת שאר הקובץ», ולאחריו מקטעי קישורים, כשכל קישור הוא קישור markdown עם הערה אופציונלית בשורה אחת. מקטע בשם Optional מסמן קישורים שה-agent יכול לדלג עליהם כשנדרש הקשר קצר יותר. המפרט ממליץ גם על תאומי markdown נקיים לדפים שלכם, באותה כתובת עם .md בסוף.

שני דברים ש-llms.txt איננו. הוא אינו שולט בגישה — הוא לא מתיר ולא אוסר דבר; זה התפקיד של robots.txt, ואת המפסקים של כל crawler של AI מיפינו במדריך robots.txt שלנו. ו-llms-full.txt — הקובץ הבודד שנושא את כל הטקסט של האתר — אינו במפרט בכלל: זו מוסכמה של האקוסיסטם, שהתפשטה בנובמבר 2024, כאשר Mintlify החלה לייצר אוטומטית את שני הקבצים לכל אתר תיעוד שהיא מאחסנת.

זו השאלה שרוב המדריכים חומקים ממנה — האם crawlers של AI באמת משתמשים ב-llms.txt? — והתשובה הנמדדת חדה: כמעט אף אחד.

אף ספק AI לא התחייב לצרוך אותו. לא OpenAI, לא Anthropic, לא Google ולא Perplexity — אין תיעוד רשמי של אף אחד מהם שאומר שהמערכות שלהם מורידות או מנתחות llms.txt. Google מבטלת אותו בגלוי: John Mueller כתב באפריל 2025 ש«למיטב ידיעתי אף שירות AI לא אמר שהוא משתמש ב-LLMs.TXT (ואפשר לראות בלוגים של השרת שהם אפילו לא מחפשים אותו). מבחינתי זה מקביל לתג המטא keywords», ו-Gary Illyes אישר ביולי 2025 ש-Google אינה תומכת בו ואינה מתכננת לתמוך.

לוגי השרת אומרים את אותו הדבר. Ahrefs בדקה 137,000 דומיינים ביוני 2026: 97% מקובצי llms.txt שפורסמו לא קיבלו אף בקשה בחודש שקדם, וגם ב-3% שקיבלו תנועה כלשהי רק כ-1% ממנה הגיע מ-bots של אחזור AI. ב-Evil Martians סרקו שני חודשי לוגים באתר שלהם: מתוך כ-770 הבאות של הקובץ, 37 הגיעו מ-agents מזוהים של AI. Otterly עקבה אחרי 62,100 ביקורי bots של AI על פני 90 יום — 84 מהם נגעו ב-/llms.txt, שליש ממה שדף תוכן ממוצע מקבל. ו-SE Ranking בדקה 300,000 דומיינים בחיפוש קשר בין קיום הקובץ לבין הופעה כציטוט בתשובות AI: לא נמצא קשר.

במקביל האימוץ ממשיך לטפס — מכ-4,100 קבצים שפורסמו ביוני 2025 ל-36,100 שנה אחר כך, גידול של כמעט תשעה מונים בקבצים שכמעט דבר אינו קורא. רשימת המפרסמים מרשימה ואירונית במידה שווה: Anthropic, Cloudflare, Zapier, Stripe ו-Vercel כולן מגישות קובץ כזה — בעיקר בדומייני התיעוד שלהן — ו-Perplexity מפרסמת llms.txt משלה בלי שטענה מעולם שהיא קוראת את אלה של אחרים.

באותם לוגים מסתתר סימן אמיתי אחד, והוא מצביע על חלק אחר בהצעה: ב-Evil Martians מצאו ש-Claude Code מבקש markdown באמצעות content negotiation ב-76% מההבאות שלו. מכונות באמת מעדיפות markdown נקי על HTML — מה שהן מתעלמות ממנו הוא קובץ האינדקס, לא הרעיון.

האתר שלנו מגיש /llms.txt וקובצי llms-full לכל שפה, ואיננו טוענים לשום השפעה שלהם: אין לנו ראיה שעוזר כלשהו מצא את התוכן שלנו דרך המפה ולא דרך סריקה ואינדקסי חיפוש, ואנחנו מניחים שהקובץ שלנו אינו מצליח יותר מהממוצע הנמדד. אז למה להחזיק אותו?

כי בארכיטקטורה שלנו הוא לא עולה כלום ואינו יכול להתיישן. הקובץ נוצר מאותו מרשם תוכן שבונה את הדפים, את ה-sitemap ואת מרכז המדריכים — כשמדריך יוצא או משתנה, llms.txt מתעדכן באותו commit. מפה שמתחזקת את עצמה היא אופציה חינמית על עתיד שבו agent כלשהו כן יקרא אותה; מפה שצריך לתחזק ביד היא נטל שיתנתק מהאתר בשקט.

הפעלה של קובץ כזה בייצור חושפת גם אילוצי הנדסה אמיתיים שמאמרי הדעה מדלגים עליהם. ייצוא ה-llms-full שלנו חרג פעמיים ממגבלת הגודל שלו מאז שנוספה שפת הינדי — דוונגארי תופסת כשלושה בייטים לתו ב-UTF-8, וגם עם טקסטים קצרים יותר בהינדי אותם מדריכים שוקלים בערך כפליים מהאנגלית — ולכן המגבלה עומדת כיום על 300 קילובייט, פי שלושה מהמקורית. אם ה-llms-full.txt שלכם גדול מתקציב ההקשר של המודל, יצרתם מחדש בדיוק את הבעיה שהקובץ נועד לפתור.

זו הצורה הכנה של ההחלטה: אנחנו מפרסמים אותו כהימור בעלות אפס, ומתארים אותו בדיוק כך — חלק מהשכבה הטכנית המתועדת במדריך שלנו על איך אנחנו עושים GEO באתר שלנו עצמו, לא מנוף דירוג. מה שיש לו השפעה נמדדת על ציטוטים מכוסה שם: גישת crawlers, דפים שניתן לחלץ מהם, עבודת ישות.

אם llms.txt חינמי ב-stack שלכם — plugin, hook של מחולל אתרים סטטי או תבנית CMS — הרי הפורמט של llms.txt, ישר מהמפרט.

דוגמה מינימלית ל-llms.txt: H1 אחד עם שם האתר, ואחריו בלוק ציטוט שמסכם מה האתר בשני-שלושה משפטים שה-agent יכול לצטט. מקטעי H2 — דפים, מדריכים, תיעוד — כל אחד רשימה של קישורי markdown עם הערה בשורה אחת לכל קישור. מקטע Optional למה שה-agent יכול לדלג עליו. זה כל התקן.

שלוש הטעויות שהופכות את הקובץ לגרוע מאי-קיומו: