// מדריך
איך מגדירים robots.txt לסורקי AI?
מאת: Dmitry Filippov, Founder, GET-GEO.AI
פורסם: 2026-08-19 · עודכן: 2026-09-22
// תשובה קצרה
הגדרת robots.txt לסורקי AI היא שלוש החלטות נפרדות, לא אחת: אם להתיר סורקי אימון, סורקי אינדקס חיפוש וסורקים שפועלים לפי בקשת משתמש. לכל ספק יש ערכי user-agent שונים לכל תפקיד. ברוב האתרים כדאי להתיר חיפוש וסורקים לפי בקשה, להחליט במודע על אימון — ולדעת שחלק מהסורקים מתעלמים מ-robots.txt לגמרי.
- הגדרת robots.txt לסורקי AI דורשת שלוש החלטות, אחת לכל תפקיד (אימון, אינדקס חיפוש, שליפה לפי בקשת משתמש), על פני 19 ערכי user-agent שאומתו מול תיעוד הספקים באוגוסט 2026.
- לחסימת OAI-SearchBot יש מחיר מתועד: אתרים שחסמו אותו “לא יוצגו בתשובות החיפוש של ChatGPT”; חסימת GPTBot לא פוגעת בנראות, כי שלושת הסורקים של OpenAI מפרידים בין האימון לשאר התפקידים.
- ארבעה סורקים שפועלים לפי בקשת משתמש (ChatGPT-User, Perplexity-User, Meta-ExternalFetcher, Amzn-User) עשויים להתעלם מ-robots.txt לפי הצהרות הספקים עצמם, ו-Bytespider מתעלם ממנו בפועל, כפי שנמדד.
- העסקה היא סריקה כבדה תמורת ציטוטים: לפי נתוני Cloudflare Radar ליוני 2025, כ-1,700 סריקות על כל הפניה אצל OpenAI וכ-70,900 אצל Anthropic.
- אחת מכל 18 בקשות עם user-agent של סורק AI מוכר היא מזויפת (HUMAN Security, 2026), ולכן אמתו את כתובות ה-IP מול הרשימות שהספקים מפרסמים ואכפו זאת ב-CDN או ב-WAF.
החלטה אחת היא בעצם שלוש
לשאלה “האם לחסום סורקי AI?” אין תשובה אחת, כי זו לא שאלה אחת. כל חברת AI גדולה מפעילה סורקים נפרדים לתפקידים נפרדים: סורקי אימון מזינים את מאגרי המודלים, סורקי אינדקס חיפוש מזינים את התשובות שמצטטות אתכם, וסורקים שפועלים לפי בקשת משתמש קוראים עמוד כי אדם בדיוק שאל עליו את העוזר. אם חסמתם הכול בשורה אחת, לא נקטתם עמדה בעניין אימון AI, אלא הוצאתם את עצמכם מתשובות AI.
העלויות אינן סימטריות. חסימת סורק אימון היא בחירה עקרונית שברוב המקרים אין לה מחיר בנראות: Google ו-Apple מתעדים זאת במפורש, ואצל OpenAI ו-Anthropic זה נובע מההפרדה בין הסורקים — החיפוש רץ על סורקים נפרדים, ולחסימתם יש השלכות שמתועדות בנפרד. לחסימת סורק חיפוש או סורק לפי בקשת משתמש יש מחיר ישיר ומתועד — OpenAI, למשל, מצהיר שאתרים שביטלו את OAI-SearchBot “לא יוצגו בתשובות החיפוש של ChatGPT”. המכניקה של כל מנוע מפורטת במדריכים שלנו על קבלת ציטוטים מ-ChatGPT, מ-Claude ומ-Perplexity; העמוד הזה הוא המפה המלאה.
שני מספרים ממסגרים את העסקה. Cloudflare מדד כמה עמודים חברות AI סורקות על כל כניסה שהן שולחות חזרה: לפי נתוני Cloudflare Radar ליוני 2025, כ-1,700 סריקות על כל הפניה אצל OpenAI וכ-70,900 אצל Anthropic. היחסים יורדים מאז — לוח AI Insights של Cloudflare עוקב אחריהם בזמן אמת — אבל מבנה העסקה ברור: אתם נותנים סריקה כבדה תמורת ציטוטים. הטבלה שלמטה היא הדרך לקבוע את התנאים.
רשימה מלאה של סורקי AI, מאומתת מול תיעוד הספקים
כל שורה בטבלה נבדקה מול התיעוד של הספק עצמו נכון לאוגוסט 2026. “מזהה” פירושו שהשם פועל רק כקבוצה ב-robots.txt: אין סורק נפרד עם ה-user-agent הזה.
| User-agent | תפקיד | מכבד robots.txt | השפעת החסימה |
|---|---|---|---|
| GPTBot — OpenAI | אימון | כן | תוכן עתידי מוחרג מאימון המודלים של OpenAI; חיפוש ChatGPT רץ על OAI-SearchBot |
| OAI-SearchBot — OpenAI | אינדקס חיפוש | כן | “לא יוצגו בתשובות החיפוש של ChatGPT” |
| ChatGPT-User — OpenAI | שליפה לפי בקשת משתמש | “הכללים עשויים לא לחול” (רשמי) | הצהרתי בלבד — המשתמש הוא שמפעיל כל שליפה |
| ClaudeBot — Anthropic | אימון | כן | תוכן עתידי מוחרג ממערכי האימון של Anthropic |
| Claude-SearchBot — Anthropic | אינדקס חיפוש | כן | בלי אינדוקס — “עלול להפחית את נראות האתר שלכם” |
| Claude-User — Anthropic | שליפה לפי בקשת משתמש | כן | אי אפשר לשלוף את העמוד לפי בקשת משתמש של Claude |
| PerplexityBot — Perplexity | אינדקס חיפוש | כן | מחוץ לאינדקס החיפוש והציטוטים של Perplexity |
| Perplexity-User — Perplexity | שליפה לפי בקשת משתמש | “בדרך כלל מתעלם מ-robots.txt” (רשמי) | הצהרתי בלבד |
| Google-Extended — Google (מזהה) | אימון + שליטה בעיגון במקורות | מכובד דרך Googlebot | מחוץ לאימון ולעיגון במקורות של Gemini; חיפוש Google ו-AI Overviews לא מושפעים |
| Applebot — Apple | אינדקס חיפוש (Siri, Spotlight, Safari) | כן — פועל לפי הכללים של Googlebot אם אין כללים על שמו | מחוץ למוצרי החיפוש של Apple |
| Applebot-Extended — Apple (מזהה) | בקרת אימון | מכובד דרך Applebot | מחוץ לאימון של מודלי הבסיס של Apple; נשאר ב-Siri וב-Spotlight |
| Meta-ExternalAgent — Meta | אימון + אינדוקס | כן | מחוץ לאימון של Meta AI ולאינדקס שלו |
| Meta-ExternalFetcher — Meta | שליפה לפי בקשת משתמש | “עשוי לעקוף את robots.txt” (רשמי) | הצהרתי בלבד |
| CCBot — Common Crawl | ארכיון רשת פתוח | כן | מחוץ למערכי הנתונים הציבוריים שעליהם מאמנות מעבדות AI רבות את המודלים — יציאה גורפת |
| Amazonbot — Amazon | שיפור מוצרים; עשוי לאמן מודלי AI של Amazon | כן | מחוץ לסריקה של Amazon, כולל כל אימון מודלים |
| Amzn-SearchBot — Amazon | אינדקס חיפוש (חוויות חיפוש של Alexa; בלי אימון) | כן — פועל לפי הכללים הכלליים לסורקי חיפוש אם אין כללים על שמו | מחוץ לחוויות החיפוש של Alexa |
| Amzn-User — Amazon | שליפה ביוזמת משתמש (בקשות Alexa) | “עשוי לא לציית לכל הנחיות robots.txt” (רשמי) | הצהרתי בלבד |
| DuckAssistBot — DuckDuckGo | תשובות בזמן אמת (בלי אימון) | כן (נכנס לתוקף בתוך 72 שעות) | מחוץ לתשובות DuckAssist |
| Bytespider — ByteDance | אימון (לא מתועד) | לא — מתעלם ממנו בפועל, לפי מדידות | שום דבר דרך robots.txt; נדרשת חסימה ברמת השרת |
שלוש תצורות robots.txt לסורקי AI
מהטבלה נגזרות שלוש גישות שאפשר לעבוד איתן.
תצורה 1 — נראות לפני הכול. אפשרו הכול, במפורש: קבוצת Allow נפרדת לכל סורק מתועד בטבלה (כולם חוץ מ-Bytespider — Allow לסורק שמתעלם מהקובץ הוא רעש), ועוד כלל כללי לכל השאר. מתאים לאתרים שחיים מהימצאות ומציטוט — עסקי תוכן, סוכנויות, רוב עסקי ה-B2B. זה מה שאנחנו מפעילים אצלנו; ראו “איך נראה ה-robots.txt שלנו” למטה.
User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ClaudeBot
Allow: /…וכן הלאה לכל סורק בטבלה. קובץ ה-robots.txt הפעיל שלנו ב-get-geo.ai/robots.txt הוא הגרסה המלאה.
תצורה 2 — בלי אימון. הבחירה המודעת הנפוצה ביותר: להישאר מחוץ למאגרי האימון של המודלים, ולהישאר בתשובות. עשו Disallow לסורקי האימון ולמזהים שלהם, ואפשרו את השאר. שתי הסתייגויות לפני שאתם מדביקים: שורת ה-Bytespider היא הצהרתית בלבד (הפרק הבא מסביר למה), והסרת Meta-ExternalAgent היא ביטול האימון היחיד עם מחיר בנראות — היא מוציאה אתכם גם מהאינדקס של Meta:
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: Meta-ExternalAgent
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Amazonbot
Disallow: /
User-agent: Bytespider
Disallow: /
User-agent: *
Allow: /תצורה 3 — נעילה מלאה. לגיטימית לתוכן בתשלום או קנייני. ב-robots.txt אפשר לשים כמה שורות User-agent מעל בלוק כללים אחד, כך שהכול נשאר קצר — את Applebot השארנו כאן בחוץ, כי חסימה שלו מוציאה אתכם גם מחיפוש Siri ו-Spotlight, וזו החלטה גדולה יותר מתשובות AI:
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Meta-ExternalAgent
User-agent: Meta-ExternalFetcher
User-agent: CCBot
User-agent: Amazonbot
User-agent: Amzn-SearchBot
User-agent: Amzn-User
User-agent: DuckAssistBot
User-agent: Bytespider
Disallow: /קראו את הפרק הבא לפני שאתם מטמיעים את זה: אצל כמה מהסורקים שלמעלה הקובץ הוא בקשה, לא מחסום.
אילו סורקי AI מתעלמים מ-robots.txt?
robots.txt הוא מדיניות מפורסמת, לא מנגנון אכיפה — ולגבי קבוצה שלמה של סורקים, הספקים עצמם אומרים זאת. OpenAI על ChatGPT-User: “מכיוון שפעולות אלה מופעלות בידי משתמש, כללי robots.txt עשויים לא לחול”. Meta על Meta-ExternalFetcher: הוא “עשוי לעקוף את robots.txt כי הוא מבצע שליפות שהתבקשו בידי המשתמש”. הסורק של Perplexity שפועל לפי בקשת משתמש “בדרך כלל מתעלם מכללי robots.txt”. Amazon על Amzn-User: הוא “עשוי לא לציית לכל הנחיות robots.txt”. ההיגיון עקבי: אדם ביקש, ולכן השליפה נחשבת לכניסה של האדם ולא לסריקה.
ויש את Bytespider, שאין לו תיעוד בכלל, והוא מתעלם מהקובץ בפועל, לפי מדידות: Cloudflare מצא שהוא ניגש ליותר אתרים מוגנים מכל סורק AI אחר (40.4% באמצע 2024), ו-HAProxy מדד אותו בקרוב ל-90% מתעבורת סורקי ה-AI שלו, וציין שהוא מתעלם מהנחיות robots.txt.
לכן האכיפה עוברת לשכבה שמתחת לקובץ. אמתו את הסורקים מול רשימות ה-IP שרוב הספקים מפרסמים — OpenAI, Anthropic, Apple, Common Crawl ו-DuckDuckGo מתחזקים רשימות JSON, ו-Amazon מפרסם את הטווחים שלו בעמוד המפתחים — וחסמו ב-CDN או ב-WAF את מה שאתם באמת רוצים לעצור. האימות חשוב יותר ממה שנראה: HUMAN Security מדד שאחת מכל שמונה עשרה בקשות עם user-agent של סורק AI מוכר היא מזויפת.
איך נראה ה-robots.txt שלנו
ה-robots.txt שלנו הוא תצורת הנראות לפני הכול: תשע עשרה קבוצות Allow מפורשות לכל סורק בנפרד — כל סורק מהטבלה שמכבד את הקובץ, הסורקים שפועלים לפי בקשת משתמש שאנחנו מקבלים בברכה בכל מקרה, ו-Bingbot הקלאסי — ואחריהן Allow כללי לכל השאר. שינינו אותו לצורה הזו באוגוסט 2026, והסרנו באותו מעבר את קבוצת anthropic-ai הישנה — ובזמן בדיקת העובדות למדריך הזה גם קבוצת cohere-ai שהייתה בגדר ניחוש: התיעוד של Cohere עצמו קובע שהוא לא מפעיל סורקים כרגע.
ההתנגדות המתבקשת: שורה אחת של “User-agent: * / Allow: /” הייתה מניבה התנהגות סורקים זהה. נכון. הקבוצות המפורשות נותנות שלושה דברים שהשורה האחת לא נותנת. כל ספק מקבל איתות ברור של כוונה, ולא היעדר התנגדות. עריכות עתידיות בטוחות יותר — Disallow שנוסף לסורק אחד לא יכול לחול בשקט על סורקים שאיש לא חשב עליהם. והקובץ משמש גם כרשימת הבדיקה שלנו: כשספק משיק סורק חדש, כמו ש-OpenAI ו-Anthropic עשו בשנתיים האחרונות, הפער נראה בקובץ עצמו וביומני השרת שלנו.
את המערך הרחב יותר מסביר המדריך שלנו על GEO באתר הזה. מוציא לאור עם ארכיון בתשלום עשוי לבחור בתצורה 2 או 3. בכל מקרה, בדקו את הקובץ אחת לרבעון: OpenAI הוסיף את OAI-SearchBot ב-2024, Anthropic הוסיף את Claude-SearchBot ב-2025, ו-Amazon פיצל את הסריקה שלו לשלושה סורקים עד 2026. מדיניות שנכתבה ב-2024 עשויה כבר לא לכסות את הסורקים הרלוונטיים.
שאלות קשורות
האם לחסום סורקי AI?
פצלו את השאלה לפי תפקיד. חסימת סורקי אימון (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot, Amazonbot) לא עולה בנראות בחיפוש — Google ו-Apple מתעדים זאת במפורש, ואצל השאר זה נובע מהמבנה. היוצא מן הכלל הוא Meta-ExternalAgent, שמאמן ומאנדקס בסורק אחד: חסימתו מוציאה מהשניים. חסימת סורקי אינדקס חיפוש וסורקים לפי בקשת משתמש מסירה אתכם מתשובות AI, שבהן נשאל חלק גדל והולך משאלות הקנייה. את שאלת האימון הכריעו לפי עיקרון; את שאלת הנראות — לפי המקור של הציטוטים והתנועה שלכם.
האם חסימת GPTBot מסירה את האתר מ-ChatGPT?
לא. GPTBot מזין רק את אימון המודלים. החיפוש של ChatGPT רץ על OAI-SearchBot, וקריאת עמוד לפי בקשת משתמש עוברת דרך ChatGPT-User — חסמו את GPTBot ושניהם ימשיכו לעבוד. זו אותה הפרדה ש-Anthropic מפעיל בין ClaudeBot לבין Claude-SearchBot ו-Claude-User.
האם Google-Extended משפיע על AI Overviews?
לא — וזו הטעות הנפוצה ביותר בתחום. Google מתעד ש-Google-Extended שולט באימון ובעיגון במקורות של Gemini, ו“אינו משפיע על הכללת אתר בחיפוש Google”. AI Overviews ו-AI Mode הם חלק מהחיפוש עצמו: הם כפופים לגישה של Googlebot ולבקרות הקטעים — nosnippet, data-nosnippet, max-snippet, noindex. המכניקה המלאה נמצאת במדריך שלנו על הופעה ב-AI Overviews של Google.
איך מאמתים שסורק הוא אמיתי?
אל תסמכו רק על מחרוזת ה-user-agent — אחת מכל שמונה עשרה בקשות שמתיימרות להיות סורק AI מוכר היא מזויפת, לפי מדידות HUMAN Security מ-2026. בדקו את כתובת ה-IP של המקור מול הרשימה שהספק מפרסם: OpenAI, Anthropic, Apple, Common Crawl ו-DuckDuckGo מפרסמים רשימות IP בפורמט JSON, Amazon מפרסם את הטווחים שלו בעמוד המפתחים שלו, ו-Google ו-Apple תומכים באימות DNS הפוך. כל מה שנכשל בבדיקה מטופל כסורק גרידה, לא משנה איך הוא מציג את עצמו.
האם robots.txt מספיק, או שצריך גם llms.txt?
הם ממלאים תפקידים שונים. robots.txt שולט בגישה — מי רשאי לשלוף מה. llms.txt הוא עזר ניווט — מפה קריאה למכונה שעוזרת למודלים למצוא ולפרש את העמודים המרכזיים שלכם אחרי שנכנסו. קודם כול גישה: llms.txt שמאחורי Disallow גורף לא עוזר לאיש. ל-llms.txt יש מדריך משלו בסדרה הזו.
מדריכים קשורים
מקורות
- 01GET-GEO.AI – איך מופיעים ב-Google AI Overviews?
- 02GET-GEO.AI – איך עושים GEO באתר שלכם בפועל?
- 03OpenAI – bot documentation: GPTBot, OAI-SearchBot, ChatGPT-User
- 04Anthropic – crawler documentation: ClaudeBot, Claude-SearchBot, Claude-User
- 05Perplexity – crawler documentation: PerplexityBot, Perplexity-User
- 06Google – common crawlers and Google-Extended
- 07Google – AI features in Search and site owner controls
- 08Apple – Applebot and Applebot-Extended
- 09Meta – web crawlers: Meta-ExternalAgent, Meta-ExternalFetcher
- 10Common Crawl – CCBot documentation
- 11Amazon – Amazonbot documentation
- 12DuckDuckGo – DuckAssistBot documentation
- 13Cloudflare – the crawl-to-refer ratio of AI platforms (יולי 2025) and live AI Insights
- 14Cloudflare – Bytespider leads AI-bot traffic and blocks (יולי 2024)
- 15HAProxy – ~90% of our AI-crawler traffic is Bytespider (אוקטובר 2024)
- 16HUMAN Security – 2026 State of AI traffic: crawler spoofing benchmarks
// שיתוף
איך לצטט את העמוד הזה
מוזמנים לצטט ולעשות שימוש חוזר — עם ייחוס וקישור לעמוד זה.
“איך מגדירים robots.txt לסורקי AI?” — GET-GEO.AI, 2026-09-22. https://get-geo.ai/he/guides/robots-txt-for-ai-crawlers