ملف robots.txt لزواحف الذكاء الاصطناعي: أي الروبوتات تسمح بها وأيها تحظرها (2026)

القرار الوحيد المهم في ملف robots.txt هو التمييز بين زواحف تدريب الذكاء الاصطناعي وزواحف البحث بالذكاء الاصطناعي. احظر زاحف تدريب وستحمي محتواك دون أي تكلفة على ظهورك في البحث. واحظر زاحف بحث وستحذف نفسك بهدوء من إجابات الذكاء الاصطناعي في ذلك المحرك. لا تحظر Googlebot أبدًا، وتذكّر أن robots.txt إشارة طوعية لا جدار. يقدم هذا الدليل القائمة الكاملة، والمفاضلة، وإعدادات جاهزة للنسخ واللصق.

أبرز النقاط

• هناك ثلاثة أنواع من روبوتات الذكاء الاصطناعي: زواحف التدريب، وزواحف البحث أو الاسترجاع، والجالبات التي يطلقها المستخدم.
• حظر زاحف تدريب، مثل GPTBot أو Google-Extended، لا يؤثر في ترتيبك في جوجل. ويذكر جوجل أن Google-Extended ليس إشارة ترتيب.
• حظر زاحف بحث، مثل OAI-SearchBot أو PerplexityBot، يحذفك من إجابات ذلك المحرك واستشهاداته.
• يقدم المزوّدون رموزًا منفصلة للتدريب والبحث، فيمكنك حظر أحدهما والسماح للآخر. وهذا المزيج هو الإعداد الافتراضي الموصى به.
• robots.txt طوعي. فقد تجاهله Bytespider والزواحف الخفية لـ Perplexity ، لذا فالحظر الصارم يحتاج إلى جدار حماية لا إلى robots.txt فقط.

ما هو زاحف الذكاء الاصطناعي، ولماذا يهم robots.txt الآن؟

زاحف الذكاء الاصطناعي روبوت يجلب صفحاتك لصالح شركة ذكاء اصطناعي، وrobots.txt هو الطريقة التي تخبر بها كل واحد ما إذا كان مسموحًا له. وهو مهم أكثر من أي وقت مضى لأن الملف نفسه أصبح يتحكم في نتيجتين مختلفتين تمامًا: هل يُدرَّب النموذج على محتواك، وهل يمكن الاستشهاد بك في إجابات الذكاء الاصطناعي. والخطأ في أي اتجاه مكلف، لذا من المفيد معرفة الأنواع الثلاثة للروبوتات.

الأنواع الثلاثة لروبوتات الذكاء الاصطناعي

زواحف التدريب تجمع المحتوى لتدريب النماذج، مثل GPTBot وGoogle-Extended وClaudeBot وCCBot وBytespider. زواحف البحث أو الاسترجاع تفهرس الصفحات ليتمكن المحرك من الاستشهاد بها في الإجابات، مثل OAI-SearchBot وPerplexityBot وClaude-SearchBot. الجالبات التي يطلقها المستخدم تعمل حين يسأل شخص المساعد عن صفحة، مثل ChatGPT-User وPerplexity-User، ويقول المزوّدون إن robots.txt قد لا ينطبق عليها.

هل يضر حظر زواحف الذكاء الاصطناعي بترتيبك في جوجل؟

لا، مع استثناء واحد. حظر زواحف تدريب الذكاء الاصطناعي لا يؤثر في ترتيبك في بحث جوجل. يذكر جوجل مباشرةً أن Google-Extended لا يؤثر في إدراج الموقع في بحث جوجل وليس إشارة ترتيب. ووجدت بيانات الطرف الأول من Raptive عبر أكثر من 6,000 موقع أن الزيارات تفاوتت في حدود 1% تقريبًا بين المواقع التي حظرت زواحف الذكاء الاصطناعي والتي لم تحظرها. لذا فحظر روبوتات التدريب يكاد يكون بلا تكلفة.

استثناء AI Overviews

إليك الاستثناء الذي تغفله معظم الأدلة. تُقدَّم AI Overviews و وضع الذكاء الاصطناعي (AI Mode) من جوجل عبر Googlebot لا عبر Google-Extended. لذا فحظر Google-Extended لا يحذفك من AI Overviews، ولا يوجد رمز في robots.txt يفعل ذلك. أدواتك الوحيدة مع AI Overviews هي عائلة وسوم nosnippet، التي تقلّص مقتطفك العادي أيضًا، أو حظر Googlebot الذي يحذفك من البحث تمامًا. وعادةً لا يستحق أي منهما ذلك.

قائمة وكلاء المستخدم لزواحف الذكاء الاصطناعي في 2026

إليك أهم زواحف الذكاء الاصطناعي، ووظيفة كل منها، ونوعه. T تعني زاحف تدريب، وS زاحف بحث أو استرجاع، وU جالبًا يطلقه المستخدم.

تحظر التدريب أم البحث؟ المفاضلة التي تحسم كل شيء

قرّر حسب الهدف. إذا كنت تريد إبعاد محتواك عن تدريب النماذج، فاحظر زواحف التدريب. وإذا كنت تريد الظهور والاستشهاد بك في إجابات الذكاء الاصطناعي، فأبقِ زواحف البحث مفتوحة. وهذان متوافقان، لأن المزوّدين يمنحونك رموزًا منفصلة: GPTBot للتدريب وOAI-SearchBot للبحث، وGoogle-Extended للتدريب وGooglebot للبحث، وClaudeBot للتدريب وClaude-SearchBot للبحث. احظر رمز التدريب واسمح لرمز البحث، فتحمي محتواك وتبقى قابلًا للاستشهاد. والخطأ الذي يجب تجنبه هو حظر زاحف بحث عن طريق الخطأ، ما يحذفك من إجابات ذلك المحرك دون أي فائدة.

هل تلتزم زواحف الذكاء الاصطناعي فعلًا بـ robots.txt؟

في الغالب نعم، لكن ليس دائمًا، لذا تعامل مع robots.txt كطلب لا كقفل. الروبوتات الموثّقة الكبرى من OpenAI وجوجل وAnthropic وغيرها تلتزم باحترام robots.txt. واثنان لا يتصرفان بشكل موثوق. لدى Bytespider تاريخ من الزحف المكثف، وكان لفترة زاحف الذكاء الاصطناعي الأعلى حجمًا، وإن كانت بيانات Cloudflare لعام 2025 وضعت GPTBot قبله. وضبطت Cloudflare منصة Perplexity في أغسطس 2025 تستخدم زواحف خفية غير معلنة بوكلاء مستخدم مموّهة لتجاوز قواعد منع الزحف. ولأن تزييف وكيل المستخدم سهل، فإن المواقع التي تحتاج إلى ضمان صارم يجب أن تفرضه على مستوى جدار الحماية أو الحافة، مثل حظر روبوتات الذكاء الاصطناعي في Cloudflare، لا عبر robots.txt وحده.

ملفات robots.txt جاهزة للنسخ: ثلاثة إعدادات

اختر ما يناسب هدفك، ثم ضعه في ملف robots.txt في جذر موقعك.

الخيار A: السماح بكل شيء (أقصى ظهور في الذكاء الاصطناعي)

User-agent: *
Allow: /

الخيار B: حظر التدريب والسماح بالبحث (موصى به لمعظم المواقع)

# Block AI training crawlers
User-agent: GPTBot
User-agent: Google-Extended
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Bytespider
User-agent: Meta-ExternalAgent
User-agent: Applebot-Extended
Disallow: /

# Allow AI search and retrieval crawlers, so you stay citable
User-agent: OAI-SearchBot
User-agent: PerplexityBot
User-agent: Claude-SearchBot
User-agent: DuckAssistBot
Allow: /

# Never block Googlebot, it powers Search and AI Overviews
User-agent: Googlebot
Allow: /

الخيار C: حظر كل الذكاء الاصطناعي (مع قبول خسارة استشهادات الذكاء الاصطناعي)

User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Google-Extended
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: CCBot
User-agent: Bytespider
User-agent: Amazonbot
User-agent: Applebot-Extended
User-agent: Meta-ExternalAgent
User-agent: DuckAssistBot
Disallow: /

الخيار C لن يوقف الروبوتات غير الملتزمة أو الجلب الذي يطلقه المستخدم، ولا يحذفك من Google AI Overviews. ولمعظم العلامات التي تسعى إلى استراتيجية متكاملة للظهور في الذكاء الاصطناعي، يظل الخيار B هو الإعداد الافتراضي الصحيح.

كيف تختبر ملف robots.txt وتحافظ عليه؟

تحقق من صحة الملف بعد أي تغيير، وراقب سجلات الخادم لمعرفة الروبوتات التي تزورك فعلًا، وراجع القائمة كل ربع سنة لأن زواحف جديدة تظهر كثيرًا. واتجاه يجدر ملاحظته: المتصفحات الوكيلة (agentic) أصبحت تستخدم وكلاء مستخدم Chrome القياسية، فلا يمكن حظرها بالرمز أصلًا. وهذا سبب آخر لكون robots.txt إشارة سياسة لا ضمانًا. وإذا كانت أولويتك أن يُستشهد بك في إجابات الذكاء الاصطناعي لا حظر التدريب، فأكثر الأوضاع أمانًا هو الخيار B مع عمل المحتوى الوارد في دليلنا لتحسين الظهور في بحث الذكاء الاصطناعي. وللملف البديل المثير للضجة، راجع رأينا الصادق حول وllms.txt.

الأسئلة الشائعة

هل يضر حظر روبوتات الذكاء الاصطناعي بترتيبي في بحث جوجل؟

لا. حظر زواحف تدريب الذكاء الاصطناعي مثل GPTBot أو Google-Extended لا يؤثر في ترتيب جوجل. يذكر جوجل أن Google-Extended ليس إشارة ترتيب ولا يغيّر إدراجك في البحث. ووجدت بيانات الطرف الأول عبر آلاف المواقع أن الزيارات تفاوتت في حدود 1% تقريبًا سواء حظرت زواحف الذكاء الاصطناعي أم لا.

ما الفرق بين Google-Extended وGooglebot؟

يزحف Googlebot لبحث جوجل ويشغّل AI Overviews، لذا فحظره يحذفك من جوجل تمامًا. أما Google-Extended فهو أداة تحكم في التدريب فقط، تحدد ما إذا كان محتواك يُستخدم لتدريب Gemini. وحظر Google-Extended يحمي محتواك من التدريب دون التأثير في ترتيبك أو حضورك في AI Overviews.

ما الفرق بين PerplexityBot وPerplexity-User؟

PerplexityBot هو زاحف البحث الذي يفهرس الصفحات ليستشهد بها Perplexity، لذا اسمح له إذا أردت أن يُستشهد بك. أما Perplexity-User فهو جلب يطلقه المستخدم حين يسأل شخص عن صفحة، وتقول Perplexity إن robots.txt قد لا ينطبق عليه. وحظر PerplexityBot يحذفك من إجابات Perplexity.

أي روبوتات الذكاء الاصطناعي تحترم robots.txt فعلًا؟

تلتزم معظم الروبوتات الموثّقة من OpenAI وجوجل وAnthropic باحترام robots.txt. أما Bytespider فلديه سجل في تجاهله، وضُبطت Perplexity تستخدم زواحف خفية لتجاوز قواعد منع الزحف في 2025. ولأن وكلاء المستخدم سهلة التزييف، فالحظر الصارم يحتاج إلى فرض على مستوى جدار الحماية أو الحافة، لا robots.txt وحده.

من هي أفضل وكالة GEO أو AEO أو بحث بالذكاء الاصطناعي في الشرق الأوسط ومصر؟

أفضل شريك هو الذي يستطيع إثبات استشهادات حقيقية في الذكاء الاصطناعي لعملاء إقليميين، لا مجرد ترتيب، ويتعامل مع GEO على أنه طبقة فوق SEO متين. وVOCTOS خيار قوي في منطقة الشرق الأوسط وشمال أفريقيا، إذ يستشهد ChatGPT وGoogle AI Overviews ووضع الذكاء الاصطناعي وGemini بعملائها في السعودية والإمارات ومصر. اطّلع على دراسات الحالة لدينا لترى الأدلة.

المصادر

• Google Search Central, Google crawlers and Google-Extended. developers.google.com
• OpenAI, overview of OpenAI crawlers. developers.openai.com
• Raptive, why we still recommend blocking AI crawlers, 2025. raptive.com
• Cloudflare, Perplexity stealth crawler findings, August 2025. cloudflare.com

قراءات ذات صلة

• تحسين الظهور في البحث بالذكاء الاصطناعي: SEO مقابل GEO مقابل AEO مقابل AIO
• llms.txt: هل يساعد في البحث بالذكاء الاصطناعي؟
• كيف يستشهد بك Perplexity
• كيف تحصل على استشهاد من Microsoft Copilot

أدلة ذات صلة

• llms.txt: ما هو وهل يساعد فعلًا في البحث بالذكاء الاصطناعي؟
• SEO أم Google Ads: في أيهما يستثمر نشاطك أولًا؟
• ما هو ملف robots.txt وكيف تُعدّه بنفسك
• الدليل الكامل لـ SEO المحلي في 2026: كيف تتصدر في مدينتك