هل تحجب المواقع الإخبارية العربية زواحف الذكاء الاصطناعي؟ دراسة ملفات robots.txt في 107 مواقع من 2023 إلى 2026

ما زالت أغلب مواقع الأخبار العربية الكبرى تفتح أبوابها لزواحف الذكاء الاصطناعي. في 21 أكتوبر 2026 كان 11 موقعًا من 98 موقعًا إخباريًا رائدًا أمكننا قراءتها في 12 دولة عربية (11.2%) تحجب GPTBot التابع لـOpenAI في ملف robots.txt، بينما خلا 81 موقعًا (82.7%) من أي قاعدة لأي زاحف ذكاء اصطناعي. وفي نهاية 2023 كانت نسبة من يحجب OpenAI منها 3.2%.

الأرقام الأساسية

• 11 موقعًا من 98 (11.2%) كانت تحجب GPTBot يوم 21 أكتوبر 2026. وبحجم عينة كهذا يمتد مجال الثقة 95% من 6.4% إلى 19.0%.
• 13 موقعًا من 98 (13.3%) تحجب زاحفًا واحدًا على الأقل من الزواحف الثلاثة عشر التي فحصناها. أكثرها حجبًا Bytespider (12 موقعًا)، وأقلها OAI-SearchBot (4 مواقع).
• 81 موقعًا من 98 (82.7%) لا تذكر أي زاحف ذكاء اصطناعي بالاسم، و7 منها لا تملك ملف robots.txt أصلًا.
• 3 مواقع من 98 (3.1%) فقط تحجب زواحف التدريب وتترك زواحف البحث والجلب الأربعة مفتوحة. أما 10 من المواقع الـ13 التي تحجب، فتغلق الباب أمام زاحف بحث أو جلب واحد على الأقل.
• 3 مواقع من 95 (3.2%) كانت تحجب OpenAI في ديسمبر 2023 وفق تعريف معهد رويترز، في الوقت الذي وجد فيه المعهد النسبة 48% في عشر دول أخرى. ولم يذكر أي من هذه المواقع الثلاثة GPTBot بالاسم.
• 15 موقعًا من 98 (15.3%) كانت تحجب GPTBot في مارس 2026، وهي أعلى نسبة شهرية في الأرشيف.
• 31 موقعًا من 101 لها تاريخ مؤرشف حجبت زاحف ذكاء اصطناعي واحدًا على الأقل في وقت ما بين أغسطس 2023 وأكتوبر 2026، ثم تخلّى 18 منها عن كل حجب لاحقًا.
• 9 مواقع من 91 (9.9%) كانت تنشر ملف llms.txt يوم 21 أكتوبر 2026.

يمكن نقل هذه الأرقام بشرط الإشارة إلى هذه الصفحة برابط. ورابط تنزيل البيانات الكاملة، صفًا لكل موقع، في آخر الصفحة.

الدراسة في سطور

لماذا أجرينا هذه الدراسة

في فبراير 2024 أحصى ريتشارد فليتشر من معهد رويترز لدراسة الصحافة عدد المواقع الإخبارية الأكثر استخدامًا في عشر دول التي تحجب زواحف الذكاء الاصطناعي، وخرج برقم صار يتردد في كل نقاش: 48% تحجب OpenAI بنهاية 2023.

لم تكن بين تلك الدول دولة عربية واحدة، ولم يُجرِ أحد هذا الإحصاء على الإعلام العربي. رؤساء التحرير في المنطقة يتخذون قرارًا بلا رقم إقليمي يقيسون عليه، والعلامات التجارية التي تريد الظهور في إجابات الذكاء الاصطناعي بالعربية لا تعرف أي المنافذ تستطيع هذه الأنظمة قراءتها.

كتبنا السؤال وقواعد العينة والمقاييس يوم 21 أكتوبر 2026، وسجّلنا بصمة الملف قبل أن نقرأ ملف robots.txt واحدًا:

أي زواحف الذكاء الاصطناعي تسمح بها كبرى المواقع الإخبارية في العالم العربي أو تحجبها في robots.txt؟ وكيف يختلف ذلك بين الزواحف التي تدرّب النماذج والزواحف التي تجلب الصفحات لإجابات البحث بالذكاء الاصطناعي؟ وكيف تغيّر منذ إعلان GPTBot في أغسطس 2023؟

أي زواحف الذكاء الاصطناعي تحجبها المواقع الإخبارية العربية؟

قلة قليلة تحجب أيًّا منها. في 21 أكتوبر 2026 حجب 12 موقعًا من 98 (12.2%) زاحف Bytespider التابع لشركة ByteDance، وحجب 11 موقعًا (11.2%) كلًّا من GPTBot وClaudeBot، بينما لم يحجب زاحف OAI-SearchBot، الذي تستخدمه OpenAI للعثور على الصفحات في بحث ChatGPT، سوى 4 مواقع (4.1%). أما المواقع الـ85 الباقية فلا تحجب أيًّا من الزواحف الـ13.

الحجب يأتي عادة في حزمة واحدة. المواقع الـ13 التي تحجب شيئًا يحجب كل منها ما بين 1 و13 زاحفًا، و5 منها تحجب زواحف التدريب الـ9 كلها. وأغلب هذا الحجب مكتوب بالاسم: 11 موقعًا من 13 تسمّي الزواحف التي لا تريدها.

أما الموقعان الآخران، addustour.com وalayam.com، فيعتمدان قاعدة رفض عامة: مجموعة "User-agent: *" فيها "Disallow: /"، فيُمنع كل زاحف لم تُخصَّص له مجموعة باسمه، ثم يُسمح لزواحف Google بالاسم.

ناشر واحد له وزن كبير في هذه العينة. فقد دخل موقع الجزيرة العربي aljazeera.net قائمة أكبر 15 موقعًا في الدول الـ12 كلها، ودخلها الموقع الإنجليزي aljazeera.com في 5 دول. والموقعان يحجبان GPTBot وChatGPT-User وClaudeBot وanthropic-ai وPerplexityBot وBytespider وcohere-ai، ويتركان OAI-SearchBot وGoogle-Extended مفتوحين. ولأن الموقع العربي محسوب في كل دولة، ففي كل دولة في الجدول أدناه موقع حاجب واحد على الأقل.

هل تحجب المواقع تدريب الذكاء الاصطناعي أم البحث به أم الاثنين؟

حين تحجب، فهي تحجب الاثنين في الغالب. المواقع الـ13 التي تحجب كلها تمنع زاحف تدريب واحدًا على الأقل، و10 منها تمنع كذلك زاحفًا يجلب الصفحات للبحث أو لسؤال يطرحه المستخدم. ولا يحجب التدريب مع ترك زواحف البحث والجلب الأربعة مفتوحة إلا 3 مواقع (3.1%): al-sharq.com وsabq.org وyabiladi.com.

هذا التمييز مهم لأن لكل زاحف وظيفة مختلفة. فبحسب وثائق OpenAI، يُستخدم GPTBot لتدريب النماذج، وOAI-SearchBot لإظهار المواقع في بحث ChatGPT، وChatGPT-User لفتح صفحة يطلبها المستخدم. وحجب واحد منها لا يحجب البقية. وتقول OpenAI أيضًا إن المواقع التي تمنع OAI-SearchBot لا تظهر في إجابات بحث ChatGPT، وإن قواعد robots.txt قد لا تنطبق على ChatGPT-User لأن المستخدم هو من يطلب تلك الزيارات.

وتقدّم sabq.org هذا النهج الانتقائي في أوضح صوره: مجموعة واحدة في الملف تسمّي GPTBot وClaudeBot وanthropic-ai وCCBot وBytespider وApplebot-Extended وتمنعها من كل شيء، وباقي الملف مفتوح.

هناك قرار تصنيفي واحد يغيّر هذا العدد. فقد وضعنا Amazonbot مع زواحف البحث قبل قراءة أي ملف، التزامًا بالتسجيل المسبق. ومن المواقع الـ10 التي تحجب زاحف بحث أو جلب، هناك 4 لا تحجب من هذه المجموعة إلا Amazonbot، و3 منها تفعل ذلك عبر الملف الجاهز من Cloudflare.

ولو حُسب Amazonbot زاحف تدريب لارتفع عدد المواقع التي تحجب التدريب وحده من 3 إلى 7. وفي الحالتين لا يحجب أيًّا من الزواحف الثلاثة التي تخدم إجابات ChatGPT وPerplexity (OAI-SearchBot وChatGPT-User وPerplexityBot) سوى 6 مواقع.

ماذا تقول ملفات المواقع التي لا تحجب شيئًا؟

أغلبها لا يقول شيئًا عن الذكاء الاصطناعي. 81 موقعًا من 98 (82.7%) لا تسمّي أي زاحف ذكاء اصطناعي: 72 لديها ملف robots.txt بلا أي قاعدة للذكاء الاصطناعي، و7 بلا ملف أصلًا، و2 تمنع كل زاحف غير مدرج دون أن تسمّي أحدًا. وغياب الملف يعني عند الزواحف "مسموح بكل شيء"، وهكذا حسبناه.

وهناك 6 مواقع تذكر زواحف الذكاء الاصطناعي بالاسم لتسمح لها فقط: youm7.com وroyanews.tv وbabnet.net وspa.gov.sa وal-marsd.com وtunisiatv.tn. فاليوم السابع مثلًا يخصّص مجموعة لكل من GPTBot وOAI-SearchBot وClaudeBot وPerplexityBot وGoogle-Extended فيها "Allow: /". أما وكالة الأنباء السعودية فسلكت الطريق المعاكس: حجبت GPTBot وCCBot في أوائل 2026، ثم صارت تسمّيهما اليوم مع "Allow: /".

وبعض المواقع يعلن تحفّظه دون أن يحجب. 6 مواقع تحمل سطر "Content-Signal" فيه ai-train=no، وهي الصيغة التي نشرتها Cloudflare للتعبير عن أوجه استخدام المحتوى المسموح بها. 4 منها تحجب الزواحف أيضًا، أما al-marsd.com وroyanews.tv فلا تحجب: الأول يسمح لقائمة من زواحف الذكاء الاصطناعي تحت تعليق نصه "allowed to read, not allowed to train"، والثاني يسمح لـGPTBot بالاسم في الملف نفسه الذي يقول ai-train=no.

ملف llms.txt، وهو دليل نصي مكتوب للنماذج اللغوية الكبيرة، ما زال نادرًا. تنشره 9 مواقع من 91 أمكننا فحصها (9.9%): akhbaar24.com وannahar.com وasharq.com وbabnet.net وelnashra.com وlapresse.tn وpalinfo.com وsabq.org وyoum7.com. وsabq.org هو الموقع الوحيد الذي يحجب GPTBot وينشر llms.txt في آن واحد.

كيف تغيّر الحجب منذ أغسطس 2023؟

بدأ متأخرًا وبقي محدودًا. في ديسمبر 2023 كانت 3 مواقع من 95 لها ملف مؤرشف (3.2%) تحجب GPTBot، ولم يذكره أي منها بالاسم. وأول موقع في العينة حجب GPTBot بالاسم كان aljazeera.com في يونيو 2024. وبلغت النسبة ذروتها في مارس 2026 عند 15 موقعًا من 98 (15.3%)، ثم استقرت عند 11 من 98 يوم 21 أكتوبر 2026.

المواقع الثلاثة التي كانت تحجب في أواخر 2023، addustour.com وalayam.com وaps.dz، كانت كلها تعتمد قاعدة الرفض العامة مع السماح لزواحف Google بالاسم. أي أن GPTBot وقع في الشبكة العامة ولم يُستهدف بعينه.

الحجب بالاسم جاء لاحقًا: من بين 20 موقعًا حجبت GPTBot بالاسم في وقت ما، فعل ذلك 2 منها في 2024 و18 منذ يونيو 2025. وقفز العدد في النصف الثاني من 2025، من 7 مواقع في أغسطس إلى 10 في سبتمبر و12 في أكتوبر.

لماذا يظهر الحجب ثم يختفي؟

كثير من قرارات الحجب لم يدم. 31 موقعًا من 101 لها تاريخ مؤرشف حجبت زاحف ذكاء اصطناعي واحدًا على الأقل في وقت ما بين أغسطس 2023 وأكتوبر 2026، ثم تخلّى 18 منها لاحقًا عن كل حجب. لذلك نقرأ أي لقطة لهذا القطاع، ولقطتنا منها، مع تاريخها.

تعود حالات التخلي الـ18 إلى ثلاثة أنواع من الملفات:

• 10 حالات مصدرها الملف الجاهز من Cloudflare. ظهر هذا الملف في 17 موقعًا من 101 في وقت ما، ومن السهل التعرف عليه: مقدمة قانونية تبدأ بعبارة "As a condition of accessing this website"، ومجموعة لزاحف اسمه CloudflareBrowserRenderingCrawler. وفي النسخ التي رأيناها يحجب 8 من زواحفنا الـ13: GPTBot وClaudeBot وGoogle-Extended وCCBot وBytespider وApplebot-Extended وMeta-ExternalAgent وAmazonbot. تقدّمه Cloudflare كإعداد يُفعَّل ويُعطَّل، وفي الأرشيف يظهر غالبًا في شهر ويختفي في شهر لاحق. ويوم 21 أكتوبر 2026 كان 3 من المواقع الثلاثة عشر الحاجبة تستخدمه.
• 5 حالات مصدرها قاعدة رفض عامة تمنع كل زاحف غير مدرج في قائمة السماح. استمرت هذه القاعدة في aps.dz من أول ملف مؤرشف في سبتمبر 2023 حتى سبتمبر 2025، وفي annahar.com من ديسمبر 2024 إلى نوفمبر 2025.
• 3 حالات مصدرها قواعد كتبها الموقع بالاسم، في khaberni.com وmedias24.com وspa.gov.sa.

وفي أربعة مواقع ظهر، في نسخة شهرية واحدة على الأقل، ملف يمنع كل الزواحف بما فيها Googlebot: موقعان في ديسمبر 2024، وموقع في يونيو 2025، وموقع في أول نسخة من أكتوبر 2026. واختفت القاعدة في القراءة التالية في الحالات الأربع، وكانت القراءة التالية لحالة أكتوبر 2026 هي حصرنا يوم 21 أكتوبر.

ملف robots.txt قرار يملكه الناشر وحده، والقاعدة القصيرة مشروعة تمامًا كالدائمة. نذكر هذه الحالات الأربع لأنها تحرّك الأرقام الشهرية، ولأن من يتحقق من سياسة موقع ما ينبغي أن يعرف أن نسخة واحدة قد تلتقط ملفًا كهذا.

ويتفق الأرشيف مع حصرنا في 18 موقعًا من 20 لها نسخة مؤرشفة في أكتوبر 2026 وقراءة في الحصر معًا. وأحد الموقعين المختلفين almamlakatv.com، بلا قواعد للذكاء الاصطناعي في نسخة الأرشيف لشهر أكتوبر، ومع ملف Cloudflare الجاهز يوم 21 أكتوبر. والآخر هو حالة أكتوبر 2026 المذكورة أعلاه.

كيف تقارن المواقع العربية بدراسة معهد رويترز؟

المواقع العربية تحجب أقل بكثير. بتعريف رويترز نفسه، أي أن الموقع يحجب OpenAI إذا منع GPTBot أو ChatGPT-User أو كل الزواحف، كانت 3 مواقع من 95 موقعًا عربيًا لها ملف مؤرشف في ديسمبر 2023 (3.2%) تحجب OpenAI، و3 مواقع (3.2%) تحجب Google-Extended. في المقابل وجد رويترز 48% و24% في عشر دول بنهاية 2023.

تراوحت أرقام رويترز لـOpenAI بين 79% في الولايات المتحدة و20% في المكسيك وبولندا، ولـGoogle بين 60% في ألمانيا و7% في بولندا وإسبانيا. أي أن أدنى رقم لـOpenAI في تلك الدول يزيد على ستة أضعاف الرقم العربي.

ووجد رويترز أيضًا أن أي موقع لم يتراجع عن الحجب خلال 2023، وهذا ما نجده في أرشيفنا لعام 2023 كذلك، أما حالات التخلي الـ18 فجاءت كلها بعده.

المقارنة للسياق وليست اختبارًا متطابقًا. فقد أخذ رويترز أكثر 15 علامة إخبارية استخدامًا على الإنترنت في كل دولة من استطلاع تقرير الأخبار الرقمية، والملف الأكثر تكرارًا في كل شهر. أما نحن فأخذنا الناشرين من قوائم الزيارات في Semrush، وأول ملف مؤرشف في كل شهر. والدراستان تستخدمان Wayback Machine وتعريف الحجب نفسه، ولهذا نعرض رقم ديسمبر 2023 بهذه الطريقة.

دولة بدولة

البحرين والأردن والمغرب فيها أكبر عدد من المواقع الحاجبة لـGPTBot، 4 مواقع في كل منها. وفي مصر وتونس كان الموقع الوحيد الحاجب لـGPTBot في العينة هو موقع الجزيرة العربي. في كل دولة ما بين 10 و15 موقعًا أمكن قراءتها، فموقع واحد يحرّك نسبة الدولة بما يصل إلى 10 نقاط، ولذلك نعرض الأعداد لا النسب.

أعداد المواقع التي أمكن قراءتها يوم 21 أكتوبر 2026. الموقع الذي يظهر في قوائم أكثر من دولة يُحسب في كل دولة. قائمة عُمان ضمّت 11 ناشرًا إخباريًا مؤهلًا وقائمة الإمارات 13، والبقية 15. أسماء المواقع التي تعذّرت قراءتها في المنهجية.

ماذا يعني هذا للناشرين ورؤساء التحرير؟

حجب زواحف الذكاء الاصطناعي قرار مشروع، وأغلب المواقع الرائدة في المنطقة لم تتخذه بعد في أي اتجاه. وإن قررتم، فقرروا لكل زاحف على حدة: زواحف التدريب وزواحف الإجابات تؤدي وظائف مختلفة، وإعداد افتراضي في شبكة توزيع المحتوى قد يحجب بعضها نيابة عنكم دون أن يكتب أحد في غرفة الأخبار قاعدة واحدة.

• اقرأوا الملف كما يراه الزاحف، لا كما يظهر في نظام إدارة المحتوى. 10 من حالات التخلي الـ18 في أرشيفنا كانت ظهور ملف Cloudflare الجاهز ثم اختفاءه. افتحوا robots.txt على نطاقكم من خارج شبكتكم وتأكدوا من الزواحف التي يسمّيها.
• افصلوا التدريب عن الإجابات. حجب GPTBot لا يحجب OAI-SearchBot ولا ChatGPT-User، وتقول OpenAI إن الموقع الذي يمنع OAI-SearchBot لا يظهر في إجابات بحث ChatGPT. وتقول Google إن Google-Extended لا يؤثر في ظهور الموقع أو ترتيبه في بحث Google. اتخذوا قرارًا مقصودًا لكل زاحف.
• راجعوا قائمة السماح إن كنتم تعتمدون قاعدة الرفض العامة. 4 مواقع في أرشيفنا قدّمت، مرة واحدة على الأقل، ملفًا يمنع Googlebot أيضًا.
• تذكّروا أن robots.txt طلب لا قفل. 16 نطاقًا من 107 رفضت طلبًا بسيطًا من برنامج آلي لقراءة robots.txt نفسه أو لم ترد عليه، وهذا يبيّن حجم ما يحدث في جدار الحماية. إن كان التنفيذ يهمّكم، فالملف إعلان نية، والقفل الحقيقي في جدار الحماية.
• دوّنوا التاريخ. سجّلوا متى غيّرتم الملف ولماذا، لتعرفوا لاحقًا هل تغيّرت الزيارات أو الإحالات من الذكاء الاصطناعي بعده.

ماذا يعني هذا للعلامات التجارية التي تريد الاستشهاد بها في إجابات الذكاء الاصطناعي بالعربية؟

الباب المفتوح هو الخبر الأهم للعلامات التجارية. 81 موقعًا من 98 من كبرى المواقع الإخبارية العربية لا تضع أي قاعدة لأي زاحف ذكاء اصطناعي، و4 فقط تحجب OAI-SearchBot، فالتغطية في أغلب هذه المنافذ متاحة للقراءة أمام الزواحف التي تحترم robots.txt. لم نختبر أي المنافذ تستشهد بها مساعدات الذكاء الاصطناعي بالعربية، فهذا سؤال آخر، وهذه الدراسة تبيّن فقط من أغلق الباب.

• التغطية المكتسبة في أغلب المنافذ العربية الكبرى غير محجوبة بملف robots.txt. يمكن لزواحف الذكاء الاصطناعي التي تلتزم بالملف أن تقرأها، وهذا أول شرط لاستخدامها في أي إجابة.
• افحصوا ملف المنفذ قبل أي نشر تستهدفون به إجابات الذكاء الاصطناعي. 6 مواقع من 98 تحجب واحدًا على الأقل من OAI-SearchBot وChatGPT-User وPerplexityBot. موقعا الجزيرة مثلًا يسمحان لـOAI-SearchBot ويحجبان ChatGPT-User وPerplexityBot.
• أعيدوا الفحص، فالملفات تتغير. تخلّى 18 موقعًا عن حجب الذكاء الاصطناعي خلال فترة الدراسة، وأضاف بعضها حجبًا في الأشهر الأخيرة.
• لا تعاملوا llms.txt كشرط. 9 مواقع إخبارية كبرى من 91 تنشره، وليس هو ما يحدد إن كانت الصفحة قابلة للقراءة.

قراءتنا للنتائج، من الباحث الرئيسي

"تقول الأرقام إن أغلب غرف الأخبار العربية لم تتعامل بعد مع robots.txt كقرار تحريري. 10 من 18 حالة تخلٍّ عن الحجب تعود إلى إعداد واحد في شبكة توزيع المحتوى، و4 مواقع أغلقت الباب أمام Google نفسها في نسخة شهرية واحدة على الأقل. هذا ملف يُدار كبنية تقنية. المواقع الـ3 التي تحجب التدريب وتترك زواحف الإجابات مفتوحة هي التي قررت شيئًا بوضوح وكتبته والتزمت به. وأيًّا كان ما تختاره غرفة الأخبار، فهذه هي العادة التي أنصح بنسخها." بيشوي عادل، رئيس قسم SEO وGEO في VOCTOS

ما لا يثبته هذا

• ملف robots.txt يبيّن النية لا التنفيذ. الزواحف تختار أن تلتزم به أو لا، وجدار الحماية أو شبكة توزيع المحتوى قد يمنعان زاحفًا يسمح له الملف. لم نقِس قواعد جدار الحماية، لكن 16 نطاقًا رفضت برنامجنا نفسه أو تجاهلته، فالحجب على مستوى الشبكة شائع في هذه العينة.
• في الأرشيف فجوات. 6 نطاقات من 107 بلا تاريخ صالح على Wayback Machine، و62 من النطاقات الـ101 التي لها تاريخ ليس لها نسخة بعد مايو 2026، ولهذا استبعدنا الأشهر من يونيو إلى سبتمبر 2026 من الرسوم. والشهر الذي لا نسخة له يأخذ حالة جاريه فقط إذا اتفقت النسختان قبله وبعده.
• نسخة واحدة في الشهر. اعتمدنا أول ملف مؤرشف في كل شهر، لا الأقرب إلى يوم 15 منه كما في التسجيل المسبق، فالتغيير في آخر الشهر يظهر في الشهر التالي.
• العينة مأخوذة من تقديرات Semrush للزيارات ، وهي تقيس الزيارات القادمة من البحث لا مجمل القراءة. والموقع الذي يظهر في قوائم عدة دول يُحسب مرة واحدة في المجموع ومرة في كل دولة.
• غياب ملف robots.txt يُحسب سماحًا بكل شيء ، وهو قرار سجّلناه أثناء الحصر ويطابق طريقة قراءة الزواحف لرمز 404.
• لا نرى الدوافع. من الخارج يبدو القرار التحريري المقصود والإعداد الافتراضي في شبكة توزيع المحتوى وخطأ النشر شيئًا واحدًا. نحن نصف الملفات لا النوايا.
• لم نقِس النتائج. لا تبيّن الدراسة هل تلتزم شركات الذكاء الاصطناعي بهذه الملفات، ولا هل يظهر المحتوى المحجوب في الإجابات، ولا هل لأي موقع اتفاق ترخيص.

المنهجية

العينة

اعتمدنا قوائم Semrush العامة "Top Websites" لفئة الصحف في كل دولة عربية لها قاعدة بيانات في Semrush، إصدار سبتمبر 2026 كما ظهرت يوم 21 أكتوبر 2026. لليبيا قاعدة بيانات بلا قائمة منشورة، فبقيت 12 دولة. ومن أول 100 نطاق في كل قائمة أخذنا بالترتيب أول 15 ناشرًا إخباريًا عربيًا: أخبار عامة أو اقتصادية وشؤون جارية، بالعربية أو مملوكًا لجهة في دولة عربية أو مقره فيها.

واستبعدنا المنصات والمجمّعات التي لا تنتج أخبارها، ومواقع الرياضة والأفلام والمواقع الدينية ومواقع الطقس والأسعار، والاستبعادات مدوّنة مع البيانات. النتيجة 174 زوجًا من دولة وموقع و107 نطاقات مختلفة.

الحصر الحالي

يوم 21 أكتوبر 2026 طلب برنامج آلي ملفي robots.txt وllms.txt من كل نطاق، بدءًا بنسخة www، بهوية متصفح Chrome على الحاسوب ومع فاصل زمني بين المواقع.

ردّ 16 نطاقًا برمز 403 أو لم ترد، ففتحناها في متصفح عادي: أمكن قراءة 7 منها، وبقيت 9 متعذرة القراءة واستُبعدت من نسب اليوم: alaraby.co.uk وkhaberni.com وkuna.net.kw وlebanonfiles.com وlematin.ma وmedias24.com وomannews.gov.om وraya.com وsba.sa. وأعدنا قراءة نتائج llms.txt الإيجابية الـ11 مرة واحدة يوم 6 نوفمبر 2026، فاستبعدنا صفحتي HTML كان الحصر قد قبلهما.

قراءة الملفات

قرأنا كل ملف محفوظ بمحلل مكتوب وفق مواصفات Google لملف robots.txt. أسماء الزواحف تُطابق بدقة ودون اعتبار لحالة الأحرف، وتُدمج كل المجموعات التي تسمّي الزاحف نفسه. والزاحف الذي لا مجموعة له يتبع مجموعات "*". وتُطبَّق القاعدة الأطول تطابقًا، وتغلب Allow عند التساوي، وتُحترم علامتا "*" و"$" في المسارات.

ويُعد الزاحف محجوبًا إذا كان "/" ممنوعًا عليه، وهذا يشمل "Disallow: /" و"Disallow: /*". أما المجموعة التي تسمّي الزاحف وتمنع بعض المسارات فقط فتُسجَّل حجبًا جزئيًا (موقع واحد). استخدم الحصر الأول المحلل القياسي في Python، وهو يطابق الأسماء بالاحتواء الجزئي، وتغيّر حكمان عند الانتقال إلى المحلل الجديد، وكلاهما مسجّل.

التاريخ

سألنا فهرس CDX في Wayback Machine عن نسخ robots.txt برمز 200 من أغسطس 2023 إلى أكتوبر 2026. واحتفظنا بنسخة واحدة لكل شهر هي الأولى فيه، من نطاق www أولًا، ثم من النطاق المجرد إن لم توجد نسخ لـwww. حصلنا على 3,007 ملفات شهرية صالحة لـ101 نطاق.

الملفات الفارغة (154) وصفحات التحقق من الروبوتات (7) حُسبت مفقودة، وصفحات HTML المعروضة على مسار /robots.txt (28) حُسبت غيابًا للملف. وأكمل حصر 21 أكتوبر السلسلة لشهر أكتوبر 2026 في 73 نطاقًا ليس لها نسخة مؤرشفة في ذلك الشهر.

الانحرافات والشيفرة

سجّلنا 18 انحرافًا عن التسجيل المسبق، مع أثر كل منها على الأرقام. أكبرها قاعدة النسخة الأولى في الشهر، وقاعدة سد الفجوات، وتغيير المحلل، وإعادة قراءة llms.txt. برنامج التحليل يعطي النتيجة نفسها في كل تشغيل، وبرنامج ثانٍ يطابق كل رقم في هذه الصفحة مع مخرجاته قبل النشر.

أسئلة يطرحها الناس عن هذا

كم عدد المواقع الإخبارية العربية التي تحجب زواحف ChatGPT؟

يوم 21 أكتوبر 2026 كان 11 موقعًا من 98 من كبرى المواقع الإخبارية العربية (11.2%) تحجب GPTBot، زاحف التدريب التابع لـOpenAI. أما الزواحف التي تخدم إجابات ChatGPT فحجبها عدد أقل: 5 مواقع تحجب ChatGPT-User و4 تحجب OAI-SearchBot. العينة هي كبار الناشرين الإخباريين في قوائم Semrush لـ12 دولة عربية.

هل تحجب المواقع الإخبارية العربية الذكاء الاصطناعي أكثر من المواقع الغربية أم أقل؟

أقل بكثير. في نهاية 2023 كانت 3 مواقع من 95 موقعًا عربيًا لها ملف مؤرشف (3.2%) تحجب OpenAI وفق تعريف معهد رويترز، بينما وجد المعهد أن 48% من أكثر المواقع الإخبارية استخدامًا في عشر دول، منها الولايات المتحدة وبريطانيا وألمانيا، كانت تحجبه في الوقت نفسه. بُنيت العينتان بطريقتين مختلفتين، فالمقارنة للسياق.

ما أكثر زاحف ذكاء اصطناعي تحجبه المواقع الإخبارية العربية؟

Bytespider التابع لشركة ByteDance، إذ حجبه 12 موقعًا من 98 (12.2%) يوم 21 أكتوبر 2026، ثم GPTBot وClaudeBot بـ11 موقعًا لكل منهما. وأقلها حجبًا OAI-SearchBot، الذي تستخدمه OpenAI لبحث ChatGPT، بـ4 مواقع (4.1%).

هل يمنع حجب GPTBot ظهور الموقع الإخباري في إجابات ChatGPT؟

ليس وحده. تستخدم OpenAI زاحف GPTBot للتدريب وOAI-SearchBot لبحث ChatGPT، وتقول إن المواقع التي تمنع OAI-SearchBot لا تظهر في إجابات بحث ChatGPT. في عينتنا يحجب 11 موقعًا GPTBot، بينما لا يحجب OAI-SearchBot إلا 4. ولم نختبر ما يعرضه ChatGPT بعد ذلك.

كم موقعًا إخباريًا عربيًا لديه ملف llms.txt؟

9 مواقع من 91 أمكننا فحصها (9.9%) يوم 21 أكتوبر 2026، منها youm7.com وasharq.com وsabq.org. وموقعان آخران أعادا صفحة HTML على مسار /llms.txt فلم نحسبهما.

هل يكفي ملف robots.txt لمنع زواحف الذكاء الاصطناعي؟

لا. ملف robots.txt طلب علني تختار الزواحف أن تلتزم به. جدران الحماية وشبكات توزيع المحتوى يمكنها منع الزواحف أيًّا كان ما يقوله الملف، و16 نطاقًا من 107 في هذه الدراسة رفضت برنامجًا آليًا بسيطًا يطلب robots.txt نفسه أو تجاهلته. هذه الدراسة تقيس ما تقوله الملفات، لا ما يمر فعلًا.

البيانات والمصادر وطريقة الاستشهاد

نزّلوا البيانات (CSV). صف لكل نطاق. تضم الأعمدة الدول وترتيب النطاق في Semrush وطريقة قراءة الملف ووجود robots.txt، وحالة كل زاحف من الـ13 يوم 21 أكتوبر 2026 (محجوب، أو محجوب عبر القاعدة العامة، أو جزئي، أو مسموح، أو غير معروف). وتضم كذلك llms.txt وتحفّظ Content-Signal وتغطية الأرشيف وأول شهر رُصد فيه حجب كل زاحف (العلامة "<=" تعني أن الموقع كان يحجب منذ أول ملف مؤرشف له).

البيانات منشورة برخصة CC BY 4.0 ، ويمكن إعادة استخدامها بحرية مع ذكر VOCTOS ورابط إلى هذه الصفحة.

السلسلة الشهرية والتسجيل المسبق وسجل الانحرافات متاحة عند الطلب.

للاستشهاد: VOCTOS (2026). مواقع الأخبار العربية وزواحف الذكاء الاصطناعي: قواعد robots.txt في 107 مواقع إخبارية رائدة في 12 دولة عربية، من أغسطس 2023 إلى أكتوبر 2026. الباحث الرئيسي: بيشوي عادل. https://www.voctos.com/ar/research/arab-news-sites-ai-crawlers/

المصادر والشكر: يتبع تصميم الدراسة ورقة ريتشارد فليتشر "How many news websites block AI crawlers?" الصادرة عن معهد رويترز لدراسة الصحافة في 22 فبراير 2024 برخصة CC BY. والتاريخ مأخوذ من Wayback Machine التابع لأرشيف الإنترنت، والعينة من قوائم Semrush العامة.

التصحيحات: إن كان موقعكم في العينة ورأيتم قراءة غير دقيقة هنا، راسلونا مع التاريخ والملف الذي ترونه، وسنطابقه مع الأرشيف وننشر أي تصحيح في هذه الصفحة.

إن أردتم معرفة ما تقوله مساعدات الذكاء الاصطناعي حين يسأل عملاؤكم عن مجال عملكم، فإن تدقيق البحث بالذكاء الاصطناعي لدينا يطرح هذه الأسئلة ويعرض عليكم الإجابات.