حجب Google-Extended يُخرجك من إجابات الذكاء الاصطناعي بينما يبدو ترتيبك دون أي تغيير.
باتت زيارات الروبوتات تتجاوز نصف حركة الإنترنت، ومع ذلك لا تتحقق معظم المواقع أبدًا من الروبوتات التي تزورها أو مما يفعله ملف robots.txt فعلًا. هذه قرارات حقيقية وقابلة للتراجع، وكثيرًا ما تُتّخذ بالصدفة في ملف لم يقرأه أحد منذ 2019.
اطلب تدقيق وصول الزواحف إلى موقعك-
أيّ الروبوتات تصل إليك
تحليل السجلات حسب اسم الوكيل: GPTBot وOAI-SearchBot وChatGPT-User وPerplexityBot وClaudeBot وGoogle-Extended وغيرها، كلٌّ على حدة.
-
ما يفعله كلٌّ منها
التدريب، وفهرسة البحث، والجلب عند الطلب ثلاث مهام مختلفة. وحجب المهمة الخطأ يكلّفك ظهورك دون أي فائدة.
-
سياسة الوصول
ملف robots.txt يعكس قرارًا اتخذته ووثّقته كتابيًا، مع بيان المفاضلة وراء كل سطر.
-
ما يكلّفك ذلك
استهلاك النطاق الترددي والحمل على الخادم من زواحف لن تجلب لك أي زيارة، مفصولًا عن تلك التي ستجلبها.
التمييز الذي يحسم كل شيء
حجب التدريب ليس كحجب الاسترجاع
هذان القراران يُتّخذان بسطر واحد في ملف واحد، ولهما عواقب متعاكسة.
حجب زواحف البحث مع الدفع مقابل العمل على الظهور في الذكاء الاصطناعي مزيج نجده أكثر مما قد تتوقع.
كيف يسير مشروع التحكم في وصول الزواحف
-
تحليل السجلات
الأسبوعان 1 و2
- الزيارات مفصولة حسب اسم الوكيل، مع الطلبات والبايتات لكل روبوت
- ما جلبه كل زاحف فعلًا، وعدد مرات عودته
- تحديد الزواحف التي تُغرق مساحة الروابط ذات المعاملات أو متعددة الأوجه
- نسب تكلفة الخادم إلى روبوتات لن تجلب لك أي زيارة
-
مراجعة السياسة
الأسبوع الثاني
- قراءة ملف robots.txt الحالي سطرًا سطرًا، بما فيه القواعد التي لا تنطبق أبدًا
- فحص Meta robots وترويسات X-Robots-Tag وقواعد CDN بحثًا عن تعارضات
- فحص Google-Extended وكل رمز للذكاء الاصطناعي مقابل ما قصدته
- توثيق الفجوة بين ما يقوله الملف وما تعتقد أنه يقوله
-
القرار والتنفيذ
الأسابيع 2 إلى 4
- سياسة توافق عليها، مع توثيق المفاضلة وراء كل سطر
- تنفيذها في robots.txt أو الترويسات أو على CDN حسب الأنسب
- تطبيق حدود المعدل أو الحجب فقط حيث تدعمها أدلة السجلات
- تأريخ التغيير وتوثيقه حتى لا يصبح لغزًا بعد عام
-
التحقق
مستمرة
- إعادة قراءة السجلات بعد التغيير للتأكد من أن الوكلاء المقصودين يتصرفون كما ينبغي
- إعادة اختبار مجموعة الإجابات للتأكد من أنك لم تخرج من أي منها
- مراقبة الوكلاء الجدد عند ظهورهم، وهم يظهرون بانتظام
- عرض النتائج في بوابة العملاء إلى جانب بقية البرنامج
قبل أن تتعاقد معنا
ما يستطيع التحكم في الزواحف فعله وما لا يستطيعه
هذه خدمة بنية تحتية لها حدود حقيقية، ومن المفيد ذكرها قبل أن تنفق أي شيء.
ما نستطيع فعله
- ✓إخبارك بأسماء وكلاء الذكاء الاصطناعي الذين يصلون فعلًا إلى موقعك، وما يكلّفونك من حمل على الخادم
- ✓اكتشاف الحجب العرضي الذي أخرجك من إجابات الذكاء الاصطناعي دون أن يمسّ ترتيبك
- ✓الفصل بين التدريب وفهرسة البحث والجلب عند الطلب ليُتّخذ كل قرار عن قصد
- ✓تنفيذ سياسة توافق عليها وتوثيق سبب وجود كل سطر
- ✓إعادة فحص مجموعة الإجابات بعد ذلك لترى التغيير بدلًا من افتراضه
ما لا نستطيع فعله
- ✗لا يزيل محتواك من نموذج تدرّب عليه بالفعل
- ✗لا يُجبر محركًا على الاستشهاد بك. فالوصول يحدد الأهلية لا الاختيار
- ✗لا يضمن التزام كل وكيل بملف robots.txt. معظم الوكلاء المعروفين يلتزمون، لكن ليست كل الزيارات معروفة
- ✗لا يجعل llms.txt أهم مما هو عليه. فمعظم ملفات llms.txt لا تُجلب أبدًا
- ✗لا يعمل كما ينبغي دون سجلات. فمن دونها نكتفي بالتقدير، وسنقول ذلك
إن كانت مشكلتك أن المحركات تستطيع قراءتك لكنها لا تستشهد بك، فهذه مشكلة GEO لا مشكلة وصول. شاهد بنفسك ←
كيف نقدّم التقارير
ما فعلته المحركات فعلًا، لكل محرك
وصول الزواحف يحدد ما إذا كان المحرك يستطيع قراءتك. ويُظهر هذان العميلان شكل أعداد الاستشهادات الناتجة حين يستطيع ذلك، ومدى اختلافها.
Delta Medical Labs
متركز في منصة واحدة5,570 صفحة يُستشهد بها عبر مساعدات الذكاء الاصطناعي، يوليو 2026
- AI Overviews3,60065%
- AI Mode1,80032%
- ChatGPT1302%
- Gemini401%
Eduverse
موزع بالتساوي171 صفحة يُستشهد بها عبر مساعدات الذكاء الاصطناعي، أغسطس 2026
- AI Mode6538%
- AI Overviews5935%
- ChatGPT4727%
- 89.1%من المواقع التي يستشهد بها ChatGPT لا يستشهد بها Perplexity أبدًا في السؤال نفسهWellows، 804,058 إجابة، من سبتمبر 2025 إلى مايو 2026
- 79.6%من المصادر تظهر في منصة واحدة فقط22.7 مليون استشهاد عبر 1,146,483 سؤالًا، 2026
- 22xفجوة في معدل الاستشهاد بالعلامات التجارية بين ChatGPT بنسبة 0.59% وPerplexity بنسبة 13.05%دراسة شملت 34,234 إجابة ذكاء اصطناعي، 2026
يعادل عدد مرات ظهور Delta في AI Overviews سبعة وعشرين ضعف ظهورها في ChatGPT، بينما لا يتجاوز الفرق بين أعلى منصة وأدناها لدى Eduverse 18 صفحة. الفريق نفسه والطريقة نفسها، ونتائج متعاكسة تمامًا. ولو قدّمنا لك رقمًا واحدًا، لما عبّر عن أيٍّ منهما.
اطلب تدقيق وصول الزواحف إلى موقعكآراء العملاء
كل الآراءما يحدث ومتى
مشروع التحكم في وصول الزواحف، أسبوعًا بأسبوع
تظهر تغييرات الوصول في السجلات خلال أيام وفي الإجابات خلال أسابيع. وهذا هو التسلسل الواقعي بلا تجميل.
تحليل السجلات
الزيارات مفصولة حسب اسم الوكيل، مع الطلبات والبايتات لكل روبوت، وما جلبه كلٌّ منها فعلًا.
مراجعة السياسة
قراءة ملف robots.txt سطرًا سطرًا، بما فيه القواعد التي لا تنطبق أبدًا بسبب الترتيب، إضافةً إلى تعارضات الترويسات وCDN.
القرار والتنفيذ
سياسة توافق عليها، مع توثيق المفاضلة وراء كل سطر، ثم تنفيذها في مكانها الصحيح لا في كل مكان.
التحقق
إعادة قراءة السجلات للتأكد من أن الوكلاء المقصودين يتصرفون كما ينبغي، وإعادة اختبار مجموعة الإجابات للتأكد من أنك لم تخرج من أي منها.
الوكلاء الجدد
يظهرون بانتظام. نراقبهم بدلًا من مراجعة الملف مرة في السنة.
اعرف ما الذي تحجبه
الوكلاء المسمّون، وما يفعله كلٌّ منهم
جمع هؤلاء في سلة واحدة هو ما ينتج الحجب العرضي الذي نجده أكثر من غيره.
أسئلة حول زواحف الذكاء الاصطناعي
ليس جميعها عادةً، أما زواحف البحث والجلب فلا ينبغي حجبها في جميع الحالات تقريبًا. حجب التدريب موقف يمكن الدفاع عنه لناشر يملك أرشيفًا قابلًا للترخيص. أما لمعظم الأنشطة التجارية فهو يحمي القليل ويخاطر بالكثير، خاصةً إذا كُتب الحجب بصيغة أوسع من اللازم.
أخرجك من الإسناد التوليدي (Grounding) مع ترك Googlebot وترتيبك دون تغيير. لا شيء في أدوات Google يبلغك بذلك، لذا لا يُكتشف عادةً إلا حين يتحقق أحدهم من الإجابات. وهو قابل للتراجع.
يوثّق الوكلاء المسمّون الرئيسيون أنهم يلتزمون، وفي سجلاتنا يتصرفون وفقًا لذلك. لكن ليست كل الزيارات تعرّف نفسها بصدق. وإن كان وكيل معين يمثل تكلفة حقيقية، فحجبه على CDN وفق سلوكه أكثر موثوقية من الطلب المهذب.
بوصفه إجراءً أساسيًا مجانيًا نعم، وبوصفه بندًا مدفوعًا لا. فقد وجدت دراسة شملت 137,000 موقع أن الغالبية الساحقة من ملفات llms.txt لا تُجلب أبدًا، وقالت Google علنًا إنك لا تحتاج إلى واحد. سنُعدّه لك ولن نحتسبه استراتيجية.
هي ما يجعله قياسًا لا تقديرًا. ومن دونها نعتمد على تقارير CDN أو بيانات المنصة ونخبرك بوضوح أن ذلك تقريبي.
يتغير سلوك الزواحف خلال أيام بعد إعادة جلب الملف. أما عودتك إلى الإجابات فتستغرق أسابيع، لأن الفهرس يحتاج إلى إعادة بنائه متضمنًا صفحاتك.
