حجب Google-Extended يُخرجك من إجابات الذكاء الاصطناعي بينما يبدو ترتيبك دون أي تغيير.

باتت زيارات الروبوتات تتجاوز نصف حركة الإنترنت، ومع ذلك لا تتحقق معظم المواقع أبدًا من الروبوتات التي تزورها أو مما يفعله ملف robots.txt فعلًا. هذه قرارات حقيقية وقابلة للتراجع، وكثيرًا ما تُتّخذ بالصدفة في ملف لم يقرأه أحد منذ 2019.

دقّقوا وصول الزواحف إلى موقعنا

أيّ الروبوتات تصل إليك

تحليل السجلات حسب اسم الوكيل: GPTBot وOAI-SearchBot وChatGPT-User وPerplexityBot وClaudeBot وGoogle-Extended وغيرها، كلٌّ على حدة.
ما يفعله كلٌّ منها

التدريب، وفهرسة البحث، والجلب عند الطلب ثلاث مهام مختلفة. وحجب المهمة الخطأ يكلّفك ظهورك دون أي فائدة.
سياسة الوصول

ملف robots.txt يعكس قرارًا اتخذته، مكتوبًا، مع ذكر المقايضة لكل سطر.
ما يكلّفك ذلك

استهلاك النطاق الترددي والحمل على الخادم من زواحف لن ترسل إليك شيئًا أبدًا، مفصولًا عن تلك التي سترسل.

الخطأ الذي نجده أكثر من غيره

يضيف أحدهم سطرًا يحجب Google-Extended، غالبًا بعد قراءة مقال عن تدريب الذكاء الاصطناعي على محتواك. لا يتحرك الترتيب، فلا يلاحظ أحد أن شيئًا قد حدث.

ما حدث أن Google-Extended ليس زاحفًا، بل رمز في robots.txt يحدد ما إذا كان يمكن استخدام محتواك في الإسناد التوليدي (Grounding). يواصل Googlebot الزحف في الحالتين، فتبقى روابطك الزرقاء على حالها. أما ما خسرته فهو الأهلية للظهور في إجابات الذكاء الاصطناعي، ولا شيء في أدوات جوجل نفسها يبلغك بأنك خسرتها.

هذا أوضح مثال على مشكلة عامة. فمشهد زواحف الذكاء الاصطناعي يضم نحو اثني عشر وكيلًا مسمّى يؤدون ثلاث مهام مختلفة على الأقل، والملف الذي يحكمها عمره سنوات عادةً.

ثلاث مهام، لا مهمة واحدة

جمع كل روبوتات الذكاء الاصطناعي في سلة واحدة هو ما ينتج القرارات السيئة. فهي تؤدي مهام مختلفة، والمقايضة مختلفة لكل منها.

زواحف التدريب تجمع مواد قد تُستخدم في تدريب نموذج مستقبلي، ومنها GPTBot وClaudeBot. حجبها يحمي محتواك من التدريب، لكنه لا يُخرجك من أي شيء موجود اليوم، وأثره في نموذج مستقبلي لا يمكن معرفته.

زواحف فهرسة البحث تبني الفهرس الذي يسترجع منه المحرك عند الإجابة، ومنها OAI-SearchBot وClaude-SearchBot. حجبها يُخرجك من الإجابات الحية. وهذا خطأ في الحجب في كل الحالات تقريبًا، وكثيرًا ما يحجبها الناس بالصدفة.

أدوات الجلب عند الطلب تسترجع صفحة لأن مستخدمًا سأل عن شيء يحتاجها، ومنها ChatGPT-User وPerplexity-User. حجبها يعني أن الشخص الذي سأل صراحةً عن صفحتك لا يمكن أن تُعرض عليه.

معظم ملفات robots.txt التي نقرؤها لا تميّز بين الثلاثة، لأن معظمها كُتب قبل أن يوجد هذا التمييز.

ما نفعله فعلًا

نقرأ السجلات

سجلات الخادم هي المكان الوحيد الذي ترى فيه ما حدث فعلًا لا ما تفترضه. نفصل الزيارات حسب اسم الوكيل، ونحصي الطلبات والبايتات، ونحدد ما زحف إليه كلٌّ منها. وبهذا أيضًا تكتشف الزاحف الذي يُغرق مساحة روابط متعددة الأوجه ويولّد تكلفة دون عائد.

وحيث لا يتيح لنا المستضيف السجلات، نعمل من تقرير حافة شبكة توصيل المحتوى (CDN) أو مما تتيحه المنصة، ونقول بوضوح إن ذلك تقريب.

نكتب سياسة الوصول

ملف robots.txt يمثل كل سطر فيه قرارًا اتخذه أحدهم، مع توثيق المبرر. لا ملفًا موروثًا من قالب. ونتحقق أيضًا من أنماط الإخفاق: قاعدة لا تنطبق أبدًا بسبب الترتيب، ورمز شامل يلتقط أكثر من المقصود، وتوجيهات يوثّق وكيل معين أنه لا يدعمها.

نوفّق بينها وبين ما تريده

قد ترغب فعلًا في حجب التدريب مع البقاء في الإجابات الحية. هذا موقف متماسك ويمكن تحقيقه. أما غير المتماسك فهو حجب زواحف البحث مع الدفع مقابل العمل على الظهور في الذكاء الاصطناعي، ونحن نجد هذا المزيج بانتظام.

نراقبها بعد ذلك

تظهر تغييرات الوصول في السجلات خلال أيام وفي الإجابات خلال أسابيع. نعيد فحص الاثنين، حتى لا يبقى تغيير أُجري في إصدار ما صامتًا لعام كامل.

ما ليس عليه هذا العمل

ليس جدار دفع، ولا مفاوضات ترخيص، ولا وسيلة لإيقاف نموذج تدرّب على محتواك بالفعل. لا شيء هنا يزيل أي شيء من نموذج قائم، بل يحكم ما يحدث من الآن فصاعدًا.

وليس أيضًا خدمة ترتيب. فالتحكم في الوصول يحدد ما إذا كنت مؤهلًا لأن تُقرأ. وأن تُقرأ وأن يُستشهد بك مشكلتان مختلفتان، والثانية تغطيها خدمة GEO.

عن llms.txt

ننشر صفحة llms.txt ولن نبالغ في قيمتها. فقد وجدت دراسة شملت 137,000 موقع أن الغالبية الساحقة من ملفات llms.txt لا تُجلب أبدًا، وقالت جوجل علنًا إنك لا تحتاج إلى واحد. نضيفه كإجراء نظافة هادئ حيث لا يكلّف شيئًا. ومن يبيع تحسين llms.txt كبند مستقل يبيعك ملفًا لا يقرؤه أحد.

التمييز الذي يحسم كل شيء

حجب التدريب ليس كحجب الاسترجاع

هذان القراران يُتّخذان بسطر واحد في ملف واحد، ولهما عواقب متعاكسة.

حجب زواحف التدريب

حجب زواحف البحث والجلب

الوكلاء المسمّون

حجب زواحف التدريبGPTBot وClaudeBot، وGoogle-Extended للإسناد التوليدي (Grounding).

حجب زواحف البحث والجلبOAI-SearchBot وClaude-SearchBot وPerplexityBot وChatGPT-User وPerplexity-User.

ما تحميه

حجب زواحف التدريبمحتواك من الاستخدام في تدريب نموذج مستقبلي.

حجب زواحف البحث والجلبلا شيء. فالاسترجاع يقرأ الصفحة ليجيب عن سؤال ثم يمضي.

ما تخسره

حجب زواحف التدريبتأثير محتمل في طريقة وصف نموذج مستقبلي لك.

حجب زواحف البحث والجلبالأهلية للظهور في الإجابات الموجودة اليوم.

هل يظهر في الترتيب

حجب زواحف التدريبلا. Googlebot لا يتأثر وروابطك الزرقاء لا تتحرك.

حجب زواحف البحث والجلبلا. ولهذا يُكتشف عادةً بعد أشهر، بالصدفة.

قابل للتراجع

حجب زواحف التدريبنعم، وإن كان النموذج المدرَّب لا يتراجع عن تدريبه.

حجب زواحف البحث والجلبنعم، ويعود الأثر خلال أسابيع.

متى يكون منطقيًا

حجب زواحف التدريبناشر يحمي أرشيفًا قابلًا للترخيص.

حجب زواحف البحث والجلبلا يكاد يكون منطقيًا أبدًا لنشاط تجاري يريد أن يُعثر عليه.

حجب زواحف البحث مع الدفع مقابل العمل على الظهور في الذكاء الاصطناعي مزيج نجده أكثر مما قد تتوقع.

كيف يسير مشروع التحكم في وصول الزواحف

تحليل السجلات

الأسبوعان 1 و2
- الزيارات مفصولة حسب اسم الوكيل، مع الطلبات والبايتات لكل روبوت
- ما جلبه كل زاحف فعلًا، وعدد مرات عودته
- تحديد الزواحف التي تُغرق مساحة الروابط ذات المعاملات أو متعددة الأوجه
- نسب تكلفة الخادم إلى روبوتات لن ترسل إليك شيئًا أبدًا
مراجعة السياسة

الأسبوع 2
- قراءة ملف robots.txt الحالي سطرًا سطرًا، بما فيه القواعد التي لا تنطبق أبدًا
- فحص Meta robots وترويسات X-Robots-Tag وقواعد CDN بحثًا عن تعارضات
- فحص Google-Extended وكل رمز للذكاء الاصطناعي مقابل ما قصدته
- توثيق الفجوة بين ما يقوله الملف وما تعتقد أنه يقوله
القرار والتنفيذ

الأسابيع 2 إلى 4
- سياسة توافق عليها، مع توثيق المقايضة لكل سطر
- تنفيذها في robots.txt أو الترويسات أو على CDN حسب الأنسب
- تطبيق حدود المعدل أو الحجب فقط حيث تدعمها أدلة السجلات
- تأريخ التغيير وتوثيقه حتى لا يصبح لغزًا بعد عام
التحقق

مستمرة
- إعادة قراءة السجلات بعد التغيير للتأكد من أن الوكلاء المقصودين يتصرفون كما ينبغي
- إعادة تشغيل مجموعة الإجابات للتأكد من عدم سقوط أي شيء
- مراقبة الوكلاء الجدد عند ظهورهم، وهم يظهرون بانتظام
- تقارير في البوابة إلى جانب بقية البرنامج

قبل أن تشتري هذه الخدمة

ما يستطيع التحكم في الزواحف فعله وما لا يستطيعه

هذه خدمة بنية تحتية لها حدود حقيقية، ومن المفيد ذكرها قبل أن تنفق أي شيء.

✓

ما يستطيعه

✓إخبارك بوكلاء الذكاء الاصطناعي المسمّين الذين يصلون فعلًا إلى موقعك، وما يكلّفونك من حمل على الخادم
✓اكتشاف الحجب العرضي الذي أخرجك من إجابات الذكاء الاصطناعي دون أن يمسّ ترتيبك
✓الفصل بين التدريب وفهرسة البحث والجلب عند الطلب ليُتّخذ كل قرار عن قصد
✓تنفيذ سياسة توافق عليها وتوثيق سبب وجود كل سطر
✓إعادة فحص مجموعة الإجابات بعد ذلك لترى التغيير بدلًا من افتراضه

✗

ما لا يستطيعه

✗إزالة محتواك من نموذج تدرّب عليه بالفعل
✗إجبار محرك على الاستشهاد بك. فالوصول يحدد الأهلية لا الاختيار
✗ضمان التزام كل وكيل بملف robots.txt. معظم الوكلاء المعروفين يلتزمون، لكن ليست كل الزيارات معروفة
✗جعل llms.txt أهم مما هو عليه. فمعظم ملفات llms.txt لا تُجلب أبدًا
✗العمل بشكل سليم دون سجلات. فمن دونها نحن نقدّر، وسنقول ذلك

إن كانت مشكلتك أن المحركات تستطيع قراءتك لكنها لا تستشهد بك، فهذه مشكلة GEO لا مشكلة وصول. شاهد بنفسك ←

كيف نقدّم التقارير

ما فعلته المحركات فعلًا، لكل محرك

وصول الزواحف يحدد ما إذا كان المحرك يستطيع قراءتك. ويُظهر هذان العميلان شكل أعداد الاستشهادات الناتجة حين يستطيع ذلك، ومدى اختلافها.

Delta Medical Labs

متركّز

5,570 صفحة يُستشهد بها عبر مساعدات الذكاء الاصطناعي، يوليو 2026

AI Overviews3,60065%
وضع الذكاء الاصطناعي (AI Mode)1,80032%
ChatGPT1302%
Gemini401%

Eduverse

موزّع بالتساوي

171 صفحة يُستشهد بها عبر مساعدات الذكاء الاصطناعي، أغسطس 2026

وضع الذكاء الاصطناعي (AI Mode)6538%
AI Overviews5935%
ChatGPT4727%

89.1%من المواقع التي يستشهد بها ChatGPT لا يقترب منها Perplexity للسؤال نفسهWellows، ‏804,058 إجابة، من سبتمبر 2025 إلى مايو 2026
79.6%من المصادر تظهر في محرك واحد فقط22.7 مليون استشهاد عبر 1,146,483 سؤالًا، 2026
46xفجوة في معدل الاستشهاد بالعلامات التجارية بين ChatGPT بنسبة 0.59% وPerplexity بنسبة 13.05%دراسة شملت 34,234 إجابة ذكاء اصطناعي، 2026

عدد ظهور Delta في AI Overviews يعادل 27 ضعف عددها في ChatGPT. وبين أعلى محرك وأدنى محرك لدى Eduverse فارق 18 صفحة. الوكالة نفسها، والمنهجية نفسها، وتوزيعان متعاكسان. وأي درجة واحدة كنا سنقدّمها لك ما كانت لتصف أيًّا منهما.

دقّقوا وصول الزواحف إلى موقعنا

آراء العملاء

كل الآراء

egyptpyramidstours.com

مرقس فتحي

مدير تطوير الأعمال

أنهينا للتو ربعنا الأول مع بيشوي، وكانت النتائج استثنائية. ارتفعت زياراتنا العضوية من 3,650 إلى 18,720، وحققنا عائدًا على الاستثمار يتجاوز 300% من الحجوزات، وحصلنا على المقتطفات المميزة (Featured Snippets) لعدد من باقات الرحلات.

24 سبتمبر 2023

drserkanaygin.com

د. سركان آيغين

جرّاح زراعة الشعر

بنت VOCTOS استراتيجية SEO رفعت حجوزاتنا ووسّعت ظهورنا أمام جمهور جديد كليًا بنسبة 375%، مع ارتفاع كلماتنا المفتاحية في أعلى نتائج البحث بأكثر من 1600%. وقد صنع فهمهم لسلوك البحث العربي الفارق كله.

7 ديسمبر 2021

vpnarabi.com

سامي أمين

رئيس التحرير، VPN Arabi

طوّرت VOCTOS استراتيجية SEO عربية متكاملة لشركتنا في مجال VPN ونفذتها. شهدنا زيادة بنسبة 280% في الزيارات العضوية، وتصدّرنا كلمات مفتاحية شديدة المنافسة، واستُشهد بمحتوانا 160 مرة في إجابات ChatGPT. وأكثر ما أبهرنا هو فهمهم العميق للسوق العربية، لا مجرد SEO عام مترجَم إلى العربية.

1 يونيو 2025

Saif Cabinets Decor

أبرام سامي

الرئيس التنفيذي لشركة Saif Cabinets Decor

عندما لجأنا إلى VOCTOS أول مرة، كان نشاطنا شبه غائب عن الإنترنت رغم سنوات من العمل المتقن. أصلح فريقهم المشكلات التقنية التي كانت تعيقنا، وبنى استراتيجية SEO جاهزة أيضًا للبحث بالذكاء الاصطناعي. وخلال أشهر تصدّرنا الصفحة الأولى في جوجل لأكثر من 55 كلمة مفتاحية، مع نمو الزيارات العضوية بنحو 170%.

4 يونيو 2026

serialtranslation.com

سامي إبراهيم

المدير العام لشركة سيريال للترجمة

تولّت VOCTOS إدارة حملاتنا على Google Ads، فخفّضت تكلفة النقرة بنسبة 53%، بينما قفز معدل التحويل بنسبة 164.7%، مع عملاء محتملين أعلى جودة بكثير. كان العمل مع الفريق بأكمله تجربة ممتعة.

15 يوليو 2022

Eagle Marble

إبرام أيوب

المدير العام

ساعدنا فريق VOCTOS على زيادة ظهورنا في البحث بنسبة 190%. ونقدّر سرعة استجابتهم وتفانيهم ودعمهم المتواصل طوال المشروع.

25 مارس 2023

ovistone.com

جون عطية

مدير التسويق الرقمي

تعاقدنا مع VOCTOS قبل عامين لتنمية SEO والزيارات، وقد أوفوا بوعدهم. وأكثر ما أبهرني هو رؤية Ovistone تظهر في ChatGPT وGoogle AI Overviews عندما يبحث الناس عن موردي الأحجار. زياراتنا العضوية في صعود مستمر، واستفساراتنا المؤهلة من الشركات (B2B) قفزت بشكل ملحوظ.

13 أكتوبر 2023

royalhaircenter.com

د. ماثيو جون

جرّاح أول

عندما بدأنا الشراكة مع VOCTOS، كانت عيادتنا تضم طبيبين فقط وطبيبًا للفترة الليلية، وكان كل منا يؤدي أدوارًا متعددة. لقد نمونا كثيرًا منذ ذلك الحين؛ فاليوم لدينا ثلاثة أطباء، وسكرتيرة بدوام كامل، وفريق نظافة مخصص، ويعود الفضل في ذلك إلى حد كبير إلى التدفق المستمر للمرضى الجدد الذي حققه تسويقهم.

11 أغسطس 2021

nsfx.com

رامي داود

مدير التسويق

بيشوي محترف SEO حقيقي، ملتزم بالمواعيد، وجودة عمله رائعة. منحتنا تحليلاته رؤية حقيقية ومسارًا واضحًا لبناء حضور علامتنا التجارية على الإنترنت.

1 مايو 2019

marketingcollege.com

ناهد ماهر

سفيرة العلامة التجارية

عالم SEO معقد، وقليلون هم من يمتلكون الأساليب الإبداعية التي يقدمها بيشوي. فهو يواكب أحدث توجهات SEO، ويحرص بصدق على أن يحصل عملاؤه على أقصى قيمة ممكنة.

16 أكتوبر 2016

nrg-digital.com

أحمد صبور

الرئيس التنفيذي

كان العمل مع بيشوي متعة حقيقية. فهو مبتكر، واسع الأفق، ويتمتع بقدرة كبيرة على التحليل والتلخيص وتحقيق نتائج قوية، حتى عند العمل عن بُعد.

16 أكتوبر 2016

vintage-vaults.com

شريف الحداد

المؤسس / الرئيس التنفيذي

قدّم بيشوي عملًا رائعًا في تحسين ترتيبنا في محركات البحث، كما ساعد في زيادة التحويلات وتحسين الموقع.

7 ديسمبر 2023

ما يحدث ومتى

مشروع التحكم في وصول الزواحف، أسبوعًا بأسبوع

تظهر تغييرات الوصول في السجلات خلال أيام وفي الإجابات خلال أسابيع. وهذا هو التسلسل الصادق.

الأسبوعان 1 و2

تحليل السجلات

الزيارات مفصولة حسب اسم الوكيل، مع الطلبات والبايتات لكل روبوت، وما جلبه كلٌّ منها فعلًا.

الأسبوع 2

مراجعة السياسة

قراءة ملف robots.txt سطرًا سطرًا، بما فيه القواعد التي لا تنطبق أبدًا بسبب الترتيب، إضافةً إلى تعارضات الترويسات وCDN.

الأسابيع 2 إلى 4

القرار والتنفيذ

سياسة توافق عليها، مع توثيق المقايضة لكل سطر، ثم تنفيذها في مكانها الصحيح لا في كل مكان.

الأسابيع من 4 إلى 8

التحقق

إعادة قراءة السجلات للتأكد من أن الوكلاء المقصودين يتصرفون كما ينبغي، وإعادة تشغيل مجموعة الإجابات للتأكد من عدم سقوط أي شيء.

مستمرة

الوكلاء الجدد

يظهرون بانتظام. نراقبهم بدلًا من مراجعة الملف مرة في السنة.

اعرف ما الذي تحجبه

الوكلاء المسمّون، وما يفعله كلٌّ منهم

جمع هؤلاء في سلة واحدة هو ما ينتج الحجب العرضي الذي نجده أكثر من غيره.

GPTBot: يجمع مواد قد تُستخدم في تدريب نموذج مستقبلي. حجبه يحمي بيانات التدريب ولا يُخرجك من أي شيء موجود اليوم.
OAI-SearchBot: يبني فهرس البحث الذي يسترجع منه ChatGPT. حجبه يُخرجك من الإجابات الحية، وهو خطأ في الحجب في كل الحالات تقريبًا.
ChatGPT-User: يجلب صفحة لأن شخصًا سأل عن شيء يحتاجها. حجبه يعني أن الشخص الذي سأل لا يمكن أن تُعرض عليه صفحتك.
ClaudeBot: زاحف تدريب، والمقايضة نفسها كما في GPTBot.
PerplexityBot: يبني الفهرس. وPerplexity يسترجع في كل استعلام تقريبًا، لذا يحمل هذا الزاحف وزنًا استثنائيًا.
Google-Extended: ليس زاحفًا على الإطلاق، بل رمز في robots.txt يحكم الإسناد التوليدي (Grounding). حجبه يترك ترتيبك دون تغيير ويُخرجك من إجابات الذكاء الاصطناعي.

ذو صلة

أين يتصل التحكم في الزواحف

أسئلة حول زواحف الذكاء الاصطناعي

هل ينبغي أن نحجب زواحف الذكاء الاصطناعي؟

ليس جميعها عادةً، ولا زواحف البحث والجلب في كل الحالات تقريبًا. حجب التدريب موقف يمكن الدفاع عنه لناشر يملك أرشيفًا قابلًا للترخيص. أما لمعظم الأنشطة التجارية فهو يحمي القليل ويخاطر بالكثير، خاصةً إذا كُتب الحجب بصيغة أوسع من اللازم.

حجبنا Google-Extended. ماذا فعل ذلك؟

أخرجك من الإسناد التوليدي (Grounding) مع ترك Googlebot وترتيبك دون تغيير. لا شيء في أدوات جوجل يبلغك بذلك، لذا لا يُكتشف عادةً إلا حين يتحقق أحدهم من الإجابات. وهو قابل للتراجع.

هل تلتزم كل الزواحف بملف robots.txt؟

يوثّق الوكلاء المسمّون الرئيسيون أنهم يلتزمون، وفي سجلاتنا يتصرفون وفقًا لذلك. لكن ليست كل الزيارات تعرّف نفسها بصدق. وإن كان وكيل معين يمثل تكلفة حقيقية، فحجبه على CDN وفق سلوكه أكثر موثوقية من الطلب المهذب.

هل يستحق llms.txt العناء؟

كإجراء نظافة مجاني، نعم. كبند مدفوع، لا. فقد وجدت دراسة شملت 137,000 موقع أن الغالبية الساحقة منها لا تُجلب أبدًا، وقالت جوجل علنًا إنك لا تحتاج إلى واحد. سنُعدّه لك ولن نحتسبه كاستراتيجية.

هل نحتاج إلى سجلات الخادم لهذا؟

هي ما يجعله قياسًا لا تقديرًا. ومن دونها نعمل من تقارير CDN أو بيانات المنصة ونخبرك بوضوح أن ذلك تقريب.

ما سرعة سريان التغييرات؟

يتغير سلوك الزواحف خلال أيام بعد إعادة جلب الملف. أما عودتك إلى الإجابات فتستغرق أسابيع، لأن الفهرس يجب أن يُعاد بناؤه وصفحاتك فيه.

خدمات ذات صلة

Generative Engine Optimization

أن يُستشهد بك حين تستطيع المحركات قراءتك
SEO التقني

عمل الزحف والفهرسة والعرض الأشمل
الدعم الفني

تغييرات الخادم وCDN والاستضافة

ناقش مشروعك

* حقول إلزامية

إرفاق ملف

يجب ألا يتجاوز حجم الملف 2 ميجابايت. الصيغ المدعومة: docx وdoc وpdf وxlsx وxls