تمكين ahrefs crowlers من الدخول للموقع وتحليله لتحسين SEO

قوقل تستخدم بوتس تسمى crowlers لتحدد الأخطاء الداخلية في الربط بين الصفحات بالإضافة لأمور اخرى وبناءا على هذه تنبني امور كثيرة , هناك مواقع معروفة مثل ahrefs تستخدم بوتس وتقوم بالدخول في الموقع واستكشاف هذه الأخطاء وتحليلها وبناء مقترحات لتحسينها مما يؤودي الى تحسين SEO للموقع بشكل كبير. وبحكم ان الموقع الحالي مستضاف من قبل سله وسله تستخدم cloudflare لإعادة توجيه ولحماية المواقع المستضافة من امور كثيرة, وفي حالتنا تم اعتراض الوتس القادمة من ahrefs بواسطة cloudflare المطلوب ان يتم السماح للبوتس القادمة من Ahrefs بالعبور للموقع الحالي بالضبط كما تم السماح للبوتس القادمة من google search counsle وعادة يكون ذلك بتغيير القييود الموجودة في ملف يسمى robots.txt , اتمنى التجاوب مع الموضوع وفي حالة وجود اشكال في هذا الموضوع ارجو التواصل مع المختصين, المعذرة على الإطالة.