گزارش های جدید و تجربیات برخی از وب مسترها نشان می دهد که مسدود کردن ربات های آموزش هوش مصنوعی (AI training bots) از طریق سرویس کلودفلر (Cloudflare)، به صورت ناخواسته باعث مسدود شدن ربات های قانونی و حیاتی موتورهای جستجو مانند گوگل بات (Googlebot) و بینگ بات (Bingbot) می شود. در نتیجه، این موتورهای جستجو دیگر قادر به خزش و ایندکس کردن محتوای وب سایت ها نخواهند بود.
کلودفلر اخیراً در یک بیانیه رسمی اعلام کرده بود که چنین تغییراتی از ماه سپتامبر آغاز خواهد شد. با این حال، هنوز مشخص نیست که مشکل فعلی صرفاً یک باگ سیستمی و اتفاقی است یا ریشه در خطای کاربران در تنظیمات دارد. در هر صورت، این اتفاق زنگ خطری برای مدیران سایت ها و متخصصان سئو است تا نسبت به تغییرات پیش رو آگاه باشند و تنظیمات امنیتی سایت خود را به درستی پیکربندی کنند.
ادعای یک کاربر در ردیت: کلودفلر گوگل بات را مسدود کرده است!
یکی از کاربران انجمن تخصصی سئو در شبکه اجتماعی ردیت (r/SEO) با طرح یک پرسش، از سایر متخصصان پرسید که آیا آن ها هم با مشکل مسدود شدن گوگل بات توسط سیستم مسدودساز ربات های هوش مصنوعی کلودفلر مواجه شده اند یا خیر.
این کاربر مشکل خود را این گونه مطرح کرد:
«آیا شخص دیگری هم با مشکل مسدود شدن Googlebot یا Bingbot توسط سیستم جدید مقابله با خزنده های هوش مصنوعی (AI Crawlers) کلودفلر برخورد کرده است؟
من در حال آزمایش ویژگی جدید مسدودسازی خزنده ها و اسکرپرهای هوش مصنوعی کلودفلر بودم که متوجه یک اتفاق غیرمنتظره شدم.
وقتی تنظیمات را روی حالت “AI Training = Block” (مسدودسازی آموزش هوش مصنوعی) قرار می دهم، هم گوگل بات و هم بینگ بات هنگام تلاش برای خواندن نقشه سایت (Sitemap) من، با خطای HTTP 403 (خطای عدم دسترسی سرور) مواجه می شوند. به محض اینکه مسدودساز آموزش هوش مصنوعی را غیرفعال می کنم، نقشه سایت دوباره به راحتی در دسترس قرار می گیرد.
تا جایی که من متوجه شده ام، کلودفلر اکنون گوگل بات و بینگ بات را در دسته بندی ربات های “جستجو + آموزش” (Search + Training) طبقه بندی می کند؛ بنابراین فعال کردن مسدودساز آموزش هوش مصنوعی، ظاهراً این ربات های ضروری را نیز تحت تأثیر قرار می دهد.
این موضوع مرا بر سر یک دوراهی سخت قرار داده است:
۱. اجازه دهم ربات های هوش مصنوعی سایت را بررسی کنند تا موتورهای جستجو هم بتوانند به نقشه سایتم دسترسی داشته باشند.
۲. ربات های هوش مصنوعی را مسدود کنم و خطر دریافت خطای 403 توسط گوگل و بینگ را به جان بخرم.
آیا کسی راهکار تمیز و بدون دردسری برای این مشکل پیدا کرده است؟»
(توضیح تکمیلی: خطای 403 Forbidden در سئو به این معناست که سرور درخواست کاربر یا ربات موتور جستجو را متوجه شده، اما به دلیل محدودیت های امنیتی اجازه دسترسی به آن صفحه یا فایل را نمی دهد. دریافت مداوم این خطا توسط گوگل بات می تواند ضربه سنگینی به سئوی سایت وارد کند.)
نمایی مستند از داشبورد کلودفلر که در بخش Analytics، نمودارها و لاگ ها به وضوح نشان می دهند درخواست های قانونی Googlebot و Bingbot توسط سیستم امنیتی با خطای ۴۰۳ مواجه شده و بلاک شده اند.
تداخل فایروال با گوگل بات؛ واکنش جان مولر و اهمیت کانفیگ اصولی CDN
پس از انتشار این پست، جان مولر (John Mueller)، از مدیران ارشد گوگل، به این کاربر پاسخ داد و از او خواست تا جزئیات را در پیام خصوصی (DM) ارسال کند تا بتوانند این موضوع را دقیق تر بررسی کنند. کاربر دیگری در ردیت این احتمال را مطرح کرد که شاید کلودفلر در حال مسدود کردن ربات های مخربی است که خود را به جای گوگل بات جا زده اند (تکنیکی که به آن Spoofing یا جعل User-Agent می گویند).
اما نویسنده اصلی پست در پاسخ گفت که مشکل این نیست و اطلاعات بیشتری ارائه کرد:
«من می دانم که کلودفلر ربات های تقلبی گوگل را به خوبی شناسایی و مسدود می کند، اما در مورد مشکل من، منظورم دقیقاً همان چیزی است که خود کلودفلر در داشبوردش نشان می دهد.
وقتی حالت “Bot Fight Mode” (حالت مبارزه با ربات ها) را فعال می کنم، آپلود و فراخوانی نقشه سایت ارور 403 می دهد. به محض اینکه آن را غیرفعال می کنم، ارور 403 ناپدید می شود.
علاوه بر این، در بخش AI Crawlers داشبورد، خود کلودفلر به وضوح نشان می دهد که Googlebot و Bingbot به صورت خودکار مسدود شده اند. به همین دلیل است که برایم سؤال شده آیا قابلیت Bot Fight Mode در حال تداخل با خزنده های قانونی است یا اینکه داشبورد کلودفلر دارد اطلاعات اشتباهی را گزارش می دهد.»
اینجاست که اهمیت پیکربندی اصولی زیرساخت سایت مشخص می شود. در دانش وب، ما در زمان اجرای پروژه های طراحی سایت و سئو، تنظیمات CDNها و فایروال هایی نظیر کلودفلر را با دقت و تخصص بالا کانفیگ می کنیم تا سایت شما همزمان که در برابر ربات های مخرب و اسکرپرها ایمن است، بهترین دسترسی را برای ربات های موتورهای جستجو فراهم کند و هیچ گونه افت رتبه ای را تجربه نکنید.
یک اینفوگرافیک رسمی که سیاست گذاری جدید کلودفلر را از ۱۵ سپتامبر ۲۰۲۶ نشان می دهد. این تصویر دسته بندی ربات های جستجو (مجاز)، ربات های با کاربری ترکیبی (مسدود) و ربات های هوش مصنوعی خالص (مسدود) را تفکیک کرده است.
مستندات رسمی کلودفلر چه می گویند؟
در بیانیه رسمی کلودفلر آمده است که از تاریخ ۱۵ سپتامبر ۲۰۲۶ (اواخر شهریور ۱۴۰۵)، این سرویس شروع به مسدود کردن «ربات های با کاربری ترکیبی» (Mixed-usage bots) خواهد کرد. این ها ربات هایی مانند گوگل بات هستند که به طور همزمان، هم وب سایت ها را برای نتایج جستجو ایندکس می کنند و هم داده ها را برای آموزش مدل های هوش مصنوعی (AI Training) جمع آوری می نمایند. نتیجه نهایی این قانون آن است که در صورت فعال بودن مسدودساز هوش مصنوعی، کلودفلر گوگل بات را نیز مسدود خواهد کرد.
در اطلاعیه کلودفلر چنین توضیح داده شده است:
«در تاریخ ۱۵ سپتامبر ۲۰۲۶، کلودفلر تنظیمات پیش فرض جدیدی را برای دامنه های جدید اعمال خواهد کرد: ربات هایی که در دسته بندی ‘آموزشی’ (Training) یا ‘نماینده’ (Agent) قرار می گیرند، در صفحاتی که دارای تبلیغات هستند مسدود می شوند، اما دسترسی ربات های ‘جستجو’ (Search) همچنان مجاز خواهد بود.
خزنده های با هدف ترکیبی (Mixed-purpose crawlers) که کارکرد جستجو و آموزش را با هم ترکیب می کنند نیز توسط تمام پیکربندی های مسدودکننده آموزش هوش مصنوعی، از جمله گزینه قدیمی “Block AI bots”، مسدود خواهند شد. تا قبل از ۱۵ سپتامبر، تمام مشتریان می توانند از اعمال این پیش فرض های جدید انصراف دهند (Opt-out کنند).»
از آنجایی که قرار است این نوع مسدودسازی های گسترده در ماه سپتامبر اجرایی شود، بسیار عجیب و جای تأمل است که در حال حاضر، شخصی در ماه آگوست گزارش می دهد که چنین اتفاقی برای سایتش رخ داده است.
نتیجه گیری
تلاقی تکنولوژی های هوش مصنوعی و سئو در حال ایجاد چالش های جدیدی برای مدیران وب سایت هاست. از یک سو محافظت از محتوای سایت در برابر ربات های سارق داده (Scrapers) برای آموزش مدل های زبانی هوش مصنوعی اهمیت دارد و از سوی دیگر، مسدود کردن اشتباه ربات های گوگل می تواند به قیمت از دست رفتن تمام زحمات سئوی شما تمام شود. توصیه ما این است که در حال حاضر با احتیاط بیشتری از گزینه های محدودکننده سخت گیرانه مانند “Block AI bots” در کلودفلر استفاده کنید. حتماً به صورت روزانه گزارش های خزش (Crawl Stats) در گوگل سرچ کنسول را بررسی کنید تا در صورت بروز خطاهای دسترسی مانند 403 یا 5xx، به سرعت متوجه مشکل شوید. در صورت نیاز به بررسی تخصصی و بهینه سازی زیرساخت سئو و امنیت سایت، متخصصین ما در دانش وب آماده همراهی شما برای عبور ایمن از این چالش ها هستند.