کلودفلر (Cloudflare) در حال به روزرسانی روش های شناسایی و مسدودسازی ربات های خزنده (Crawlers) هوش مصنوعی است. این تغییراتِ زیرساختی ممکن است منجر به مسدود شدن ناخواسته گوگل بات (Googlebot) در سایت هایی شود که از آموزش مدل های هوش مصنوعی جلوگیری می کنند. این شرکت خبرِ این آپدیت را به عنوان بخشی از دومین مراسم «روز استقلال محتوا» (Content Independence Day) خود اعلام کرد.
کنترل های جدید به وب سایت ها اجازه می دهد تا ترافیک خودکار و ربات ها را به جای استفاده از یک دکمه ساده و صفر و یکیِ «مسدودسازی ربات های هوش مصنوعی»، بر اساس سه رفتار متمایز مدیریت کنند. این قابلیت ها همین الان برای تمامی کاربران، حتی در طرح های رایگان کلودفلر، فعال هستند. با این حال، یک سری تغییرات پیش فرضِ بسیار حساس وجود دارد که از تاریخ ۱۵ سپتامبر به اجرا درخواهند آمد.
سه روش جدید برای دسته بندی ربات های هوش مصنوعی
کلودفلر اکنون خزنده ها را بر اساس کاری که در یک سایت انجام می دهند دسته بندی می کند، نه فقط بر این اساس که آیا از نظر فنی «هوش مصنوعی» محسوب می شوند یا خیر. این شرکت کاربردهای هوش مصنوعی را به سه دسته کاربردی زیر تقسیم کرده است:
- جستجو (Search): سایت را برای پاسخ گویی به سوالات کاربران در آینده ایندکس می کند و کلودفلر این رفتار را مستقیماً به ترافیک ارجاعی (ورودی ارگانیک سایت) مرتبط می داند.
- دستیار (Agent): ربات های درنگ زمان (Real-time) که به نمایندگی از یک شخص واقعی عمل می کنند؛ مانند کاربرانی که از ChatGPT-User استفاده می کنند یا دستیارهای مرورگر مثل جمینای (Gemini) و کلود (Claude) که روی مرورگر کروم فعالیت دارند.
- آموزش (Training): خزنده هایی که محتوای سایت شما را استخراج (Scrape) می کنند تا از آن برای آموزش یا بهبود (Fine-tune) یک مدل هوش مصنوعی استفاده کنند.
کلودفلر می گوید که توسعه دهندگان سیستم های هوش مصنوعی باید خزنده های جداگانه ای برای هر یک از این رفتارها اجرا کنند تا مدیران وب سایت ها بتوانند دلیل بازدید یک ربات را به وضوح متوجه شوند و برای اجازه دادن یا مسدود کردن آن تصمیمی منطقی بگیرند.
در تاریخ ۱۵ سپتامبر چه چیزی تغییر می کند؟
دو تغییر پیش فرض در تاریخ ۱۵ سپتامبر اجرایی می شود. برای مشتریان جدید و همچنین سایت های جدیدِ مشتریان فعلی، خزنده های دسته «آموزش» و «دستیار» به صورت پیش فرض در صفحاتی که تبلیغات نمایش می دهند مسدود خواهند شد، در حالی که خزنده های «جستجو» همچنان مجاز به فعالیت خواهند بود. طبق بیانیه کلودفلر، مشتریان فعلیِ طرح های رایگان که تا ۱۵ سپتامبر تنظیمات خود را تغییر نداده باشند نیز به صورت خودکار به این حالت پیش فرض منتقل می شوند.
اما تغییر دوم حتی از این هم فراتر می رود و دقیقاً همان جایی است که پای سئو به میان می آید! کلودفلر با خزنده های چندمنظوره بر اساس رفتار کلی آن ها برخورد خواهد کرد و سخت گیرانه ترین قانون ممکن را روی آن ها اعمال می کند. به عنوان مثال، اگر سایتی ربات های دسته «آموزش» را مسدود کند، یک خزنده که به صورت همزمان هم برای «جستجو» و هم برای «آموزش» کاربرد دارد، به طور کامل مسدود خواهد شد. کلودفلر از Googlebot، Applebot و Bingbot به عنوان نمونه های بارز این موضوع یاد می کند، زیرا هر سهِ این ربات ها هم برای جستجو و هم برای جمع آوری دیتای آموزش هوش مصنوعی می خزند. اگر سایتی از قبل تنظیمات قدیمی «Block AI bots» را در پنل خود فعال کرده باشد، مشمول این قانون جدید و سخت گیرانه خواهد شد.
دیاگرام هوشمند نشان دهنده ۳ دسته اصلی فعالیت ربات ها و مسیر پردازش آن ها در شبکه کلودفلر.
سیگنال های جدید برای نحوه استفاده ربات ها از محتوا
کلودفلر همچنین در حال آزمایش یک سیگنال استفاده از محتواست که در واقع بسط یافته ی «سیگنال های محتوا در فایل robots.txt» محسوب می شود. این قابلیت دارای سه متغیر است که از محدودکننده ترین تا آزادترین حالت طبقه بندی شده اند:
- فوری (Immediate): هیچ چیزی را ذخیره نمی کند.
- مرجع (Reference): محتوا را ایندکس کرده و به عنوان منبع به سایت شما لینک می دهد (این حالت پیش فرضِ جدید است).
- کامل (Full): محتوا را به صورت کامل پردازش، خلاصه و بازتولید می کند.
البته کلودفلر تصریح می کند که این متغیرها صرفاً یک اولویت یا ترجیحِ سایت را به ربات اعلام می کنند و به خودی خود باعث مسدودسازی در سطح شبکه نمی شوند.
همچنین این شرکت تعریف خود از ربات های «تایید شده» (Verified) را بازبینی کرده است. اکنون، یک ربات تایید شده به طور خودکار در همه جا مجاز نیست؛ بلکه دسترسی آن بستگی به دسته بندی اش دارد. علاوه بر این، ربات هایی که محتوا را به طور کامل کپی و بازتولید می کنند، دیگر واجد شرایط دریافت تاییدیه نیستند. کلودفلر برای کاربران Enterprise Bot Management خود، یک دایرکتوری قابل جستجو به نام BotBase معرفی کرده است که دسته بندی هر ربات ردیابی شده و یک شناسه تشخیص (Detection ID) قابل کپی را برای تدوین قوانین امنیتی نمایش می دهد.
گزارشی که پشت این تغییرات قرار دارد
این به روزرسانی همزمان با انتشار گزارشی از کلودفلر به مناسبت یک سالگی اولین «روز استقلال محتوا» ارائه شد. بر اساس این گزارش، اکنون «آموزش هوش مصنوعی» بخش عمده ی درخواست های خزنده ها در شبکه کلودفلر را به خود اختصاص داده است؛ این آمار در بهار ۲۰۲۵ تنها حدود ۲۰ درصد بود که نشان از رشد خیره کننده آن دارد. همچنین این گزارش اشاره می کند که درخواست های روزانه دستیارهای هوش مصنوعی (AI agent) در طول یک سال گذشته بیش از ۱۷۰۰ درصد افزایش یافته است. البته لازم به ذکر است که این آمارها صرفاً بر اساس ترافیک عظیم شبکه خودِ کلودفلر است و لزوماً نمایانگر کل فضای اینترنت نیست.
چرا این موضوع برای سایت شما اهمیت زیادی دارد؟
قانون ۱۵ سپتامبر، در شبکه کلودفلر، مسدود کردنِ آموزش هوش مصنوعی را به خزنده های موتورهای جستجو گره می زند. اگر سایتی برای محافظت از محتوای اختصاصی خود در برابر مدل های هوش مصنوعی، دسترسی خزنده های «آموزش» را ببندد، ممکن است ناخواسته ربات اصلی گوگل یعنی Googlebot را نیز بلاک کند.
چرا این خطرناک است؟ زیرا مسدودسازی توسط کلودفلر در سطح شبکه (Network level) انجام می شود و دور زدن آن بسیار سخت تر از یک خط کد ساده در فایل robots.txt است. همانطور که می دانید، فایل robots.txt صرفاً یک دستورالعمل توصیه ای برای خزنده هاست و گوگل در برخی موارد می تواند آن را نادیده بگیرد، اما سد فایروال کلودفلر غیرقابل عبور است. از دست دادن دسترسی گوگل بات به این معنی است که سایت شما به طور موثر خزش (Crawl) نخواهد شد و این موضوع در نهایت باعث افت شدید دیده شدن سایت در نتایج جستجو (SERP) می شود.
نتیجه گیری
وب سایت هایی که از سرویس های کلودفلر استفاده می کنند باید تا قبل از ۱۵ سپتامبر تنظیمات مسدودسازی هوش مصنوعی خود را بازبینی کنند و تصمیم بگیرند که آیا می خواهند خزنده های جستجو را فعال نگه دارند یا خیر. قانون «خزنده های ترکیبی» عمدتاً روی کسانی تاثیر می گذارد که قبلاً گزینه “Block AI bots” را روشن کرده و از آن زمان تاکنون به آن دست نزده اند. کاربرانی که از پلن های رایگان استفاده می کنند و تنظیمات خود را تغییر ندهند، در همان تاریخ به صورت خودکار به تنظیمات پیش فرض جدید منتقل خواهند شد.
کلودفلر از اپراتورهای ربات های چندمنظوره (مثل گوگل و مایکروسافت) می خواهد که طی سال آینده، ربات های خود را بر اساس رفتارشان تفکیک کنند. اینکه آیا غول های فناوری این تفکیک رفتاری را انجام خواهند داد یا خیر، مشخص می کند که آیا وب مسترها در آینده حق انتخاب واقعی خواهند داشت، یا اینکه مجبورند بین «محافظت از محتوایشان در برابر هوش مصنوعی» و «حفظ جایگاه سئوی خود» به یک مصالحه تلخ تن دهند.