مدیر مالی شرکت کلودفلر (Cloudflare) می گوید تعداد ماشین ها در اینترنت، هزار به یک از انسان ها پیشی خواهد گرفت. اما نکته ترسناک ماجرا اینجاست: بزرگترین خزنده (Crawler) هوش مصنوعی که روز گذشته به سایت من سر زد، اصلاً یک هوش مصنوعی نبود؛ بلکه یک اسکنر سرقت اطلاعات بود که پشت نام یک سازمان غیرانتفاعی پنهان شده بود!
من به خاطر یک عدد و یک آمار عجیب، تصمیم گرفتم این موضوع را عمیق تر بررسی کنم.
مدیر مالی کلودفلر به تحلیلگران چه گفت؟
توماس سایفرت (Thomas Seifert)، مدیر مالی کلودفلر، در جلسه گزارش درآمد سه ماهه دوم این شرکت به تحلیلگران گفت: «اگر روندهای فعلی ادامه یابد، ما فکر می کنیم در پنج سال آینده، ترافیک غیرانسانی (ربات ها و ماشین ها) تا ۱۰۰۰ برابر ترافیک انسانی خواهد شد.»
سپس او جمله ای را بیان کرد که تیتر تمام اخبار شد: «انسان ها در اینترنت صرفاً به یک حاشیه (خطای گرد کردن در آمار) تبدیل خواهند شد؛ نه به این دلیل که ترافیک انسانی کاهش می یابد، بلکه به دلیل سرعت وحشتناک رشد ترافیک غیرانسانی.»
پیش از آنکه با شنیدن این حرف نگران شوید یا گارد بگیرید، باید دو نکته مهم را در نظر بگیریم.
اول اینکه، خود سایفرت یک تبصره به حرف هایش اضافه کرد: «با این پیش فرض مهم که من تا الان در تمام پیش بینی هایم در این مسیر اشتباه کرده ام!» واقعیت این است که کلودفلر قبلاً پیش بینی کرده بود ترافیک ماشین ها در سال ۲۰۲۷ از انسان ها عبور می کند، اما این اتفاق زودتر از موعد و در می ۲۰۲۶ رخ داد. اشتباهات او همیشه به سمت دست کم گرفتن آمار بوده است؛ و این قوی ترین دلیل برای جدی گرفتن این پیش بینی جدید است.
نکته دوم این است که این اندازه گیری کاملاً واقعی و مستند است. مقاله خود کلودفلر که در همان هفته منتشر شد، نشان می دهد که اکنون کمتر از نیمی از درخواست های صفحات HTML از طرف یک انسان واقعی ارسال می شود. من هیچ بحثی در این مورد ندارم؛ بازدیدکنندگان ماشینی واقعی هستند و اتفاقاً موضوع اصلی همین مقاله نیز هستند.
بحث اصلی من بر سر این است که این اعداد و ارقام، دقیقاً «چه چیزی» را می شمارند.
کاوش ساختاریافته و تلاش برای نفوذ به بخش های زیرین و هسته امنیتی سرور به جای مشاهده محتوای بیرونی.
یک روز از ترافیک خزنده ها در سایت من چگونه به نظر می رسد؟
من پنل ترافیک خزنده های هوش مصنوعی کلودفلر را برای سایت خودم (nohacks.co) در یک بازه ۲۴ ساعته منتهی به عصر ۷ آگوست بررسی کردم. آمار نشان دهنده حدود ۳۰۰۰ درخواست بود که تقریباً یک سوم آن ها ناموفق بودند؛ رقمی که نسبت به دوره قبل بیش از ۱۰۰۰ درصد افزایش یافته بود.
آمار خزنده ها به این شرح بود:
- CCBot: ۱۵۱۰ درخواست
- ChatGPT-User: ۳۷۵ درخواست
- ClaudeBot: ۲۹۶ درخواست
- Googlebot: ۲۴۵ درخواست
- PetalBot: ۱۰۷ درخواست
- سیزده خزنده دیگر: مجموعاً ۳۵۳ درخواست
ربات CCBot متعلق به Common Crawl است؛ یک آرشیو وب غیرانتفاعی و باسابقه که بخش بزرگی از مدل های هوش مصنوعی امروزی با داده های آن آموزش دیده اند. روی کاغذ، اینکه این ربات بزرگترین بازدیدکننده سایت من باشد، اصلاً چیز عجیبی نیست.
اما بعد، من مسیرهای درخواستی (Paths) را استخراج کردم تا ببینم این ربات دقیقاً چه صفحاتی را دیده است.
او کلیدهای امنیتی SSH من را می خواست، نه مقالاتم را!
در اینجا پردرخواست ترین مسیرهایی که توسط این به اصطلاح «خزنده هوش مصنوعی» درخواست شده اند را دقیقاً همان طور که از فایل خروجی استخراج کرده ام، می بینید:
/.ssh/known_hosts(۴۲ درخواست)/phpinfo.php(۳۱ درخواست)/.boto(۳۰ درخواست)/.env.production(۲۹ درخواست)/.vscode/launch.json(۲۸ درخواست)/.env.test(۲۷ درخواست)/firebase-service-account.json(۲۶ درخواست)/.gitconfig(۲۴ درخواست)/server/.env(۲۴ درخواست)
این روند برای صدها مسیر حساس دیگر نیز ادامه داشت: از id_rsa و فایل های کلید خصوصی (Private-key) گرفته تا aws/config و حتی مسیری مثل /@fs/proc/self/environ که نشان دهنده تلاش برای سوءاستفاده از یک باگ شناخته شده (Path-traversal bug) در سرورهای توسعه است.
این فایل ها حاوی رمزهای عبور، کلیدهای دسترسی به پایگاه داده، تنظیمات سرور و اطلاعات حیاتی سایت هستند. درخواست برای این فایل ها یعنی یک نفر یا یک ربات در حال تلاش برای نفوذ به هسته سایت است.
استعاره از تغییر ماهیت اسکنرهای مخرب و هدف گیری توکن ها و فایل های پیکربندی ابزارهای عامل هوشمند.
سرقت اطلاعات در پوشش ربات های قانونی
در میان تمام این صدها مسیر، مجموعاً ۱۰۲۸ درخواست ثبت شد، ۶.۷ مگابایت دیتا منتقل گردید و حتی یک ارجاع (Referral) واقعی وجود نداشت. تعداد درخواست ها برای مقالاتی که من واقعاً نوشته ام، تقریباً صفر بود! نزدیک ترین چیزی که این ربات به محتوای سایت من درخواست داد، blog/wp-login.php بود؛ یعنی یک تلاش برای هک کردن صفحه ورود وردپرس، در حالی که سایت من اصلاً وردپرسی نیست!
این جزئیاتِ آخر، بیشتر از آنچه به نظر می رسد اهمیت دارد. این ربات هرچه که هست، قبل از درخواست دادن، صفحات من را نمی خواند. او فقط در حال اجرای یک لیست از پیش تعیین شده است؛ همان لیستی که روی هر سایت دیگری نیز اجرا می کند و سایت من صرفاً یک ردیف در حلقه تکرار اوست.
این یک اسکنر اعتبارنامه (Credential Scanner) است. ربات Common Crawl لینک ها را دنبال می کند و صفحات را می خواند، او هیچ دلیلی ندارد که از سایت یک پادکست، کلید سرویس فایربیس (Firebase) آن را بخواهد.
اشاره تخصصی: ما در تیم دانش وب همیشه در پروژه های طراحی سایت و سئو به مشتریان خود گوشزد می کنیم که امنیت سایت (Security) یکی از ارکان اصلی سئوی تکنیکال است. وقتی ترافیک ربات های مخرب به این شکل بالا می رود، اگر سایت شما معماری امنی نداشته باشد یا از فایروال های مناسب استفاده نکرده باشید، به راحتی قربانی سرقت اطلاعات می شوید. ما در دانش وب، پیکربندی امنیتی را بخشی جدایی ناپذیر از خدمات دیجیتال مارکتینگ خود می دانیم تا سایت شما در برابر چنین حملاتی کاملاً مصون بماند.
من نتوانستم آدرس های IP مبدا را برای اثبات جعل هویت بررسی کنم، زیرا پلن هاستینگ من اجازه دسترسی به دیتای IP هر درخواست را نمی دهد. اما مسئله اینجاست: داشبورد هوش مصنوعی کلودفلر، این ترافیک را به نام Common Crawl ثبت کرده و تک تک درخواست های مخرب آن را به عنوان آمار «خزنده های هوش مصنوعی» من شمرده است!
چیزی که بیش از همه مرا نگران می کند این است: من به دنبال این درخواست ها در رویدادهای امنیتی (Security Events) سایت گشتم و هیچ چیزی پیدا نکردم! زیرا لاگ امنیتی فقط درخواست هایی را ثبت می کند که قوانین فایروال را نقض کنند. از آنجایی که من این ترافیک را مسدود نکرده ام، به راحتی از سیستم عبور می کند و هیچ ردپایی از خود به جا نمی گذارد. این اسکنر سرقت اطلاعات، برای من کاملاً نامرئی است اما در داشبورد کلودفلر با افتخار به عنوان یک موسسه تحقیقاتی غیرانتفاعی معرفی می شود!
۲ مورد از این مسیرها کاملاً جدیدند و ذهن مرا درگیر کرده اند
در میان این لیست بلندبالا، مسیر /.mcp.json (با ۳۰ درخواست) و مسیر /.continue/config.json (با ۲۴ درخواست) به چشم می خورند.
این دو فایل مربوط به پیکربندی ابزارهای عامل هوشمند (Agent Tooling) هستند؛ یعنی فایل تنظیمات دستیارهای برنامه نویسی و سرورهای MCP. هر دو فایل معمولاً حاوی کلیدهای API و توکن های دسترسی اند؛ چرا که شما برای اتصال هوش مصنوعی به سرویس هایتان، این کلیدها را در این فایل ها قرار می دهید.
کسی این اعتبارنامه های هوش مصنوعی را به لیست استاندارد اسکنرهای هک اضافه کرده است! همان سیستم خودکاری که سال هاست به دنبال فایل /.env سایت ها می گردد، حالا به دنبال فایلی است که مشخص می کند عامل های هوشمند شما از چه ابزارهایی استفاده می کنند و با چه کلیدی احراز هویت می شوند. هیچ کس این موضوع را اعلام نکرد، اما خیلی سریع اتفاق افتاد. هکرها بسیار جلوتر از کاربران عادی حرکت می کنند.
بازنمایی مفهومی مکانیزم سنجش، فیلترسازی و کنترل انتخابی جریان داده ها در شبکه های زیرساختی مدرن.
کلودفلر در همان هفته ادعای خودش را اصلاح کرد!
قوی ترین وزنه تعادل در برابر ادعاهای ترسناک مدیر مالی کلودفلر، مقاله ای مهندسی است که در همان هفته توسط خود کلودفلر منتشر شد.
آن ها در پست مربوط به اینترنتِ مبتنی بر هوش مصنوعی (Agentic-internet) نوشته اند که بخش زیادی از ترافیکِ ربات های خوش رفتار، صرف درخواست مجدد برای صفحاتی می شود که اصلاً تغییری نکرده اند؛ و این شامل میلیاردها درخواست می شود. به بیان خودشان: «حجم عظیمی از تلاش ماشینی، که به هیچ نتیجه ای ختم نمی شود.»
باید بدانید که تلاش ماشینی (Machine effort) با تقاضای ماشینی (Machine demand) کاملاً متفاوت است. لاگ های سایت خودم این موضوع را به واضح ترین شکل ممکن نشان داد: بزرگترین بخش ترافیک ماشینی من نه تنها بی فایده بود، بلکه کاملاً مخرب بود، اما همچنان در آمار شمرده می شد.
مشکل را ایجاد کن، برایش بازاریابی کن، راه حل را بفروش!
کاملاً مشخص است که کلودفلر در این میان چه نقشی برای خود تعریف کرده است و باید این موضوع را با صدای بلند گفت: مشکل را ایجاد کن، برایش بازاریابی کن، و در نهایت راه حل را بفروش.
فقط در هفته اول آگوست این اتفاقات افتاد: پیش بینی ترسناک ترافیک ربات ها در جلسه مالی، انتشار مقاله ای درباره اینکه چقدر از وب دیگر انسانی نیست، معرفی ابزار اسکنر هوش مصنوعی برای نشان دادن اینکه سایت شما آماده نیست، ارائه محصولی برای امتیازدهی به شما، و در نهایت فعال کردن پیش فرضی که از ماه سپتامبر برخی ربات ها را مسدود می کند؛ مگر اینکه شما تصمیم دیگری بگیرید (یا هزینه ای بپردازید).
شرکتی که مشکل را اندازه گیری می کند، آن را بزرگ نمایی می کند و راه حل را می فروشد، یک شرکت واحد است: کلودفلر. آن ها اکنون هم «کنتور» را در دست دارند و هم «شیر فلکه» را.
البته من می خواهم در اینجا منصف باشم. من از بسیاری از اقدامات کلودفلر (مانند سیستم پرداخت به ازای خزش یا Pay-per-crawl) حمایت کرده ام. اینکه به صاحبان وب سایت ها حق انتخاب داده شود که کدام ماشین ها وارد سایت شوند، بسیار بهتر از این است که یک دادگاه برای آن ها تصمیم بگیرد. همه این ها می توانند همزمان درست باشند. کلودفلر می تواند کارهای خوبی انجام دهد و همزمان برنامه های تجاری خاص خود را نیز پیش ببرد. اشتباه ما این است که شرکت ها را مطلقاً به عنوان «آدم خوبه» یا «آدم بده» دسته بندی کنیم و همه کارهایشان را از آن فیلتر ببینیم.
تمرکز بر کشف حقیقت پشت اعداد و نمودارها با بررسی دقیق و انتقادی داده های رفتاری ترافیک.
نتیجه گیری
آمار ترافیک را جدی بگیرید، اما با چشمی باز و با کمی تردید به آن ها نگاه کنید. بله، ماشین ها اکثریت درخواست ها را تشکیل می دهند. این یک واقعیت اندازه گیری شده است.
اما بعد، پنل تحلیل خزنده های سایت خودتان را باز کنید و مسیرهای درخواستی (Paths) را بخوانید، نه فقط مجموع اعداد را. آمار سایت من، امروز سه چیز را به من آموخت که تا صبح نمی دانستم:
- بزرگترین خزنده هوش مصنوعی من یک اسکنر هکر بود.
- این ربات در حال بلعیدن مگابایت ها از پهنای باند من برای هیچ و پوچ بود.
- لیستی که این هکرها با آن کار می کنند، اکنون شامل فایل های پیکربندی هوش مصنوعی و کلیدهای API نیز می شود.
هیچ کدام از این جزئیات در پیش بینی های پر سر و صدای هیچ شرکتی گفته نمی شود، بلکه فقط حجم و عدد به شما داده می شود. ۱۵۰۰ عدد از این درخواست های مخرب در یک روز به یک سایت کوچک وارد شد، همه آن ها در آمار «هزار به یک» که مدیر مالی کلودفلر به تحلیلگران گفت شمرده شدند، و حتی یکی از آن ها به مقاله ای که من نوشته بودم علاقه ای نداشت.