یک معیار واحد، یک ناشر مشخص، یک روش شناسی کاملاً مستند و ارقامی که تا ۳۰ برابر با هم تفاوت دارند! هیچ کس دروغ نگفته است، و دقیقاً همین بخش، نکته ای است که ارزش درک کردن دارد.
اعدادِ سردرگم کننده؛ نگاهی به توازنِ نامتقارنِ وب و هوش مصنوعی
نسبت «خزش به ارجاع» (Crawl-to-Refer Ratio) برای پلتفرم «آنتروپیک» (Anthropic) به صورت های مختلفی گزارش شده است: ۷۰,۹۰۰ به ۱، ۳۸,۰۰۰ به ۱، ۲۳,۹۵۱ به ۱، ۱۱,۱۲۲ به ۱، ۱۰,۳۰۰ به ۱، ۴,۵۸۰ به ۱ و ۲,۲۳۷ به ۱. همه این ارقام به «کلودفلر» (Cloudflare) نسبت داده شده و همگی در بازه زمانی حدود ۱۳ ماه منتشر شده اند. حتی دو مورد از آن ها ادعا می کنند که مربوط به یک ماهِ مشابه هستند، اما تفاوت شان حدود ۱۷ برابر است!
اگر «نسبت خزش به ارجاع» معیاری نیست که آن را دنبال می کنید، کل مفهومش در یک پاراگراف خلاصه می شود: هر شرکت هوش مصنوعی، ربات های خزنده (Crawler) دارد که صفحات سایت شما را اسکن می کنند. برخی از این پلتفرم ها در صورتی که کاربری پاسخ سوال خود را بخواند و روی لینک منبع کلیک کند، ترافیک (بازدیدکننده) به سایت شما می فرستند. این نسبت، مقایسه ای بین این دو است؛ یعنی پلتفرم چند صفحه از شما گرفته و در مقابل چند نفر را به سایت شما بازگردانده است. نسبت ۵ به ۱ یعنی پلتفرم ۵ صفحه را برداشته و ۱ بازدیدکننده فرستاده است. نسبت ۷۰,۰۰۰ به ۱ یعنی ۷۰ هزار صفحه برداشته و فقط ۱ بازدیدکننده فرستاده است.
این معیار به این دلیل به وجود آمد که توافق قدیمی وب شکسته شد. قبلاً ربات های جستجوگر صفحات شما را می گرفتند و در عوض ترافیک می فرستادند؛ این داد و ستد، اساس اقتصادی تولید محتوا در وب باز بود. اما سیستم های هوش مصنوعی پاسخ را در همان پلتفرمِ خود ارائه می دهند، بنابراین برداشتن محتوا ادامه یافت، اما بازگرداندن بازدیدکننده متوقف شد. این نسبت، خالص ترین نمایش از این است که چقدر این داد و ستد نامتوازن شده است؛ به همین دلیل به سرعت پخش شد، به اسلایدهای جلسات هیئت مدیره راه یافت و تصمیم گیری درباره اینکه کدام ربات های خزنده اجازه ورود به سایت ها را داشته باشند، تغییر داد.
بازی با ارقام؛ چرا آمارهای رشد هوش مصنوعی نگران کننده هستند؟
این مشکل همچنان در حال رشد است. گوگل در کنفرانس توسعه دهندگان خود در ماه می اعلام کرد که کاربران ماهانه «حالت هوش مصنوعی» (AI Mode) از یک میلیارد نفر گذشته و پرس وجوها «از زمان راه اندازی، هر فصل بیش از دو برابر شده است». این عدد به عنوان داستانی درباره «کاربردی بودن» ارائه شد، نه درباره اینکه این پاسخ ها چقدر از ارسال ترافیک به سایت ها جلوگیری می کنند. این رشدِ هر فصل دو برابر، بدون ذکرِ پایه آماری، نرخ رشدی است که نمی توانید از آن استفاده کنید. دقیقاً همین مشکلِ «بی معنا بودن عدد بدون زمینه»، در قلب این مقاله قرار دارد.
با مشاهده این عدم توازن، اولین فکر این است که یا کسی بی دقت بوده یا کسی در حال بازی با اعداد است. اما این برداشت اشتباه است و پذیرش آن راحت تر از حقیقت است. کلودفلر یک معیار شفاف منتشر کرد، روش محاسباتی را به طور کامل مستند کرد و محدودیت های خودش را در همان پستِ معرفی اعلام کرد. با این حال ارقام همچنان متفاوت اند، زیرا یک نسبت از یک «صورت» و یک «مخرج» تشکیل شده و این معیار، ۴ مخرجِ پنهان در دل خود دارد که تقریباً هیچ کس هنگام نقل قول کردن، آن ها را با خود نمی برد.
این تصویر نشان می دهد که چگونه چهار متغیر کلیدی (بازه زمانی، نوع ربات، نمونه سایت، و ترافیک بدون هدر ارجاع) باعث تفاوت شدید در اعداد گزارش شده می شوند.
مشکل از متدولوژی نیست
هفته گذشته درباره محتواهایی نوشتم که به منابعی استناد می کنند که اصلاً وجود ندارند. این نسخه پیچیده تر همان مشکل است. در اینجا، تمام منابع واقعی هستند، ناشر معتبر است و مستندات هم عمومی است، اما باز هم نتیجه گیری ها غلط از آب درمی آید.
کلودفلر نسبت خزش به ارجاع را در جولای ۲۰۲۵ معرفی کرد. فرمول ساده است: «تعداد کل درخواست های ربات های یک پلتفرم (که خروجی HTML داشته اند) را بر تعداد کل درخواست هایی که دارای هدر Referer با نام دامنه آن پلتفرم هستند، تقسیم کنید». این کل فرمول است؛ شفاف، دقیق و قابل تکرار توسط هر کسی که به لاگ های سرور دسترسی دارد. اما آنچه پس از خروج این عدد از «خانه» اتفاق می افتد، داستان دیگری است.
۴ مخرجی که پشت یک عدد پنهان اند
۱. بازه زمانی (Window): در پست راه اندازی کلودفلر، دوره نمونه گیری یک هفته بود (۱۹ تا ۲۶ ژوئن ۲۰۲۵). آنتروپیک ۷۰,۹۰۰ به ۱ بود. در پستی دیگر در همان ماه، عدد ۷۳,۰۰۰ به ۱ گزارش شد. یک ناشر، یک ماه، اما بازه های متفاوت، اعداد متفاوت. حالا در گزارش های تحلیلگران، ارقام سه ماهه، ماهانه، ۲۸ روزه و یک هفته ای همگی در کنار هم قرار می گیرند، انگار که یک نوع اندازه گیری هستند!
۲. کدام ربات؟: کلودفلر می گوید رباتِ آموزش دهنده (Training Crawler) و رباتِ پاسخ دهنده (User-Request Crawler) زیر یک نام پلتفرم تجمیع شده اند. این دو رفتار هیچ شباهتی ندارند؛ یکی محتوا را در مقیاس وسیع می بلعد و هیچ چیز پس نمی دهد، دیگری در لحظه جستجو می کند و می تواند ارجاع دهد. ترکیب این دو، عددی را می سازد که توصیف کننده هیچ کدام نیست.
۳. چه سایت هایی؟: کلودفلر فقط ترافیکی را می بیند که از شبکه خودش عبور می کند. این یک نمونه بزرگ است اما همچنان فقط یک نمونه است. وقتی تحلیلگری این معیارNative Apps) این هدر را ندارند. این یعنی بخش بزرگی از ترافیک هوش مصنوعی اصلاً ش سایت های مورد بررسی به تنهایی عدد را جابه جا می کند.
۴. مخرج چهارم که از همه مهم تر است: «ارجاعاتی که خودشان را معرفی می کنند».
یک ارجاع فقط زمانی وارد محاسبات می شود که درخواست دارای هدر Referer باشد. کلودفلر رسماً اعلام کرده که ترافیک اپلیکیشن های بومی (Native Apps) این هدر را ندارند. این یعنی بخش بزرگی از ترافیک هوش مصنوعی اصلاً شمرده نمی شود! و نکته ترسناک این است: هیچ کس نمی داند این انحراف آماری چقدر بزرگ است.
تصمیماتی که بر پایه اعدادِ معلق گرفته می شوند
این بحث ممکن است آکادمیک به نظر برسد، اما نیست. ناشران وب در حال استفاده از این نسبت ها برای «بستن یا باز گذاشتن» دسترسی ربات های هوش مصنوعی به سایت شان هستند. تیم های مارکتینگ از همین اعداد استفاده می کنند تا ثابت کنند ترافیک هوش مصنوعی ارزش دنبال کردن ندارد.
اگر پلتفرمی بخش بزرگی از ترافیکش را از طریق اپلیکیشن های بدون هدر می فرستد، نسبتِ «خزش به ارجاع» شما به شدت بیش تخمین زده شده است. اگر این عدد را از یک بازه زمانی گرفته باشید که ربات ها در حال «آموزش سنگین» بوده اند، در حال اتخاذ یک سیاست دائمی بر اساس یک نوسان موقت هستید.
نتیجه گیری
وقتی کسی به شما معیاری می دهد، بپرسید: چه بازه ای را پوشش می دهد؟ چه چیزهایی برای تولید این عدد با هم ترکیب شده اند؟ و مرز جمع آوری داده ها کجاست؟ اگر این سه پاسخ بلافاصله در دسترس نیست، یعنی کسی که عدد را به شما داده خودش هم نمی داند چه می گوید.
در دنیای امروز که هوش مصنوعی به سرعت در حال تغییر معادلات است، تکیه بر آمارهای سطحی می تواند استراتژی سئو و بازاریابی شما را به بیراهه ببرد. در «دانش وب»، ما به جای تکیه بر اعدادِ خام و بدون زمینه، با تحلیل عمیق داده های اختصاصی سایت شما و بررسی رفتارهای واقعی ربات ها، استراتژی هایی را تدوین می کنیم که واقعاً برای کسب وکارتان سودآور است. هوش مصنوعی فرصتی بزرگ است، به شرطی که بدانید چگونه آن را به نفع رشد واقعی وب سایت خود مدیریت کنید.