خزنده های متا اکنون بخش بیشتری از فضای وب را نسبت به ربات های هوش مصنوعیِ سایر شرکت ها که همه در حال مسدود کردنشان هستند، می خوانند. اما هیچ کس با متا مذاکره نمی کند. در این مقاله بررسی می کنیم که چرا این موضوع اهمیت حیاتی دارد.
به نظر من، ما در جنگِ محدودسازی دسترسی ماشین ها به اطلاعات وب سایت هایمان، نوک پیکان را به سمت شرکت اشتباهی نشانه رفته ایم. ناشران محتوا در حال حاضر مدام با این چالش درگیرند که آیا باید دسترسی هوش مصنوعی گوگل به سایتشان را مسدود کنند یا با آن قرارداد تجاری ببندند. به عنوان مثال، پلتفرم ردیت (Reddit) در جلسه گزارش مالی ۳۰ جولای خود دقیقاً به همین مسئله پرداخت و هر حرکتی در این بازی، مانند یک نشست مهم جهانی پوشش خبری داده می شود.
اما در همین حین، بزرگ ترین ماشینِ خوانش وب متعلق به شرکت «متا» (فیس بوک و اینستاگرام سابق) است. متا بیش از تمام ربات هایی که وب مسترها در حال مسدود کردنشان هستند، محتوای سایت ها را می خواند، تقریباً هیچ ترافیکی به سایت مبدأ برنمی گرداند و به نظر می رسد هیچ کس حتی در مورد اینکه آیا «خزنده های زاکربرگ» (Zuckrawlers) باید مسدود شوند یا خیر، بحثی نمی کند! (در پروژه های سئویی که ما در دانش وب مدیریت می کنیم، مدیریت بودجه خزش یا Crawl Budget یکی از ارکان اساسی است و شناخت این ربات های جدید برای سئوی سایت بسیار حیاتی است).
خزنده های متا به اکثریت تبدیل شدند، در حالی که GPTBot همچنان منفورترین است!
شرکت دیتا دوم (DataDome) که ارائه دهنده خدمات دفاع در برابر ربات هاست، در سه ماهه دوم سال ۲۰۲۶، بالغ بر ۱۷.۷ میلیارد درخواست از سوی ایجنت های هوش مصنوعی (AI agents) در شبکه خود ثبت کرده است که نسبت به سه ماهه اول، ۴۵ درصد رشد داشته است. نکته جالب اینجاست که این رشد چشمگیر نه از سمت گوگل بوده و نه OpenAI.
ربات عامل خارجی متا (Meta-ExternalAgent) در این سه ماهه رشد ۷۴ درصدی را تجربه کرده و ربات ایندکسر متا (Meta-WebIndexer) با رشد خیره کننده ۱۶۳ درصدی مواجه شده است. اکنون این دو ایجنت متا، بخش اعظم ترافیک ربات های هوش مصنوعی که DataDome رصد می کند را به خود اختصاص داده اند، در حالی که بازگشت ترافیک (Referral) از سمت آن ها به سایت ها تقریباً صفر است!
البته قبل از اینکه ادامه مقاله را بخوانید، باید یک نکته را با صدای بلند بگوییم: شرکت DataDome فروشنده سیستم های محافظت در برابر ربات هاست، بنابراین داده های آماری آن با منافع تجاری اش گره خورده است؛ پس این اعداد دقیق را صرفاً به عنوان دیدگاه یک شبکه در نظر بگیرید.
اما نادیده گرفتن «روند کلی» این آمار بسیار سخت است؛ به ویژه وقتی به فایل های robots.txt سایت ها (فایلی که دسترسی ربات ها به سایت را کنترل می کند) نگاه می کنید. طبق آمارهای همین شرکت، ربات هوش مصنوعیِ OpenAI یعنی GPTBot همچنان رکورددار بیشترین مسدودیت در سطح وب است. در واقع، رباتی که تمام مدیران سایت ها در حال دفاع در برابر آن هستند، اصلاً رباتی نیست که بیشترین حجم خوانش اطلاعات را انجام می دهد!
گرافیک و نمودار مفهومی از میزان خزش بسیار بالای ربات های Meta-ExternalAgent و Meta-WebIndexer در سرورها در مقایسه با سایر ربات های هوش مصنوعی.
گوگل حق ملاقات را با پرداخت «ترافیک» خرید، اما متا هرگز به کسی بدهکار نبود
من فکر می کنم این شکاف بزرگ به دلیل پیشینه تاریخی متفاوت گوگل و متا وجود دارد. گوگل همیشه موتور محرکِ ترافیک سایت ها بود. برای ۲۰ سال متوالی، این معامله کاملاً شفاف بود: گوگل وب سایت شما را می خواند، در عوض برای شما بازدیدکننده می فرستد.
اما زمانی که خلاصه های تولید شده توسط هوش مصنوعی گوگل (AI Overviews) باعث شدند کاربران جوابشان را مستقیماً در صفحه جستجو بگیرند و وارد سایت ها نشوند (چیزی که در دنیای سئو به آن جستجوهای بدون کلیک یا Zero-Click می گوییم)، ناشران احساس کردند که گوگل زیر قول خود زده است. به همین دلیل است که واکنش آن ها امروز شبیه به یک درخواست برای مذاکره مجدد است؛ با استفاده از اهرم هایی مثل مسدود کردن، درخواست حق امتیاز و شکایت های حقوقی.
در مقابل، استراتژی متا همیشه بر اساس «نگه داشتن کاربر درون پلتفرم خود» (مثل اینستاگرام) بوده است؛ همان چیزی که گوگل هم اکنون در تلاش است به سمت آن تکامل یابد. هیچ کس در تاریخ وب هرگز انتظار نداشت که متا برای وب سایتش بازدیدکننده بفرستد. بنابراین، وقتی خزنده های متا به سنگین ترین مصرف کنندگان محتوای وبِ باز تبدیل شدند، هیچ قولی شکسته نشد و کسی احساس باخت نکرد.
با این حال حقیقت این است: شرکتی (متا) که مدل «حبس کاربر در پلتفرم» را به کمال رسانده، اکنون بزرگترین مصرف کننده دسترنج دیگران است؛ و شرکتی که همه در حال چانه زنی با آن هستند (گوگل)، سخت در تلاش است تا مدل متا را کپی کند!
اگر پلتفرم ها کاربر را برای خود نگه دارند، دیگر چیزی برای مذاکره باقی نمی ماند
اگر پلتفرم های بزرگ بخواهند کاربران را برای خودشان نگه دارند، دیگر ناشران محتوا هیچ برگ برنده ای برای مذاکره ندارند. آن «ترافیک طلایی» که باعث می شد معامله قدیمی کار کند، در حال حذف شدن است. بنابراین، تنها راه چانه زنی به این محدود می شود که: «بابت محتوایی که برای آموزش و تغذیه هوش مصنوعی تان استفاده می کنید، به ما پول بدهید!»
این یک موضع کاملاً بازنده برای اکثر سایت هاست؛ مگر اینکه یک غول رسانه ای باشید. متا البته چنین چک هایی را می کشد، اما فقط برای نوک قله! در مارس ۲۰۲۶، متا یک قرارداد حق امتیاز به ارزش سالانه ۵۰ میلیون دلار با غول رسانه ای News Corp امضا کرد که هم پاسخ های هوش مصنوعی متا و هم آموزش مدل های زبانی را پوشش می داد. قراردادهای مشابهی نیز با CNN، Fox News، USA Today و چند رسانه بزرگ دیگر بسته شد.
آن میز مذاکره فقط برای چند ده برند بزرگ رسانه ای جا دارد، در حالی که خزنده های متا در حال خواندنِ محتوای همه هستند! شبکه ای مثل Reddit می تواند قرارداد ببندد یا در گزارش مالی اش تهدید به ترک مذاکره کند؛ اما یک فروشگاه اینترنتی، یک وبلاگ، یا یک مجله تخصصی کسب وکار در سال ۲۰۲۶ نمی تواند چنین کاری انجام دهد.
این شرایط، تنها یک راه شرافتمندانه برای پیروزی ناشران و کسب وکارهای آنلاین باقی می گذارد: “بسیار خب، ما بدون شما این کار را انجام می دهیم” و سپس، خلقِ واقعیِ این شرایط!
راهکار چیست؟ ایجاد یک ارتباط مستقیم و قوی تر با مخاطب از طریق «رسانه های تحت مالکیت» (Owned Channels)؛ یعنی پلتفرم هایی که شبکه های اجتماعی نتوانند ارزش آن ها را کاهش دهند. این دقیقاً همان چیزی است که ما در تیم دیجیتال مارکتینگ و طراحی سایت دانش وب به مشتریانمان توصیه می کنیم: داشتن یک وب سایت قدرتمند و مستقل، قدمی به سوی تمرکززدایی از پلتفرم های انحصارطلب و بازگشت به وبِ آزاد است. هیچ کدام از این کارها یک شبه اتفاق نمی افتد و مسیر هیچ کدام از اتاق جلساتی که مذاکرات گوگل در آن ها جریان دارد، نمی گذرد.
: طرح گرافیکی نمادین برای حفاظت از محتوا، تمرکز بر رسانه های تحت مالکیت (Owned Channels) و ساخت ارتباط مستقیم با کاربران بدون وابستگی به انحصار پلتفرم ها.
خوانش اطلاعات توسط متا برای شما هزینه ای ندارد، اما مسئله این نیست!
متا هرگز برای وب سایت ها ترافیکی نفرستاد و قولی هم در این باره نداد؛ بنابراین وقتی خزنده هایش میلیاردها صفحه را می خوانند، چیزی از شما که قبلاً داشته اید را نمی گیرند و این کار تقریباً هزینه مستقیمی برای شما ندارد.
اما مسئله اصلی این است که متا در حال بنا کردن امپراتوری تجاری خود بر دوش افرادی است که کار و تولید محتوای واقعی انجام می دهند، بدون اینکه هیچ پاداشی به آن ها بدهد. این کار از نظر اخلاقی و تجاری اشتباه است؛ و فرقی نمی کند که یک وب سایت کوچک به تنهایی این هزینه و ضرر را احساس کند یا خیر.
نکته مهم تر اینکه، آنچه DataDome گزارش داده، تنها رفتار اولیه این کلاس از بازدیدکنندگان (ربات ها) است. همین ماشین هایی که امروز وب سایت شما را به رایگان می خوانند، همان ماشین هایی هستند که فردا برای خواندن یا خرید از آن پول پرداخت خواهند کرد؛ و شرایط دسترسی ای که وبِ امروز بر اساس قدرت برندها تعیین می کند، همان شرایطی است که در آینده باید با آن زندگی کنیم.
پس یک وب سایت معمولی در قبال متا چه کاری باید انجام دهد؟ پاسخ صادقانه من این است: «امروز هیچ کاری از دست شما ساخته نیست، اما چشم از آن برندارید!»
چشم برداشتن به این معناست که دقیقاً بدانید چه کسی (چه رباتی) وب سایت شما را می خواند، نه اینکه صرفاً تیتر اخبار را دنبال کنید تا ببینید کدام شرکت هوش مصنوعی امروز ترند شده است. این دو مسیر در حال جدا شدن از هم هستند. مذاکره ای که همه می بینند با گوگل است؛ اما خواننده ای که تقریباً هیچ کس حواسش به آن نیست، متا است.
لاگ فایل های سرور شما (Log Files) تفاوت این دو را به خوبی می فهمند، حتی اگر تیترِ رسانه ها نفهمند. (تحلیل لاگ فایل ها یکی از خدمات تخصصی در بهینه سازی فنی وب سایت است که می تواند رفتار دقیق ربات ها را به ما نشان دهد). پس، به داده های واقعی سرور خود توجه کنید، نه به تیتر اخبار!
نتیجه گیری
دنیای سئو و تولید محتوا در حال گذار از «موتورهای جستجو» به «موتورهای پاسخگوی هوش مصنوعی» است. در حالی که همه ما نگران کاهش ورودی از سمت گوگل هستیم، ربات های قدرتمندی مثل خزنده های متا در سکوت کامل در حال مکیدن اطلاعات وب سایت های ما برای قدرتمندتر کردن مدل های زبانی خود هستند؛ بدون اینکه حتی یک کاربر به ما برگردانند.
این زنگ خطری است که نشان می دهد اتکای صرف به پلتفرم های ثالث (چه گوگل و چه اینستاگرام) استراتژی پرریسکی است. به عنوان صاحبان کسب وکار در ایران، ما باید روی ساخت سرمایه های دیجیتال مستقل (وب سایت های حرفه ای و سئوشده)، جمع آوری داده های دست اول کاربران (مثل ایمیل و شماره تماس) و خلق محتوایی که مخاطب را مستقیماً و وفادارانه به سایت ما بکشاند، سرمایه گذاری کنیم. بررسی مداوم رفتارهای سرور و لاگ فایل ها برای مسدودسازی ربات های مخرب یا غیرمفید، گام مهمی در حفظ منابع زیرساختی وب سایت شما خواهد بود.