گوگل اکنون بخش «اخبار برتر» (Top Stories) را در ۱۵.۵ درصد از جستجوهای خبری ترند در ایالات متحده، مستقیماً در داخل «خلاصههای هوش مصنوعی» (AI Overviews) جاسازی میکند؛ و مسدود کردن خزندهی Google-Extended سایت شما را از این بخش حذف نخواهد کرد.
جان شحاته (John Shehata)، مدیرعامل NewzDash، در ماه جولای متوجه موضوعی شد که بسیاری از ناشرانی که گوگل را به مسدود کردن هوش مصنوعیاش تهدید میکنند، هنوز متوجه آن نشدهاند: این اتفاق همین حالا در حال رخ دادن است! گوگل شروع به قرار دادن کل کاروسلهای (اسلایدرهای) Top Stories در داخل نتایج هوش مصنوعی (AI Overviews) کرده است و دستورات فایل robots.txt که اکثر پابلیشرها در وهله اول به سراغ آن میروند، هیچ کمکی به توقف این روند نمیکند.
شحاته در لینکدین خود پستی منتشر کرد مبنی بر اینکه اکنون تقریباً از هر شش جستجوی اخبار ترند در ایالات متحده، یک مورد، Top Stories را در داخل AI Overviews قرار میدهد. او سپس در وبلاگ سئوی خبری NewzDash، تجزیه و تحلیل کامل این دادهها را ارائه کرد.
گوگل قبلاً هم این بازی را اجرا کرده است!
موضوعی که او توصیف میکند از نظر ماهیت چیز جدیدی نیست، اما مکانیسم و روش اجرای آن کاملاً جدید است. در سال ۲۰۰۶، من و جان در کنفرانس استراتژیهای موتورهای جستجو در نیویورک، در پنلی با عنوان «نفوذ نتایج عمودی (Vertical Creep) به نتایج جستجوی معمولی» صحبت کردیم. ما در مورد این بحث کردیم که چگونه گوگل، قبل از اینکه مفهوم «جستجوی یکپارچه» (Universal Search) به طور رسمی معرفی شود، در سکوت خبری آنچه را که در Google News ظاهر میشد به نتایج اصلی وب خود میکشید. (برای درک بهتر: جستجوی یکپارچه یا Universal Search همان چیزی است که باعث میشود شما در یک صفحه نتایج گوگل، همزمان ویدیو، عکس، نقشه و اخبار را ببینید).
دنی سالیوان (Danny Sullivan)، آن بهروزرسانی در می ۲۰۰۷ را بنیادیترین تغییری نامید که گوگل تا به حال در نتایج خود اعمال کرده بود؛ تغییری که ویدیو، تصاویر، کتابها و اخبار را به جای ۱۰ لینک آبی رنگ کلاسیک، در یک لیست رتبهبندی شده و واحد ترکیب میکرد. بیانیه خود گوگل نیز این موضوع را به همین شکل بیان کرد و آن را تغییری به سوی «یک مجموعه نتایج یکپارچه» توصیف کرد، به جای اینکه کاربران مجبور باشند تکتک بخشهای مختلف را جداگانه جستجو کنند.
حالا نوزده سال بعد، گوگل دوباره در حال انجام همین کار است. اما این بار مقصد، یک صفحه نتایج ترکیبی نیست؛ بلکه یک پاسخ تولید شده توسط هوش مصنوعی است.
تصویری از یک داشبورد تحلیلی روی مانیتور که دادههای NewzDash را نمایش میدهد. نمودار میلهای نشان میدهد که اخبار سرگرمی (۳۵.۵٪) و اخبار جهانی (۳۲٪) بیشترین حضور را در AI Overviews دارند.
دادههای NewzDash چه چیزی را نشان میدهند؟
طبق ردیابیهای NewzDash، در میان کوئریهای (کلمات کلیدی) خبری ترند که گوگل اصلاً برای آنها Top Stories را نمایش میدهد، اکنون ۱۵.۵٪ در ایالات متحده و ۱۷.۴۶٪ در بریتانیا، این کاروسل خبری را به جای اینکه در یک ماژول مستقل در پایین صفحه نمایش دهند، مستقیماً در داخل کادر AI Overview جاسازی میکنند.
کوئریهای سرگرمی در هر دو کشور پیشتاز هستند و از مرز ۳۵ درصد در آمریکا و ۳۱.۵ درصد در بریتانیا عبور کردهاند. اخبار جهانی در ایالات متحده به نزدیک ۳۲ درصد میرسد. در مقابل، کوئریهای مربوط به سلامت و علم به ندرت در این قالب ثبت میشوند.
دادههای شحاته همچنین نشان میدهد که این دو جایگاه کاملاً «مانعةالجمع» (Mutually Exclusive) هستند. یعنی وقتی Top Stories در داخل کادر هوش مصنوعی قرار میگیرد، گوگل دیگر کاروسل جداگانهای را در پایین صفحه برای همان جستجو نمایش نمیدهد.
اهمیت این تمایز بسیار بیشتر از چیزی است که به نظر میرسد؛ زیرا کل بحث «انصراف» (Opt-out) که ناشران از زمان راهاندازی AI Overviews داشتهاند را بازتعریف میکند.
مسدود کردن Google-Extended به معنای خروج از AI Overviews نیست!
اکثر ناشرانی که میخواهند از نتایج هوش مصنوعی خارج شوند، فایل robots.txt سایت خود را به سمت ربات Google-Extended نشانه میروند و فکر میکنند مشکل حل شده است. (همانطور که ما در بخش خدمات سئو در آژانس دیجیتال مارکتینگ دانش وب همیشه به مشتریان خود تاکید میکنیم، تنظیمات غیرتخصصی فایل روباتس میتواند به جای کمک، به ترافیک سایت ضربه بزند).
اسناد رسمی گوگل در مورد خزندههایش به صراحت بیان میکند که Google-Extended تنها برای کنترل استفاده از دادهها جهت آموزش هوش مصنوعی (مانند تغذیه مدلهای آینده جمینای یا پاسخهای Vertex AI) کاربرد دارد و به هیچ وجه بر حضور یک سایت در جستجوی گوگل یا سیگنالهای رتبهبندی آن تاثیری نمیگذارد.
مسدود کردن این خزنده، یک ناشر را از AI Overviews، حالت AI، اخبار برتر استاندارد، یا اخبار برتری که داخل کادر هوش مصنوعی جاسازی شدهاند، حذف نمیکند! شحاته حق دارد که روی این موضوع پافشاری میکند، زیرا این سردرگمی یک سوءتفاهم جزئی نیست، بلکه فرض پیشفرض و اشتباه در کل این صنعت است.
تصویری مفهومی از یک فایل robots.txt روی صفحه نمایش که دستور Disallow برای Google-Extended روی آن نوشته شده و یک ضربدر قرمز بزرگ روی آن قرار گرفته است. در پسزمینه، AI Overview همچنان اخبار را نشان میدهد.
کنترلی که به AI Overviews میرسد، کاملاً متفاوت است
گوگل در ژوئن، آزمایش یک قابلیت «استثنا کردن هوش مصنوعی مولد» (Generative AI Exclusion) را در سرچ کنسول (Search Console) آغاز کرد که در حال حاضر به زیرمجموعهای از صاحبان سایت در بریتانیا محدود شده است. این ابزار به یک ناشر واجد شرایط اجازه میدهد تا پیوندها و محتوای خود را به طور خاص از AI Overviews، حالت AI و ویژگیهای تولیدی Discover خارج کند، بدون اینکه به شانس حضور آنها در جستجوی سنتی گوگل (Traditional Search) آسیبی برسد.
اسناد پشتیبانی گوگل میگوید محتوای سایتِ مستثنی شده، در این ویژگیها ظاهر نخواهد شد و حتی به عنوان ورودی برای تولید پاسخ نیز استفاده نمیشود. طبق خوانش شحاته، اگر این تنظیمات را انتخاب کنید، تقریباً به طور قطع جایگاه خود را در کاروسلِ جاسازی شده Top Stories نیز از دست میدهید، زیرا این کاروسل حالا فقط مجموعهای از لینکهای ناشران است که سوار بر یکی از سطوح پوششدادهشده توسط هوش مصنوعی شده است.
گوگل هنوز تایید نکرده است که در سطح چیدمان صفحه (Layout) دقیقاً چه اتفاقی میافتد. آیا کادر هوش مصنوعی همچنان یک کاروسل جاسازی شده از ناشرانی که در سیستم باقی ماندهاند را نشان میدهد؟ آیا گوگل دوباره به همان ماژول مستقل Top Stories برمیگردد؟ هیچکس خارج از دفتر مرکزی گوگل (Mountain View) هنوز این را نمیداند. شحاته با احتیاط این را به عنوان یک «تفسیر با اطمینان بالا» برچسبگذاری میکند نه یک نتیجه مستند. این نوع خویشتنداری این روزها در تفسیرهای سئوی هوش مصنوعی نادر است و دلیل اصلی این است که من به دادههای او بیشتر از نظرات پر سروصدایی که در مورد همین موضوع میچرخد اعتماد دارم.
جلسهی تحلیل استراتژیک در دفتر آژانس دانش وب در تهران. متخصصان در حال بررسی داشبورد یکپارچهای هستند که دادههای سرچ کنسول و NewzDash را نشان میدهد و روند روبرشد بازدید را تایید میکند.
داستان اصلی، اعتماد است
من فکر میکنم داستان بزرگتر در اینجا، مکانیزم تفاوت بین Google-Extended و کنترل سرچ کنسول نیست (اگرچه ناشران واقعاً باید قبل از دست زدن به هر تنظیمی این تفاوت را درک کنند). داستان بزرگتر این است که مشکل مرکزیِ AI Overviews همیشه «اعتماد» بوده است، نه «بازدید» (Visibility).
کاربران هنوز راهی مطمئن ندارند تا بدانند آیا یک پاسخ تولید شده توسط هوش مصنوعی، بر اساس گزارشی واقعی از یک اتاق خبر معتبر است، یا صرفاً ترکیببندی از اطلاعاتی سطحی. کشیدن Top Stories — با ناشران نامدار، نویسندگان واقعی و لینکهای مستقیم — به داخل بدنه AI Overviews به جای قرار دادن آنها در پایین یک دیوار متنیِ تولید شده توسط هوش مصنوعی، یک پاسخ واقعی (هرچند ناقص) به مشکل اعتماد است.
من از زمان «نفوذ نتایج عمودی» در سال ۲۰۰۶، تغییرات چیدمان اخبار در نتایج گوگل را زیر نظر داشتهام. این اولین حرکت در عصر AI Overview است که به نظر میرسد با هدف «بازسازی اعتماد» انجام شده است، نه صرفاً کاهش کلیکها به سمت وبِ باز (Open Web).
اگرچه این نظر کارشناسی من است، اما با یک هشدار همراه است: برداشتن یک گام در مسیر درست به معنای یک راهحل نهایی نیست؛ و امتناع گوگل از مستندسازیِ اتفاقاتی که برای ناشران انصرافدهنده میافتد، دقیقاً همان نوع ابهامی است که اعتمادی را که این حرکت قرار بود بسازد، از بین میبرد.
نمایی از داخل یک اتاق خبر مدرن در لندن. روزنامهنگاران در حال بررسی صحت اخبار هستند. در پیشزمینه، تبلتی نتایج گوگل را نشان میدهد که در آن، AI Overview با درج لوگوی رسانههای معتبر، به منبع اصلی لینک داده است.
۳ کاری که باید همین هفته انجام دهید
برای متخصصان سئو که سایتهای خبری کلاینتها یا اتاقهای خبر داخلی را مدیریت میکنند، به جای انتظار برای شفافسازی گوگل در مورد چیدمان صفحه، سه کار مهم وجود دارد که باید همین هفته انجام دهند (اگر برای انجام این مراحل فنی به مشاوره نیاز دارید، تیم طراحی سایت و پشتیبانی دانش وب میتواند در این زمینه شما را همراهی کند):
۱. کنترلهای خود را قبل از تغییر دادن، تفکیک کنید
بررسی کنید که آیا سایت شما در حال حاضر Google-Extended را مسدود کرده است؟ آیا از ویژگی جدید حذف هوش مصنوعی مولد در سرچ کنسول استفاده میکند یا هیچکدام؟ و مستند کنید که هر کدام دقیقاً چه بخشهایی را کنترل میکنند. یکی دانستن این دو مورد باعث میشود یک سایت به طور تصادفی بازدید خود را در AI Overview از دست بدهد در حالی که تصور میکند فقط از دادههای آموزشی انصراف داده است.
۲. تست روی بخشهای کوچکتر
اگر به تنظیمات Exclusion (استثنا کردن) در سرچ کنسول دسترسی دارید، قبل از اعمال آن در کل سایت، آن را روی یک Property با پیشوند URL یا یک بخش خاص (مثلاً بخش مقالات) آزمایش کنید. قابلیت کنترل گوگل از وراثت (Inheritance) بین دامنههای اصلی و فرعی پشتیبانی میکند؛ این یعنی یک ناشر خبری میتواند این حذف را مثلاً روی بخش مقالات نظردهی (Opinion) آزمایش کند و ببیند چه اتفاقی برای واجد شرایط بودن Top Stories در آن بخش میافتد، و بعد تصمیم بگیرد که آیا این مبادله برای کل دامنه ارزشش را دارد یا خیر.
۳. گزارشگیری و ردیابی دادهها
از همین حالا شروع به استخراج گزارشهای عملکرد هوش مصنوعی مولد گوگل در سرچ کنسول کنید و آنها را با ابزاری مانند NewzDash ترکیب کنید تا پیگیری کنید که URLهای شما چند بار در کاروسلهای Top Stories در مقابل جایگاههای جاسازی شده در AI Overview ظاهر میشوند. شما نمیتوانید تصمیمی آگاهانه برای خروج (Opt-out) بگیرید مگر اینکه یک خط پایه (Baseline) از میزان بازدیدی که در خطر است داشته باشید؛ و این خط پایه باید قبل از تغییر تنظیمات وجود داشته باشد، نه بعد از آن.
بیست سال پیش، «نفوذ عمودی» به این معنی بود که ناشران باید میفهمیدند یک صفحه نتایج ترکیبی چگونه با تیترهای آنها برخورد میکند. امروزه، این به معنای درک این موضوع است که یک «پاسخ تولید شده توسط هوش مصنوعی» چگونه با آنها برخورد خواهد کرد. مکانیسم تغییر کرده است، اما نیاز ناشران به درک دقیق اینکه به چه چیزی وارد میشوند و از چه چیزی خارج میشوند، تغییری نکرده است. جان شحاته در حال انجام کارِ سخت و بدون زرق و برقِ مستندسازی این تغییر در زمان واقعی است و تا زمانی که گوگل خلاف آن را نگوید، دادههای او نزدیکترین چیز به حقیقت میدانی است که صنعت سئو در اختیار دارد.
یک اینفوگرافیک کاربردی که به دو بخش تقسیم شده است. سمت راست، تفکیک کنترلهای Google-Extended و AI Opt-out در سرچ کنسول را نشان میدهد و سمت چپ، نحوه ردیابی دادهها در NewzDash را برای مقایسه بازدید نمایش میدهد.
نتیجهگیری
در دنیای پرشتاب خدمات حرفه ای سئو در سال ۲۰۲۶، تغییرات موتورهای جستجو دیگر به آپدیتهای ساده الگوریتمی محدود نمیشود؛ بلکه نحوه نمایش نتایج (Layout) و ادغام هوش مصنوعی، قواعد بازی را کاملاً تغییر داده است. حضور «Top Stories» درون خلاصههای هوش مصنوعی (AI Overviews) گوگل نشان میدهد که موتورهای جستجو به دنبال تزریق «اعتبار» و «منابع انسانی» به کالبد پاسخهای ماشینی خود هستند. برای صاحبان کسبوکارها، وبمسترها و ناشران ایرانی، پیام این تغییر کاملاً روشن است: نباید با ابزارهای سنتی (مثل بستن رباتهای آموزشی در robots.txt) به جنگ تکنولوژیهای جدید رفت. داشتن یک استراتژی دادهمحور، رصد مداوم سرچ کنسول و بهروز نگه داشتن زیرساختهای سایت، کلید بقا در این اکوسیستم است. ما در دانش وب، با ارائه خدمات تخصصی طراحی سایت اختصاصی، سئو و دیجیتال مارکتینگ، به کسبوکارها کمک میکنیم تا به جای ترس از هوش مصنوعی، از این تغییرات بنیادین برای افزایش بازدید، برندسازی اصولی و رشد پایدار بهرهبرداری کنند.