چهار روش کاربردی برای استخراج کوئری های پنهان AI Mode و AI Overview در گوگل سرچ کنسول؛ از یک کد ریجکس (Regex) سفارشی تا یک ابزار هوش مصنوعی رایگان که در هر بار اجرا، ۱۰۰,۰۰۰ کلمه کلیدی را دسته بندی می کند.
در تاریخ ۳ ژوئن ۲۰۲۶، گوگل گزارش های عملکرد هوش مصنوعی مولد در جستجو (Search Generative AI performance reports) را در سرچ کنسول معرفی کرد. این گزارش ها، نماهای اختصاصی از میزان بازدید (Impression) صفحات شما در ویژگی های هوش مصنوعی مولد گوگل، مانند «مرورهای هوش مصنوعی» (AI Overviews) و «حالت هوش مصنوعی» (AI Mode) ارائه می دهند. سرانجام، یک گزارش رسمی برای AI Overviews منتشر شد که نشان می دهد صفحات سایت شما چند بار در این نتایج مبتنی بر هوش مصنوعی حضور داشته اند.
اما مشکلی که وجود دارد این است که این گزارش شامل «کوئری ها» (کلمات کلیدی جستجو شده) در پس زمینه فعالیت های هوش مصنوعی نمی شود و داده ها صرفاً در رابط کاربری (UI) قابل مشاهده هستند. من در ۱۱ آگوست ۲۰۲۶ در سایت خودم مجدداً بررسی کردم و متوجه شدم که نه API سرچ آنالیتیکس و نه خروجی گیری انبوه از BigQuery (پایگاه داده ابری گوگل)، هیچ کدام دیتای هوش مصنوعی مولد را در اختیار ما قرار نمی دهند. بنابراین، هیچ راه رسمی و مستقیمی برای رهگیری ترافیک AI Mode در سطح کوئری (عبارت جستجوشده) وجود ندارد.
با این حال، کوئری ها به هر طریقی که شده خودشان را نشان می دهند! بخش هایی از مکالمات واقعی کاربران با هوش مصنوعی گوگل، پاسخ هایی مثل «بله ادامه بده» (yes go on)، سوالات پیگیری کننده و حتی پرامپت های (دستورات) کامل کپی شده، در گزارش عملکرد (Performance Report) سرچ کنسول به عنوان کوئری های معمولی ظاهر شدند. آناستازیا کورو پستی درباره این رشته متن های عجیب در لینکدین منتشر کرد و جان مولر از گوگل در پاسخ تایید کرد که این داده ها همیشه در گزارش عملکرد در دسترس بوده اند و به مستندات گوگل ارجاع داد.
من گزارش کامل همراه با دیتای ۱۶ ماهه سایت خودم را به طور جداگانه نوشته ام و روش استخراج این کوئری ها را از طریق سرورهای MCP (پروتکل زمینه مدل) گوگل سرچ کنسول خودم پیاده سازی کرده ام. بنابراین، آنچه در ادامه می خوانید صرفاً روش های عملی برای استخراج کوئری های هوش مصنوعی از سرچ کنسول و معرفی یک ابزار رایگان است که با مدل یادگیری ماشین (Machine Learning) اختصاصی خودم آموزش دیده و این کار را برای شما انجام می دهد.
با توجه به تغییرات سریع الگوریتم های گوگل، در تیم دانش وب همواره به مشتریان خود یادآور می شویم که استخراج داده های پنهان سرچ کنسول، برگ برنده تدوین استراتژی سئو در عصر هوش مصنوعی است.
رقابت برای استخراج کوئری ها
به محض اینکه خبر نشت این داده ها عمومی شد، متخصصان سئو شروع به ساخت روش هایی برای استخراج این کوئری ها کردند.
موج اولیه این تلاش ها در ژوئن ۲۰۲۵، استفاده از «عبارات منظم بر اساس تعداد کلمات» (Word count regex) بود. این روش، کوئری های طولانی و محاوره ای را صرفاً بر اساس طول آن ها (مثلاً هر عبارت بیش از ۳۲ کلمه) شناسایی می کرد. بری شوارتز این تلاش های اولیه را با ذکر نام افرادی چون متهان یشیلیورت، ویجای چاوهان و دیوید کونیتزنی گردآوری کرد. اما از آن زمان تاکنون، رویکردها بسیار دقیق تر و تخصصی تر شده اند.
متخصص سئو در حال بررسی و تحلیل عبارات جستجو و داده های پیچیده کلمات کلیدی روی چند مانیتور تحلیلی.
روش ۱: موجودی کامل گلن گیب (Glenn Gabe) در اکسل
رابط کاربری گزارش عملکرد سرچ کنسول، نمایش داده ها در جدول را به ۱۰۰۰ ردیف محدود می کند؛ بنابراین در یک سایت بزرگ، قبل از اینکه حتی کار را شروع کنید، بیشتر دیتای کوئری های شما پنهان می ماند. راهکار گلن گیب، دور زدن این رابط کاربری است. او مجموعه کامل کوئری ها را از طریق API سرچ آنالیتیکس و با استفاده از افزونه Analytics Edge در اکسل استخراج می کند، سپس از هوش مصنوعی Claude می خواهد تا لیست را سازماندهی کرده و کوئری های احتمالی AI Mode را علامت گذاری (Flag) کند. اگر شما هم همیشه با اکسل کار می کنید، این روش تمام داده ها را در محیطی که با آن آشنایید قرار می دهد.
محدودیت ۱۰۰۰ ردیفی سرچ کنسول یکی از چالش های بزرگ در پروژه های سازمانی است. ما در دانش وب برای حل این مشکل در پروژه های طراحی سایت و سئوی کلان، داشبوردهای اختصاصی با اتصال به API می سازیم تا هیچ دیتای ارزشمندی از دست نرود.
روش ۲: ریجکس (Regex) سفارشی ژان-کریستوف شوینارد
ژان-کریستوف شوینارد برای حل همین مشکل از داخل خود گزارش سرچ کنسول اقدام کرد. او در ۱۴ آگوست ۲۰۲۶ یک کد ریجکس در لینکدین منتشر کرد که با استفاده از گزینه Custom regex در فیلتر Query، عبارات محاوره ای را مستقیماً شناسایی می کند. او این کد را با مقایسه پرامپت های رایجی که افراد در مدل های زبانی (LLM) تایپ می کنند و عباراتی که قبل از روی کار آمدن AI Overviews به ندرت در سرچ کنسول دیده می شدند، ساخت.
نتیجه کار، یک فرمول جایگزینی طولانی است که افعال رایج در پرامپت ها (مثل: بنویس، پیش نویس کن، تولید کن، خلاصه کن، توضیح بده، نقش فلانی را بازی کن)، احوال پرسی ها، تاییدها (بله، اوکی، عالیه، بله ادامه بده)، رد کردن ها و سوالات پیگیری (بیشتر بگو، ادامه بده، بیشتر نشان بده، گزینه های دیگر) را پوشش می دهد. کافی است این کد را در فیلتر کپی کنید تا بلافاصله و به صورت رایگان، نمایی شفاف در همان گزارشی که باز کرده اید داشته باشید.
البته او در مطالعه موردی ۱۲ ژانویه ۲۰۲۶ خود نشان داد که کلیک های AI Mode در سرچ کنسول ردیابی می شوند، اما کوئری های پشت آن ها تقریباً به طور کامل ناشناس (Anonymized) باقی می مانند؛ هشداری که روی تمام روش های مطرح شده در این مقاله سایه انداخته است.
روش ۳: ابزار مصورسازی پیشرفته سرچ کنسول امین فروتن
افزونه Advanced GSC Visualizer ساخته امین فروتن، یک اکستنشن رایگان کروم است که امکانات پیشرفته ای مانند رسم نمودار، حاشیه نویسی و یک دستیار هوش مصنوعی را با دسترسی یک کلیکه به API، به دیتای سرچ کنسول شما اضافه می کند. البته در این ابزار، فیلتر اختصاصی و مستقیمی برای AI Mode وجود ندارد.
روش ۴: سرورهای MCP من
سرور MCP سرچ کنسول من، این ردیاب مکالمات را به عنوان ابزاری به نام genai_conversation_queries در خود جای داده است و MCP دیتابیس BigQuery من، همین ردیاب را روی خروجی های انبوه (Bulk Export) اجرا می کند؛ یعنی دقیقاً جایی که استخر کوئری های ناشناس قرار دارد. هر دوی این ها به صورت لوکال (محلی) اجرا می شوند، بنابراین دیتای شما فقط بین شما و گوگل جابه جا می شود. نقطه قوت این روش، اتوماسیون، مقیاس پذیری و برچسب گذاری در سطح کوئری روی تک تک ردیف هاست. محدودیت این روش، دشواری در راه اندازی است، زیرا به یک کلاینت و کانفیگ MCP نیاز دارید، بنابراین بیشتر مناسب کاربران فنی است.
مقایسه ۴ روش در یک نگاه
| روش | نقطه قوت | محدودیت ها |
|---|---|---|
| گلن گیب (API اکسل + Claude) | دریافت لیست کامل کوئری ها در محیط اکسل | دسته بندی دستی در هر بار اجرا، مبتنی بر الگوهای ثابت |
| ژان-کریستوف (کد ریجکس سفارشی) | فیلتر فوری و رایگان داخل خود سرچ کنسول | لیست الگوها فقط برای زبان انگلیسی است |
| امین فروتن (Advanced GSC Visualizer) | رسم نمودار و تحلیل بدون نیاز به خروجی گرفتن | فاقد فیلتر اختصاصی برای AI Mode |
| سرورهای MCP من | اتوماسیون، مقیاس پذیری، برچسب گذاری تمام کوئری ها | نیازمند تنظیمات فنی و کلاینت MCP |
اگر به ستون «محدودیت ها» نگاه کنید، سه روش اول یک نقص مشترک دارند. استفاده از لیست الگوها و مرتب سازی های دوره ای، نمی تواند موارد استثنا و پیچیده (Edge cases) را با اطمینان تشخیص دهد؛ مواردی مانند ربات های ردیاب رتبه، پرامپت های ابزارهای خودکار، رشته متن های کپی شده یا عباراتی مثل «موقعیت مکانی من…». همچنین، این ابزارها برای زبان انگلیسی ساخته شده اند؛ بنابراین یک پاسخ به زبان تامیل یا یک عبارت ترکیبی هندی-انگلیسی (Hinglish) بدون هیچ برچسبی از فیلتر آن ها رد می شود. روش چهارم این مشکل را با یک مدل اختصاصی ماشین لرنینگ (ML) حل می کند.
تصویر گرافیکی مفاهیمی مانند شبکه عصبی و پردازش زبان طبیعی (NLP) جهت دسته بندی دقیق پرامپت ها و کوئری های چندزبانه.
چرا برای این کار به یک مدل یادگیری ماشین (ML) نیاز داریم؟
دسته بندی دقیق هر کوئری در سطل های (گروه های) نام گذاری شده، در زبان های مختلف و با وجود رشته متن های عجیب تولید شده توسط ماشین، کار بسیار سختی برای روش های سنتی است. به دلیل وجود هزاران حالت استثنا، تنها راه قابل اعتماد برای انجام این کار، آموزش یک مدل یادگیری ماشین است.
بنابراین تصمیم گرفتم یکی بسازم.
چگونه این ردیاب را ساختم؟
این ردیاب دو بخش دارد. بخش اول «قوانین قطعی» (Deterministic rules) هستند که کلاس های دقیق را مدیریت می کنند (مانند بقایای پاسخ ها، پروب های ردیاب، پرامپت های ابزارهای خودکار). بخش دوم، یک «مدل آموزش دیده» است که مرزهای مبهم بین کوئری های محاوره ای، دم دراز (Long-tail) و جستجوهای معمولی را تشخیص می دهد.
این مدل بر پایه xlm-roberta-base از شرکت FacebookAI ساخته شده است که پیش تر روی ۱۰۰ زبان آموزش دیده بود. من آن را با داده های برچسب گذاری شده سرچ کنسول خودم و ردیف های مصنوعی در ۸ زبان مختلف (از جمله زبان های ترکیبی Tanglish و Hinglish) فاین تیون (شخصی سازی) کردم. من این مدل را روی بیش از ۱۲۰,۰۰۰ کوئری ارزیابی کردم و هر جا که دچار خطا می شد، آن را دو بار بازآموزی کردم. این مدل به صورت فشرده (Quantized) روی یک کانتینر کلودفلر (Cloudflare) اجرا می شود که در صورت عدم استفاده منابع آن صفر می شود. همین مدل اکنون قدرت بخش ابزاری رایگان است که هر کسی می تواند بدون هیچ تنظیمی از آن استفاده کند.
معرفی ابزار هوش مصنوعی
این ابزار، طبقه بندی کننده کوئری های AI Mode و AI Overview است که روی این سایت کاملاً رایگان است و برای استفاده از آن نیازی به ثبت نام یا وارد کردن ایمیل ندارید.
اگر راه اندازی سرورهای GSC MCP به نظرتان سخت بود، این همان ردیاب است که سختی های فنّی آن حذف شده است.
(توجه در متن اصلی: در اینجا فرم عضویت خبرنامه سایت با عنوان «عضویت برای دریافت بینش های روزانه جستجو / مشترک شدن در کنار ۷۵ هزار مارکتر دیگر برای اخبار AI و دیجیتال مارکتینگ» قرار دارد که با توجه به رایگان بودن ابزار در وب سایت نویسنده درج شده است).
این ابزار چگونه کار می کند؟
کافی است فایل های خروجی کوئری های سرچ کنسول یا BigQuery را با فرمت CSV در ابزار رها کنید (Drag & Drop)؛ حتی می توانید چندین فایل را ترکیب کرده و به صورت یک جا اجرا کنید.
مرحله ۱: مدل، کوئری های شما را در یکی از هفت دسته بندی مختلف قرار می دهد.
مرحله ۲: اگر گزارش هوش مصنوعی مولد سرچ کنسول را نیز اضافه کنید، ابزار داده های صفحه را استخراج کرده و آن ها را با کوئری های شما تطبیق می دهد. (در گزارش خود، ستونی به نام “AI page” خواهید دید و هنگام گرفتن خروجی CSV، آدرس کامل URL به شما نمایش داده می شود).
قوانین قطعی، دسته بندی های واضح را مستقیماً در مرورگر شما برچسب گذاری می کنند و آن کوئری ها هرگز از دستگاه شما خارج نمی شوند. من این کار را انجام دادم تا حجم پردازش داده ها را به حداقل برسانم و به افزایش سرعت کمک کنم.
سایر موارد به مدل ارسال شده، در حافظه رم پردازش و دسته بندی می شوند و هیچ کدام از آن ها ذخیره نخواهند شد. هر کوئری با یک نام دسته بندی و یک «امتیاز اطمینان» (Confidence score) بازمی گردد. به زبان ساده، این دسته بندی ها شامل: کوئری های کاملاً محاوره ای، پاسخ های کوتاه مثل “بله ادامه بده”، تغییر مسیر در مکالمه مثل “نظرت در مورد پلن پرو چیه؟”، پروب های ابزارهای ردیاب رتبه، پرامپت های ربات ها، متن های کپی شده، و جستجوهای معمولی هستند. شما می توانید آن ها را بر اساس دسته، طبقه بندی کننده و میزان اطمینان فیلتر کنید و سپس تمام ردیف های برچسب گذاری شده را بدون محدودیت تعداد در قالب CSV دانلود کنید.
راهنمای استفاده از ابزار (در ۵ مرحله)
از ابتدا تا انتها این ۵ مرحله را طی کنید:
- استخراج کوئری ها: برای زیر ۱۰۰۰ کوئری، خروجی معمولی گزارش عملکرد (Performance Report) کافی است. سایت های بزرگتر می توانند چندین خروجی فیلترشده را ترکیب کنند، لیست کامل را از طریق API توسط Search Analytics for Sheets یا لوکر استودیو دریافت کنند، و یا دیتای انبوه BigQuery را در قالب CSV دانلود نمایند. اگر سئوکار باشید، حتماً می دانید چگونه بیش از ۱۰۰۰ کوئری از سرچ کنسول دریافت کنید.
- فایل یا فایل های CSV را در صفحه ابزار رها کنید.
- دکمه Classify (دسته بندی) را فشار دهید.
- جدول برچسب گذاری شده را فیلتر یا جستجو کنید.
- خروجی نهایی و برچسب گذاری شده را به صورت CSV دریافت کنید.
تصویر گام به گام رابط کاربری ابزار پردازش فایل CSV و دسته بندی خودکار کلمات کلیدی.
محدودیت ها
این ابزار به راحتی می تواند تا ۱۰۰,۰۰۰ کوئری یکتا را در مرورگر پردازش کند، اما برای پردازش های سنگین باید تب مرورگر را باز نگه دارید (قبول دارم که این یک روش پردازش بسیار قدیمی و مربوط به دهه ۲۰۱۰ است!). محدودیت دوم، مختص به تمام روش های ردیابی AI Mode در سرچ کنسول گوگل (از جمله روش من) است: گوگل کوئری های نادر و کم جستجو را ناشناس می کند. رشته متن های محاوره ای معمولاً نادر هستند و بخشی از این مجموعه هرگز نمایش داده نمی شود. بنابراین، نتایج خروجی را همیشه کمتر از آمار واقعی در نظر بگیرید. در تاریخ ۱۱ آگوست ۲۰۲۶، خروجی BigQuery سایت من نشان داد که ۵۷.۷٪ از ایمپرشن های من در ۶۹ روز گذشته در استخر داده های ناشناس قرار داشته اند.
اجرای این مدل برای من هزینه واقعی در بر دارد. همانطور که من را می شناسید، من هیچ چیزی نمی فروشم و هیچ کدام از ابزارهایم نیازی به ثبت نام یا پرداخت پولی (Paywall) ندارند. اما مجبورم محدودیت هایی اعمال کنم تا همه بتوانند از این ابزار استفاده کنند.
بنابراین، لطفاً منصفانه استفاده کنید. قطعاً نمی خواهید کسی باشید که این امکان رایگان را برای بقیه خراب می کند!
این ابزار در نسخه بتا (آزمایشی) است. اگر افراد زیادی به طور همزمان از آن استفاده کنند، سرعت آن کاهش می یابد و پردازش ممکن است طول بکشد. در این صورت، کمی صبر کنید و دوباره امتحان کنید.
همچنین، لطفاً توجه داشته باشید که من زمان و تخصصم را به رایگان در اختیار شما قرار داده ام؛ بنابراین لطفاً درخواست پشتیبانی مشتری و مواردی از این دست نداشته باشید. (بله، مجبورم این ها را بنویسم چون بعضی از افراد مانند انسان های بالغ و منطقی رفتار نمی کنند!)
برای بیش از ۱۰۰,۰۰۰ کوئری چه کنیم؟
برای بیش از ۱۰۰ هزار کوئری یکتا، باید یک پردازش دسته ای (Batch run) انجام دهیم. داده های خود را برای ما ارسال کنید تا آژانس من آن را به عنوان یک کار پردازشی سنگین اجرا کرده و نتایج کامل را برای شما ایمیل کند. همچنین ما می توانیم یافته ها را به یک گزارش عملیاتی کامل تبدیل کنیم یا در استراتژی های کلان سئوی هوش مصنوعی به شما کمک کنیم.
اگر شما هم کسب وکاری در ایران دارید که با حجم عظیم داده ها مواجه است و نیازمند تحلیل رفتار کاربر در جستجوی مبتنی بر هوش مصنوعی (SGE) هستید، تیم توسعه دیجیتال مارکتینگ و سئوی دانش وب می تواند این راهکارهای پیچیده را در قالب سرویس های اختصاصی برای سایت شما پیاده سازی کند.
نمایی از خط لوله پردازش ابری داده ها (Data Pipeline) برای تحلیل پردازش های سنگین بیش از ۱۰۰ هزار کوئری.
نتیجه گیری
ظهور AI Overviews و تغییر رفتار کاربران از «جستجوی کلمات کلیدی» به «مکالمه با موتور جستجو»، نقطه عطفی در تاریخ سئو محسوب می شود. همان طور که در این مقاله بررسی شد، گوگل هنوز بستر شفافی برای ارائه دیتای دقیق جستجوهای هوش مصنوعی در سرچ کنسول فراهم نکرده است. با این حال، استفاده از متدهای پیشرفته ای نظیر کدهای Regex سفارشی، کار با API و مهم تر از همه، بهره گیری از ابزارهای دسته بندی مبتنی بر یادگیری ماشین (Machine Learning)، به شما کمک می کند تا این داده های پنهان را کشف کنید. درک این کوئری های محاوره ای به شما اجازه می دهد تا محتوای سایت خود را دقیقاً بر اساس نیازها و سوالات واقعی کاربران بهینه سازی کنید. فراموش نکنید که در عصر جدید دیجیتال مارکتینگ، تحلیل داده های پنهان برگ برنده شما در برابر رقباست. اگر برای عبور از محدودیت های سرچ کنسول و پیاده سازی استراتژی های نوین سئو نیاز به راهنمایی دارید، کارشناسان ما در دانش وب همواره آماده اند تا با به روزترین تکنولوژی های دنیا، مسیر رشد کسب وکار شما را هموار کنند.