چه کسانی اجازه خزش (Crawl) در سایت شما را دارند، ایندکس هوش مصنوعی چه اطلاعاتی از صفحات شما را ثبت می کند، و گوگل چگونه قرار است کمپین های شما را با کسب وکارهای مشابه مقایسه کند. در ادامه، تمام آن چیزی که برای پیشبرد اهدافتان نیاز دارید را بررسی خواهیم کرد.
۱. کلودفلر (Cloudflare) از ماه سپتامبر گوگل بات را نیز مسدود خواهد کرد
از تاریخ ۱۵ سپتامبر ۲۰۲۶ (۲۵ شهریور ۱۴۰۵)، کلودفلر خزنده هایی را که همزمان برای موتورهای جستجو ایندکس می کنند و هم داده ها را برای آموزش مدل های هوش مصنوعی جمع آوری می کنند، در تمام سایت هایی که گزینه «مسدودسازی آموزش AI» را فعال کرده اند، بلاک خواهد کرد.
نکات کلیدی:
- از ۲۵ شهریور، کلودفلر رسماً
GooglebotوBingbotرا به عنوان ربات هایی شناسایی می کند که هر دو وظیفه (ایندکس برای جستجو و جمع آوری داده برای AI) را همزمان انجام می دهند. - این یعنی اگر شما در گذشته حتی یک بار گزینه قدیمی
"Block AI bots"را فعال کرده باشید، این تنظیمات به طور خودکار شامل گوگل بات و بینگ بات نیز خواهد شد و آن ها را مسدود می کند. البته شما می توانید تا قبل از این تاریخ، این تنظیمات را غیرفعال کنید (Opt-out). - جالب است بدانید که همین حالا هم یک صاحب سایت گزارش داده که گوگل بات توسط کلودفلر مسدود شده، هرچند علت آن هنوز به طور قطعی تأیید نشده است.
چرا این موضوع برای شما اهمیت دارد؟
فعال کردن قابلیت مسدودسازی ربات های هوش مصنوعی در هر زمانی در گذشته، از این پس گوگل را نیز در بر خواهد گرفت. این یک هشدار جدی است. یک اشتباه کوچک یا عدم توجه به این تنظیمات می تواند به قیمت ایندکس نشدن یا حذف شدن صفحات کلیدی شما از نتایج جستجوی گوگل تمام شود. حتماً قبل از ۲۵ شهریور تنظیمات Cloudflare خود را بازبینی کنید تا ناخواسته دسترسی مهم ترین خزنده وب را به سایت خود مسدود نکرده باشید.
طرح مفهومی از سپر دیواری کلودفلر که مانع دسترسی ربات خزنده ی گوگل بات به سرور سایت می شود.
۲. ایندکس اختصاصی ChatGPT با همه سایت ها یکسان رفتار می کند
یک تحقیق جدید از شرکت Resoneo نشان می دهد که ایندکس جستجوی داخلی OpenAI (سازنده ChatGPT) با سایت هایی که هیچ قرارداد محتوایی با این شرکت ندارند، دقیقاً مشابه شرکای تجاری دارای مجوز خود رفتار می کند.
نکات کلیدی:
- این شرکت مشاوره فرانسوی، پاسخ های ChatGPT را که در ماه جولای ثبت شده بودند، تحلیل کرده است. در آن زمان، یک فیلد خاص در ترافیک ChatGPT منبع هر پاسخ را مشخص می کرد.
- نتایج نشان داد صفحاتی که از ایندکس اختصاصی OpenAI فراخوانی می شدند، خروجی یکسانی داشتند؛ چه ناشر آن سایت با OpenAI قرارداد مالی داشت و چه نداشت.
- OpenAI در اواخر ماه جولای این فیلد را حذف کرد، بنابراین تکرار این آزمایش به سادگی گذشته امکان پذیر نیست.
چرا این موضوع برای شما اهمیت دارد؟
این یافته یک تصور غلط رایج را از بین می برد: داشتن قرارداد محتوایی با OpenAI، دلیل اصلی ورود شما به ایندکس هوش مصنوعی و نمایش داده شدن در پاسخ های کاربران عادی نیست. نکته حیاتی و استراتژیک اینجاست: ایندکس مذکور از هر صفحه شما فقط عنوان (Title) و حدود ۲۰۰ کاراکتر ابتدایی محتوا را ذخیره می کند.
این یعنی هر محتوای اضافه ای که در قالب سایت (Template) شما قبل از پاراگراف اصلی نمایش داده می شود (مانند تاریخ انتشار، نام نویسنده، Breadcrumbs یا حتی مقدمه های طولانی و غیرضروری)، عملاً این فضای ارزشمند و محدود را هدر می دهد.
ما در دانش وب، همواره در خدمات طراحی سایت وردپرسی و اختصاصی، بهینه سازی ساختار محتوا (Content Structure) را در اولویت قرار می دهیم. هدف ما این است که مطمئن شویم مهم ترین اطلاعات و کلمات کلیدی شما، در همان ۲۰۰ کاراکتر اول قرار گیرند تا حداکثر شانس را برای دیده شدن توسط ربات های هوش مصنوعی داشته باشند.
نظر متخصصان سئو:
رادو استویان (Radu Stoian)، مدیر فنی Enhance Media، این یافته ها را بیشتر به زیرساخت مرتبط می داند تا خودِ مدل های زبانی:
«شاید سخت ترین بخش جستجوی مبتنی بر هوش مصنوعی، خودِ مدل زبان بزرگ (LLM) نباشد؛ بلکه چالش اصلی، ساخت و نگهداری ایندکس جستجو است.»
تصویر مفهومی استخراج عنوان و ۲۰۰ کاراکتر اول صفحات وب سایت توسط موتور ایندکس ChatGPT.
۳. گوگل آنالیتیکس کمپین های شما را با رقبا محک می زند
گوگل اعلام کرد که دستیار هوش مصنوعی آن با نام Ask Advisor، عملکرد کمپین ها را در گوگل آنالیتیکس با میانگین های ناشناس از کسب وکارهای مشابه مقایسه خواهد کرد.
نکات کلیدی:
- این قابلیت به عنوان بخشی از به روزرسانی های هوش مصنوعی در پلتفرم های Ads و Analytics معرفی شده است.
- در حال حاضر نیز آنالیتیکس وب سایت شما را بر اساس دسته بندی صنعتی (Industry Category) و سیگنا ل های دیگر در یک «گروه همتا» (Peer Group) برای بنچمارکینگ قرار می دهد و شما می توانید این گروه را تغییر دهید.
- گوگل هنوز مشخص نکرده که آیا
Ask Advisorاز همین گروه استفاده می کند یا گروه جدیدی برای خود می سازد و این قابلیت چه زمانی برای تمام حساب ها فعال خواهد شد.
چرا این موضوع برای شما اهمیت دارد؟
یک معیار مقایسه ای (Benchmark) تنها زمانی ارزشمند است که شما را با کسب وکارهای واقعاً مشابه مقایسه کند. آنالیتیکس به شما اجازه می دهد این گروه را سفارشی سازی کنید، که این کنترل بسیار بیشتری نسبت به گزارش های Google Merchant Center به شما می دهد. این قابلیت به شما کمک می کند تا بفهمید آیا عملکرد کمپین های دیجیتال مارکتینگ شما بالاتر از میانگین صنعت است یا جای پیشرفت دارد.
نظر متخصصان سئو:
مریم صفری (Maryam Safari)، مدیر بازاریابی آنلاین در PubliCare، برای تست این قابلیت، زبان اکانت GA4 خود را به انگلیسی تغییر داد تا نسخه بتا را فعال کند، اما همچنان پنل قدیمی Analytics Intelligence را مشاهده کرد. این نشان می دهد که فعال سازی تدریجی است و تنها به زبان بستگی ندارد. او یک هشدار مهم در مورد زیربنای این دستیار هوش مصنوعی می دهد:
«یک دستیار هوشمند که بر روی سیستم رهگیری ناقص و داده های اشتباه سوار شده باشد، فقط جواب های غلط را سریع تر به شما تحویل می دهد.»
این نکته اهمیت پیاده سازی صحیح و حرفه ای گوگل آنالیتیکس و تگ منیجر را دوچندان می کند؛ موضوعی که در دانش وب به عنوان پایه و اساس هر استراتژی دیجیتال مارکتینگ موفق در نظر گرفته می شود.
داشبورد تحلیلی گوگل آنالیتیکس و دستیار Ask Advisor که شاخص های عملکرد را با میانگین های صنعت مقایسه می کند.
۴. گوگل شکایت خود علیه SerpApi را با شرایط جدیدی تنظیم کرد
گوگل شکایت DMCA (قانون کپی رایت هزاره دیجیتال) خود علیه ابزار SerpApi را اصلاح کرد و این بار بندهایی از قراردادهای مجوز محتوای خود را به آن ضمیمه کرده است.
نکات کلیدی:
- ماه گذشته، یک قاضی فدرال هر دو ادعای گوگل را رد کرد و گفت گوگل هرگز ثابت نکرده که صاحبان کپی رایت، به سیستم ضد-اسکرپینگ (Anti-Scraping) آن مجوز داده اند.
- گوگل از آن زمان شکایت خود را با افزودن شرایط قراردادی جدیدی که این شکاف را پر می کند، دوباره ثبت کرده است.
- ادعاهایی که به نتایج جستجوی فاقد محتوای دارای کپی رایت مربوط می شد، برای همیشه رد شده اند.
چرا این موضوع برای شما اهمیت دارد؟
این پرونده حقوقی در واقع بر سر این است که چه کسی اجازه دارد نتایج جستجوی گوگل را در مقیاس بزرگ جمع آوری کند. ابزارهای بسیار مهمی مانند ردیاب های رتبه (Rank trackers)، مانیتورهای SERP و ابزارهای سنجش دیده شدن در هوش مصنوعی (AI visibility tools) همگی به این داده ها وابسته هستند. اگر گوگل در این پرونده پیروز شود، دفاع از قانونی بودن داده هایی که این ابزارها می فروشند، بسیار سخت تر خواهد شد. هنوز هیچ چیز قطعی نیست و همه منتظر پاسخ شرکت SerpApi به این شکایت جدید هستند.
نتیجه گیری
در ماه اخیر، مفهوم «دسترسی» به طور همزمان در سه حوزه کلیدی دچار تحول شد:
- دسترسی برای خزش: کلودفلر اکنون کنترل می کند که کدام خزنده ها به صفحات شما برسند و از سپتامبر، تصمیماتش برای گوگل تغییر خواهد کرد.
- دسترسی به ایندکس: OpenAI تعیین می کند که چه بخش هایی از یک صفحه در ایندکسش ذخیره شود و مشخص شد که یک قرارداد تجاری، بهای ورود به این ایندکس نبوده است.
- دسترسی به داده ها: دادگاه قرار است تصمیم بگیرد چه کسی می تواند نتایج جستجوی گوگل را در مقیاس بزرگ جمع آوری کند و گوگل اخیراً دوباره تلاش کرده تا این سوال را باز نگه دارد.
این ها مسائلی هستند که شما قبلاً از طریق یک فایل ساده robots.txt یا یک قرارداد حل می کردید، اما اکنون همه آن ها برای بازنگری مجدد باز شده اند. در این میان، تنها تغییر گوگل آنالیتیکس است که به عنوان یک «ویژگی جدید» از راه می رسد، نه یک «قانون بازنویسی شده».