آموزه های سئو

تغییر برند NotebookLM به Gemini Notebook؛ آیا محتوای سایت شما در معرض استخراج بدون ارجاع هوش مصنوعی قرار می‌گیرد؟

مسدودسازی خزنده‌های هوش مصنوعی Gemini Notebook توسط فایروال سرور

تغییر نام و هویت ابزار محبوب گوگل از NotebookLM به Gemini Notebook ممکن است وب سایت شما را بیش از پیش در معرض پدیده اسکرپینگ یا استخراج محتوا توسط هوش مصنوعی (AI Scraping) – آن هم بدون ثبت منبع و ارجاع ترافیک (Zero-Attribution) – قرار دهد؛ مگر اینکه مدیران سایت ها همین حالا دست به کار شوند و تنظیمات فنی سرور خود را به روزرسانی کنند.

مقدمه و خبر مهم تغییر خزنده گوگل

گوگل اخیراً مستندات رسمی خود در بخش واکِشگرهای درخواستیِ کاربر (User-Triggered Fetchers) را به روزرسانی کرده تا تغییر نام پلتفرم «گوگل نوتبوک» را منعکس کند. وب مسترها و متخصصان سئو که قبلاً نام User-Agent قدیمی این ربات را در فایل robots.txt یا تنظیمات امنیتی هاست خود به صورت دستی و هاردکد (Hardcoded) مسدود کرده بودند، تنها تا آگوست ۲۰۲۶ فرصت دارند تا قبل از غیرفعال شدن رشته قدیمی، تغییرات لازم را در سرور اعمال کنند.

چرا باید دسترسی Gemini Notebook به سایت را مسدود کنیم؟

ابزار جدید Gemini Notebook دارای قابلیتی تحت عنوان Discover Sources (کشف منابع) است. این قابلیت بدون نیاز به کسب اجازه از صاحب سایت، مقالات آنلاین را اسکرپ (استخراج) می کند. سازوکار آن به این صورت است که برای موضوع یا پرس وجوی (Query) مطرح شده توسط کاربر، تا ۱۰ منبع مرتبط را از سراسر وب جمع آوری و استخراج کرده، یک خلاصه جامع مبتنی بر هوش مصنوعی ارائه می دهد، اما هیچ ترافیک و لینک ورودی مستقیمی (Referral) برای سایت مبدأ ایجاد نمی کند.

علاوه بر این، قابلیت های ساخت پادکست صوتی (Audio Overview) و ویدیویی در Gemini Notebook، محتوای متنی تولیدشده توسط شما را بازآفرینی کرده و آن را به پادکست های جذاب یا ویدیوهای توضیحی تبدیل می کند. نکته چالش برانگیز ماجرا اینجاست: اگر این فایل های چندرسانه ای در وب منتشر شوند، دقیقاً به رقیب اصلی همان مقاله و منبع اولیه شما تبدیل خواهند شد!

تمام این شیوه های بازتولید محتوا، جزو قابلیت های اصلی و از پیش طراحی شده Gemini Notebook به شمار می روند. این ابزار کل فرآیند کپی برداری، خلاصه کردن و تبدیل یک محتوای دست اول و اختصاصی به قالب های دیگر را کاملاً خودکار می کند؛ روندی که در آن عملاً نام و اعتباری به وب سایت نویسنده اصلی تعلق نمی گیرد.

نکته تخصصی برای وب مسترها: اگر می خواهید محتوای تولیدی سایتتان بدون ارجاع خوراک مدل های هوش مصنوعی نشود، باید فایروال ها (WAF) و تنظیمات فایل .htaccess خود را مطابق با یوزر ایجنت جدید گوگل به روز کنید.

نمایش قوانین مسدودسازی ربات گوگل در فایل .htaccess

نمونه ای از کدهای RewriteEngine که به مدیران سایت کمک می کند تا یوزر ایجنت جدید گوگل را در سرور آپاچی مسدود کنند.

NotebookLM اکنون به Gemini Notebook تبدیل شده است

ابزار NotebookLM رسماً به Gemini Notebook تغییر برند داده است. از نظر فنی و ماهیت عملکردی، جمینای نوتبوک دقیقاً همان ابزار سابق است و نحوه کارایی یا قابلیت های اصلی آن هیچ تغییری نکرده است:

  • دستیار پژوهشی و یادگیری: این ابزار به عنوان یک دستیار پژوهشی پیشرفته عمل می کند و به کاربران اجازه می دهد اسناد، فایل های متنی، مقالات و یادداشت های خود را به عنوان مرجع اصلی حقیقت (Ground Truth) در سیستم آپلود کنند تا پاسخ ها و نتایج تحلیلی دقیق تری دریافت نمایند.
  • قابلیت های چندوجهی (Multimodal): این ابزار کاملاً چندرسانه ای است؛ یعنی علاوه بر اسناد متنی، می تواند پیوندهای یوتیوب و فایل های صوتی را پردازش کند.
  • تبدیل خروجی در جهات مختلف: قابلیت چندوجهی بودن این پلتفرم برعکس هم عمل می کند و می تواند متون بارگذاری شده را به یک اپیزود پادکست تعاملی دوطرفه صوتی یا ویدیویی تبدیل کند.

چرا یوزر ایجنت (User-Agent) اختصاصی Gemini Notebook اهمیت دارد؟

بخشی از این ماجرا که برای مدیران وب سایت ها، کارشناسان دیجیتال مارکتینگ و متخصصان سئو اهمیت حیاتی دارد، توانایی این ابزار در فراخوانی و واکشی مستقیم صفحات وب برای تکمیل پژوهش کاربر است. این فرآیند به دو شکل رخ می دهد:

  1. کاربر به صورت دستی URL صفحات سایت شما را در ابزار کپی و پیست می کند.
  2. کاربر از ابزار داخلی Discover Sources استفاده می کند تا هوش مصنوعی به صورت خودکار مقالات سطح وب را اسکرپ کند.

خزنده ها و ربات های استخراج کننده ای که توسط Gemini Notebook به کار گرفته می شوند، در دسته واکشگرهای راه اندازی شده توسط کاربر (User-Triggered Fetchers) طبقه بندی می شوند. از آنجا که فعالیت این ربات ها ناشی از درخواست مستقیم یک کاربر انسانی است، دستورات فایل robots.txt را رعایت نمی کنند و نادیده می گیرند!

با این حال، مدیران سایت ها می توانند با نوشتن رول های فایروال در لایه وب سرور یا از طریق فایل کانفیگ .htaccess، دسترسی این ربات ها را کاملاً قطع کنند.

نحوه بلاک کردن Gemini Notebook در فایل .htaccess

برای مسدودسازی کامل ربات جدید در سرور آپاچی یا لایت اسپید، کدهای زیر را در ابتدای فایل .htaccess قرار دهید:

apache

RewriteEngine On

# مسدود کردن خزنده های هوش مصنوعی Gemini Notebook گوگل
RewriteCond %{HTTP_USER_AGENT} Google-GeminiNotebook [NC]
RewriteRule ^ - [F,L]

(توضیح: این دستور در صورت شناسایی نام Google-GeminiNotebook در درخواست کاربر، خطای ۴۰۳ Forbidden صادر کرده و مانع از خواندن محتوا می شود).

پایان رسمی پروژه Mariner (Project Mariner)

علاوه بر این تغییرات، گوگل پروژه آزمایشی خود موسوم به Project Mariner را نیز در می ۲۰۲۶ بازنشسته کرد و مستندات رسمی را تغییر داد.

در مستندات قبلی گوگل آمده بود:

«ابزار Google-Agent توسط ایجنت های مستقر بر زیرساخت گوگل برای پیمایش وب و انجام اقدامات بنا به درخواست کاربر (مانند Project Mariner) استفاده می شود و از رنج آی پی های user-triggered-agents.json بهره می گیرد.»

در نگارش جدید مستندات، تمامی مفاهیم قبلی حفظ شده، اما عبارت نمونه یعنی (for example, Project Mariner) به طور کامل حذف شده است.

حذف کامل نام NotebookLM از مستندات گوگل

یکی دیگر از تغییرات مهم، حذف کامل رشته و نام های مربوط به Google NotebookLM از داکیومنت های توسعه دهندگان گوگل است.

بخش حذف شده قبلی:

Google NotebookLM

  • User-Agent در درخواست های HTTP: Google-NotebookLM
  • محصولات مرتبط: این واکشگر آدرس های اینترنتی مشخصی را که کاربران NotebookLM به عنوان منبع پروژه های خود وارد کرده اند، فراخوانی می کند.

مستندات جایگزین و جدید گوگل برای Gemini Notebook:

Gemini Notebook

یوزر ایجنت در درخواست های موبایل (Mobile agent):

Mozilla/5.0 (Linux; Android 10; K) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/138.0.0.0 Mobile Safari/537.36 (compatible; Google-GeminiNotebook; +https://developers.google.com/crawling/docs/crawlers-fetchers/google-gemininotebook)

یوزر ایجنت در درخواست های دسکتاپ (Desktop agent):

Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/137.0.0.0 Safari/537.36 (compatible; Google-GeminiNotebook; +https://developers.google.com/crawling/docs/crawlers-fetchers/google-gemininotebook)

ایجنت قبلی (پشتیبانی تا آگوست ۲۰۲۶): Google-NotebookLM

محصولات مرتبط: واکشگر جمینای نوتبوک آدرس های اینترنتی مشخصی را که کاربران در پروژه های تحقیقاتی خود ثبت کرده اند، فراخوانی و دریافت می کند.

همان طور که در لاگ تغییرات (Changelog) رسمی گوگل آمده است:

«اگر مقدار قبلی را در کدهای سرور خود به صورت دستی وارد کرده بودید، حتماً این رشته را برای جلوگیری از بروز باگ و خطاهای احتمالی به روزرسانی کنید. ما برای ایجاد یک دوره انتقال روان و بدون اختلال، تا آگوست ۲۰۲۶ از رشته قدیمی پشتیبانی خواهیم کرد.»

کس شاخص مقاله تغییر نام NotebookLM به Gemini Notebook و امنیت سئو

تصویر شاخص مقاله که مفهوم محافظت از محتوای وب سایت در برابر استخراج خودکار توسط هوش مصنوعی و اهمیت به روزرسانی تنظیمات سرور را نشان می دهد.

نتیجه گیری

تغییر نام NotebookLM به Gemini Notebook صرفاً یک تغییر ظاهری نیست، بلکه ساختار ردیابی و واکشی داده های گوگل را نیز دستخوش تغییر کرده است. مستندات رسمی گوگل اکنون کاملاً نام جدید Google-GeminiNotebook را جایگزین نسخه قبلی کرده اند.

  • فرصت محدود: وب مسترها و مدیران سایت هایی که از یوزر ایجنت قبلی برای مسدودسازی یا تحلیل ترافیک ربات استفاده می کردند، تنها مدت کوتاهی فرصت دارند تا کدهای فایروال یا فایل .htaccess خود را با رشته جدید سازگار کنند.
  • بی اثر بودن فایل robots.txt: واکشگرهای فعال شده توسط کاربر مانند Gemini Notebook از پروتکل استاندارد robots.txt تبعیت نمی کنند؛ زیرا این فایل تنها یک راهنما و پیشنهاد برای موتورهای جستجوست و از نظر فنی الزامی برای ربات های تعاملی ایجاد نمی کند. بنابراین، تنها راه قطعی برای مدیریت دسترسی این ربات ها، مسدودسازی در سطح لایه سرور، فایروال یا فایل کانفیگ .htaccess است.

حفظ امنیت ساختار محتوایی و جلوگیری از سرقت زحمات نویسندگان در عصر نوین هوش مصنوعی، نیازمند پایش مستمر سئو تکنیکال و معماری دقیق سرور است؛ حوزه ای که متخصصان فنی دانش وب در کنار خدمات اختصاصی طراحی سایت، بهینه سازی سئو و بازاریابی دیجیتال، به صورت پیوسته بر روی پیاده سازی به روزترین پروتکل های حفاظتی آن تمرکز دارند تا ترافیک ارگانیک و ارزش دارایی های دیجیتال شما محفوظ بماند.

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *