با روی کار آمدن چت بات ها و موتورهای جستجوی مبتنی بر هوش مصنوعی، تب و تاب جدیدی در دنیای سئو به وجود آمده است و بسیاری از وب مسترها به دنبال یافتن راهکارهایی برای فهماندن بهتر سایت خود به این ربات ها هستند. در همین راستا، جان مولر از گوگل، اخیراً به پستی در شبکه اجتماعی بلواسکای (Bluesky) واکنش نشان داده است. در این پست، نویسنده از این موضوع گلایه کرده بود که چرا تمام تلاش ها و منابع تیم های فنی در حال هدر رفتن برای «دسترس پذیر کردن سایت ها برای ایجنت های هوش مصنوعی (AI Agents)» است؛ در حالی که این زمان و انرژی باید صرف کار مفیدتر و اصولی تری، یعنی «دسترس پذیری سایت ها برای انسان ها» شود.
سئوی تاکتیکی و پیروی چشم بسته از ترندها
یکی از جنبه های همیشگی و تکراری در تاریخ سئو این است که متخصصان این حوزه تمایل دارند از ترندهای تاکتیکیِ روز پیروی کنند؛ به ویژه اگر ببینند که بقیه هم در حال انجام آن هستند. احتمالاً این موضوع ریشه در ذات انسان دارد! در بازار وب ایران نیز بارها شاهد چنین رفتارهایی بوده ایم؛ از تب خرید بک لینک های انبوه و بی ارزش گرفته تا تکرار بیش از حد کلمات کلیدی.
در روزهای ابتدایی شکل گیری سئو، شخصی وجود داشت که یک دایرکتوری (فهرست لینک) ساخته بود و به قدری بک لینکِ دارای پیج رنک (PageRank) بالا برای صفحه اصلی سایتش خرید تا توانست رتبه صفحه خود را به عدد ۷ (در مقیاس ۱ تا ۱۰) برساند. سئوکاران در آن زمان عملاً یکدیگر را کنار می زدند تا پولشان را دو دستی تقدیم این شخص کنند! او هزاران لینک از دایرکتوری خود فروخت و هیچ کس حتی به ذهنش خطور نکرد که بررسی کند آیا این لینک ها واقعاً تاثیری در بهبود رتبه بندی سایتشان دارند یا خیر. بررسی این موضوع بسیار آسان بود، اما هیچ کس زحمت آن را به خود نداد.
تصویری درباره خطرات دنبال کردن ترندهای زودگذر سئو، خرید بک لینک های انبوه بی ارزش و هدر رفتن سرمایه در برابر استراتژی های پایدار سئو.
تب جدید: فایل های LLMs.txt و صفحات مارک داون
جدیدترین تاکتیکی که این روزها بسیار باب شده است، استفاده از فایل های LLMs.txt و ایجاد صفحاتی با فرمت مارک داون (Markdown) صرفاً برای مصرف و خوانش ربات های هوش مصنوعی است. (مارک داون یک زبان نشانه گذاری سبک است که متن ها را ساختاریافته می کند و خوانش آن برای ماشین ها معمولاً راحت تر از کدهای پیچیده HTML است).
شرکت کلادفلر (Cloudflare) در ماه فوریه اعلام کرد که زیرساخت آن ها می تواند به صورت خودکار فایل های مارک داون را ایجاد کند؛ هدف عمده این کار، کمک به توسعه دهندگان برای صرفه جویی در مصرف توکن های مدل های زبانی بزرگ (LLM) بود. در بیانیه کلادفلر آمده بود که ربات جستجوگر شرکت OpenAI یعنی OAI-SearchBot در حال مصرف و خزش صفحات مارک داون است.
با این حال، مستندات رسمی خود شرکت OpenAI به صراحت، جایگاه ربات OAI-SearchBot را به عنوان خزنده ای برای وب سایت های معمولی تعریف می کند و هیچ اشاره ای به فایل های مارک داون نکرده و استفاده از آن ها را نیز توصیه نمی کند:
«ربات OAI-SearchBot برای جستجو طراحی شده است. از این ربات برای نمایش وب سایت ها در نتایجِ قابلیت جستجوی شبکه ChatGPT استفاده می شود. سایت هایی که دسترسی OAI-SearchBot را مسدود کرده باشند، در پاسخ های جستجوی ChatGPT نمایش داده نمی شوند؛ اگرچه ممکن است همچنان به عنوان لینک های ناوبری (Navigational Links) در متن ظاهر شوند. برای اطمینان از اینکه سایت شما در نتایج جستجو ظاهر می شود، توصیه می کنیم اجازه دسترسی به OAI-SearchBot را در فایل robots.txt سایت خود صادر کنید و درخواست های دامنه های IP منتشر شده ما را مجاز کنید.»
بله؛ این ربات در صورت هدایت شدن به سمت فایل های مارک داون می تواند آن ها را بخزد (Crawl کند)، اما رسالت و هدف اصلی آن برای حضور در وب، خواندن فایل های مارک داون نیست!
حقیقت تلخ و پاسخ روشن جان مولر
استفانی والتر (Stephanie Walter)، از فعالان این حوزه در پستی نوشت:
«حقیقت تلخ این است: ما در حال ساختن وبی هستیم که برای هوش مصنوعی دسترس پذیر باشد، نه برای انسان ها!
برخی از سایت ها اکنون نسخه متنی مجزایی را برای مدل های زبانی بزرگ (LLMs) ارائه می دهند، اما همچنان از رفع نیازهای واقعیِ دسترس پذیری برای کاربران – مانند داشتن ساختار درست برای هدینگ ها (تگ های H) و نشانه گذاری هایی که کاربرانِ نرم افزارهای صفحه خوان (Screen Readers) به آن ها نیاز دارند – چشم پوشی می کنند.»
جان مولر از گوگل در پاسخی قاطع به این پست گفت:
«یک وب سایت که به درستی و اصولی ساخته شده باشد، به خوبی برای ایجنت های هوش مصنوعی کار می کند… همچنین برای موتورهای جستجو، برای مدل های زبانی بزرگ (LLMs) و مهم تر از همه، برای انسان های واقعی!
اگر سعی دارید مشکلات دسترس پذیری سایت خود را با ساختن یک نسخه جداگانه و “سازگار با ایجنت های هوش مصنوعی” برطرف کنید، در واقع فقط در حال ایجاد بدهی فنی (Technical Debt) برای خود هستید. با این کار مجبور خواهید شد یک کار را چندین بار از نو انجام دهید. فقط کافی است خودِ سایت را از پایه درست و اصولی بنا کنید.»
نمایش کدهای تمیز و ساختاریافته HTML همراه با نمادهای دسترس پذیری وب (مانند صفحه خوان ها) که هم برای کاربران واقعی و هم برای خزنده های هوش مصنوعی ایده آل است.
ربات های هوش مصنوعی به راحتی HTML را می خزند!
خزیدن و بررسی کدهای HTML کار نسبتاً ساده و پیش پاافتاده ای است. موتورهای جستجو بیش از سی سال است که در حال انجام این کار هستند و به بلوغ کامل رسیده اند. بنابراین، کاملاً منطقی است که سایت ها را برای «همه» دسترس پذیر کنیم؛ به خصوص از آنجایی که همواره این «سیگنال های رفتاری کاربران» بوده اند که رتبه بندی موتورهای جستجو را هدایت کرده اند. گوگل از گذشته تا کنون به طور پیوسته از سیگنال های کاربری – از لینک سازی ها گرفته تا نرخ کلیک (CTR) و کاربرانی که نام یک برند را جستجو می کنند – برای اهداف رتبه بندی خود استفاده کرده است.
بنابراین، از دیدگاه علم سئو، این کاملاً منطقی و عاقلانه است که وب سایت ها را از همان ابتدا با استانداردهای وب سازگار کرده و برای استفاده همه، قابل دسترس طراحی کنیم.
نتیجه گیری
پیام اصلی جان مولر و کارشناسان برجسته سئو کاملاً روشن است: آینده دیجیتال مارکتینگ و سئو، چه در عصر موتورهای جستجوی سنتی و چه در دوران حکمرانی هوش مصنوعی، متعلق به وب سایت هایی است که «برای انسان ها» بهینه سازی شده باشند. ایجاد نسخه های جداگانه و فایل های اختصاصی مارک داون برای ربات ها، نه تنها تضمینی برای رشد سئوی شما نیست، بلکه هزینه های نگهداری سایت را بالا برده و بار فنی سیستم را افزایش می دهد.
بهترین استراتژی این است که معماری سایت خود را بر پایه کدهای استاندارد (HTML تمیز) بنا کنید، تجربه کاربری (UX) را به حداکثر برسانید و محتوایی خلق کنید که نیاز کاربر واقعی را پاسخ دهد. اگر ساختار سایت شما اصولی باشد، ربات های هوش مصنوعی نیز به راحتی آن را درک خواهند کرد. ما در تیم دانش وب آماده ایم تا با ارائه خدمات تخصصی طراحی سایت و اجرای استراتژی های سئوی کلاه سفید، پلتفرمی قدرتمند برای کسب وکار شما بسازیم که هم محبوب کاربران ایرانی باشد و هم مورد تحسین الگوریتم های هوشمند گوگل و ChatGPT قرار گیرد.