چگونه یک استاندارد اینترنتی شوخی به نام cats.txt توجه برخی از سئوکاران را جلب کرد و دقیقاً در همان سطح شواهدی که برای llms.txt جهت بهینه سازی سایت ها برای جستجو و هوش مصنوعی استفاده می شود، مورد استناد قرار گرفت.
من از اینکه می دیدم صنعت سئو عباراتی مثل «یک ربات هوش مصنوعی آن را خزید» یا «ChatGPT گفت که این کار کمک می کند» را به عنوان مدرک اثبات کارایی فایل llms.txt در نظر می گیرد، خسته شدم. بنابراین، یک استاندارد جدید اختراع کردم به نام cats.txt: یک فایل متنی که در آن شما به صورت رسمی گربه های دفتر کارتان، شغل آن ها، نژادشان و میزان خرخر کردنشان را اعلام می کنید! من یک مستندات فنی (Specification) برای آن نوشتم، آن را در وبلاگم منتشر کردم و یک پست لینکدین نوشتم تا توضیح دهم چرا قطعاً باید از این استاندارد استفاده کنید؛ زیرا همان طور که همه ما می دانیم، مدل های زبانی بزرگ (LLMها) عاشق لینکدین هستند.
سپس، این فایل را دقیقاً با همان چهار «مدرک» که افراد برای اثبات llms.txt ذکر می کنند، بررسی کردم. فایل من هر چهار مرحله را با موفقیت گذراند: توسط ربات های هوش مصنوعی خزیده شد، گوگل آن را ایندکس کرد، مدل های زبانی جزئیاتی درباره گربه ای که هیچ کجای دنیا جز در آن فایل وجود نداشت ارائه دادند، و در نهایت، ChatGPT به تفصیل تایید کرد که cats.txt می تواند به رتبه بندی سایت من کمک کند. اما هیچ کدام از این ها مدرکِ اثبات هیچ چیزی نیستند؛ و اتفاقاً تمام هدف من هم اثبات همین موضوع بود.
من ادعا نمی کنم که llms.txt هرگز کار نخواهد کرد. خواننده عزیز، بحث من این نیست. ادعای من این است که سطح استانداردی که در حال حاضر برای فروش و توجیه این فایل استفاده می شود آن قدر پایین است که فایلی درباره یک گربه تاکسیدو به نام «آد» (Odd) بدون هیچ زحمتی از آن عبور کرد. و دقیقاً همین تفکر معیوب است که روی نیمی از تاکتیک های GEO (بهینه سازی موتورهای تولیدگر) پیاده می شود؛ تاکتیک هایی که بابت آن ها برای کارفرمایان فاکتور صادر می گردد.
در دانش وب، ما همواره تاکید می کنیم که استراتژی های سئو و دیجیتال مارکتینگ باید بر پایه داده های اثبات شده و اصول پایدار طراحی سایت بنا شوند، نه ترندهای زودگذری که با یک تست ساده زیر سوال می روند.
چگونه فایلی درباره گربه های من به یک «استاندارد وب» تبدیل شد
ماجرا، همان طور که معمولاً در این موارد پیش می آید، از روی کلافگی شروع شد.
ماه ها بود که می دیدم افراد کاملاً منطقی به چهار مشاهده اشاره می کنند: ربات ها آن را خزیده اند، گوگل آن را ایندکس کرده است، یک LLM آن را تکرار کرده و ChatGPT آن را تایید کرده است. آن ها این موارد را در ارائه ها، رشته توییت ها و پروپوزال های مشتریان به عنوان دلیلی بر این می آوردند که llms.txt در حال تغییر بی سروصدای جستجوی هوش مصنوعی است. هیچ کدام از این ها دلیل بر چیزی نبود. اما بحث و جدل فقط تا جایی جواب می دهد؛ مردم سر تکان می دهند و بعد دوباره سراغ اسلایدهایشان می روند. من چیزی می خواستم که نتوانند به سادگی از آن عبور کنند. من می خواستم همان چهار «مدرک» را روی چیزی چنان مضحک و شفاف پیاده کنم که هیچ کس نتواند وانمود کند این تست ها معنایی دارند.
بنابراین یک استاندارد اختراع کردم. cats.txt: یک فایل متنی ساده که در مسیر ریشه (Root) دامنه خود قرار می دهید تا رسماً گربه های مرتبط با وب سایت خود، نامشان، عنوان شغلی شان، نژادشان و یک معیار اجباری برای میزان محبت به نام PurrLevel (سطح خرخر کردن با امتیاز از ۱ تا ۱۰) را اعلام کنید. من یک مستندات فنی کاملاً جدی و بیش ازحد مهندسی شده برای آن نوشتم و در وبلاگم منتشر کردم. سپس، چون بهتر از هر کسی می دانم که مدل های زبانی به کدام پلتفرم احترام بی دلیلی می گذارند، یک مقاله لینکدین نوشتم و cats.txt را به عنوان «استاندارد گمشده برای SEO و GEO» معرفی کردم و با چهره ای کاملاً جدی توضیح دادم که چرا حتماً باید از آن استفاده کنید.
چگونه یک شوخی به استاندارد وب تبدیل شد؟
ایده این بود که اینترنت را با متنی چنان جدی پر کنم که ماشین ها شروع کنند به برخورد با گربه های من به عنوان موجوداتی واقعی. اما چیزی که اصلاً پیش بینی نمی کردم این بود که افراد واقعی هم به این بازی بپیوندند.
شوخی کاملاً واضح بود و هدف هم همین بود، بنابراین جامعه سئو آن را گرفت و با آن همراه شد، دقیقاً به این دلیل که می دیدند ماجرا به کجا ختم می شود. همکار اینترنتی دوست داشتنی من دیو اسمارت (یک متخصص سئوی تکنیکال واقعاً عالی) فایل cats.txt را به سایت خودش اضافه کرد و با افتخار به یکی از اولین پذیرندگان استانداردی تبدیل شد که من فقط برای مسخره بازی ساخته بودم. و بعد همه چیز جان گرفت: شخصی رفت و سایت catstxt.org را راه اندازی کرد، نسخه ای تمیزتر، سازمان یافته تر و کاملاً حرفه ای تر از این استاندارد؛ مشخصاً کار کسی بود که می دانست دارد چه می کند و مشخصاً کار من نبود! پست وبلاگ احمقانه من یک پیاده سازی رقیب پیدا کرده بود، اتفاقی که بیشتر استانداردهای واقعی در دو هفته اول عمرشان حتی خوابش را هم نمی بینند.
با آنلاین شدن فایل، انتشار مستندات فنی، پخش شدن پست لینکدین و پیوستن شادمانه دیگران، تنها کاری که باقی مانده بود این بود که cats.txt را با همان معیارهایی بسنجم که صنعت سئو برای تایید llms.txt استفاده می کند. و خواننده عزیز، این فایل از تمام معیارها عبور کرد!
ابتدا یک کلام منصفانه درباره واقعی بودن LLMs.txt
برای من خیلی مهم نیست که llms.txt کار می کند، در آینده کار خواهد کرد یا چقدر طول می کشد تا به نتیجه برسد. برای پیشبرد این بحث، خوشحالم که دو حقیقت ناخوشایند را کنار بگذارم و بیشترین ارفاق را به این ایده بکنم.
اولین حقیقت این است که هیچ ارائه دهنده مدل زبانی بزرگی تاکنون مستند نکرده است که از llms.txt برای جستجو یا کشف اطلاعات استفاده می کند. نه OpenAI، نه Anthropic (که یکی برای مستندات خودشان منتشر کرده اند اما هرگز نگفته اند مدل هایشان در طول مکالمه آن را می خوانند) و نه گوگل. جان مولر (John Mueller) از گوگل در این باره با صراحت کامل گفته است:
«جهت اطلاع، هیچ سیستم هوش مصنوعی در حال حاضر از llms.txt استفاده نمی کند. […] اگر به لاگ های سرور خود نگاه کنید، این موضوع کاملاً واضح است. LLMها و چت بات های مصرفی (همان هایی که سئوکاران از آن ها ترافیک می خواهند) صفحات شما را برای آموزش و پایه گذاری داده ها (Grounding) دریافت می کنند، اما هیچ کدام فایل llms.txt را فراخوانی نمی کنند. شاید فردا این کار را بکنند؟ شاید هم من فردا در لاتاری برنده شوم!»
حقیقت دوم این است که حتی در جاهایی که این فایل پیاده سازی شده، به ندرت به آن نگاه می شود. ابزار Ahrefs داده های ۱۰۰,۰۰۰ دامنه را بررسی کرد و متوجه شد که این فایل در عمل توسط خزنده هایی که قرار است جذبشان کند، تا حد زیادی نادیده گرفته می شود. مطالعات بزرگ دیگر نیز نشان دادند که سایت های دارای این فایل هیچ مزیت قابل اندازه گیری در گرفتن بک لینک یا سایتیشن (Citation) ندارند. بنابراین مکانیزمی که مردم بابت آن پول پرداخت می کنند، ظاهراً اصلاً فعال نمی شود. بسیار خب، این را هم کنار می گذاریم.
فرض کنید در هر دو مورد هنوز تصمیم قطعی گرفته نشده و ما سخاوتمندانه ترین حالت ممکن را برای این ایده در نظر می گیریم. مشکلی که من در واقع می خواهم درباره آن صحبت کنم اصلاً خود فایل llms.txt نیست، بلکه استدلالی است که برای دفاع از آن استفاده می شود.
نمایشی طنز از یک فایل متنی ساده که با جدیت به عنوان استاندارد وب معرفی شد
تفکر معیوب (The Faulty Thinking)
تله اینجاست: فریب خوردن و در نظر گرفتن مجموعه ای از «مشاهدات» به عنوان «مدرک»، در حالی که آن مشاهدات چه موضوع اصلی درست باشد و چه نباشد، در هر صورت رخ می دهند. این معادل فکریِ آن است که نتیجه بگیرید چتر شما باعث بند آمدن باران می شود، فقط به این دلیل که هر بار چترتان را می بندید، باران هم بالاخره قطع می شود!
فایل llms.txt صرفاً یک مثال دم دستی است. همین زنجیره استنتاج شکسته و معیوب روی تقریباً هر تاکتیک جدید GEO که به صورت ماهانه اختراع می شود اعمال می گردد. سوال همیشه این است: «آیا باید این کار را انجام دهیم یا نه؟» – که همین باعث می شود کیفیت پاسخ ها بسیار مهم باشد.
در اینجا چهار «مدرک اثبات» که مدام به من نشان داده می شوند را می آورم، به ترتیب صعودی از نظر میزان اعتماد به نفس گوینده، و نزولی از نظر دقت علمی!
۱. «حتماً استفاده می شود، چون ربات های LLM آن را می خزند!»
استدلال اول: شما می توانید ببینید که Anthropic آن را می خزد، OpenAI آن را می خزد، ربات ها در لاگ های سرور شما ظاهر می شوند، پس این فایل در حال استفاده است.
اینکه یک خزنده (Crawler) فایلی را فراخوانی می کند، هیچ چیزی درباره اینکه آیا محتویات آن خوانده می شود، وزن داده می شود، مورد اعتماد قرار می گیرد یا بر اساس آن اقدامی صورت می پذیرد، به شما نمی گوید. واکشی (Fetching) داده ها تمام شرح وظایف یک ربات خزنده است. ربات ها کم و بیش هر چیزی که در دسترس باشد را درخواست می کنند؛ دست زدن پستچی به درِ خانه شما به معنای تایید محتویات سطل زباله شما نیست!
برای اثبات این موضوع، من فایل cats.txt را قرار دادم و دیدم که لاگ های سرور پر شد از PerplexityBot، GPTBot، ClaudeBot، Googlebot و لشکری از ربات های خرد و ریز دیگر که همگی با پشتکار در حال درخواست فایلی بودند که مسئولیت های حرفه ای گربه های من را توضیح می داد. با این استاندارد، آزمایشگاه های بزرگ هوش مصنوعی همگی بی سروصدا تصمیم گرفته اند از گربه های من حمایت کنند. من واقعاً تحت تاثیر قرار گرفتم!
۲. «توسط گوگل ایندکس شده، پس حتماً مهم است!»
استدلال دوم: این فایل توسط گوگل ایندکس شده است که ثابت می کند گوگل آن را مهم می داند، چون چرا گوگل باید چیزی را ایندکس کند که مهم نیست؟
گوگل فایل های متنی را ایندکس می کند. این موتور جستجو با اشتیاق تمام، از زمانی که اکثر فروشندگان فعلی پکیج های llms.txt حتی گوشی هوشمند هم نداشتند، این کار را انجام می داده است. حضور در ایندکس گوگل صرفاً بیانیه ای است که می گوید یک آدرس URL وجود دارد و حاوی کلمات است. این حکمی بر صحت، مفید بودن یا عقلانی بودن آن صفحه نیست.
(اگر تجربه خدمات طراحی سایت استاندارد را با دانش وب داشته باشید، می دانید که ایندکس شدن تنها قدم اول تکنیکال سئو است و به تنهایی ارزش رتبه بندی ندارد).
فایل cats.txt به طور طبیعی ایندکس شده است. گوگل حتی با نهایت جدیت به شما پیشنهاد می دهد که مالکیت آن را در سرچ کنسول (Search Console) تایید کنید و «داده های ایندکس و رتبه بندی» را برای فایلی دریافت کنید که ادعا می کند یک گربه موکوتاه بریتانیایی به نام Pixel به عنوان «متخصص بی نقص سازی رابط کاربری (GUI Purrfectionist)» با سطح خرخر (PurrLevel) عدد ۸ در حال کار است!
تصویری از قفل کردن بر روی نتایج خزنده ها به عنوان مدرک اثبات کارایی یک فایل
۳. «ChatGPT اطلاعاتی را برگرداند که فقط در فایل LLMs.txt من وجود داشت»
استدلال سوم قوی ترین ظاهر را دارد و بنابراین شایسته بیشترین توجه است. ادعا این است که مدل هوش مصنوعی واقعیتی را تولید کرده که فقط در داخل فایل llms.txt وجود داشته، بنابراین حتماً فایل را به عنوان یک منبع ویژه و معتبر خوانده است.
مشکل اینجاست که این دقیقاً همان چیزی است که شما از سیستم های معمول تولید محتوای تقویت شده با بازیابی (RAG – Retrieval-Augmented Generation) انتظار دارید. مدل یک جستجو انجام می دهد، به صفحه ای می رسد که اتفاقاً به دلیل ایندکس بودن رتبه گرفته است (به استدلال قبلی رجوع کنید)، و هر آنچه در آن هست را می خواند. اگر صفحه ای که رتبه می گیرد فایل llms.txt شما باشد، مدل llms.txt شما را می خواند، دقیقاً مثل هر URL دیگری. در این حالت، فایل شما به عنوان یک صفحه وب (Web Page) عمل می کند، نه به عنوان یک استاندارد ساختاری.
دیو (Dave) را در نظر بگیرید. دیو دوست داشتنی! یک متخصص واقعی سئوی تکنیکال یک فایل cats.txt را روی سایت خود قرار داد و به یکی از اولین پذیرندگان استانداردی تبدیل شد که من فقط برای شوخی ساخته بودم. از گوگل درباره گربه ای که در سایت او زندگی می کند بپرسید و ویژگی بررسی هوش مصنوعی گوگل (AI Overview) با یک پاسخ گلوله ای و با اعتماد به نفس به شما خواهد گفت که «آد» (Odd) یک «گربه رندرگیر» (Render Cat) است؛ یک گربه تاکسیدو با سطح خرخر ۵ از ۷، که «نشانگر موس را دنبال می کند، روی پیکسل های سرگردان می پرد و آن ها را روی فرش دیجیتالی پنهان می کند.» گوگل فایل cats.txt را به عنوان منبع ذکر می کند. تک تک این کلمات ساختگی هستند، از فایلی سرچشمه گرفته اند که مدل هرگز برای احترام گذاشتن به آن طراحی نشده بود، و از طریق همان مکانیزم پایه گذاری (Grounding) که برای هر چیز دیگری اعمال می شود، به سطح آمده اند.
۴. «خود ChatGPT می گوید LLMs.txt کمک می کند!»
و استدلال چهارم، که در واقع قله ی مه آلودِ «کوه حماقت» است! شما از ChatGPT می پرسید آیا llms.txt کار می کند؛ به شما می گوید بله، احتمالاً می تواند کمک کند، شما باید آن را انجام دهید، و شما این را به عنوان تاییدی از زبان خود اسب (منبع اصلی) می پذیرید.
اینکه یک مدل زبانی به شما بگوید چیزی ایده خوبی است، مدرکی بر خوب بودن آن ایده نیست. این مدرکی است بر اینکه حجم عظیمی از متن در اینترنت می گویند این ایده خوبی است، و مدل یاد گرفته است که آن متن را با خونسردی تمام به شما بازگرداند. «اعتماد به نفس» محصول این مدل هاست، نه «مدرک و اثبات».
تقریباً دو هفته پس از راه اندازی این شوخی، می توانستید از ChatGPT بپرسید: «آیا cats.txt می تواند به رتبه بندی من در جستجو یا LLMها کمک کند؟» و این پاسخ را دریافت کنید: «بله — cats.txt به طور بالقوه می تواند به شما کمک کند تا هم در موتورهای جستجو و هم در سیستم های مبتنی بر LLM رتبه بگیرید.» هوش مصنوعی حتی بدون اینکه از او خواسته باشم درباره «سیگنال های ساختاریافته برای ماشین ها»، «درک بهتر -> دیده شدن بهتر» و اینکه چطور برای سیستم های هوش مصنوعی، cats.txt «می تواند به آن ها کمک کند تا محتوای شما را دقیق تر ارزیابی، خلاصه سازی و به آن ارجاع دهند» صحبت کرد. این کلمه به کلمه همان تبلیغاتی است که برای llms.txt انجام می شود، اما این بار برای فایلی درباره اینکه گربه های من چقدر از نوازش شدن لذت می برند!
تصویر فانتزی از گربه ای که در حال شکار پیکسل ها در محیط دیجیتال است
مشکل هم گرایی (The Convergence Problem)
مورد آخر فقط خنده دار نیست. این مکانیزمی است که زیربنای هر چهار استدلال است و ارزش نام گذاری دارد: مشکل هم گرایی.
وقتی از یک مدل می پرسید آیا llms.txt کمک می کند، مدل در حال استدلال و تفکر منطقی نیست. آزمایشی اجرا نمی کند، با منبعی مشورت نمی کند یا شواهد را نمی سنجد. بلکه رایج ترین چیزی را که درباره این موضوع نوشته شده بازمی گرداند. وب پر از پست های پرتمطراقی است که llms.txt را آینده معرفی می کنند، بنابراین مدل روی آن اجماع هم گرا می شود و آن را به شکل یک نظر کارشناسی شده بازتاب می دهد. هوش مصنوعی گربه های من را دقیقاً به همین دلیل تایید کرد: تا زمانی که کسی از او پرسید، افراد زیادی با اشتیاق درباره cats.txt نوشته بودند که میانگین گفتمان موجود می گفت «بله، این کار می کند».
امروز از ChatGPT درباره cats.txt بپرسید و به شما اطلاع می دهد که این یک شوخی است؛ یک فایل طنز که توسط یک سئوکار برای اثبات یک موضوع ساخته شده است. هیچ چیزی درباره خود فایل تغییر نکرده است. چیزی که تغییر کرد، متن های پیرامونی در اینترنت بود: گفتمان به حقیقت ماجرا پی برد، به این شوخی اعتراف کرد و مدل نیز وظیفه شناسانه روی رایج ترین پاسخِ جدید هم گرا شد. مدل هرگز در حال ارزیابی خود استاندارد نبود. او بود (و همیشه هست) در حال گرفتن میانگین متحرکی از آنچه دیگران می گویند. این مدرک نیست. این صرفاً یک «پژواک با دایره لغات خوب» است.
چرا هیچ کدام از این ها مهم است؟
من این کار را صرفاً برای تفریح انجام نمی دهم، هرچند اعتراف می کنم که تفریح بسیار عالی بود!
زیر این کمدی، یک هزینه واقعی پنهان است. هر ساعت و هر دلاری که صرف پیاده سازی llms.txt، یا مناسک بعدی GEO، یا تاکتیک بعد از آن می شود، ساعت و دلاری است که روی چیزی که واقعاً می دانید ارزش دارد خرج نشده است. حرف “O” در SEO مخفف بهینه سازی (Optimization) است. بهینه سازی یعنی مزیت انباشته ی انجام دادن کارهای کوچک و قابل تایید، کمی بهتر از رقبایتان، بارها و بارها، تا زمانی که به یک نتیجه بزرگ تبدیل شود. بهینه سازی به معنای دنبال کردن فایلی نیست که توسط سیستمی خزیده، ایندکس و با اعتماد به نفس تایید می شود که به محض تغییر گفتمان اینترنتی، رای خود را برمی گرداند.
بنابراین، اگر پیاده سازی llms.txt باعث می شود احساس کنید برای آینده ای که شاید از راه برسد آماده اید، حتماً این کار را بکنید. ضرر آن کم است و روزی که یک ارائه دهنده رسماً پشتیبانی واقعی از آن را مستند کند، کار شما از قبل انجام شده است و می توانید به آن افتخار کنید. افتخارِ رایگان بهترین نوع افتخار است! اما آن را به عنوان یک اهرم اثبات شده برای ورود به پاسخ های هوش مصنوعی (AI Overviews) نفروشید و به «ربات ها آن را خزیدند» یا «ChatGPT گفت که کمک می کند» به گونه ای اشاره نکنید که گویی این جملات حاوی یک حقیقت علمی هستند. این طور نیست. این چهار مشاهده، چهار اتفاقی هستند که به معنای واقعی کلمه برای هر فایل متنی که روی وبِ باز (Open Web) قرار می دهید می افتند؛ از جمله فایلی که یک گربه نژاد مین کون به نام Byte را توصیف می کند که در میان رک های سرور به شکار صفر و یک های سرگردان می پردازد!
گربه ها حداقل درباره ساختگی بودنشان صادق بودند. من هنوز متقاعد نشده ام که بتوان همین حرف را درباره سایر چیزهایی که امسال در صنعت سئو فروخته می شوند بیان کرد.
نمایش هوش مصنوعی به عنوان پژواکی از داده های موجود در اینترنت
نتیجه گیری
داستان طنزآمیز cats.txt یک درس بزرگ و بسیار جدی برای تمام صاحبان کسب وکار و وب مسترها به همراه دارد: فریب ترندهای زودگذر هوش مصنوعی را نخورید. ظهور جستجوی مبتنی بر هوش مصنوعی (AI Search) و مفهوم GEO باعث شده تا بسیاری از افراد به دنبال راهکارهای جادویی و میان برهایی مانند llms.txt باشند؛ اما واقعیت این است که موتورهای جستجو و مدل های زبانی، هنوز هم تشنه پایه های اصولی هستند. صرف بودجه و زمان برای تاکتیک های اثبات نشده، شما را از بهینه سازی های واقعی دور می کند.
ما در تیم دانش وب معتقدیم که موفقیت پایدار در سئو و دیجیتال مارکتینگ، نیازمند معماری فنی قدرتمند (Technical SEO)، تجربه کاربری استاندارد (UI/UX) و تولید محتوای عمیق و تخصصی است که مستقیماً به نیاز کاربر پاسخ دهد. به جای اتکا به ترفندهای ناپایدار، با خدمات طراحی سایت و سئوی کلاه سفید دانش وب، «موجودیت برند» خود را چنان قوی و یکپارچه بسازید که هم ربات های سنتی گوگل و هم خزنده های پیشرفته هوش مصنوعی، شما را به عنوان معتبرترین منبع حوزه خود بشناسند.