گزارش جدید لایت هاوس در مرورگر کروم با نام «Agentic Browsing» (مرور مبتنی بر هوش مصنوعی و ایجنت ها)، فایل های .txt شما را به عنوان یک سند مارک داون (Markdown) در نظر می گیرد. اگر فایل llms.txt شما از سینتکس (نحو) لینک دهی مارک داون استفاده نکند، در این ممیزی مردود خواهید شد؛ حتی اگر تک تک لینک های موجود در فایل کاملاً دقیق باشند و به درستی کار کنند.
من این ممیزی را روی سایت nohacks.co اجرا کردم. از بین شش ممیزی، دو مورد با موفقیت پاس شدند. سه مورد به عنوان «غیرقابل اجرا» (Not applicable) برگشت داده شدند و یک مورد با این خطای دقیق و کلمه به کلمه مردود شد: ممیزی llms.txt با خطای “فایل به نظر نمی رسد حاوی هیچ لینکی باشد.”
راه حل این مشکل، تغییر تنها پنج کاراکتر به ازای هر لینک بود. جالب اینجاست که فایل همچنان به عنوان یک متن ساده (Plain text) در سرور ارائه می شود و تنها چیزی که تغییر کرد، نتیجه ممیزی لایت هاوس بود.
نسخه ۱۳.۳.۰ لایت هاوس، دسته بندی Agentic Browsing (مرور ایجنت محور) را در کنار سایر دسته بندی های آشنای خود یعنی عملکرد (Performance)، دسترسی پذیری (Accessibility)، سئو (SEO) و بهترین شیوه ها (Best Practices) معرفی کرد. در مجموعه پیش فرض این بخش، شش ممیزی وجود دارد:
- خوش ساخت بودن درخت دسترسی پذیری برای ایجنت ها (agent-accessibility-tree)
- تغییرات چیدمان تجمعی یا CLS (cumulative-layout-shift)
- قابلیت کشف فایل llms.txt (llms-txt)
- و سه بررسی مرتبط با WebMCP (شامل webmcp-registered-tools، webmcp-form-coverage و webmcp-schema-validity).
این دسته بندی به جای یک نمره از ۰ تا ۱۰۰، یک نسبت قبولی کسری (Fractional pass ratio) ارائه می دهد؛ چرا که استانداردهای وب ایجنت محور (وب مخصوص هوش مصنوعی) هنوز در حال شکل گیری و تکامل هستند.
فایل llms.txt استانداردی جدید است که به وب سایت ها اجازه می دهد اطلاعات و ساختار خود را به شکلی خوانا و بهینه در اختیار مدل های زبانی بزرگ (LLM) مانند ChatGPT قرار دهند تا هوش مصنوعی بتواند محتوای سایت را بهتر درک کند.
رد شدن ۱ مورد از ۶ ممیزی در سایت Nohacks.co
من این ممیزی را از طریق رابط خط فرمان لایت هاوس (CLI) اجرا کردم. شش ممیزی نتیجه داد. سه مورد از آن ها غیرقابل اجرا (not-applicable) بودند که همگی به WebMCP مربوط می شدند. لایت هاوس هیچ دلیلی برای نتیجه «غیرقابل اجرا» ارائه نمی دهد؛ فقط آن را علامت می زند و از آن عبور می کند. سایت nohacks.co در واقع WebMCP را ارائه می دهد، اما فقط از طریق یک API آزمایشی و با دستور navigator.modelContext (دو ابزار واژه نامه و دو ابزار برای دایرکتوری مرورگر ایجنت محور)، و هیچ نشانه گذاری فرمِ اعلانی (declarative form annotations) ندارد.
اسکن در یک نسخه پیش فرض و بدون رابط گرافیکی کروم ۱۵۰ (Headless Chrome) اجرا شد که هیچ فلگ WebMCP در آن فعال نبود. بنابراین، نتیجه «غیرقابل اجرا» می تواند به این معنا باشد که وب سایت هیچ چیزی که این ممیزی ها قادر به شناسایی آن باشند ارائه نمی دهد، یا اینکه محیط اسکن در آن زمان هیچ API فعال WebMCP نداشته است. لایت هاوس مشخص نمی کند کدام حالت رخ داده است.
دو ممیزی به راحتی پاس شدند: ممیزی agent-accessibility-tree پیام “همه ممیزی ها پاس شدند” را گزارش داد که تایید می کند ساختار HTML معنایی (Semantic HTML) و کدهای ARIA به اندازه کافی برای ناوبری ایجنت های هوش مصنوعی خوش ساخت هستند. ممیزی cumulative-layout-shift (CLS) نیز عدد صفر را نشان داد که عالی است.
اما یک ممیزی رد شد: llms-txt. پیام خطای دقیق لایت هاوس این بود:
“فایل به نظر نمی رسد حاوی هیچ لینکی باشد.” (File does not appear to contain any links.)
امتیاز این دسته بندی ۰.۶۷ شد. این اولین غافلگیری بود. فایلی که در آدرس nohacks.co/llms.txt قرار دارد، لینک های بسیار زیادی دارد: مسیرهای ناوبری به مقالات، قسمت های پادکست، مهمانان، واژه نامه، آدرس های فید RSS و الگوهای URL فایل های صوتی. این فایل بیش از پنج کیلوبایت محتوای ساختاریافته دارد. پس چرا لایت هاوس تعداد لینک ها را صفر گزارش می کرد؟
این اینفوگرافیک تفاوت بین لینک های متن ساده (که باعث دریافت خطای عدم وجود لینک و نمره رد می شود) و لینک های قالب بندی شده با سینتکس مارک داون [text](url) (که منجر به دریافت نمره کامل ۱۰۰٪ و تاییدیه سبز لایت هاوس می شود) را به صورت متقاطع نشان می دهد.
لایت هاوس فایل های txt. را به عنوان مارک داون (Markdown) تجزیه می کند و لینک های متنی ساده را نمی پذیرد
پسوند فایل .txt است، اما لایت هاوس محتویات آن را به عنوان مارک داون پردازش می کند و برای اینکه متنی را به عنوان لینک بشناسد، به شدت نیازمند سینتکس لینک دهی مارک داون است. نام فایل llms.txt است و سرور HTTP آن را با فرمت text/plain (متن ساده) برمی گرداند. اگر آن را در مرورگر باز کنید، یک متن کاملاً ساده می بینید.
اما مشخصات و استانداردهای فایل llms.txt در سایت llmstxt.org این فرمت را به عنوان یک سند مارک داون تعریف می کند. این مشخصات کاملاً صریح است: “هر بخش شامل یک لیست گلوله ای (Bullet list) از لینک ها با فرمت مارک داون است. هر آیتم لیست دارای یک لینک است که با یادداشت های اختیاری درباره آن لینک دنبال می شود و با یک دونقطه (:) از لینک جدا می شود.”
موتور تجزیه کننده لایت هاوس این قانون را به شدت اجرا می کند. هر لینک باید به صورت سینتکس مارک داون کدگذاری شود: [متن](آدرس URL)؛ یعنی قلاب یا براکت به دور متن لینک، و پرانتز به دور آدرس URL.
فایل من از یک فرمت متنی ساده و طبیعی تر استفاده می کرد:
- Homepage: / - Publication masthead, cornerstone series, latest articles and episodes
- Articles: /blog - All articles on AXO, the agentic web, and AI agents
- Episode: /episode/[slug] - Full show notes, transcript, audio player
مقصدها همان بود. توضیحات همان بود. اطلاعات نیز همان بود. اما موتور لایت هاوس این خطوط را به عنوان لینک شناسایی نمی کرد و در کل فایل، دقیقاً صفر لینک را ثبت کرد. در نتیجه، ممیزی رد شد.
فایلی با پسوند .txt که با فرمت text/plain ارائه می شود، اما اگر با فرمت مارک داون نوشته نشده باشد، در ممیزی مردود می شود! این یک تناقض است که لایه ممیزی باید در مورد آن صادق تر و شفاف تر عمل کند. پسوند فایل یک چیز می گوید، نوع فایل (MIME type) چیز دیگری می گوید، اما تجزیه کننده (Parser) منبع اصلی حقیقت است و او فقط زبان مارک داون را می فهمد!
راه حل: فقط ۵ کاراکتر به ازای هر لینک!
کافیست هر هدف لینک را در سینتکس براکت و پرانتز مارک داون یعنی [text](url) قرار دهید و خط تیره (-) که قبل از هر توضیح قرار دارد را با دونقطه (:) جایگزین کنید. دقیقاً پنج کاراکتر برای هر لینک. این یک تبدیل مکانیکی و ساده است که باید در کل فایل تکرار شود.
- [Homepage](/): Publication masthead, cornerstone series, latest articles and episodes
- [Articles](/blog): All articles on AXO, the agentic web, and AI agents
- [Episode](/episode/[slug]): Full show notes, transcript, audio player
من این ویرایش را انجام دادم و ممیزی را دوباره اجرا کردم. امتیاز از ۰.۶۷ به ۱.۰ کامل رسید. عنوان ممیزی از “llms.txt از توصیه ها پیروی نمی کند” به “llms.txt از توصیه ها پیروی می کند” تغییر یافت. یک تاییدیه سبز و بی نقص!
جالب اینجاست که فایل همچنان به عنوان متن ساده (text/plain) سرو می شود. پسوند آن همچنان .txt است. محتوای فایل هم کاملاً همان محتوای قبلی است. فقط نوع کدگذاری لینک ها تغییر کرد.
این تصویر گرافیکی مفهوم معماری «ماشین-اول» را نشان می دهد که در آن لایه زيرين محتوا با فرمت مارک داونِ ساختاریافته توسط ایجنت های هوش مصنوعی پردازش می شود و لایه رویی آن رندر گرافیکی و طراحی مناسب برای کاربران انسانی را شکل می دهد.
لایت هاوس سینتکس قابل تجزیه را می سنجد، نه کیفیت فایل را
این ممیزی بررسی می کند که آیا فایل شما از نظر مکانیکی قابل خواندن توسط ماشین هست یا خیر. اصلاً بررسی نمی کند که آیا این فایل، وب سایت شما را به شکل مفیدی توصیف می کند یا نه. هر دو برداشت به طور همزمان درست هستند:
برداشت اول: ممیزی در حال سنجش یک موضوع واقعی است. سینتکس لینک مارک داون به صورت مکانیکی قابل تجزیه است، در حالی که خطوط توضیحی متن ساده اینگونه نیستند. اگر یک ایجنت هوش مصنوعی (یا پارسر لایت هاوس به عنوان نماینده آن ایجنت) بخواهد لینک ها را به صورت برنامه نویسی شده از فایل استخراج کند، فرمت مارک داون الزامی است. بنابراین لایت هاوس حق داشت که فایل من را پیش از اصلاح، غیرقابل خواندن تشخیص دهد.
برداشت دوم: رعایت فرمت به معنای کیفیت بالای فایل نیست. یک فایل llms.txt دقیق، جامع و با دقت نوشته شده که از توضیحات متنی ساده استفاده می کند، در این ممیزی مردود می شود؛ در حالی که یک فایل نازل و تولید شده توسط ربات که سینتکس مارک داون دارد، پاس می شود. ممیزی نمی تواند تفاوت این دو را تشخیص دهد.
در اینجا به عنوان یک متخصص سئو باید اشاره کنم که ما در تیم دانش وب، در خدمات طراحی سایت و سئو همواره به مشتریان خود تاکید می کنیم که ابزارهای اتوماتیک تنها ساختار را می سنجند، اما کیفیت و استراتژی محتوا نیازمند دخالت انسانی و تخصص است. به عنوان مثال، افزونه وردپرسی AIOSEO (که در بیش از ۳ میلیون وب سایت نصب شده) فایل های llms.txt را به طور پیش فرض با سینتکس مارک داون تولید می کند. اکثر این فایل های تولید شده به صورت خودکار، احتمالاً این ممیزی را پاس می کنند، در حالی که اکثر فایل های llms.txt که توسط صاحبان سایت با دقت دست نویس شده اند، به دلیل عدم رعایت این سینتکس مردود می شوند.
این شکاف چیزی است که قبل از اینکه نتیجه لایت هاوس را به عنوان یک معیار قطعی برای آمادگی سایت خود برای هوش مصنوعی (Agent-ready) در نظر بگیرید، باید به آن فکر کنید. لایت هاوس چک می کند که آیا فایل شما قابل تجزیه است یا خیر؛ چک نمی کند که آیا فایل شما مفید است یا نه!
آیا باید به بررسی فایل llms.txt در لایت هاوس اهمیت بدهید؟
پاسخ کوتاه بله است، اما با نگاهی محدود. لایت هاوس می تواند به شما بگوید که آیا فایل llms.txt شما به عنوان مارک داون قابل تجزیه است یا خیر. اما نمی تواند به شما بگوید که آیا این فایل، وب سایت شما را صادقانه و به درستی توصیف می کند. این بررسی بر عهده شماست.
مرورگر کروم را باز کنید، به بخش DevTools بروید، تب Lighthouse را باز کرده و مطمئن شوید دسته بندی Agentic Browsing تیک خورده است؛ سپس روی Analyze کلیک کنید. این ممیزی کمتر از یک دقیقه طول می کشد. اگر با خطای “نبود لینک” مواجه شدید، رفع آن تنها ۵ کاراکتر به ازای هر لینک و ۵ دقیقه زمان نیاز دارد.
اما اگر پاس شد، سوال سخت تر این است که آیا این فایل توسط افزونه ای که شما پیکربندی نکرده اید به صورت خودکار تولید شده، یا خودتان آن را نوشته اید؟ و در هر دو حالت، آیا آنچه وب سایت شما واقعاً هست را به درستی توصیف می کند؟
ستون فقرات معماری «ماشین-اول» (Machine-First) زیربنای همه این هاست: مدل های داده قبل از چیدمان صفحه، استقلال رندرینگ، و محتوایی که برای خوانده شدن توسط ماشین نیازی به جاوا اسکریپت سمت کاربر یا پیش فرض های نمایش انسانی ندارد. ممیزی llms.txt تنها یک بررسی کوچک در این لایه است. سوال ساختاری بزرگتر این است که آیا سطح قابل خوانشِ سایت شما برای ماشین ها، وب سایت شما را به دقت توصیف می کند؟ پاسخ به این سوال بر عهده شما (و متخصصین سئو شما) است.
نتیجه گیری
با ظهور هوش مصنوعی و مدل های زبانی، سئو در حال تغییر مسیر از صرفاً «انسان محور» بودن به سمت «ماشین-اول» (Machine-First) است. بهینه سازی فایل هایی نظیر llms.txt با فرمت استاندارد مارک داون، اولین قدم برای این است که مطمئن شوید ایجنت های هوش مصنوعی (مانند ChatGPT) می توانند به درستی در سایت شما بخزند و آن را درک کنند. با این حال، نباید تنها به تیک های سبز ابزارهایی مانند لایت هاوس بسنده کرد. تیک سبز نشان دهنده ساختار درست است، اما کیفیت، استراتژی و ارزش محتوایی که به هوش مصنوعی ارائه می دهید، تفاوت اصلی شما را با رقبا رقم خواهد زد. همکاری با یک تیم دیجیتال مارکتینگ حرفه ای تضمین می کند که سایت شما هم برای الگوریتم های هوش مصنوعی و هم برای کاربران انسانی، بی نقص طراحی و بهینه سازی شده باشد.