چت های به اشتراک گذاشته شده ی هوش مصنوعی کلود (Claude) در نتایج گوگل ظاهر شدند. این صفحات به گوگل می گویند که آن ها را در لیست نتایج نیاورد، اما این دستورالعمل مسدود شده است. لغو اشتراک گذاری هر چت، این مشکل را برطرف می کند.
در اواخر هفته گذشته، چت های به اشتراک گذاشته شده ی کلود به طور غیرمنتظره ای در نتایج جستجوی گوگل ظاهر شدند. در تاریخ ۲۷ جولای، من قوانین خزش (Crawl Rules) را در صفحات اشتراک گذاری کلود بررسی کردم و متوجه یک دستور noindex شدم که پشت یک مسدودکننده (Block) پنهان شده بود و از دسترسی گوگل جلوگیری می کرد.
مسیر اشتراک گذاری توسط فایل robots.txt در سایت claude.ai مسدود شده است. این صفحات همچنین یک هدر X-Robots-Tag با مقدار none ارسال می کنند که طبق دستورالعمل های متاتگ ربات های گوگل، دقیقاً معادل با noindex و nofollow در نظر گرفته می شود.
به همین دلیل، این قوانین با یکدیگر در تضاد هستند. طبق راهنمای گوگل، تگ noindex تنها در صورتی عمل می کند که ربات خزنده (Crawler) اجازه دسترسی و خواندن صفحه را داشته باشد. اگر صفحه ای توسط فایل robots.txt مسدود شده باشد، در صورتی که صفحات دیگر به آن لینک دهند، همچنان می تواند ایندکس شود؛ زیرا ربات گوگل (Googlebot) آدرس URL را بدون باز کردن واقعی آن ثبت می کند.
(نکته تخصصی: ما در تیم سئو و طراحی سایت دانش وب بارها در پروژه های مختلف مشاهده کرده ایم که وبمسترها برای خارج کردن یک صفحه از نتایج گوگل، به اشتباه همزمان از Disallow در فایل robots.txt و تگ Noindex استفاده می کنند. این تضاد باعث می شود گوگل هرگز متوجه درخواست Noindex شما نشود و صفحه با یک عنوان ناقص در نتایج باقی بماند.)
این ترکیب اشتباه مختص شرکت های هوش مصنوعی نیست. اگر گوگل یک URL مسدود شده را در جای دیگری کشف کند، می تواند آن URL را بدون خزشِ تگ noindex در لیست نتایج خود قرار دهد.
چه اتفاقی افتاد؟
رسانه 404 Media در روز دوشنبه گزارش داد که صفحات اشتراک گذاری کلود از طریق جستجوی عملگر site: در گوگل نمایش داده می شوند. سایت TechCrunch نیز گزارش داد که توانسته است از این طریق به مطالب پزشکی، اسناد داخلی شرکت ها و فایل هایی حاوی نام و شماره تلفن کودکان دبستانی دسترسی پیدا کند. «آرتیفکت ها» (Artifacts) – یعنی اسناد و مینی اپلیکیشن های ساخته شده در داخل کلود – نیز از طریق مسیر دومی در نتایج ظاهر شدند.
بسیاری از پوشش های خبری، از جمله رسانه The Decoder، گزارش دادند که صفحات اشتراک گذاری فاقد تگ noindex بوده اند. اما تا ۲۷ جولای، یک هدر noindex ارائه می شود که پشت سد robots.txt قرار دارد. مشخص نیست که آیا این هدر قبل از آخر هفته نیز وجود داشته است یا خیر، زیرا من نتوانستم این موضوع را تأیید کنم.
نمایی از یک ابزار بررسی هدر که نشان می دهد هدر X-Robots-Tag: none در پاسخ به ربات گوگل ارسال می شود. در پس زمینه، فایل robots.txt را می بینیم که مسیر share/ را مسدود کرده است. یک آیکون گرافیکی، بلاک شدن ربات گوگل توسط فایل robots.txt را از دسترسی به تگ noindex نشان می دهد.
بررسی قوانین خزش چه چیزی را نشان می دهد؟
یافته های حاصل از بررسی های من در تاریخ ۲۷ جولای روی سایت claude.ai به این شرح است:
- فایل
robots.txtدر سایتclaude.aiمسیر/*/share/را تحت گروهUser-agent: *مسدود (Disallow) کرده است و هیچ گروه مجزایی برایGooglebotوجود ندارد، بنابراین گوگل نیز از همین گروه پیروی می کند. - یک URL اشتراک گذاری فعال، در پاسخ به درخواست GET، هدر
x-robots-tag: noneرا برمی گرداند. - همین هدر زمانی که درخواست ادعا می کند از طرف Googlebot است نیز ظاهر می شود و پاسخ شامل
Vary: User-Agentاست. - مسیر
/public/artifacts/در فایلrobots.txtلیست نشده است. - من بررسی نکردم که آیا URLهای مربوط به آرتیفکت ها، یک
noindexدر سطح صفحه برمی گردانند یا خیر، بنابراین این دو مسیر را نمی توان بر اساس کنترل هایشان با هم مقایسه کرد.
دنیل جی. گلاور (Daniel J. Glover)، مشاور مستقل فناوری اطلاعات نیز همین تضاد را در تاریخ ۲۶ جولای گزارش داد. بررسی من نشان می دهد که این تنظیمات در تاریخ ۲۷ جولای، حتی پس از گزارش اینکه چت ها دیگر در نتایج جستجو نمایش داده نمی شوند، همچنان پابرجا بوده است. با این حال، نتوانستم مشخص کنم زمانی که این URLها برای اولین بار کشف شدند، دقیقاً چه چیزی به گوگل ارائه می شده است.
چرا مسدود کردن یک صفحه، آن را حذف نمی کند؟
فایل robots.txt به هدایت نحوه خزش موتورهای جستجو در وب سایت شما کمک می کند، اما تعیین نمی کند که چه چیزی ایندکس شود. گوگل سال هاست که در حال شفاف سازی این موضوع است.
به عنوان مثال، جان مولر (John Mueller) توضیح می دهد که حتی صفحات مسدود شده توسط robots.txt نیز می توانند در نتایج جستجو ظاهر شوند، اگر صفحات دیگری به آن ها لینک داده باشند. اگر می خواهید صفحه ای را از نتایج جستجو دور نگه دارید، استفاده از تگ noindex انتخاب درستی است. مارتین اسپلیت (Martin Splitt) نیز توصیه می کند که از قرار دادن هر دو قانون روی یک صفحه خودداری کنید. گوگل اخیراً در آپدیت هفته گذشته خود دوباره بر این تمایز تأکید کرده است.
(در خدمات مشاوره سئوی دانش وب، ما همیشه پیش از اعمال محدودیت ها، ساختار معماری لینک سازی داخلی و خارجی را بررسی می کنیم تا از بروز چنین تداخلاتی که منجر به نشت اطلاعات یا ایندکس شدن صفحات ناخواسته می شود، جلوگیری کنیم.)
مسدود کردن URLها با robots.txt صفحاتی که قبلاً ایندکس شده اند را حذف نمی کند. برای حذف دائمی تر، راهنمای گوگل این است که از یک تگ noindex استفاده کنید که ربات خزنده آن بتواند آن را بخواند.
این اینفوگرافیک نشان می دهد که چگونه استفاده از دستور Disallow در robots.txt (مسیر سمت راست) تنها از خزش صفحه جلوگیری می کند و خطر ایندکس شدن را باقی می گذارد، در حالی که استفاده صحیح از تگ noindex (مسیر سمت چپ) منجر به حذف کامل صفحه از نتایج جستجو می شود.
پاسخ شرکت آنتروپیک (Anthropic)
شرکت آنتروپیک (سازنده کلود) به TechCrunch گفت که لینک های اشتراک گذاری شده تنها در صورتی در نتایج جستجو ظاهر می شوند که افراد آن ها را در مکان های قابل دسترس برای ربات های خزنده منتشر کنند و لینک هایی که از طریق پیام های خصوصی ارسال می شوند، ایندکس نخواهند شد.
امی رودرهام (Amie Rotherham)، سخنگوی این شرکت افزود که این لینک ها «قابل حدس زدن یا کشف شدن نیستند مگر اینکه خود افراد تصمیم بگیرند آن ها را به اشتراک بگذارند.» این پاسخ به یکی از راه های کشف شدن یک URL اشتراک گذاری عمومی می پردازد، اما تضاد قوانینی که من در تاریخ ۲۷ جولای پیدا کردم را برطرف نمی کند.
ند آدرینز (Ned Adriance)، سخنگوی گوگل اظهار داشت که موتورهای جستجو تعیین نمی کنند که چه صفحاتی عمومی شوند و گوگل کنترل خزش و ایندکس را در اختیار صاحبان سایت قرار می دهد و از آن کنترل ها پیروی می کند.
چرا این موضوع اهمیت دارد؟
هر چت یا آرتیفکتی که اشتراک گذاری آن را لغو نکرده اید، همچنان برای هر کسی که لینک آن را داشته باشد قابل دسترسی است. در کلود، به مسیر Settings > Privacy > Shared Chats بروید تا لیست کاملی از آن ها را مشاهده کنید.
لغو اشتراک گذاری یک چت، لینک مستقیم را غیرفعال می کند، اما حذف URL از گوگل مسئله ای کاملاً متفاوت است. به عنوان یک کاربر کلود، شما نمی توانید آنچه به Googlebot ارائه می شود را کنترل کنید یا درخواست حذف (Removal Request) ارسال کنید، زیرا مدیریت این موارد بر عهده شرکت آنتروپیک است.
آرتیفکت ها از طریق فرآیند مختص به خودشان منتشر می شوند، که این موضوع باعث می شود لغو اشتراک گذاری یک چت و لغو انتشار یک آرتیفکتِ مرتبط با آن چت، دو اقدام کاملاً جداگانه باشند.
فراتر از تغییرات تنظیمات، سعی کنید قانونی برای به اشتراک گذاری چت های هوش مصنوعی و آرتیفکت ها برای خود تعیین کنید. اگر یک چت حاوی چیزی است که نمی خواهید به صورت عمومی منتشر شود، آن را از طریق لینکی که ممکن است بعداً ایندکس شود، به اشتراک نگذارید.
نمایی از تنظیمات حساب کاربری کلود در مسیر Settings > Privacy > Shared Chats. این پنل لیستی از تمام چت هایی که کاربر قبلاً لینک آن ها را به صورت عمومی به اشتراک گذاشته است را نشان می دهد. دکمه های قرمز رنگ “Revoke Access” در کنار هر لینک، امکان لغو فوری اشتراک گذاری را فراهم می کنند.
نتیجه گیری
این الگو مختص به شرکت آنتروپیک نیست. شرکت OpenAI نیز در آگوست ۲۰۲۵ چت های به اشتراک گذاشته شده ی ChatGPT را از نتایج جستجو بیرون کشید و گوگل نیز در سال ۲۰۲۳ رونوشت های Bard را از ایندکس شدن مسدود کرد. هر مورد شامل یک URL اشتراک گذاری عمومی بود که فراتر از آنچه صاحبش انتظار داشت، دست به دست شد.
اکنون سه شرکت بزرگ شاهد ظاهر شدن چت های مشتریان خود در نتایج جستجو بوده اند. همین دلیل کافی است تا با یک لینک اشتراک گذاری عمومی، از همان لحظه ای که به وجود می آید، به عنوان یک صفحه وب عمومی رفتار کنید.