در چند ماه اخیر، تعداد زیادی از مدیران سایتها برای مشکلات ایندکسشدن با ما در «دانش وب» تماس گرفتهاند. جالب اینجاست که در اکثر این موارد، وقتی گزارش ایندکس صفحات را در Google Search Console بررسی میکنیم، میبینیم گوگل صفحات سایت را در دسته «Crawled – Currently Not Indexed» یا به تعبیر فارسی «کراولشده، در حال حاضر ایندکس نشده» قرار داده است.
در تقریباً همه مواردی که بررسی کردهایم، این صفحات دچار مشکل کیفیت بودهاند؛ آنها معمولاً «محتوای کالایی» (Commodity Content) هستند؛ یعنی محتوایی که صرفاً تکرار و بازنویسی چیزی است که افراد زیادی قبلاً درباره یک موضوع نوشتهاند و هیچ چیز جدید یا مفیدتر از آنچه هماکنون در وب وجود دارد، به مخاطب ارائه نمیدهند.
در این مقاله، توضیح میدهیم که ما در دانش وب چگونه به گزارش «کراولشده، در حال حاضر ایندکس نشده» در سرچ کنسول نگاه میکنیم. ابزاری معرفی میکنیم که به شما کمک میکند صفحات مهم این گزارش را پیدا و تحلیل کنید و چند نکته کاربردی برای بهبود و احتمالاً بازیابی این صفحات ارائه میدهیم. اما قبل از هر چیز باید صادقانه هشدار بدهیم: برای اکثر سایتها اگر تعداد زیادی صفحه ایندکسنشده دارید که در همین وضعیت گیر کردهاند، بازیابی کار سادهای نخواهد بود و به تلاش جدی نیاز دارد.
گوگل در رویداد Search Central تورنتو چه گفت؟
در رویداد Google Search Central که در آوریل ۲۰۲۶ در شهر تورنتو برگزار شد، تیم گوگل توضیحات مهمی درباره نحوه کار موتور جستوجو ارائه کرد. (بسیار جالب است بدانید که من، ماری هینز، شخصاً در این رویداد حاضر بودم.) سازماندهندگان این رویداد از شرکتکنندگان خواسته بودند نقلقولها را مستقیماً به نام کارمند خاصی از گوگل (گوگلر) نسبت ندهیم، اما اجازه داشتیم آنچه گفته شده را بازگو کنیم.
یکی از ارائهدهندگان، درباره نحوه کارکرد جستوجو صحبت کرد. او گفت وقتی گوگل یک صفحه را «کراول» میکند، در واقع آن صفحه را دانلود میکند. سپس توضیح داد: «اگر فکر کنیم مفید است، ممکن است آن را در یک دیتابیس قرار دهیم»؛ منظورش این بود که صفحه وارد ایندکس گوگل میشود.
سپس درباره اینکه چه نوع محتوایی را گوگل مایل است وارد ایندکس خود کند توضیح داد. به گفته او، هوش مصنوعی آستانه تولید محتوا را به شدت پایین آورده است؛ دیگر هر کسی میتواند درباره هر موضوعی محتوا تولید کند. در چنین فضایی، نوع محتوایی که گوگل میخواهد به ایندکس خود اضافه کند، محتوایی است که دو ویژگی کلیدی دارد: تجربه شخصی و دانشی که هیچکس دیگر آن را ندارد.
او ادامه داد که اگر گوگل صفحه شما را کراول کرده اما تصمیم گرفته آن را ایندکس نکند، دو دلیل احتمالی وجود دارد که در ادامه به هر دو میپردازیم.
هوش مصنوعی آستانه تولید محتوا را بهشدت پایین آورده است؛ به همین دلیل گوگل در انتخاب صفحاتی که شایسته ورود به دیتابیس ایندکس هستند، بسیار سختگیرتر عمل میکند.
دلیل اول: مشکل فنی
بر اساس تجربه من (ماری هینز)، مشکل فنی دلیل نادری است؛ اما هفته گذشته سایتی را بررسی کردم که پس از مهاجرت (انتقال از یک دامنه یا سیستم مدیریت محتوا به دیگری)، تمام صفحاتش در وضعیت «کراولشده، در حال حاضر ایندکس نشده» گیر کرده بودند. نکته مهم: این وضعیت با «Discovered – Currently Not Indexed» تفاوت دارد؛ در حالت دوم یعنی گوگل از وجود صفحات باخبر شده اما هنوز آنها را کراول (بازدید) نکرده است.
قدم اول من این بود که بررسی کنم آیا گوگل اصلاً میتواند محتوای صفحات را ببیند یا نه. برای این کار از ابزار بازرسی صفحه (Page Inspection) در سرچ کنسول استفاده کردم: روی ذرهبین کنار URL صفحه در فهرست «کراولشده، در حال حاضر ایندکس نشده» کلیک کردم و گزینه «Test Live URL» (تست نسخه زنده آدرس) را زدم. شگفتآور اینکه وقتی نسخه زنده صفحه را دیدم، تنها یک عنوان، چند کلمه تکراری قالب و هیچ محتوای واقعیای نمایش داده نمیشد.
در این مورد خاص، مدیر سایت واقعاً مشکل فنی داشت. در فایل robots.txt سایت آنها این خط وجود داشت:
Disallow: /*?*
هدف از این دستور، جلوگیری از کراول آدرسهای دارای پارامترهایی مثل ?replytocom یا ?utm_source بود. اما مشکل اینجا بود که قالب جدید سایت برای بارگذاری فایلهای CSS و جاوااسکریپت خود به همین پارامترها وابسته بود؛ در نتیجه عملاً جلوی دیدن اکثر محتوای سایت را برای گوگل و همه موتورهای جستوجو بسته بود. (برای درک بهتر: فایلهای CSS و JS همان چیزهایی هستند که به گوگل کمک میکنند صفحه را همانطور که کاربر میبیند «رندر» کند؛ اگر گوگل آنها را نبیند، محتوای واقعی صفحه را هم نمیبیند.)
پس از حذف این محدودیت، کمکم و بهآرامی صفحات دوباره شروع به ظاهر شدن در ایندکس گوگل کردند.
اگر تست نسخه زنده نشان داد گوگل محتوای صفحات شما را بهدرستی میبیند، احتمال اینکه مشکل فنی عامل وضعیت «کراولشده، در حال حاضر ایندکس نشده» باشد بسیار کم است.
همچنین باید ذکر کنم که برخی صفحات بهطور طبیعی باید در این فهرست باشند؛ صفحاتی که نسخه کانونیکال (اصلی و مرجع) نیستند. اگر در این گزارش صفحاتی مثل /feed/، صفحات صفحهبندی (pagination) یا صفحات دارای پارامتر در URL میبینید، این کاملاً طبیعی است و جای نگرانی نیست.
دلیل دوم: کیفیت صفحه
گوگلر حاضر در رویداد تورنتو علت دیگری را هم برای کراولشدن اما ایندکسنشدن یک صفحه توضیح داد: ممکن است گوگل صفحه شما را بررسی کرده و به این نتیجه رسیده باشد که «کیفیت آن خوب نیست».
او گفت اگر هزاران صفحه دیگر دقیقاً همان موضوع را پوشش داده باشند، گوگل ممکن است تصمیم بگیرد صفحه شما احتمالاً در جستوجو مفید نخواهد بود؛ شاید گزینههای دیگری وجود دارند که محبوبترند یا کیفیت بهتری دارند.
نکته جالبتر اینکه او توضیح داد گوگل گاهی آزمایش میکند: صفحه شما را برای مدتی ایندکس میکند تا ببیند کاربران آن را میپسندند یا نه. به قول او: «ما در حال آزمایش هستیم تا ببینیم کدام نسخه کاربران خوشحالتری تولید میکند.» این جمله واقعاً عجیب و جنجالی است! یعنی ایندکسشدن صفحات شما تا حدی در حال «تستشدن» توسط گوگل است و اگر واکنش کاربران خوب نباشد، ممکن است از ایندکس خارج شوند.
حدس من این است: اگر صفحههایی دارید که میخواهید ایندکس شوند اما گوگل آنها را در سبد «کراولشده، در حال حاضر ایندکس نشده» قرار داده، مشکل اصلی شما به احتمال زیاد مربوط به محتوای کالایی است.
اگر هزاران صفحه در وب دقیقاً همان حرف شما را میزنند (محتوای کالایی)، گوگل دلیلی برای ایندکس کردن صفحه شما نمیبیند؛ برگ برنده شما، ارائه تجربه منحصربهفرد است.
محتوای کالایی؛ محتملترین علت مشکل
گوگل در رویداد تورنتو بسیار درباره «محتوای کالایی» صحبت کرد.
محتوای کالایی محتوایی است که تقریباً هر کسی میتواند درباره یک موضوع بنویسد؛ معمولاً چیزی است که از قبل در سایتهای دیگر وجود دارد و تکرار میشود. در مقابل، محتوای غیرکالایی دیدگاهی منحصربهفرد ارائه میدهد یا حاوی اطلاعاتی است که دیگران ندارند یا بهسادگی نمیتوانند آن را بازسازی کنند. این نوع محتوا معمولاً دانش یا تجربه مقالهای که الان می خوانید.
همین مقالهای که الان میخوانید را در نظر بگیرید. هر کسی میتواند با کمک هوش مصنوعی مقالهای مفید درباره تعریف «کراولشده، در حال حاضر ایندکس نشده» بنویسد. اما این مقاله از تجربه من بهعنوان یک حرفهای که برای اظهارنظر تخصصی در این زمینه پول دریافت میکند، صحبت میکند. من مثال فنی واقعی بالا را از یک پروژه واقعی روایت کردم، اطلاعاتی که از حضور در رویداد گوگل به دست آوردم را منتشر کردم، و در ادامه مشاهدات خود از صفحاتی را که شایسته ایندکسشدن تشخیص داده نشدهاند، ارائه میدهم.
این دقیقاً همان معیاری است که ما در تولید محتوا برای مشتریانتوا برای مشتریانمان رعایت میکنیم؛ پیش از سؤال را مطرح میکنیم: «چه چیزی در این متن وجود دارد که رقیب ما ندارد؟» اگر پاسخ روشنی نباشد، محتوا را بازطراحی میکنیم.
مشاهدات من از صفحات گیرکرده
نکته مهمی که باید بدانید: این صفحات معمولاً زباله یا اسپم نیستند. مقالات خوب و قابل قبولی هستند؛ بهاندازه صفحاتی که تازه صفحاتی که گوگل در حال رتبهداد. و این دقیقاً نکته اصلی است! صفحات خاص نیستند و ارزش بیشتری از آنچه هماکنون در وب وجود ندارد ندارند.
این فرایندی است که من برای تحلیل این صفحات استفاده میکنم:
برای پیدا کردن فهرست صفحات، در سرچ کنسول از بخش Indexing روی گزینه Pages و سپس «Crawled – currently not indexed» کلیک کنید. در ادامه فهرستی از URLها برای بررسی خواهید دید. (پایینتر درباره ابزاری که ساختهام تا کمک کند این فهرست را فیلتر کنید و فقط URLهای مهم را ببینید، توضیح میدهم.)
من از این فهرست یک URL واقعاً مهم را پیدا میکنم؛ صفحهای که واقعاً میخواهیم ایندکس شود.
قدم اول: جستوجوی کوئریهایی که انتظار داریم صفحه برایشان رتبه بگیرد. روی صفحه نتایج (SERP)، معمولاً یک پاسخ هوش مصنوعی (AI Overview) بسیار مفید نمایش داده میشود و اغلب کاربر همانجا پاسخ سؤالش را پیدا میکند. اگر چنین باشد، چرا باید روی سایت شما کلیک کند تا دقیقاً همان چیز را بخواند؟
قدم دوم: بخش AI Overview را باز میکنم و Gemini را در سایدبار کروم باز میکنم. سپس کلید CTRL/Cmd را نگه میدارم و روی وبسایتهای اصلی لینکشده در بخش پاسخ هوش مصنوعی کلیک میکنم. اگر این کار را در حالی انجام دهید که Gemini در سایدبار کروم باز است، خواهید دید این تبها به مکالمه Gemini اضافه میشوند.
قدم سوم: تایپ «/» باعث باز شدن مهارتها (Skills) ذخیرهشده من در chrome://skills/ میشود و مهارت «بررسی غیرکالایی» (Non-commodity check) را انتخاب میکنم.
با استفاده از پرامپتهای دقیق در ابزارهایی مثل جمینای، میتوانید ارزش محتوای خود را بیرحمانه نقد کنید و ببینید چرا رقبای شما جایگاه بهتری دارند.
پرامپت ارزیابی «محتوای مفید»
این مهارت یک پرامپت بسیار طولانی است که به مواردی نگاه میکند که گوگل در مستندات خود درباره محتوای مفید، بهعنوان چیزی که الگوریتمهایش قصد پاداشدادن به آنها را دارند، توضیح داده است؛ شامل موارد زیر (اما نه محدود به آنها):
- آیا محتوا اطلاعات، گزارش، تحقیق یا تحلیل اصلی و منحصربهفرد ارائه میدهد؟
- آیا محتوا تحلیل عمیق یا اطلاعات جالبی فراتر از واضحات ارائه میدهد؟
- اگر محتوا از منابع دیگر استفاده کرده، آیا از کپی یا بازنویسی صرف آنها پرهیز کرده و بهجای آن ارزش افزوده و اصالت قابل توجهی ارائه میدهد؟
- آیا محتوا در مقایسه با صفحات دیگر در نتایج جستوجو، ارزش قابل توجهی ارائه میدهد؟
سپس Gemini به من دلایلی میدهد که چرا صفحات لینکشده برای خواننده ارزش دارند. نکته: گاهی صفحات به دلیل ارزش غیرکالاییشان رتبه نمیگیرند، بلکه به این دلیل که منبعی معتبر (authoritative) هستند. وقتی یک مرجع شناختهشده باشید، میتوانید کمی بیشتر «کالایی» بودن را از خودتان عبور دهید!
البته باید پذیرفت که Gemini بینش داخلی درباره سیستمهای رتبهبندی گوگل ندارد. نمیداند چرا صفحات خاصی رتبه میگیرند. آنچه در اینجا میخواهیم بفهمیم این است که چه عواملی میتوانند به یک صفحه کمک کنند تا شایسته نمایش به جستوجوکنندگان باشد.
در نهایت، صفحه مشتری خودم را باز میکنم و این پرامپت را مینویسم: «حالا این صفحه را بر اساس همان معیارها تحلیل کن. این صفحه بهخوبی رتبه نمیگیرد و مال ماست. لطفاً بگو کجاها فکر میکنی کمبود دارد. در این مرحله نیازی به پیشنهاد بهبود نیست.»
نتیجه این پرامپت برای یکی از صفحات «کراولشده، در حال حاضر ایندکس نشده» که استفاده کردم، بسیار روشنگر بود و کمبودهای محتوایی را بیرحمانه نشان داد.
جان مولر و مارتین اسپلیت در پادکست اخیر درباره این وضعیت صحبت کردند
درست وقتی میخواستم این مقاله را منتشر کنم، گوگل پادکست Search Off the Record جدیدی با عنوان «چگونه گزارش ایندکس را بخوانیم» منتشر کرد. مبحث مهم و مطرح شده است، بنابر مطرح شده است، بنابراین بخشهایی را که فکر میکنم مهم است، پررنگ کردهام.
این گفتوگو از دقیقه ۲۰:۳۲ ویدیو آغاز میشود (فصل ۹ پادکست).
فصل ۹: «Discovered» در مقابل «Crawled Not Indexed»: آیا مسئله فنی است یا کیفیت سایت؟
متن پادکست (ترجمه اصلی)
«و همچنین اگر سایتی را اضافه یا تغییر دهید یا سایتتان بسیار جدید باشد، میتوانید از این گزارش برای دیدن مراحل مختلفی که سایت شما طی میکند استفاده کنید، چون در نقطهای خواهید دید که صفحات در حالت Discovered Currently Not Indexed هستند. این یعنی ما از وجودشان خبر داریم اما هنوز واقعاً به آنها سر نزدهایم. و اگر سر نزده باشیم، نمیتوانیم آنها را ایندکس کنیم. اما حالت Crawled-Currently Not Indexed یعنی به آنها سر زدهایم اما آنها را ایندکس نکردهایم. و این میتواند دلایل مختلفی داشته باشد. فکر میکنید این معمولاً یا فقط گاهی نشانه مشکل کیفیت است؟
قطعاً وقتی سیستمهای ما نگرانی جدی درباره کیفیت یک وبسایت داشته باشند، تعداد صفحاتی که ایندکس میکنند را کاهش میدهند. چون اگر نگرانی جدی درباره کیفیت کلی داشته باشیم، منطقی نیست سیستمهای ما وقت زیادی را روی سایت صرف کنند.
بنابراین احتمالاً خیلی کمتر کراول میکنیم، خیلی کمتر ایندکس میکنیم و سپس چیزهایی مثل crawled not indexed یا discovered not indexed را خواهید دید که از دید ما، عملاً سیستم در حال گفتن این است: ما از این موضوع باخبریم در حال گفتن این است: ما از این موضوع باخبریم، دوباره نگاه میکنیم تا ببینیم میتوانیم ایندکسش کنیم. زیاد نمیخواهم بگویم که شما باید این وضعیتها را بگیرید و درستشان کنید. از نظر فنی، قرار نیست مشکل فنی خاصی را برطرف کنید که گوگل الان این صفحه را ایندکس نمیکند. بلکه تقریباً باید وقتی چنین الگوی بزرگتری را تشخیص میدهید — اینکه گوگل تعداد زیادی از صفحات شما را ایندکس نمیکند و دلیل فنیای هم وجود ندارد — عقب بایستید و به کیفیت کلی فکر کنید.
و فکر کردن درباره کیفیت واقعاً چالشبرانگیز است، چون خیلی اوقات این وبسایت شماست و مثل بچهتان است. و البته بهترین بچه ممکن است. اما باید عقب بایستید و سعی کنید با چشم کسی که مستقیماً درگیر وبسایت شما نیست به آن نگاه کنید. گاهی این کار ایدههایی برای حوزههای قابل بهبود باز میکند. شاید اگر اکثر وبسایت شما تولیدشده توسط هوش مصنوعی باشد و مدتی هم جواب داده، ممکن است که مردم به این سایت نگاه کنند و بگویند: خب، مشخص است که این تولید هوش مصنوعی است. هیچ چیز منحصربهفرد یا ارزشمندی اینجا برای من وجود ندارد. این به این معنی نیست که همه محتوای تولیدشده با هوش مصنوعی بد است، اما گاهی به وبسایتهایی برمیخورید که فکر میکنید: هر کسی میتوانست این را بنویسد. این هیچ چیزی به من نمیگوید. بله، درست است. و فکر میکنم چیزی که این کار را دشوار میکند فقط این نیست که شما متن را به بهترین شکل ممکن از دید خودتان نوشته اید و طبعاً فکر میکنید کیفیت بالایی دارد. واقعاً سخت است از منظر خودتان بیرون بیایید. اما گاهی مقدار زیادی محتوای دیگر هم به همان خوبی وجود دارد. پس چرا باید این نسخه را به ایندکس اضافه کنیم؟
و این میتواند به شما بگوید: شاید این محتوا به اندازهای که فکر میکردم ارزشمند نیست، چون دیگران هم همان چیز را پوشش میدهند. پس ارزش این نسخه برای بودن در ایندکس چیست؟ بله درست است. حس میکنم میتوانستیم یک پادکست کامل فقط درباره کیفیت داشته باشیم. فکر میکنم یک نکته دیگر هم درباره کیفیت ارزش ذکر دارد: فقط متن نیست. خیلی اوقات مردم میگویند: خب، متنم منحصربهفرد است یا مقالاتم خوب است، اما آنها در صفحهای بستهبندی شدهاند که دسترسی به آن فاجعه است؛ جایی که هر کسی وقتی سعی میکند صفحه را باز کند، فن کامپیوترش به پرواز درمیآید و میگوید: خدای من، باید فرار کنم تا مطمئن شوم کامپیوترم منفجر نمیشود! شاید این یک حالت اغراقشده باشد، اما همه شما صفحاتی دیدهاید که در واقع متن آنها هست، اما تقریباً پنهان است؛ پشت تبلیغات پنهان شده، پشت صفحات بینراهی (interstitial) پنهان شده، پشت چیزهای دیگری که حرکت میکنند و میآیند و میروند، و شاید زیر مقدار زیادی محتوای پرکننده پنهان شده است — چیزی که گاهی مثلاً در دستور پخت غذاها میبینیم که بالای صفحه یک داستان خیلی طولانی هست که شاید اکثر مردم واقعاً اهمیتی برایش قائل نیستند و بعد از آن دستور پخت میآید. اینها همگی مواردی هستند که کیفیت کلی بسیار بیشتر از فقط آن متن اصلی است که میگویید: این محتوای اصلی من است، گوگل باید فقط همین را برای سایت من بشمارد. و از دید ما، تقریباً باید کل تجربه صفحه را در نظر بگیریم، چون آن چیزی است که کاربران میبینند. اینطور نیست که کاربر به صفحهای برود و حالت جادوییای را روشن کند که فقط متن را استخراج کند؛ بلکه او کل تجربه این وبسایت را با همه انیمیشنهای سهبعدی و چهاردبعدی و هر چیز دیگر تجربه میکند. کاملاً موافقم. موافقم، خدای من.»
این بخش از پادکست دقیقاً نشان میدهد که سئو و طراحی سایت دو روی یک سکهاند. حتی بهترین محتوا هم اگر در صفحهای با تبلیغات مزاحم، سرعت پایین یا تجربه کاربری ضعیف بستهبندی شود، کیفیت کلی صفحه را پایین میآورد. در پروژههای طراحی سایت ما، همیشه سعی میکنیم این دو جنبه با هم بهینه شوند.
سئو و طراحی سایت دو روی یک سکهاند؛ محتوای عالی اگر در بستری پر از تبلیغات مزاحم و سرعت پایین ارائه شود، از نظر گوگل یک صفحه بیکیفیت محسوب میشود.
چگونه میتوانید این مشکل را برطرف کنید؟
خب، این سختترین بخش مقاله است، چون در خیلی موارد فکر میکنم خروج صفحات از حالت «کراولشده، در حال حاضر ایندکس نشده» بسیار دشوار است. البته اگر علت، تبلیغات و محتوای پرکننده بیشازحد باشد، راهحلهای واضحی برای بهبود وجود دارد. اگر مشکل فنی است، آن را برطرف کنید و از طریق سرچ کنسول درخواست ایندکس مجدد بدهید — یا صبور باشید و منتظر بمانید تا گوگل دوباره صفحات شما را کراول کند.
اما اگر مشکل از کیفیت باشد، احتمالاً باید تلاش قابل توجهی برای بهبود این صفحات بگذارید.
برای بسیاری از سایتهایی که تحلیل میکنم، ابرقدرت گذشتهشان توانایی پوشش کامل یک موضوع بود. اما اخیراً روندی شکل گرفته که علاوه بر پوشش موضوع اصلی، باید همه کوئریهای فرعی (fan-out queries) را هم پیشبینی و پوشش داد. این موضوع چند بار در رویداد Search Central هم مطرح شد. اگر بر اساس این روش حجم زیادی محتوا تولید میکنید، با خطر جریمه محتوای گسترده (Scaled Content Penalty) مواجه میشوید. البته هنوز نمیتوانم این را اثبات کنم، اما مشکوکم که آپدیت اسپم ژوئن ۲۰۲۶ تعدادی از سایتهایی را که محتوای کالایی را بهصورت انبوه تولید میکردند، هدف قرار داده باشد. اگر این حدس درست باشد، در سرچ کنسول هیچ اقدام دستی (Manual Action) نمیبینید؛ فقط افت ترافیک ارگانیک بدون توضیح خواهید داشت.
عبور از محتوای کالایی با هوش مصنوعی
من نگران بسیاری از آژانسهای سئو هستم؛ چون برای خیلی از آنها ابزار شماره یک در جعبهابزارشان، تولید محتوا است. هوش مصنوعی تولید محتوا درباره هر موضوعی را بسیار آسانتر کرده است. من با استفاده از هوش مصنوعی برای کمک به تولید محتوا مخالفتی ندارم. اما اگر شرکت سئوی شما بتواند با هوش مصنوعی درباره موضوعات شما محتوا تولید کند، آن محتوا احتمالاً اصلی، عمیق و بهطور قابل توجهی مفیدتر از آنچه هماکنون وجود دارد، نخواهد بود. البته استثنا هم وجود دارد؛ من بعضی آژانسها را میشناسم که از پایپلاینهای هوشمند هوش مصنوعی برای مصاحبه با کسبوکار، استخراج تجربههای مرتبط و تبدیل آن به محتوای اصلی و خوب استفاده میکنند.
اگرچه استفاده از هوش مصنوعی برای نوشتن محتوا بدون هیچ ورودی انسانی را توصیه نمیکنم، اما فکر میکنید میتوانید با آن برای بهبود محتوا طوفان فکری کنید. مشکل اینجاست که راهحلها به تلاش نیاز دارند. کلمه «تلاش» (effort) در دستورالعملهای ارزیاب کیفیت گوگل (Quality Rater Guidelines) ۱۲۰ بار استفاده شده است! شما باید راههایی پیدا کنید که از تجربه خودتان برای ایجاد محتوایی استفاده کنید که به مجموع دانش فعلی درباره موضوع شما چیزی اضافه کند.
این پرامپت ساده را امتحان کنید: محتوای خود را به یک مدل زبانی بدهید یا Gemini را در سایدبار باز کنید و بپرسید: «آیا این محتوا احتمالاً محتوای کالایی در نظر گرفته میشود؟»
من همین الان Gemini را در گوگل داکس باز کردم و درباره همین مقالهای که میخوانید این سؤال را پرسیدم؛ نتیجه جالبی داشت.
سپس برای گرفتن ایده، این را امتحان کنید:
«۲۰ ایده به من بده که کمک کند از تجربه دست اولم استفاده کنم تا این مقاله حتی مفیدتر و بهطور قابل توجهی بهتر از هر چیز دیگری که در اینترنت درباره این موضوع وجود دارد، شود.»
واقعاً ایدههای خوبی در آن هست!
برای مدیریت مشکل ایندکسنشدن، در گام اول به ابزارهایی نیاز دارید که URLهای حیاتی شما را فیلتر کرده و وضعیت لحظهای آنها را در دیتابیس گوگل بررسی کنند.
ابزارهایی برای ارزیابی صفحات شما
من با استفاده از ابزار Antigravity گوگل چند ابزار ساختهام که میتوانید آنها را در tools.mariehaynes.com پیدا کنید. دو ابزار جدید وجود دارد:
۱. فیلتر کردن URLهای «کراولشده، در حال حاضر ایندکس نشده»: URLهای این دسته را از سرچ کنسول اکسپورت کنید. اگر خروجی را بهصورت CSV گرفتهاید، فایل ZIP را باز کنید و فایل table.csv را پیدا کنید. میتوانید این فایل را در این ابزار آپلود کنید تا صفحات /feed/ و موارد مشابه حذف شوند و فقط URLهایی که میخواهید بررسی کنید را ببینید و روی آنها کلیک کنید.
۲. GSC Index Checker: برای استفاده از این ابزار باید وارد حساب گوگل خود شوید، اما مطمئن باشید که من به دادههای شما دسترسی ندارم. این ابزار وضعیت ایندکس یک لیست URL را بررسی میکند. میتوانید جدیدترین صفحات نقشه سایت (sitemap) خود را انتخاب کنید، فهرست URLها را دستی وارد کنید، یا اجازه دهید ابزار پرترافیکترین صفحات شما را از سرچ کنسول بگیرد.
آنچه اینجا دنبالش هستید این است که ببینید آیا این صفحات مهم شما واقعاً ایندکس شدهاند یا در وضعیت «کراولشده، در حال حاضر ایندکس نشده» گیر کردهاند.
امیدوارم این مقاله به شما کمک کند! به گوگل این روزها در مورد اینکه چه چیزی را ایندکس میکند، سختگیرتر شده است.
نتیجهگیری
وضعیت «کراولشده، در حال حاضر ایندکس نشده» در سرچ کنسول، دیگر فقط یک پیام فنی نیست؛ پیام روشنی از سوی گوگل است که میگوید: «محتوای تو اطلاعات جدیدی به وب اضافه نمیکند.» در دنیای پس از هوش مصنوعی، جایی که تولید هزاران کلمه محتوایی مزیت رقابتی نیست، گوگل فقط به محتوایی جایی در ایندکس میدهد که تجربه دست اول، دیدگاه منحصربهفرد و دانشی داشته باشد که دیگران ندارند.
اگر با این مشکل مواجه شدهاید، پیشنهاد ما در دانش وب یک نقشه راه سهمرحلهای است:
۱. ابتدا مشکل فنی را منتفی کنید: با ابزار بازرسی URL در سرچ کنسول مطمئن شوید گوگل محتوای کامل صفحات شما (شامل فایلهای CSS و JS) را میبیند و فایل robots.txt شما اشتباهاً منابع مهم را مسدود نکرده باشد. سرعت، ساختار درست کد و تجربه کاربری روان، بخشی از کیفیت کلی صفحهاند؛ چرا که همانطور که جان مولر هم تأکید کرد، گوگل کل تجربه صفحه را ارزیابی میکند، نه فقط متن آن را.
۲. صفحات را با معیارهای گوگل حسابرسی کنید: با کمک ابزارهایی مثل Gemini، صفحات مهم خود را با معیارهای «محتوای مفید» گوگل (اصالت، تحلیل عمیق، ارزش افزوده نسبت به رقبا) مقایسه کنید و صفحات کالایی و بیارزش را بدون تعارف حذف یا بهطور جدی بازنویسی کنید. گاهی حذف صفحات ضعیف، بهتر از نگهداشتن آنها است.
۳. در بازنویسی، از تجربه واقعی خود تغذیه کنید: از پرامپتهای پیشنهادی مقاله استفاده کنید تا ایدههایی بیابید که تجربه دست اول شما را به محتوا تزریق کند: مطالعات موردی، آمار داخلی کسبوکار، تجربه مشتریان، نتایج پروژهها و پاسخهایی که فقط شما میتوانید بدهید.
به یاد داشته باشید که خروج از این وضعیت کوتاهمدت نیست؛ گوگل خودش گفت که وقتی کیفیت بهتر شود، دوباره نگاه میکند. اما دقیقاً همین سختگیری، فرصت است: رقبایی که همچنان به تولید محتوای کالایی انبوه ادامه میدهند، بهمرور از میدان حذف میشوند و سایتهایی که واقعاً ارزش میسازند — با محتوای اصیل، تجربه کاربری عالی و سئوی فنی سالم — جای آنها را میگیرند. اگر در تشخیص وضعیت صفحات خود تشخیص وضعیت صفحات خود یا بازطراحی است مشکلات فنی نیاز به راهنمایی دارید، تیم ما در دانش وب کنار شماست تا با یک نگاه تخصصی، مسیر بازگشت به ایندکس و رشد پایدار ترافیک ارگانیک را برایتان هموار کند.