گری ایلز، تحلیلگر ارشد وبمستر در گوگل، به تازگی اعلام کرده است که باید بررسی کند آیا به تعویق انداختن مداوم تاریخ تگ unavailable_after در هر بار تمدید یک صفحه، مشکل ساز خواهد شد یا خیر. او در حال حاضر تنها برداشت اولیه خود را از این موضوع بیان کرده است.
نکات کلیدی مقاله:
- گری ایلز (Gary Illyes) اعلام کرد که مطمئن نیست آیا تمدید و تغییر مداوم تاریخ انقضای صفحات وب، مشکلاتی در سئو ایجاد می کند یا خیر.
- ربات های گوگل برای اینکه بتوانند متوجه تغییر تاریخ انقضای یک صفحه شوند، حتماً باید آن صفحه را مجدداً خزش (Crawl) کنند.
- تا زمانی که گوگل اطلاعات دقیق تری ارائه ندهد، سایت هایی که آگهی ها یا صفحات خود را تمدید می کنند، بدون داشتن یک دستورالعمل رسمی و مستند در حال فعالیت هستند.
ابهام گری ایلز درباره جابجایی تاریخ تگ unavailable_after
گری ایلز از گوگل در شبکه اجتماعی لینکدین اعلام کرد که باید این موضوع را بررسی کند که آیا یک سایت می تواند با خیال راحت تاریخ تگ unavailable_after (تگی که به گوگل می گوید پس از یک تاریخ مشخص، صفحه را از نتایج جستجو خارج کند) را تمدید کند یا خیر. برداشت اولیه او که خودش آن را یک «حس درونی» نامید، این بود که به تعویق انداختن این تاریخ احتمالاً مشکلی ندارد؛ اما این مسئله را بی پاسخ گذاشت که آیا برای صفحاتی که منقضی می شوند و سپس دوباره تمدید می گردند، می توان به طور کامل به این تگ اعتماد کرد؟
سوالی که مطرح شد چه بود؟
خاویر لورنته موریلو (Javier Lorente Murillo)، مشاور سئو، سوالی را با تیم جستجوی گوگل مطرح کرد. سوال او درباره یک سایت نیازمندی ها و آگهی (مشابه سایت های دیوار یا شیپور در ایران) بود که دارای هسته ثابتی متشکل از ۵,۰۰۰ آدرس URL ایندکس شده است و ماهانه حدود ۱۰,۰۰۰ آگهی جدید به آن اضافه می شود. بیشتر این آگهی ها تنها برای ۲۴ تا ۷۲ ساعت فعال می مانند و سپس منقضی می شوند.
(نکته تکمیلی: در آژانس دانش وب، ما در پروژه های طراحی سایت و سئو بارها با چنین چالشی مواجه شده ایم. در سایت های آگهی یا فروشگاه هایی که محصولات حراجی با زمان محدود دارند، مدیریت صفحات منقضی شده برای جلوگیری از هدر رفتن بودجه خزش (Crawl Budget) بسیار حیاتی است.)
برنامه خاویر این بود که برای مدیریت بودجه خزش و جلوگیری از ایجاد خطاهای ۴۰۴ (404 errors) مکرر، از تگ unavailable_after در این صفحاتِ با عمر کوتاه استفاده کند. از آنجایی که کاربران امکان تمدید آگهی های خود را دارند، سیستم سایت او قرار بود تاریخ انقضای موجود در این تگ را به صورت پویا (Dynamic) به روزرسانی کند. سوال اصلی او این بود: آیا اگر تاریخ این تگ با هر بار تمدید آگهی مدام تغییر کند، ربات گوگل (Googlebot) در نهایت این تگ را نادیده خواهد گرفت؟
پاسخ گری ایلز چه بود؟
ایلز صحبت های خود را با اعتراف به ندانستن پاسخ دقیق آغاز کرد:
«این یک سوال عالی است… من هیچ ایده ای ندارم، باید آن را بررسی کنم.»
او در ادامه افزود:
«حس درونی من این است که به تعویق انداختن تاریخ
unavailable_afterمشکلی ندارد، اما باید در نظر داشته باشید که ما (ربات های گوگل) برای اینکه بتوانیم تاریخ جدید را “ببینیم”، باید آن صفحه را دوباره خزش (Crawl) کنیم. این کار هیچ پیامد منفی و تاثیری روی چیزی جز انتخاب ایندکس ندارد؛ جایی که این تگ صرفاً به عنوان یک سیگنال عمل کرده و به گوگل می گوید “حالا می توانی این صفحه را از نتایج حذف کنی”.»
در پاسخ بعدی به کامنت دیگری در همان پست، او توضیح داد که گوگل به جای بررسی سبک و کم هزینه صفحه، کل آن را واکشی (Fetch) می کند:
«ما به ندرت درخواست های HEAD را می بینیم، بنابراین همچنان محتوای کامل صفحه را دانلود خواهیم کرد.»
(توضیح تکمیلی: درخواست HEAD یک متد در پروتکل HTTP است که فقط هدرهای صفحه را بدون دانلود بدنه اصلی محتوا دریافت می کند. منظور ایلز این است که گوگل برای دیدن تغییر تاریخ، کل محتوای صفحه (درخواست GET) را دانلود می کند که این موضوع مستقیماً بخشی از بودجه خزش سایت شما را مصرف می کند.)
این تصویر نشان دهنده چالش به روزرسانی مداوم تاریخ در تگ unavailable_after است که گری ایلز درباره آن ابراز تردید کرده است.
مستندات رسمی گوگل چه می گویند؟
مستندات رسمی گوگل درباره تگ های متای ربات (Robots meta tag)، تگ unavailable_after را به عنوان قانونی تعریف می کند که به گوگل دستور می دهد پس از یک تاریخ و زمان مشخص، آن صفحه را در نتایج جستجو نمایش ندهد. همین مستندات بیان می کنند که ربات گوگل پس از تاریخ تعیین شده، آن URL را با دفعات بسیار کمتری خزش خواهد کرد.
این صفحه از مستندات همچنین به همان موضوع «خزش مجدد» که ایلز به آن اشاره کرد می پردازد و تاکید می کند که تگ های متای ربات و هدرهای X-Robots-Tag تنها زمانی شناسایی می شوند که یک URL توسط ربات ها خزش شود. این یعنی تاریخ جدیدِ تمدید شده، تنها در واکشی و خزش بعدی گوگل قابل رویت خواهد بود.
بخش اول پاسخ ایلز دقیقاً بازتابی از همان چیزی است که گوگل از پیش اعلام کرده است. اما این ادعای او که «این قانون روی هیچ چیز جز انتخاب ایندکس تاثیری ندارد»، نظر شخصی خودش است و در مستندات رسمی گوگل چنین چیزی به چشم نمی خورد.
نتیجه گیری
گری ایلز نگفت که اگر پیش از آنکه گوگل فرصت کند دوباره به صفحه سر بزند و خزش مجدد انجام دهد، تاریخ انقضای قبلی فرا برسد چه اتفاقی می افتد؟ این دقیقاً همان موردی است که او گفت باید آن را بررسی کند.
با بی پاسخ ماندن سناریوی «تمدید آگهی»، در حال حاضر هیچ داده مستندی از سوی گوگل وجود ندارد که وبمسترها بتوانند بر اساس آن برنامه ریزی کنند. نتیجه نهایی در این شرایط، کاملاً به این بستگی دارد که گوگل هر چند وقت یک بار صفحه را خزش می کند؛ موضوعی که مالکان سایت کنترل مستقیمی روی آن ندارند. اگر برای مدیریت چنین چالش های تکنیکالی در وب سایت خود نیاز به مشاوره دارید، تیم متخصصین دانش وب در بخش خدمات دیجیتال مارکتینگ و سئو تکنیکال آماده است تا استراتژی های اختصاصی و امنی را برای سایت شما پیاده سازی کند.