گوگل در جدیدترین به روزرسانی مستندات خود در زمینه «بودجه خزش» (Crawl Budget)، صراحتاً توصیه می کند که اگر تغییری در صفحات سایت شما ایجاد نشده است، به جای پاسخ های معمول، کد وضعیت ۳۰۴ (304 Not Modified) را به ربات های گوگل (Googlebot) نمایش دهید.
گوگل اخیراً مستندات مربوط به بودجه خزش خود را با اطلاعات بسیار مهمی به روزرسانی کرده است. در این آپدیت، توضیح داده شده که چگونه خزنده های مختلف گوگل، همگی از یک ظرفیت و بودجه خزش مشترک در یک وب سایت استفاده می کنند. همچنین یک توصیه کلیدی به این مستندات اضافه شده است: استفاده از پاسخ سرور ۳۰۴ برای کاهش میزان منابع مصرفی سرور توسط خزنده ها.
هر دوی این مواردِ اضافه شده، مربوط به بخش «بهینه سازی بودجه خزش» در مستندات گوگل هستند. این راهنما عمدتاً برای سایت های سازمانی بزرگ با بیش از یک میلیون صفحه و سایت های متوسط با بیش از ۱۰ هزار صفحه که دائماً در حال تغییر و به روزرسانی هستند، نوشته شده است. با این حال، حتی اگر سایت شما در این دسته بندی های بزرگ قرار نمی گیرد، درک اطلاعات این صفحه برای فهم دقیق نحوه کار خزنده های موتورهای جستجو و بهبود سئو تکنیکال سایت شما بسیار ارزشمند و کاربردی خواهد بود.
خزنده های گوگل (Crawlers) ظرفیت خزش سایت را با هم شریک هستند
گوگل در مستندات جدید خود پاراگراف زیر را اضافه کرده است:
«در حالی که هر خزنده (Crawler) تقاضای خزش متفاوتی دارد، محدودیت ظرفیت خزش در بین تمامی خزنده ها مشترک است. این بدان معناست که تقاضای بالای یک خزنده می تواند ظرفیت در دسترس برای سایر خزنده ها را به شدت کاهش دهد.»
اما این موضوع در عمل چه معنایی دارد؟
فرض کنید سایت شما هم زمان توسط ربات تصاویر گوگل (Googlebot-Image) و ربات اصلی گوگل (Googlebot) خزش می شود. هر دوی این ربات ها در حال مصرف بودجه خزشِ واحدِ سایت شما هستند. تاثیر این موضوع این است که اگر یک ربات (مثلاً ربات تصاویر به دلیل حجم بالای عکس های بهینه نشده در یک سایت فروشگاهی) با نرخ بالایی در سایت بخزد، می تواند ظرفیت و زمان باقی مانده برای سایر ربات های گوگل را کاهش دهد. اینجاست که اهمیت یک سئوی تکنیکال اصولی خودش را نشان می دهد. ما در تیم دانش وب همواره در طراحی سایت و استراتژی های سئو، بهینه سازی ساختار سایت را به گونه ای انجام می دهیم که بودجه خزش بهینه ترین حالت ممکن را داشته باشد و صفحات مهم شما از چشم ربات های گوگل دور نمانند.
تصویری کلوزآپ و فنی که روی هدرهای HTTP درخواست و پاسخ تمرکز دارد. یک جعبه دیالوگ هدر ‘Last-Modified’ را نشان می دهد که منجر به پاسخ ۳۰۴ سرور شده است. در پس زمینه، یک ربات گوگل با کلاه فارغ التحصیلی کوچک، به نشانه تایید، شست خود را بالا برده است.
پیشنهاد اکید گوگل: استفاده از پاسخ سرور ۳۰۴
دومین توصیه جالب و مهمی که گوگل در این آپدیت مطرح کرده، پیشنهاد استفاده از کد وضعیت ۳۰۴ (Not Modified) است. بر اساس مستندات توسعه دهندگان وب در شبکه موزیلا (MDN):
«کد وضعیت ریدایرکت HTTP 304 Not Modified نشان می دهد که هیچ نیازی به انتقال مجدد منابع درخواست شده وجود ندارد.»
نکته جالب و تخصصی در مورد پاسخ ۳۰۴ (تغییر نیافته) این است که با وجود اینکه از نظر فنی تمام کدهای وضعیت سری ۳xx به عنوان کدهای «ریدایرکت» (تغییر مسیر) طبقه بندی می شوند، اما در اینجا عملاً هیچ ریدایرکتی اتفاق نمی افتد. این صرفاً یک جزئیات فنی است و کاربر یا ربات به صفحه دیگری منتقل نمی شود.
مستندات آپدیت شده گوگل در این باره می گوید:
«از کش (Caching) پروتکل HTTP استفاده کنید: از کدهای وضعیت ۳۰۴ (تغییر نیافته) پشتیبانی کنید. اگر از آخرین باری که گوگل صفحه ای را خزش کرده هیچ تغییری در آن ایجاد نشده است، برگرداندن کد ۳۰۴ به گوگل می گوید که از همان نسخه کش شده (ذخیره شده) قبلی استفاده کند و با این کار در پهنای باند و منابع سرور شما صرفه جویی چشمگیری می شود.»
به بیان ساده تر، یک پاسخ ۳۰۴ به خزنده های گوگل اطلاع می دهد که این صفحه از آخرین باری که به آن سر زده اند، هیچ تغییری نکرده است. در نتیجه، سرور مجبور نیست کدهای صفحه را مجدداً برای گوگل بات بارگذاری و ارسال کند. این کار باعث می شود گوگل بات وقت و انرژی خود را هدر ندهد و به جای آن، روی خزش و ایندکس کردن صفحات جدید و مهم تر سایت شما تمرکز کند.
تغییرات ظریف دیگری نیز در مستندات گوگل اعمال شده که هدف آن ها دقیق تر کردن توضیحات این شرکت است، اما دو موردی که در این مقاله بررسی کردیم، تنها تغییرات اساسی و جدید این آپدیت بودند.
نتیجه گیری
بهینه سازی بودجه خزش (Crawl Budget) یکی از ستون های اصلی سئو تکنیکال است که اغلب توسط مدیران سایت ها نادیده گرفته می شود. آپدیت اخیر گوگل و تاکید بر استفاده از کد وضعیت ۳۰۴ نشان می دهد که مدیریت منابع سرور و هدایت هوشمندانه ربات های گوگل تا چه حد برای ایندکس سریع و موفقیت در نتایج جستجو حیاتی است. پیکربندی صحیح سرور برای ارسال هدرهای کش (مانند If-Modified-Since) و کدهای ۳۰۴، نه تنها فشار روی هاست شما را کم می کند، بلکه به گوگل سیگنال می دهد که سایت شما از نظر فنی کاملاً بهینه است. اگر در پیاده سازی این تنظیمات سرور یا بهبود ساختار سئوی تکنیکال سایت خود نیاز به راهنمایی دارید، متخصصان ما در دانش وب آماده اند تا با ارائه خدمات حرفه ای سئو و دیجیتال مارکتینگ، بالاترین بازدهی را برای کسب وکار آنلاین شما رقم بزنند.