جان مولر (John Mueller) و مارتین اسپلیت (Martin Splitt) از مدیران ارشد گوگل، اخیراً هشدار داده اند که اگر صفحات جستجوی سایت شما توسط اسپمرها مورد سوءاستفاده قرار بگیرد، گوگل ممکن است این صفحات را به عنوان «سایت هک شده» در نظر گرفته و کل کیفیت و سئوی وب سایت شما را زیر سوال ببرد.
اسپم در جستجوی سایت و مشکلات کیفیت سئو
تقریباً هر وب سایتی (به خصوص سایت های وردپرسی که در ایران بسیار پرطرفدار هستند) دارای یک نوار جستجو (Search Box) است. اما چیزی که بسیاری از وب مسترها به طور کامل درک نمی کنند این است که استفاده از این نوار جستجو، یک صفحه نتایج (Search Results Page) جدید تولید می کند که حاوی عبارت جستجو شده است.
نکته غافلگیرکننده اینجاست که در حالت عادی، این صفحات یک آدرس (URL) اختصاصی تولید می کنند (مثلاً در وردپرس به شکل yourdomain.com/?s=keyword). این مکانیزم به ظاهر ساده، شرایطی را ایجاد می کند که یک اسپمر می تواند با استفاده از ربات ها، هزاران صفحه وب در سایت شما تولید کند که حاوی نام برندهای اسپم، لینک های مخرب و کلمات کلیدی نامربوط (مثل سایت های شرط بندی یا دارویی) هستند.
جان مولر از گوگل می گوید که اگر این صفحات اسپم قابلیت ایندکس شدن داشته باشند یا توسط گوگل ایندکس شوند، به یک مشکل جدی برای «کیفیت سایت» تبدیل خواهند شد. او مثال می زند که با وارد کردن یک متن اسپم در باکس جستجو، صفحه ای در سایت شما ساخته می شود که دقیقاً همان متن اسپم را در خود جای داده است؛ اتفاقی که به راحتی قابل رخ دادن است.
مولر درباره تبدیل شدن اسپمِ جستجو به یک بحران کیفیت می گوید:
«یک جا وجود دارد که ممکن است با صفحات نتایج جستجو به مشکلات کیفیت بربخورید. دقیقاً زمانی که به افراد اجازه می دهید چیزهایی را جستجو کنند که کاملاً به وب سایت شما بی ارتباط هستند و صفحه نتایج جستجوی شما، آن عبارات را در خود نمایش داده و قابل ایندکس (Indexable) نیز هست.
…مسئله این نیست که کسی سایت شما را هک کرده تا این کار را انجام دهد؛ بلکه سایت شما خودش آزادانه این کار را انجام می دهد و اساساً می گوید: “آه، شما دنبال عکس گشتی؟ بفرما اینم عکس!” اما چون این سیستم برای هر عبارت جستجویی که وارد شود در دسترس است، ناگهان به یک نقطه ضعف و یک بدهی تبدیل می شود. این بخش بیشتر شبیه یک بردار حمله (Vector) برای اسپم کردن سایت توسط دیگران است.»
بخش پایانی صحبت های او کاملاً درست است؛ اگر صفحات سایت شما اجازه دهند که این نتایجِ خودکار تولید شده ایندکس شوند، نوار جستجوی شما عملاً به ابزاری برای سئوی کلاه سیاه دیگران تبدیل شده است. ما در تیم فنی دانش وب بارها در بررسی پروژه های سئو مشاهده کرده ایم که بی توجهی به همین نکته ساده، چگونه ترافیک ارگانیک یک سایت موفق را به شدت کاهش داده است.
گوگل ممکن است صفحات جستجوی داخلی را به عنوان «هک شده» علامت گذاری کند
اطلاعات مفید دیگری که مولر و اسپلیت به اشتراک گذاشتند این است که گوگل این نوع صفحات اسپم شده را دقیقاً مانند سایت های هک شده علامت گذاری (Flag) می کند. دلیل آن هم این است که این صفحات بی ارزش می توانند در نتایج جستجوی گوگل نمایش داده شوند.
مولر در این باره توضیح می دهد:
«ما دیده ایم که افراد این کار را در مقیاس وسیع (At Scale) انجام می دهند. آن ها سعی می کنند سیستم های مدیریت محتوای (CMS) رایج را که صفحات جستجوی آن ها مسدود نشده است، شناسایی کنند. سپس به هزاران سایت با میلیون ها صفحه لینک می دهند؛ صفحاتی که ممکن است حاوی عبارات بزرگسالان، شماره تلفن، محصولات دارویی، آدرس تلگرام یا هر نوع راه ارتباطی دیگری باشند. هدف آن ها این نیست که مردم به سایت شما بیایند و عکس های شما را ببینند، بلکه می خواهند کاربر در نتایج جستجوی گوگل ببیند که مثلاً “برای خرید فلان دارو با این شماره تماس بگیرید”.
و گاهی اوقات سایت شما برای این نوع کوئری ها در گوگل رتبه می گیرد. وقتی ما (گوگل) متوجه این اتفاق می شویم، ممکن است آن را به عنوان هک شده علامت گذاری کنیم. بنابراین، اگر به سرچ کنسول (Search Console) خود سر بزنید، ممکن است با هشدارهای امنیتی مبنی بر هک شدن سایت مواجه شوید.»
گوگل می تواند صفحات جستجوی اسپم شده را به صورت الگوریتمی شناسایی کند
مولر همچنین توضیح داد که گوگل این توانایی را دارد که به صورت الگوریتمی (بدون دخالت نیروی انسانی) این نوع صفحات را شناسایی کرده و از نمایش آن ها در نتایج جستجو جلوگیری کند. از دید یک صاحب سایت، شاید این یک پیروزی به نظر برسد که گوگل خودش مشکل را حل کرده است؛ اما مولر هشدار می دهد که نباید تصور کنید مشکل به طور کامل برطرف شده است و شما نیازی به اقدام فنی ندارید.
این ویزوال به زیبایی مفهوم «خزش بی نهایت» (Infinite Crawling) را نشان می دهد؛ جایی که روبات های گوگل در صفحات زنجیره وار جستجو غرق شده، بودجه خزش سایت هدر می رود و سرور زیر بار پردازشی سنگین قرار می گیرد.
چگونه از اسپم شدن باکس جستجوی سایت جلوگیری کنیم؟
جان مولر و مارتین اسپلیت دو رویکرد اصلی را برای جلوگیری از تبدیل شدن اسپم جستجو به یک بحران سئو پیشنهاد دادند:
۱. جلوگیری از خزش (Prevent Crawling)
۲. جلوگیری از ایندکس شدن (Prevent Indexing)
جلوگیری از خزش (Prevent Crawling)
اولین توصیه این است که از فایل robots.txt استفاده کنید تا مانع از خزش (Crawl) ربات های گوگل و سایر موتورهای جستجو در صفحات جستجوی خودکار سایت شوید.
مولر و اسپلیت ۴ دلیل مهم برای مسدود کردن این صفحات در robots.txt ذکر می کنند:
- گوگل اصلاً نیازی به خزش در صفحات جستجوی داخلی شما ندارد.
- از خزش بی نهایت (Infinite Crawling) جلوگیری می کند.
- بار پردازشی سرور (Server Load) را به شدت کاهش می دهد.
- از هدر رفتن بودجه خزش (Crawl Budget) جلوگیری می کند.
در رابطه با خزش بی نهایت، مارتین اسپلیت به نکته ظریفی اشاره کرد. او گفت که برخی از سیستم های جستجو در سایت ها می توانند به یک «فضای خزش بی نهایت» تبدیل شوند. یعنی باکس جستجو دائماً از طریق ویژگی هایی مثل “آیا منظور شما این بود؟” (Did you mean) صفحات جدیدی تولید می کند و زمانی که گوگل شروع به خزش می کند، در یک حلقه بی پایان گیر می افتد.
اسپلیت توضیح می دهد:
«ما چیزهای زیادی درباره نتایج جستجو در وب سایت ها یاد گرفتیم. آن ها می توانند فضاهای خزش بی نهایتی باشند، زیرا ما اساساً می توانیم صفحه پشت صفحه از این نتایج تولید کنیم و حتی به لینک هایی مثل “آیا منظور شما این بود” ارجاع دهیم و صفحاتی بسازیم که ربات خزنده در آن ها غرق شود. اما به نظر می رسد به راحتی می توان از شر آن ها با استفاده از robots.txt یا تگ noindex خلاص شد.»
مشکل خزش بی نهایت مستقیماً با افزایش فشار روی سرور و هدر رفتن بودجه خزش سایت مرتبط است. (بودجه خزش یعنی تعداد صفحاتی که گوگل در یک بازه زمانی مشخص از سایت شما بررسی می کند؛ اگر این بودجه صرف صفحات اسپم شود، مقالات و محصولات اصلی شما ایندکس نخواهند شد).
جان مولر ارتباط بین خزش بی نهایت، فشار سرور و هدر رفت بودجه خزش را این گونه بیان می کند:
«همه این ها اساساً به این معناست که ما یک تعداد بی نهایت صفحه در سایت شما پیدا می کنیم. من می دانم که برخی افراد با خود می گویند: “واو! اگر من بی نهایت صفحه در گوگل داشته باشم، پادشاهی می کنم!”
اما داشتن تعداد بی نهایتی از صفحات که برای گوگل شناخته شده اند، اصلاً چیز خوبی نیست. زیرا گوگل سعی می کند تمام آن صفحات را کرال کند. و شما می توانید تصور کنید وقتی ما مثلاً ۱۰۰ میلیون صفحه جدید می بینیم چه اتفاقی می افتد؛ ربات ها می روند تا آن ها را کرال کنند. اینجاست که ناگهان بحث “بودجه خزش” مطرح می شود و سرور شما زیر بار پردازش به نفس نفس می افتد و می گوید “اوه خدای من!”.»
ما در خدمات طراحی سایت و بهینه سازی دانش وب همواره تاکید می کنیم که پیکربندی صحیح سرور و مدیریت منابع، قدم اول در سئوی تکنیکال است. تمام دلایل بالا نشان می دهد که چرا استفاده از robots.txt برای جلوگیری از کرال شدن صفحات جستجو حیاتی است. مولر و اسپلیت توصیه می کنند که از یک دستور جامع و کلی در فایل robots.txt استفاده کنید که بتواند تمام متغیرهای (Parameters) مربوط به جستجوی سایت را مسدود کند.
این تصویر برای بخش پایانی و راهکارها طراحی شده است؛ مسدود کردن درِ ورودی ربات ها به صفحات جستجو با استفاده از دستورات درست در فایل robots.txt برای حفظ امنیت و سئوی سایت.
استفاده از دستور Noindex
مولر و اسپلیت به استفاده از دستور متاتگ noindex نیز اشاره کردند (که به گوگل می گوید صفحه را در نتایج نشان ندهد)، اما تاکید کردند که استفاده از فایل robots.txt روشی بسیار ساده تر، تمیزتر و بهینه تر برای مدیریت صفحات جستجوی وب سایت است؛ چرا که با noindex ربات گوگل همچنان وارد صفحه می شود و منابع سرور شما را مصرف می کند، اما robots.txt از همان ابتدا درِ ورودی را به روی ربات ها می بندد.
نتیجه گیری
امنیت سئو (SEO Security) تنها به داشتن گواهینامه SSL یا پسوردهای قوی محدود نمی شود. همان طور که دیدیم، یک نوار جستجوی ساده می تواند به پاشنه آشیل وب سایت شما تبدیل شده و با هدر دادن بودجه خزش، افزایش فشار بر سرور و ایجاد هزاران صفحه اسپم، زحمات چندین ساله شما را نابود کند. بهترین و سریع ترین اقدام این است که همین امروز فایل robots.txt سایت خود را بررسی کرده و با افزودن دستورات مناسب (مانند Disallow: /?s= در وردپرس) دسترسی ربات های جستجوگر را به صفحات نتایج جستجوی داخلی مسدود کنید. با این کار، هم سئوی سایت خود را از خطر برچسب “هک شده” نجات می دهید و هم منابع سرور را برای ایندکس شدن صفحات ارزشمند سایتتان حفظ خواهید کرد.