معرفی crawl state report سرچ کنسول

سرچ کنسول گوگل یکی از ابزارهای محبوب بین وب‌مسترها و متخصصین سئو است. گزارش‌‌های جامعی که از طریق وب‌مستر قابل دسترسی هستند، مسیر بهبود سایت را بسیار هموار می‌کند. با استفاده از این گزارش‌ها آنالیز خوبی از پروسه سئو سایت خود به‌دست می‌آورید. اگر تغییراتی اعمال کرده باشید و سایت دچار مشکل شده باشد در نمودارها و گزارش‌ها متوجه مواردی که نیاز به اصلاح دارند، خواهید شد. یکی از این گزارش‌ها crawl state report است که موضوع بحث این مقاله است. با ما همراه باشید تا این گزارش‌ها را آنالیز کنیم و اطلاعات دقیقی از آن‌ها به شما بدهیم.

گزارش‌هایی که Crawl Stats به ما می‌دهد، گزارش‌هایی از فعالیت ربات‌های گوگل در سایت است. این گزارش‌ها مربوط به فعالیت‌های 90 روز گذشته ربات‌های گوگل در وب‌سایت شما است. اطلاعاتی که در این بخش مشاهده می‌کنید مربوط به تمام محتوای موجود در سایت است که گوگل آن‌ها را خوانده و دانلود کرده است. اطلاعاتی مانند عکس، فایل PDF، CSS و جاوا اسکریپت است که در سایت استفاده شده است. به طور کلی اطلاعاتی که در این گزارش‌ها مشاهده می‌کنید شامل موارد زیر هستند:

• مدت زمانی که روزانه طول کشیده است تا گوگل صفحات سایت شما را بررسی و دانلود کند.
• تعداد صفحاتی که به‌صورت روزانه توسط گوگل بررسی یا اصطلاحا کراول شده است.
• حجمی که به صورت روزانه از صفحات وب‌سایت شما توسط ربات‌ گوگل دانلود شده است.

برای مشاهده این گزارش‌ها در سرچ کنسول جدید گوگل، باید روی گزینه settings کلیک کنید و برای مشاهده گزارش‌ها مانند تصویر زیر روی open report کلیک کنید.

با چنین گزارشی روبرو خواهید شد.

تعیین لیبل خوب یا بد برای اعداد و ارقام این گزارش‌ها شدنی نیست. تنها چیزی که باید به آن توجه کنیم این است که موازی با رشد سایت شما، نمودار و اعداد و ارقام هم باید رشد نسبی داشته باشند. اگر نمودار، افزایش یا افت شدیدی پیدا کرد باید خیلی دقیق سایت خود را آنالیز کنید.

اگر تغییراتی در سایت اعمال کردید برای مثال زمانی‌که اقدام به جابجایی سرور و یا هاست کرده‌اید، یا تنظیمات جدید در CMS یا سرور خود انجام داده‌اید، یا ماژول و افزونه جدیدی در سایت خود نصب کرده‌اید، گزارش Crawl Stats را بررسی کنید و تاثیر تغییرات روی نمودار گزارش‌ها را بررسی کنید. خصوصا اگر روی سئو سایت خود کار می‌کنید، آنالیز مرتب این گزارش‌ها بسیار حائز اهمیت است.

چه مواردی به گزارش  Crawl Stats در سرچ کنسول جدید گوگل اضافه شده است؟

• دسته‌بندی شدن تعداد ریکوئست‌ها باتوجه به کد ریسپانس، نوع فایل کراول شده، نوع ربات خزنده و هدف از کراول

همانطور که در تصویر مشاهده می‌کنید،  ریکوئست‌هایی که از کراولر گوگل سمت سرور شما ارسال شده، دسته‌بندی شده‌اند.

• گزارش‌های مفصلی از وضعیت هاست و سرور وب‌سایت

• مثال‌هایی از آدرس سایت که خزنده گوگل آن‌ها را بررسی کرده‌ است
• امکان مقایسه برای وب‌سایت یا وب‌سرویس‌هایی که از چند هاست مختلف استفاده می‌کنند

دلایل افت شدید نرخ بررسی سایت توسط گوگل

در حالت کلی نمودار این گزارش‌ها برای یک یا دو هفته باید نسبتا پایدار باشند. اگر با افت شدید مواجه شدید، حتما موارد زیر را بررسی کنید.

فایل robots.txt را بررسی کنید و از اعمال درست محدودیت‌ها اطمینان حاصل کنید. ممکن است دستور جدیدی با دامنه محدودیت بالا در این فایل تعریف شده باشد که اجازه دسترسی ربات گوگل به بعضی فایل‌ها و منابع سایت شما را بسته باشد. توجه داشته باشید برای درک بهتر و آنالیز صحیح سایت شما، ربات‌های گوگل نیاز به اجازه دسترسی به فایل‌های CSS و جاوا اسکریپت شما دارند.

مورد بعدی که باید به آن توجه کرد، وجود محتوایی که پشتیبانی نمی‌شود و یا HTML ناقص در صفحات سایت است. ممکن است از فایل‌هایی در سایت استفاده شده باشد که ربات گوگل امکان تجزیه و تحلیل آن را ندارد. بیشتر در مواردی که فایل برای ربات گوگل، قابل خواندن و پشتیبانی نیست این اتفاق می‌افتد. مثلا صفحه‌ وبی که فقط شامل تصاویر است.
در یک نتیجه‌گیری کلی می‌توان گفت که از این نوع فایل در سایت استفاده شده و ربات گوگل قادر به خواندن آن نیست، پس نمی‌تواند آن را بررسی کند. از گزینه Fetch as Google استفاده کنید تا وضعیت صفحه شما مشخص شود.

اگر سایت کند باشد و ریکوئست‌های کاربر با سرعت پایینی پاسخ داده شوند، ربات گوگل ریکوئست‌های بررسی خود را از آن سایت لغو می‌کند. این کار را برای کاهش فشار و آپلود بیش از اندازه روی سرور سایت انجام می‌دهد. با بررسی گزارش Average response time متوجه سرعت پاسخگویی سایت به ریکوئست‌ها را متوجه خواهید شد. 

با بالا رفتن نرخ خطاهای اتصال به سرور سایت هم ربات گوگل ریکوئست‌های بررسی خود از سایت را لغو می‌کند. دلیل این کار هم جلوگیری از اعمال فشار روی سرور است. در بخش crawl error ارورهای مربوط به اتصال به سرور و میزان افزایش یا کاهش آن‌ها را بررسی کنید.

همانطور که می‌دانید کیفیت محتوای سایت خیلی مهم است. اگر محتوای سایت شما به طور مرتب آپدیت نشود و یا محتوای کپی و یا بی‌کیفیت در سایت بگذارید، ربات‌های گوگل تمایلی برای آنالیز مرتب و منظم سایت شما نخواهند داشت. از طرفی کاربران هم جذب چنین سایتی نمی‌شوند. پس اگر سایت شما در رنج چنین سایت‌هایی است نسبت به بهبود کیفیت مطالب خود اقدام کنید.