آموزش حذف صفحات ایندکس شده در گوگل

روش‌های زیادی برای برای حذف URLها از Google وجود دارد اما نمی‌توان گفت کدام روش از همه بهتر است. چون همه‌چیز به شرایط شما بستگی دارد. نکته مهم استفاده از روش درست است. چرا که استفاده از روش اشتباه نه‌تنها گاهی منجر به حذف‌نشدن صفحات از حالت ایندکس می‌شود بلکه می‌تواند تأثیر منفی بر سئو و بهینه سازی سایت نیز داشته باشد. در این مقاله قصد داریم روش‌های حذف لینک از گوگل را با هم بررسی کنیم.

نحوه بررسی ایندکس‌شدن URL

اکثر متخصصان سئو از آدرس سایت مورد نظر:Site برای این کار استفاده می‌کنند. با این کار صفحاتی که به گوگل معرفی شده‌اند نمایش داده می‌شود. در استفاده از این روش باید خیلی مراقب باشید گاهی ممکن است دردسرساز شود. یک مثال را با هم بررسی کنیم.

سایت moz.com تغییر دامنه داد و به seomoz.org انتقال یافت. استفاده از Site:moz.com چند روز بعد از انتقال دامنه، لینک‌های مربوط به moz.com را نمایش خواهند داد. اگر یک تازه‌کار این نتیجه را ببنید گمان می‌کند که ریدایرکت‌ها هنوز اعمال نشده‌اند و ممکن است دست به کارهایی بزند که به جای حل مشکل، مشکلات جدی برای سایت ایجاد کنند.

بهترین روش برای بررسی ایندکس بودن صفحات وب، استفاده از گوگل سرچ کنسول است. با استفاده از این کار وضعیت لینک شما از نظر ایندکس‌شدن، در گوگل قابل مشاهده است. مانند تصویر، لینک مورد نظر را به طور کامل در باکس مربوطه درج کنید.

روش اول: محتوای حذف‌شده

ممکن است هنگام طراحی سایت، صفحاتی به صورت نمونه در سایت شما ایجاد شوند که ایندکس شده باشند. به طور حتم این صفحات باید حذف شوند. اگر یک صفحه را حذف کنید و کد وضعیت 404 یا 410 به آن اختصاص دهید، بعد از مدت کوتاهی که خزنده‌های موتور جستجو گوگل آن را بررسی کنند، صفحه از حالت ایندکس خارج خواهد شد. تا زمانی که این اتفاق نیفتد شما همچنان شاهد نمایش صفحه پاک‌شده در نتایج خواهید بود. یا حتی ممکن است صفحه کامل حذف شده باشد، ولی یک نسخه کش‌شده از آن در نتایج همچنان نمایش داده شود.

روش دوم: Noindex

متاتگ نوایندکس به موتورهای جستجوی گوگل می‌گوید که یک صفحه یا یک بخش خاصی از سایت را ایندکس نکند. استفاده از این تگ برای ایندکس‌نشدن صفحات داخلی پنل ادمین، فایل‌هایی با فرمت PDF و این قسم  موارد به کار برده می‌شود.

فرض کنید شما برای طراحی سایت از وردپرس استفاده کرده‌اید مسلما ایندکس شدن صفحات wp-admin معقول و منطقی نیست. در طراحی سایت حرفه ای برای این موارد از متاتگ نوایندکس استفاده می‌شود.

مثال برای متاتگ نوایندکس

<meta name="robots" content="noindex">

روش سوم: محدودیت دسترسی

گاهی ممکن است صفحه‌ای را ایجاد کنید که قرار است فقط بعضی از کاربران این صفحه را مشاهده کنند. حتی این صفحه نباید در گول ایندکس شود. برای این منظور می‌توان از روش‌های زیر استفاده کرد.

• سیستم لاگین‌کردن
• احراز هویت HTTP (درصورتی که برای دسترسی، رمز عبور لازم باشد)
• لیست سفید IP (که فقط به آدرس‌های IP خاص اجازه دسترسی به صفحات را می‌دهد)

با استفاده از این تنظیمات برای گروهی از کاربران امکانی فراهم می‌کنید که به بخش خاصی از سایت دسترسی داشته باشند. اما موتورهای جستجو به این صفحه دسترسی نداشته و نمی‌توانند آن را ایندکس کنند.

روش چهارم: ابزار حذف URL

نام این ابزار از گوگل کمی مبهم است. چون نحوه کار به‌این شکل است که به‌طور موقت محتوا را پنهان می‌کند. یعنی گوگل همچنان این محتوا را مشاهده و پیمایش می‌کند اما این صفحات برای کاربران نمایش داده نمی‌شوند. این اثر موقتی در گوگل شش ماه طول می‌کشد. 

باید روش دیگری را همراه با استفاده از ابزار حذف URL اعمال کنید، تا صفحات را برای مدت طولانی‌تری حذف کنید. یا در صورت داشتن لینک‌ها، از دسترسی کاربران به محتوا جلوگیری کنید (حذف صفحه یا محدودکردن دسترسی).
اینکار باعث افزایش سرعت برای پنهان‌کردن صفحات می‌کند. پردازش درخواست ممکن است یک روز طول بکشد.

روش پنجم: متعارف‌سازی

اینکار بیشتر به منظور جلوگیری از محتوای کپی است. برای مثال شما دو صفحه با کد یکسان دارید و یکی از صفحه‌ها محتوای اصلی و مورد نظر شما است. با استفاده از متعارف‌سازی این موضوع را به گوگل می‌گوئید. این روش برای جلوگیری از ایندکس‌شدن یک صفحه با محتوای تکراری است.

چند روش برای متعارف‌سازی داریم. 

تگ کنونیکال: اگر صفحات با محتوای یکسان دارید، از این روش استفاده می‌کنید. با این‌کار صفحه‌ اصلی که گوگل باید در نظر بگیرد را مشخص می‌کنید. توجه کنید وقتی محتوای صفحات خیلی متفاوت باشند، ممکن است کنونیکال نادیده گرفته شود.

ریدایرکت: ریدایرکت 301 روشی است که اکثر سئوکارها استفاده می‌کنند. با این کار لینک موجود را به لینک مورد نظرتان ریدایرکت می‌کنید.
ریدایرکت 302 که به اسم ریدایرکت موقت هم شناخته می‌شود برای زمان محدود کاربر دارد. مثلا شما یک صفحه‌ای دارید که نیاز به طراحی و تغییرات دارد. برای زمان محدودی از ریدایرکت 302 استفاده می‌کنید و کاربر به صفحه مورد نظر شما هدایت می‌شود. در این روش چیزی از اعتبار صفحه کم و زیاد نمی‌شود.

مدیریت پارامتر URL: یک پارامتر به انتهای URL اضافه می‌شود و معمولاً شامل یک علامت سوال مانند vediana.com؟this=parameter است. این ابزار از طرف گوگل به شما امکان می‌دهد نحوه رفتار URLها با پارامترهای خاص را به آن‌ها بگویید. به عنوان مثال، می‌توانید تعیین کنید که آیا پارامتر محتوای صفحه را تغییر می‌دهد یا فقط برای مسیریابی استفاده شده است.

نحوه اولویت‌بندی حذف صفحات ایندکس‌شده

اگر چندین صفحه برای حذف از ایندکس گوگل دارید باید آن‌ها را اولویت بندی کنید. 

بالاترین اولویت: این صفحات معمولاً مربوط به امنیت یا مربوط به داده‌های محرمانه هستند. مثلا صفحاتی که شامل محتوایی با داده‌های شخصی، داده‌های مشتری یا اطلاعات اختصاصی هستند. 

اولویت متوسط: این مورد معمولاً شامل محتوایی است که برای گروه خاصی از کاربران در نظر گرفته شده است. اینترانت شرکت یا پورتال های کارمندان و یا محتوایی که فقط برای اعضا در نظر گرفته شده است.

اولویت کم: این صفحات معمولاً شامل نوعی محتوای تکراری است. 

اشتباهات رایج هنگام حذف صفحات ایندکس شده در گوگل

چند روش که هنگام حذف صفحات به اشتباه انجام می‌شود را توضیح داده‌ایم. ممکن است پاسخ سوال خود در رابطه با کار نکردن روش‌های به کار رفته را درک کنید.

Noindex در robots.txt

در حالی که Google قبلاً به طور غیررسمی از noindex در robots.txt پشتیبانی می‌کرد، این‌ کار هرگز استاندارد رسمی نبود و حالا گوگل پشتیبانی را به طور رسمی حذف کرده‌ است. بسیاری از سایت‌هایی که این کار را انجام می‌دادند چنین اشتباهی را مرتکب شده‌اند و به سایت و کسب‌وکارشان آسیب رسانده‌اند.

جلوگیری از کراول‌کردن خزنده‌های گوگل در robots.txt

کراول‌کردن به معنای ایندکس‌کردن نیست. حتی اگر ربات‌های گوگل را از کراول‌کردن منع کرده باشید، در صورت وجود لینک‌های داخلی یا خارجی به صفحه، همچنان قابلیت ایندکس‌شدن وجود دارد.
گوگل نمی‌داند چه چیزی در این صفحه وجود دارد زیرا خزنده‌هایش امکان کروال‌کردن ندارند. اما می‌داند که یک صفحه وجود دارد. حتی ممکن است عنوانی را در نتایج جستجو، بر اساس سیگنال‌هایی مانند انکر تکست لینک‌های داخل صفحه، نشان ‌دهد.

استفاده همزمان Noindex و canonical 

با یک تناقض روبرو هستیم. Noindex می‌گوید این صفحه ایندکس نشود. در حالیکه canonical می‌گوید که صفحه دیگر، نسخه‌ای است که باید ایندکس شود. این کار ممکن است باعث محکم‌کاری شود چون گوگل معمولاً ترجیح می‌دهد که noindex را نادیده بگیرد و در عوض canonical را به عنوان سیگنال و هدف اصلی استفاده کند. در هر صورت این روش، یک رفتار منطقی و استاندارد نیست. 

حذف تصاویر

برای حذف تصاویر از گوگل ساده‌ترین راه استفاده از robots.txt است. 

برای یک تصویر خاص از کد زیر در فایل htaccess استفاده کنید.

User-agent: Googlebot-Image
Disallow: /images/dogs.jpg 

و برای تمامی تصاویر از کد زیر استفاده کنید.

User-agent: Googlebot-Image
Disallow: /

در این مقاله روش‌های حذف صفحات ایندکس‌شده در گوگل راتوضیح دادیم. باتوجه به اینکه مفاهیم تخصصی بودند احتمال مبهم‌بودن برخی موارد وجود دارد. چنانچه در حذف صفحات ایندکس شده نیاز به راهنمایی دارید، با کارشناسان ما در شرکت طراحی سایت تهران ودیانا در تماس باشید.