آموزش بهترین و سریع‌ترین روش‌های حذف صفحات ایندکس شده از نتایج گوگل

یکی از کارهای قابل برگشت در سئو این است که شما می‌توانید صفحات ایندکس‌شده سایت خود را از نتایج جستجو حذف کنید، بدون اینکه گوگل از شما بپرسد چرا! این باور نادرستی است که هر چقدر تعداد صفحات ایندکس‌شده از سایت شما در گوگل بیشتر باشد، ترافیک ورودی سایت شما هم بیشتر خواهد شد. بهتر است بگوییم شما مجبور نیستید تمام صفحات خود را در بستر گوگل نگه دارید تا همه آن را ببینند. اگر شما هم دغدغه ایندکس‌شدن برخی از صفحات ناکارآمد و غیرضروری سایت خود را دارید، با ما همراه باشید تا درباره فرایند حذف صفحات از نتایج گوگل و نکات آن، بیشتر صحبت کنیم.

نحوه یافتن آدرس‌های ایندکس‌شده سایت در نتایج گوگل

نحوه یافتن آدرس‌های ایندکس‌شده یک سایت در گوگل بسیار آسان است. برای انجام این کار باید عبارت «site:yourdomain.com» را در نوار جستجوی گوگل وارد کنید. گفتنی است که در این عبارت به‌جای «yourdomain.com»، آدرس سایت خود را قرار می‌دهید. پس از واردکردن این عبارت، تمامی صفحات سایت شما که توسط ربات‌های گوگل شناسایی و ایندکس شده‌اند، به شما نمایش داده می‌شوند.

پس از این که این صفحات را مشاهده کردید، باید آن‌ها را به‌دقت بررسی کنید و برای حفظ یا حذف آن‌ها تصمیم‌ بگیرید. همچنین برخی اوقات ممکن است صفحات مهم سایت شما توسط گوگل ایندکس نشده باشند که با این روش می‌توانید آن‌ها را نیز پیدا کنید و برای ایندکس‌کردن آن‌ها، اقدام کنید.

چه نوع صفحاتی را از ایندکس گوگل حذف کنیم؟

زمانی که سایت دارای عمر زیادی است و مطالب بسیاری در طول سالیان طولانی، در آن منتشر شده است، ممکن است به خاطر زیاد‌شدن تعداد صفحات بی‌هدف، مانند صفحات آزمایشی یا صفحات تشکر که بعد از تکمیل فرم یا خرید برای کاربر باز می‌شوند، رنکینگ سایت تحت تاثیر قرار بگیرد. در چنین حالتی تمامی URLهای به‌وجودآمده مفید نیستند و برخی از آن‌ها بی‌هدف تشکیل شده‌اند.

در صورتی که به صفحات بی‌ارزش بی‌توجه باشید، به ربات‌های خزنده گوگل، اجازه خزش تمامی صفحه‌های سایت خود را داده‌اید. از آن‌جایی که تعداد صفحات بی‌ارزش کم نیستند، این کار موجب آن می‌شود اعتبار سایت تا حد بسیاری کاهش پیدا کند. همچنین بودجه خزش شما نیز زودتر از چیزی که تصور می‌کردید، تمام می‌شود. در ادامه با ویژگی صفحاتی که می‌توانید آن‌ها را از سایت خود حذف کنید آشنا خواهید شد:

• صفحات حاوی محتوای بی‌کیفیت

در صورتی که سایت شما دارای تعداد قابل توجهی محتوای باکیفیت باشد و در کنار آن‌ها، چندین محتوای بی‌ارزش و بی‌کیفیت نیز وجود داشته باشد، این محتواها از ارزش محتواهای باکیفیت می‌کاهند و به آن‌ها ضرر می‌رسانند. گوگل در به‌روزرسانی الگوریتم helpful content گفته است: «الگوی الگوریتم محتوای مفید بر خلاف بسیاری دیگر از الگوریتم‌ها که الگوی صفحه‌به‌صفحه (Page-by-Page) دارند، به‌صورت Side-Wide عمل می‌کند. این اصطلاح به این معناست که الگوریتم محتوای مفید نه‌تنها یک محتوا از سایت، بلکه کل سایت را بررسی می‌کند. بنابراین، محتواهای باکیفیتی که می‌توانند به رتبه سایت شما کمک کنند، قربانی محتواهای بی‌کیفیت می‌شوند و ارزش خود را به خوبی نمی‌توانند نشان دهند. در نتیجه شما می‌توانید این صفحات بی‌ارزش را یا از ایندکس گوگل یا به کل حذف کنید.

• صفحات حاوی محتوای قدیمی و منسوخ‌شده

برای رشد بیشتر سایت لازم است برخی از محتواها به‌روزرسانی شوند یا در برخی موارد حذف شوند. محتواهایی که بهتر است حذف شوند، عبارتند از:

• • مطالب علمی که اعتبار خود را از دست داده‌اند.
  • محتواهای پزشکی قدیمی که کاربرد خود را از دست داده‌اند.
  • محتواهای موقت مانند آگهی شغلی

در صورتی که این دسته از محتواها حذف نشوند، رتبه سئو سایت تا حد بالایی کاهش پیدا می‌کند و ارزش محتواهای دیگر نیز تحت‌الشعاع قرار می‌گیرد.

• حفظ اطلاعات خصوصی

محتواهای خصوصی مانند صفحات سیاست حفظ حریم خصوصی، صفحات ورود به پنل کاربر، صفحات پروفایل کاربران سایت، باید از لیست ایندکس گوگل حذف شوند؛ چرا که بازدیدکنندگان می‌توانند به این صفحات از طریق نتایج جستجوی گوگل دسترسی پیدا کنند و اطلاعات شما را مشاهده کنند.

• صفحات نتایج جستجوی داخلی

بدترین چیزی که گوگل می‌تواند به کاربران در نتایج جستجو نشان دهد، نمایش صفحات فیلترها و سرچ باکس داخلی سایت است. اگر نمی‌خواهید با نمایش صفحات نتایج فیلترها، کاربر را به صفحات نامرتبط هدایت کنید و تجربه ناخوشایندی برای آن‌ها ایجاد کنید، باید از تکنیک حذف صفحات از لیست ایندکس گوگل استفاده کنید.

• صفحات تایید و تشکر

برخی از صفحات سایت هدفی جز نمایش یک پیغام تایید، تشکر و اعلام یک نتیجه ندارند. بهتر است بگوییم کاربرد اصلی این صفحات فقط برای ایجاد تجربه کاربری بهتر است. این نوع صفحات هیچ ارزشی برای موتورهای جستجو و کاربرانی که سعی در پیدا کردن یک محتوای ارزشمند دارند، ایجاد نمی‌کنند و بهتر است در صفحه نتایج دیده نشوند.

• صفحات آزمایشی

ممکن است شما در سایت خود بخواهید یک ویژگی یا یک قابلیت خاصی را آزمایش کنید. منطقی است که نخواهید روی صفحات مهم و دارای رتبه خود آزمون و خطا کنید. به همین دلیل، صفحاتی را به‌عنوان صفحه تست در سایت ایجاد می‌کنید تا مواردی مانند تغییر قالب، نصب افزونه و قراردادن یک کد جدید را در آن صفحه امتحان کنید. بنابراین صفحات ساخته‌شده با هدف تست، نباید در نتایج جستجو دیده شوند و شما باید آن‌ها را از لیست ایندکس گوگل خارج کنید.

• صفحات نامربوط

ممکن است به‌طور ناخواسته صفحات نامرتبطی در سایت شما وجود داشته باشد. برای مثال، زمانی که از قالب‌های وردپرس برای پیاده‌سازی سایت خود استفاده می‌کنید، این احتمال وجود دارد که این قالب‌ها دارای صفحات آماده‌ای باشند. اگر حذف‌کردن این صفحات نامربوط پیش از ایندکس‌کردن سایت خود را فراموش کنید، این دسته از صفحات در کنار صفحات باارزش ایندکس می‌شوند و موجب کاهش اعتبار و ارزش سایت شما می‌شوند. برای جلوگیری از این کار لازم است این صفحات را از ایندکس گوگل خارج کنید.

• سایت‌های هک‌شده

ممکن است سایت شما هک شده باشد و هکرها تعداد زیادی صفحات بیهوده و نامرتبط در سایت ایجاد کرده‌ باشند، در نتیجه لازم است آن‌ها را حذف کنید. زمانی که این صفحات در نتایج جستجو دیده شوند، تجربه کاربری ناخوشایندی ایجاد می‌کنند و اعتبار سایت شما را تحت تاثیر قرار می‌دهند.

• تغییر در نام تجاری

کسب‌وکارهای بسیاری هستند که به‌طور مداوم در حال برندسازی هستند. زمانی که نام تجاری خود را تغییر می‌دهند، لازم است صفحاتی را که حاوی اطلاعات قدیمی هستند حذف کنید تا مخاطبان به اشتباه اطلاعات قدیمی را نخوانند.

• تغییر در خدمات یا محصولات ارائه‌شده

هر کسب‌وکاری ممکن است در طول زمان، محصولات یا خدمات ارائه‌شده خود را تغییر دهد. در صورتی که خدمات یا محصولاتی دارید که دیگر آن‌ها را ارائه نمی‌دهید، صفحات مرتبط به آن‌ها نباید در سایت شما وجود داشته باشند. بسته به میزان تغییر در ارائه خدمات یا محصولات، باید صفحه مربوطه را به‌روز کنید یا آن را به‌طور کامل حذف کنید.

برای مثال اگر محصولی ارائه می‌دهید که تاریخ انقضا دارد و قرار است محصول جدید با تاریخ انقضای جدید به جای آن قرار بگیرد، بهتر است از ریدایرکت ۳۰۱ استفاده کنید. ولی در صورتی که محصول جدید با محصول قدیمی تفاوت‌های بسیاری دارد، بهتر است آن صفحه را از ایندکس خارج کنید و صفحه دیگری برای محصول جدید خود بسازید. خوب است بدانید که اگر تولید کالایی به طور کل متوقف شده است، باید آن را در صفحه مربوط به آن محصول اعلام کنید تا اعتبار خود را در نزد کاربران افزایش دهید.

چرا باید برخی از صفحات سایت را از ایندکس گوگل حذف کنیم؟

دلایل بسیاری وجود دارد که طبق آن‌ها ممکن است بخواهید صفحات فهرست‌شده خود را از نتایج جستجوی گوگل حذف کنید و آن‌ها عبارتند از:

• جلوگیری از اتلاف بودجه خزش

وجود تعداد زیادی صفحه بی‌ارزش ممکن است باعث شود گوگل از خزیدن صفحات مهم و ارزشمند سایت شما جا بماند و به‌جای اینکه آن‌ها را ایندکس کند، بودجه خزش سایت را برای صفحات بی‌ارزش صرف کند! بنابراین اگر نتوانید تعداد صفحات سایت خود را مدیریت کنید و آن‌هایی را که غیرضروری هستند از لیست ایندکس گوگل حذف کنید، بودجه کراول شما هدر می‌رود و صفحاتی که باید در نتایج دیده شوند، فرصت حضور در نتایج جستجو را نخواهند داشت.

• حفظ حریم و اطلاعات خصوصی

اغلب اوقات، علی‌رغم اینکه نمی‌خواهید برخی از محتواها مانند اطلاعات شخصی در صفحه اول نتایج جستجو قرار بگیرند و همه آن را ببیند، اما از طرفی هم باید آن‌ها را در سایت خود نمایش دهید و در دسترس بازدیدکنندگان سایت خود قرار دهید. در این شرایط باید این نوع از صفحات را که اطلاعات حساس و مهمی دارند، از ایندکس گوگل خارج کنید. حفظ اطلاعات خصوصی گاهی ممکن است اطلاعات تماس، اطلاعات پزشکی، اطلاعات مالی یا حتی محتوایی باشد که فقط یک گروه سنی باید آن‌ را ببیند.

روش‌های حذف صفحات سایت از نتایج گوگل

در ادامه تکنیک‌ها و روش‌های حذف URLهای ایندکس‌شده از گوگل، معرفی شده‌اند که شما می‌توانید در بین آن‌ها مناسب‌ترین روش را برای سایت خود انتخاب کنید.

• حذف کامل صفحه

اولین و ساده‌ترین روش برای حذف صفحات ایندکس‌شده در گوگل، حذف خود صفحه است. این روش به ابزار خاصی نیاز ندارد و به راحتی قابل انجام است. برای مثال، اگر سایت شما با وردپرس ساخته شده است، تنها کاری که لازم است انجام دهید این است که به بخش داشبورد سایت رفته و صفحه‌ موردنظر را پیدا کنید و سپس روی گزینه Delete در قسمت پایین عنوان صفحه کلیک کنید. در نهایت به بخش Trash رفته و صفحه حذف‌شده را به صورت دائمی پاک کنید. با اینکه صفحه به‌طور کامل حذف شده است، اما آدرس آن همچنان در موتورهای جستجو وجود دارد و کاربرانی که از این صفحه بازدید می‌کنند، با خطای ۴۰۴ مواجه خواهند شد. با این وجود، پس از چند بار کراول‌شدن سایت توسط ربات‌ها، در نهایت آدرس‌ هم به طور کامل از صفحه نتایج گوگل حذف خواهد شد.

حتی زمانی که آدرس صفحه‌ حذف‌شده از ایندکس گوگل خارج شود، وقتی که شما آن صفحه را باز می‌کنید، با ارور ۴۰۴ مواجه خواهید شد. نمایش این خطا به‌خودی‌خود نمی‌تواند به سئوی سایت آسیب بزند؛ اما اگر شما یکی از صفحات مهم و پربازدید خود را حذف کنید که ورودی بسیار خوبی هم از نتایج گوگل داشته است، به احتمال زیاد با افت سئوی سایت مواجه خواهید شد.

در صورتی که می‌خواهید همچنان از آن صفحه ورودی بگیرید و کاربران را به صفحه دیگری هدایت کنید، می‌توانید از ریدایرکت ۳۰۱ کمک بگیرید. این کار موجب می‌شود از تجربه کاربری منفی و افت سئوی سایت جلوگیری کنید.

• نوایندکس‌کردن صفحات

از دیگر روش‌های پرکاربرد برای حذف صفحات ایندکس‌شده در گوگل، استفاده از متاتگ نوایندکس (Noindex) است که به مرور صفحه مورد نظر را از لیست نتایج جستجوی گوگل حذف خواهد کرد. ربات‌های جستجوگر گوگل پیش از کراول‌کردن یک سایت، ابتدا کدهای دستوری آن را بررسی می‌کنند و پس از آن صفحات را ایندکس می‌کنند. تمامی صفحات یک سایت قابلیت ایندکس‌شدن را دارند و ربات‌های گوگل به صورت خودکار، همه صفحات را ایندکس می‌کنند و در نتایج جستجوی گوگل قرار می‌دهند.

برای جلوگیری از ایندکس‌شدن صفحات می‌توانید کد دستوری نوایندکس را به صفحات مد نظر خود اضافه کنید. برای این کار لازم است کد دستوری زیر را در بخش Head صفحه قرار دهید.

<meta name=”robots” content=”noindex”>

زمانی که ربات‌های جستجوگر گوگل کدهای دستوری را بررسی می‌کنند، در صورت مواجه شدن با کد دستوری نوایندکس، از ایندکس‌کردن صفحه خودداری می‌کنند. اگر صفحه مد نظر از قبل توسط ربات‌ها ایندکس شده باشد، با استفاده از این کد به مرور زمان از ایندکس گوگل خارج خواهد شد.

• استفاده از از ابزار Removals در سرچ کنسول (Google Search Console)

یکی از ویژگی‌های کاربردی سرچ کنسول سایت، ابزار «Removals» است که امکان ارسال درخواست حذف سایت از گوگل را برای وبمستران مهیا کرده است. سرعت‌العمل این روش در حذف صفحات در مقایسه با راه‌های دیگر مانند نوایندکس‌کردن، مخصوصا اگر تعداد زیادی صفحه باشد، بسیار بالا است. البته توصیه می‌شود فقط در شرایط‌ حساس مانند مسائل امنیتی، اطلاعات قابل شناسایی شخصی (PII) و نشت اطلاعات (Data Leakage) به سراغ این روش بروید، در غیر این صورت، گوگل این ابزار را برای تمام موقعیت‌ها پیشنهاد نمی‌کند. ابزار Removal از ۳ بخش تشکیل شده است. در ادامه هر کدام از آن‌ها را توضیح خواهیم داد:

• • بخش Temporary Removals: درخواست حذف یک صفحه یا چند صفحات از سمت مدیر سایت
  • بخش Outdated Content: درخواست حذف صفحات منقضی‌شده
  • بخش Safesearch Filtering: درخواست حذف صفحات دارای محتوای نامناسب (خشن یا مستهجن)

معرفی بخش Temporary Removals ابزار Removal

ابتدا گوگل سرچ کنسول را باز کنید. در صورتی که در این سایت حساب کاربری ندارید، باید یک اکانت در سرچ کنسول ایجاد کنید. پس از وارد شدن به اکانت خود، از منوی سمت چپ گزینه Removals را انتخاب کنید و روی تب «Temporarily Remove URL» (حذف موقت) کلیک کنید. پس از آن، روی دکمه قرمز رنگ New Request کلیک کنید.

تفاوت remove this url only و remove all urls with this prefix در ابزار Removal

زمانی که می‌خواهید یک درخواست جدید برای حذف یک صفحه ثبت کنید، می‌توانید فقط یک URL منحصربه‌فرد یا مجموعه‌ای از چند URL را انتخاب کنید. با انتخاب «remove this url only» فقط همان آدرسی حذف می‌شود که وارد کرده‌اید و با گزینه «remove all urls with this prefix» می‌توانید همه صفحاتی را که یک پیشوند خاص (prefix) دارند یا در یک دایرکتوری مشخص قرار گرفته‌اند، در یک درخواست حذف کنید.

برای مثال در صفحه روبه‌رو، گزینه «remove this url only» را انتخاب کنید و URL صفحه‌ای را وارد کنید که می‌خواهید از ایندکس گوگل خارج شود و در نهایت روی گزینه Next کلیک کنید.

توجه به این نکته ضروری است که با استفاده از این روش‌ها، صفحه مد نظر شما در طول ۱۸۰ روز از صفحه نتایج گوگل حذف خواهد شد. برای حذف دائمی صفحه از گوگل می‌توانید از یکی از موارد زیر استفاده کنید:

• تگ نوفالو را به صفحه مد نظر خود اضافه کنید.
• محتوا را از صفحه مد نظر پاک کنید تا صفحه خطای ۴۰۴ یا ۴۱۰ به کاربران نمایش داده شود.
• برای صفحه مد نظر خود یک رمز عبور اختصاصی در نظر بگیرید و از این طریق، صفحه را مسدود کنید تا موتورهای جستجو نتوانند به آن صفحه دسترسی داشته باشند و آن را فهرست‌بندی کنند.

معرفی بخش Outdated Content در ابزار Removal

محتوای برخی از صفحات این قابلیت را دارند تا پس از مدتی به‌عنوان «محتوای تاریخ‌مصرف گذشته» یا «قدیمی» شناخته شوند. کاربران می‌توانند وجود چنین صفحاتی را به گوگل اطلاع دهند تا نمایش آن‌ها به خاطر اطلاعات قدیمی در نتایج جستجو متوقف شود. برای گزارش این صفحات می‌توانید به این لینک بروید، روی گزینه «Request» کلیک کنید و آدرس صفحه مدنظر را وارد کنید.

درخواست شما ابتدا ثبت می‌شود و سپس در صف بررسی قرار می‌گیرد. در نتیجه شما می‌توانید لیست صفحات Outdated Content مرتبط با سایت خود را که توسط کاربران گزارش شده است، در این بخش مشاهده کنید.

معرفی بخش Safesearch Filtering در ابزار Removal

این بخش از ابزار Removal لیست صفحاتی را نشان می‌دهد که به دلیل نمایش محتوای غیراخلاقی، توهین‌آمیز و خشونت‌آمیز، با گزارش مستقیم کاربران حذف شده‌اند. البته فراموش نکنید که این صفحات فقط از نتایج سرچ کسانی حذف می‌شود که قابلیت Safesearch را در تنظیمات گوگل فعال کرده باشند.

برای گزارش این صفحات کافی است روی این لینک کلیک کنید و برای حذف صفحه موردنظر درخواست خود را ثبت کنید.

سخن پایانی

در هر سایت، صفحاتی وجود دارند که نباید در لیست جستجوی گوگل قرار بگیرند و باید خودتان آن‌ها را از ایندکس گوگل حذف کنید. در این مقاله، روش‌های مختلفی برای حذف URLهای ایندکس‌شده از گوگل را معرفی کردیم. از بین این روش‌ها، استفاده از روش گوگل سرچ کنسول بهترین راهکار است و نتیجه بهتری را در پی خواهد داشت. در صورتی که در رابطه با روش‌های حذف آدرس‌های ایندکس‌شده از گوگل اطلاعات و تجربیات دیگری دارید، خوشحال می‌شویم نظرات ارزشمند خود را با ما به اشتراک بگذارید.