5 دلیل افت تعداد صفحات ایندکس شده در گوگل

ایندکس صفحات شما توسط گوگل یا دیگر موتورهای جست و جو بسیار مهم و حیاتیست. صفحاتی که ایندکس نشده‌اند نمی‌توانند رتبه بندی شوند.

چطور می‌توان دید چند صفحه از وبسایتتان ایندکس شده است؟

• استفاده از دستور Site:https://example.com
• در کنسول جست و جوی گوگل، وضعیت نقشه سایت را بررسی کنید
• بررسی وضعیت قبلی ایندکس صفحاتتان

هر یک از موارد بالا، اعداد متفاوتی را به شما نشان می‌دهند اما دلیل تفاوت آنها خود داستان دیگریست. در این مقاله، هدف ما بررسی و آنالیز کاهش تعداد صفحات ایندکس شده توسط گوگل است. اگر صفحات شما ایندکس نشده اند، احتمالا نشانه این است که گوگل از صفحه شما راضی نیست، یا نمی‌تواند به راحتی درون آن بررسی کند. بنابراین، اگر تعداد صفحات ایندکس شده شما شروع به کاهش کند، می‌تواند به خاطر یکی از عوامل زیر باشد:

• از طرف گوگل جریمه شده اید.
• گوگل احساس می‌کند صفحات شما بی ربط هستند.
• گوگل نمی‌تواند در بین صفحات شما خزش کند.

در ادامه به چند ترفند برای تشخیص و بهبود مشکل کاهش تعداد صفحات فهرست بندی شده می‌پردازیم.

1.    آیا صفحات به درستی لود می‌شوند؟

مطمئن شوید صفحات وضعیت هدر HTTP 200 مناسب دارند.

آیا سرور به صورت متناوب و در بازه های زمانی طولانی از دسترس خارج می‌شود؟ آیا تاریخ مالکیت دامنه اخیراً به پایان رسیده و کمی دیر دوباره تمدید شده؟

         راه حل

شما می‌توانید از یک ابزار بررسی وضعیت هدر رایگان برای تعیین اینکه آیا در وضعیت مناسبی قرار دارد یا خیر استفاده کنید. برای وبسایت‌های سنگین نیز ابزارهای خزش معمولی مانند Xenu، DeepCrawl، Screaming Frog یا Botify می‌تواند آنها را بررسی کند.

وضعیت هدر مطلوب 200 می‌باشد. در برخی مواقع امکان دارد ارور 3xx، 4xx و 5xx می‌تواند رخ دهد که هیچ یک اتفاق خوبی برای URL هایی که می‌خواهید آنها را فهرست بندی کنید نیستند.

2.    آیا URL های شما اخیراً تغییر کرده‌اند؟

گاهی اوقات یک تغییر در CMS، کد نویسی بک‌اند یا تنظیمات سرور که تغییر در دامنه، زیر دامنه یا پوشه را نتیجه می‌دهد، می‌تواند در نهایت URL های یک وبسایت را تغییر دهد.

موتورهای جست و جو می‌تواند URL های قدیمی را به یاد داشته باشد، اگر آنها به خوبی تغییر مسیر(redirect) پیدا نکنند، بسیاری از صفحات ممکن است از فهرست خارج شوند.

         راه حل

خوشبختانه، یک کپی از سایت قدیمی همچنان می‌تواند به طریقی مشاهده شود تا شما از تمام URL های قدیمی نسخه برداری کنید و بتوانید URL های جدید را با استفاده از تغییر مسیر (redirect) 301 به آنها نظیر کنید.

3.    آیا در صفحاتتان وقفه (Timing Out) ایجاد می‌شود؟

برخی سرورها به دلیل هزینه های اضافی که به دنبال پهنای باند بالاتر ایجاد می‌شوند، محدودیت پهنای باند دارند؛ این سرورها نیاز دارند که ارتقا پیدا کنند.

برخی مواقع، مشکل ایجاد شده شده مربوط به سخت افزار است و شما می‌توانید با ارتقای توان محاسباتی و حافظه سخت افزار سرورتان آن را حل کنید.

برخی وبسایتها در مواقعی که کاربر با یک نرخ مشخص به تعداد زیادی از صفحات دسترسی پیدا می‌کند آن IP را مسدود می‌کند. این تنظیمات سفت و سخت، با هدف جلوگیری از هک شدن وبسایت تعبیه شده، اما همچنان می‌تواند اثر منفی روی سایت شما داشته باشد.

معمولاً، این ویژگی در تنظیمات ثانویه یک صفحه وجود دارد و اگر حد و آستانه آن بیش از حد پایین باشد، احتمال دارد ربات خزش موتور جست و جو به آن حد برسد و ربات ها نتوانند به خوبی در صفحات وبسایت خزش کنند.

         راه حل

اگر مشکل به خاطر محدودیت پهنای باند سرور ایجاد شده باشد، ممکن است زمان آن رسیده باشد که سرور را ارتقا دهید.

اگر موضوع قدرت محاسباتی و حافظه سرور باشد، علاوه بر ارتقا سخت افزار سایت، وجود تکنولوژی کچینگ (catching technology) را نیز در آن بررسی کنید؛ این تکنولوژی باعث می‌گردد تا فشار کمتری بر سرور ایجاد شود.

چنانچه یک نرم افزار anti-DDOS روی سرور نصب شده باشد، یا تنظیمات آن را آزادتر کنید و یا گوگل بات را در لیست مجاز آن قرار دهید تا به هیچ وجه از خزش آن در صفحات وبسایت جلوگیری نشود. البته مراقب گوگل بات‌های تقلبی که با اهداف جاسوسی در فضای اینترنت وجود دارند نیز باشید؛ به همین دلیل، اطمینان حاصل کنید که گوگل بات را تشخیص می‌دهید. تشخیص بینگ بات نیز رویه مشابه با گوگل بات دارد.

4.    آیا ربات‌های موتور جست و جو، وبسایت شما را به طور متفاوتی می‌بینند؟

بعضی اوقات آنچه عنکبوت‌های موتور جست و جو می‌بینند، با آنچه ما می‌بینیم متفاوت است.

برخی توسعه دهندگان، وبسایت‌ها را بدون توجه به الزامات سئو می‌سازند.

گاهی اوقات، یک CMS بدون بررسی اینکه آیا با موتورهای جست و جو سازگار است مورد استفاده قرار می‌گیرد.

گاهی این کار عمداً و توسط یک متخصص سئو برای بررسی برخی پارامترهای مرتبط با موتور جست و جو انجام می‌شود.

در موارد دیگر، وبسایت توسط هکرها به خطر افتاده است؛ با این هدف که به جای صفحه شما، صفحه مورد نظر خود را به گوگل نشان می‌دهند تا آن را ارتقا دهند.

در بدترین شرایط، صفحه توسط نوعی از بد افزارها آلوده شده و گوگل به صورت اتوماتیک، پس از یافتن ویروس آن صفحه را از لیست خود خارج می‌کند.

         راه حل

استفاده از ویژگی fetch and render کنسول جست و جوی گوگل، بهترین راه برای بررسی این موضوع است که آیا گوگل چیزی که شما می‌بینید را می‌بیند یا خیر.

شما همچنین می‌توانید صفحه مورد نظر را در گوگل ترنسلیت ترجمه کنید، حتی اگر قصد ترجمه آن را نداشته باشید یا Google’s Cached page را بررسی کنید؛ اما همچنان راه هایی برای پنهان شدن محتوا در پشت آنها وجود دارد.

صفحات فهرست به عنوان KPI های معمول به کار نمی‌روند

نشانه های عملکرد کلید (KPIs)، که میزان موفقیت یک کمپین سئو را مشخص می‌کنند، معمولا بر پایه جست و جو و رتبه بندی ارگانیک تعیین می‌شوند. KPI ها بر اساس اهداف یک کسب و کار که وابسته به درآمد هستند متمرکز اند.

افزایش صفحات فهرست شده، به شما کمک می‌کند تا کلمات کلیدی که می‌توانید با آنها در رتبه بندی بالاتر روید را افزایش دهید و به سبب آن سود بیشتری کسب کنید.

با این وجود، هدف بررسی صفحات رتبه بندی شده، این است که ببینید آیا موتورهای جست و جو توان خزش و فهرست بندی صفحات وبسایتتان را به طور مناسب دارند یا خیر.

به یاد داشته باشید، صفحات شما نمی‌توانند رتبه بندی شوند، مگر اینکه موتورهای جست و جو بتوانند آنها را ببینند، در آنها خزش کنند یا آنها را فهرست بندی کنند.

کاهش تعداد صفحات فهرست بندی شده همیشه هم بد نیست

در اکثر موارد، کاهش صفحات فهرست بندی شده معنای بدی دارد؛ اما حذف محتوای کپی یا محتوای بی کیفیت نیز می‌تواند منجر به کاهش تعداد صفحات فهرست بندی شده شود که حتی اتفاق خوبیست.

با دقت به این 5 دلیل احتمالی که منجر به کاهش صفحات فهرست بندی شما می‌شود،   یاد بگیرید که چطور وبسایتتان را ارزیابی کنید.