مشکل ایندکس (Index) نشدن صفحات در گوگل چیست؟

سمانه پرهیزکار

2 شهریور 1400

فهرست بندی و حفظ رتبه صفحات وب سایت شما در Google می‌تواند برای وب سایت‌های جدید و وب سایت‌هایی که دارای SEO فنی یا مسائل مربوط به کیفیت محتوا هستند یک چالش باشد. این مقاله برای کمک به شما در کشف دلایل احتمالی ایجاد مشکل در ایندکس سایت شما توسط Google طراحی شده است. گاهی اوقات این مشکلات می‌توانند یک راه حل سریع داشته باشند؛ البته، مواقعی وجود دارد که باید برای کشف علت اصلی ایندکس نکردن گوگل تمام صفحات وب خود را، عمیق تر بررسی کنید.

چگونه ایندکس سایت خود را در Google می‌توانید بررسی کنید؟

برای اینکه ابتدا تعیین کنید که صفحه شما (یا کل سایت) در Google ایندکس نشده است، مراحل زیر را دنبال کنید:

از عبارت “site: domain.com” مانند این مثال استفاده کنید: site: adam-barfi.ir. با این کار بیشتر (اما نه همه) URL هایی که Google در موتور جستجوی خود برای یک دامنه ایندکس کرده است، به شما نشان داده می‌شود. ممکن است گوگل با این سرچ همه صفحات ایندکس شده در سایت شما را نشان ندهد. ممکن است در هر روز URL های کم و بیش ایندکس شده برای سایت خود را با این سرچ در موتورهای جستجو ببینید.
از عبارت “site: domain inurl: <slug>” مانند این مثال استفاده کنید: site: adam-barfi.ir inurl: google-not-indexing-site. این به شما نشان می‌دهد که آیا صفحه خاصی ایندکس شده است یا خیر.
از عبارت “site: domain filenype: <filetype>” مانند این مثال استفاده کنید: site: adam-barfi.ir filetype: xml. این به شما نشان می‌دهد که آیا گوگل صفحه‌ای با نوع فایل خاص ایندکس شده است یا خیر.
“وضعیت ایندکس” را می‌توانید در سرچ کنسول گوگل بررسی کنید. این گزارشی است که به شما امکان می دهد (در یک نگاه) ببینید چند صفحه از وب سایت شما در موتور جستجوی Google ایندکس شده است. همچنین می‌تواند تعداد URL‌های بلاک(مسدود شده) یا حذف شده را به شما نشان دهد.
در Google Search Console “نقشه های سایت” را بررسی کنید. این یک گزارشی است که به شما نشان می‌دهد چند صفحه در نقشه سایت XML شما به Google ارسال شده است و چند صفحه ایندکس شده است. این ابزار یک جدول زمانی از ایندکس نشانی وب نقشه سایت را در طول یک ماه (به جای یک سال) به شما نشان می‌دهد.

دلایلی که باعث می‌شود گوگل سایت شما را ایندکس نکند!

1. وضعیت کد 200

ناگفته نماند، اما اگر صفحات شما یک کد واکنش سرور 200 (خوب) تولید نمی‌کنند، انتظار نداشته باشید که موتورهای جستجو آنها را فهرست بندی کنند (یا اگر قبلا ایندکس شده بودند). گاهی اوقات URL‌ها به طور تصادفی تغییر مسیر می‌دهند، بسته به مسائل CMS، مشکلات سرور یا خطای کاربر، خطاهای 404 یا 500 ایجاد می‌کنند. یک بررسی سریع انجام دهید تا مطمئن شوید URL صفحه شما به درستی بارگذاری می‌شود. اگر بارگذاری شود و آن را ببینید، احتمالاً خوب هستید. اما ، همیشه می توانید URL ها را از طریق HTTPStatus.io بررسی نمایید.

2. از طریق Robots.txt بلاک شده است

فایل /robots.txt وب سایت شما (به عنوان مثال در http://www.domain.com/robots.txt واقع شده است) دستورات خزیدن خود را به Google می‌دهد. اگر صفحه خاصی در سایت شما در فهرست Google وجود ندارد، این یکی از اولین مکان‌هایی است که باید بررسی شود. اگر قبلاً صفحه ای را در سایت شما که اکنون از طریق robots.txt مسدود شده است فهرست بندی کرده باشد، ممکن است پیامی با عنوان “توضیحی برای این نتیجه به دلیل robots.txt این سایت در دسترس نیست” را در زیر نشانی اینترنتی نشان دهد.

3. برچسب Meta Robots “Noindex”

یکی دیگر از دلایل رایج اینکه چرا صفحه ای در سایت شما در Google ایندکس نمی شود این است که ممکن است دارای برچسب “noindex” از نوع روبات‌ها در <head> صفحه باشد. وقتی گوگل این برچسب متا روبات ها را می‌بیند، یک دستورالعمل واضح است که نباید صفحه را ایندکس کند. گوگل همیشه به این دستور احترام می‌گذارد و بسته به نحوه کدگذاری آن می تواند به اشکال مختلفی ارائه شود:

noindex,follow
noindex,nofollow
noindex,follow,noodp
noinde,nofollow,noodp
noindex

برای بررسی اینکه آیا صفحه شما دارای برچسب meta robots “noindex” است ، کد منبع را مشاهده کرده و کد را در <head> جستجو کنید. اگر وب سایت شما با جاوا اسکریپت ارائه شده است، ممکن است لازم باشد از ویژگی “Inspect Element” Google Chrome برای مشاهده درست <head> استفاده کنید.

4. “Noindex” X-Robots Tag

مشابه تگ متا روبات‌ها، برچسب X-robots توانایی کنترل ایندکس را با Google از طریق یک متا تگ دارد. با این حال، این برچسب در header یک صفحه یا سند خاص استفاده می‌شود. این کد معمولاً در صفحات غیر HTML استفاده می‌شود که در آن <head> وجود ندارد، مانند فایل های PDF ، فایل های DOC و سایر فایل هایی که مدیران وب سایت می خواهند از فهرست Google خارج شوند. می‌توانید با استفاده از افزونه SEO Site Tools برای Chrome این موضوع را بررسی کنید.

5. تکرار محتوای داخلی

تکرار محتوای داخلی خطری برای سئو سایت است. محتوای تکراری داخلی ممکن است صفحات شما را از فهرست Google خارج کند یا نکند، اما نسبت زیاد محتوای تکراری داخلی در صفحات شما احتمالاً آنها را از رتبه بندی خوب باز می‌دارد. اگر صفحه خاصی دارید که مقدار زیادی محتوای مشابه با صفحه دیگری در وب سایت شما دارد، ممکن است همان دلیلی باشد که صفحه شما در گوگل ایندکس نمی‌شود یا به سادگی رتبه خوبی نمی‌گیرد.
برای بررسی محتوای تکراری داخلی، توصیه می‌کنم از ابزار Siteliner برای خزیدن وب سایت خود استفاده کنید. تمام صفحات دارای محتوای تکراری داخلی را گزارش می‌کند، محتوایی را که تکرار شده است را برجسته می‌کند، و همچنین نمای گرافیکی ساده‌ای از میزان تکرار مطالب در وب سایت شما را به شما ارائه می‌دهد.

6. محتوای تکراری خارجی

محتوای تکراری خارجی یعنی محتوای شما در وب‌سایت‌های دیگر تکرار شده است یا خیر. نسبت‌های زیاد محتوای تکراری نشانه مطمئنی از کیفیت پایین برای Google است و باید به هر قیمتی از آن اجتناب کرد. یکی از راه‌های تشخیص اینکه محتوای شما با سایت های دیگر تکراری است، قرار دادن قطعه ای از محتوا در جستجوی Google است.
برای بررسی محتوای تکراری خارجی‌، توصیه می‌کنم از Copyscape برای خزیدن نقشه سایت یا مجموعه خاصی از URL ها استفاده کنید. این ابزار یک گزارش بسیار مفید (و قابل ارائه) در مورد تکراری بودن سایت شما با سایت های خارجی ارائه می‌دهد.

7. عدم وجود ارزش کلی برای شاخص Google

همچنین ممکن است یک صفحه خاص یا وب سایت شما به طور کلی آنقدر خراب باشد که ارزش کافی برای فهرست Google ارائه ندهد. به عنوان مثال، سایتهایی که چیزی جز تبلیغات پویا ندارند، نظر کاربر را جلب نمی‌کنند. اگر نگران کیفیت سایت خود هستید، باید بررسی کنید که محتوایی که می‌نویسید در سایت‌های دیگر نباشد.

8. وب سایت شما هنوز جدید است و اثبات نشده است

وب سایت های جدید به سرعت در گوگل و دیگر موتورهای جستجو ایندکس نمی‌شوند. گوگل به پیوندها و سیگنال های دیگر نیاز دارد تا یک وب سایت را در نتایج جستجوی خود فهرست بندی و رتبه بندی کند. به همین دلیل است که ایجاد پیوند برای وب سایت های جدید بسیار مهم است.

9. زمان بارگذاری صفحه

اگر سایت شما دارای صفحاتی است که به آرامی بارگذاری می‌شوند، احتمالاً گوگل با گذشت زمان رتبه را کاهش می‌دهد و حتی می‌تواند از فهرست موتورهای جستجو خارج کند. برای بررسی زمان بارگذاری صفحه، می توانید از ابزار Google Speed Insights یا ابزار GTMetrix استفاده کنید.

10. صفحات بدون پیوند داخلی

Google وب سایت شما (و نقشه سایت XML) را برای یافتن لینک‌هایی به محتوای شما ، به روزرسانی نمایه آن و تأثیرگذاری بر رتبه سایت شما در نتایج جستجوی خود (در میان عوامل دیگر) ، خزیده است. اگر Google نتواند پیوندهایی به محتوای شما، چه در سایت شما و چه در یک سایت خارجی، پیدا کند، ممکن است ایندکس نشود. صفحات بدون پیوند داخلی می‌توانند بر روی ایندکس سایت تاثیر بگذارد. برای این کار می‌توانید Screaming Frog را بررسی کنید. و سپس URL های مورد نظر را جستجو کنید. این ابزار می‌تواند به شما این امکان را دهد که بلافاصله همه URL هایی را که در نقشه سایت XML شما گنجانده شده‌اند، اما در خزیدن کشف نشده‌اند، شناسایی کنید.

منبع

برچسب ها: