اگر در ابزار URL Inspection سرچ کنسول عبارت URL is not on Google را می‌بینید، یعنی این URL در حال حاضر در ایندکس گوگل قرار ندارد و نمی‌تواند از طریق نتایج جست‌وجوی گوگل نمایش داده شود. اما خود این پیام مشخص نمی‌کند چرا صفحه ایندکس نشده است. برای فهمیدن علت باید بخش Page indexing را بررسی کنید.
بنابراین دیدن این پیام به‌تنهایی به معنی خراب بودن صفحه نیست. ممکن است فقط چند ساعت از انتشار آن گذشته باشد، ممکن است گوگل هنوز صفحه را پیدا نکرده باشد، یا حتی صفحه را کراول کرده ولی فعلا تصمیم به ایندکس آن نگرفته باشد. در ادامه این مطلب از وبسایت ایده پرداز همراه ما بمانید تا سناریوهای مختلف را با هم بررسی کنیم.
سناریوی اول: صفحه را تازه منتشر کرده‌اید
اگر صفحه جدید است و بلافاصله بعد از انتشار در URL Inspection عبارت URL is not on Google را می‌بینید، لزوما مشکلی وجود ندارد. اول باید ببینید گوگل اصلا URL را پیدا کرده یا نه. اگر در بخش Discovery، Sitemap یا Referring page اطلاعاتی وجود ندارد و Last crawl هم خالی است، احتمالا گوگل هنوز URL را کراول نکرده است.
در این وضعیت، وجود URL در Sitemap، لینک داخلی مناسب و در صورت نیاز استفاده از Request Indexing منطقی است. اما درخواست ایندکس تضمین نمی‌کند که صفحه حتما ایندکس شود. پس برای یک صفحه تازه منتشرشده، صرفا دیدن این پیام دلیل کافی برای دستکاری محتوا یا تنظیمات فنی نیست.
سناریوی دوم: صفحه مدت زیادی است همین وضعیت را دارد
اگر چند روز یا مدت قابل‌توجهی گذشته و صفحه همچنان URL is not on Google است، دیگر نباید فقط منتظر بمانید.
در این حالت مهم‌ترین کار این است که به Page indexing بروید و ببینید گوگل دقیقا چه چیزی گزارش کرده است. گوگل در این بخش اطلاعاتی مثل Discovery، Crawl، وضعیت دسترسی به صفحه و Canonical را نشان می‌دهد.
از اینجا چند سناریوی مختلف ممکن است داشته باشید.
سناریو: URL هنوز برای گوگل ناشناخته است
اگر در بخش Discovery چیزی مثل URL is unknown to Google می‌بینید و اطلاعاتی از Sitemap یا Referring page وجود ندارد، مسئله می‌تواند ساده باشد: گوگل هنوز این URL را پیدا نکرده است. در این حالت اول بررسی کنید صفحه داخل Sitemap قرار دارد و از صفحات مرتبط سایت هم لینک داخلی گرفته است.
اگر URL مهم است، می‌توانید با URL Inspection یک Request Indexing هم ثبت کنید. با این حال، درخواست دستی را نباید به‌عنوان راه‌حل قطعی ایندکس شدن در نظر گرفت. اگر پس از مدتی درخواست دستی شما توسط گوگل بررسی نشد، مشکل کمی جدی‌تر می‌شود.
در چنین شرایطی باید ابتدا وضعیت کراول باجت توسط دیجیتال مارکتر بررسی شود. اما اگر وبسایت شما تعداد صفحات زیادی ندارد، مثلا حتی 5000 صفحه هم ندارید، دیگر مسئله کرال باجت مطرح نیست. در چنین شرایطی ابتدا باید بررسی شود که خطای Blocked by robots.txt نداشته باشیم.
اگر در فایل robots.txt هم مشکل هم وجود نداشت، پس احتمالا گوگل صفحه شما را کم اهمیت می‌داند و آن را کراول نمی‌کند. در این صورت حتی با تغییر محتوا نمی‌توانید صفحه خود را ایندکس کنید و تنها چاره این است که به مرور زمان با لینکسازی گوگل را وادار به کرال کنید. در این رابطه می‌توانید آموزش ساخت لینک رایگان را مطالعه کرده تا اطلاعات بیشتری به‌دست آورید.
سناریو: Discovered – currently not indexed
گاهی گوگل URL را پیدا کرده، اما هنوز آن را کراول نکرده است.
در این حالت معمولا عبارت Discovered – currently not indexed را می‌بینید. یعنی گوگل URL را می‌شناسد، اما هنوز آن را در مرحله‌ای قرار نداده که وارد ایندکس شود. برای یک صفحه تازه یا سایتی که تعداد صفحات کمی دارد، ممکن است این وضعیت موقتی باشد. اما اگر صفحه مهم است و مدت زیادی در این حالت مانده، باید به عواملی مثل لینک‌های داخلی، معماری سایت و ارزش واقعی صفحه توجه کنید.
سناریو: Crawled – currently not indexed
این حالت برای بسیاری از افراد پیش می‌آید. اینجا گوگل صفحه را کراول کرده، اما بعد از بررسی آن را وارد ایندکس نکرده است. در این شرایط مشکل دیگر صرفا این نیست که گوگل صفحه را ندیده باشد. بلکه باید خود صفحه را بررسی کنید.
در نظر بگیرید که چندین ساعت پس از کراول صفحه، ممکن است همچنان در حالت Crawled- Currently not indexed باقی بماند. اگر پس از مدتی همچنان صفحه ایندکس نشود، مهم‌ترین چیزهایی که باید بررسی شوند عبارت‌اند از:
محتوای ضعیف یا کم‌ارزش، شباهت زیاد با صفحات دیگر سایت، تکراری بودن محتوا، هدف جست‌وجوی نامشخص و انتخاب Canonical نامناسب.
در چنین وضعیتی صرفا فرستادن دوباره Request Indexing معمولا راه‌حل اصلی نیست؛ ابتدا باید ببینید چرا صفحه بعد از Crawl وارد Index نشده است.
سناریو صفحه Noindex
ممکن است صفحه کاملا در دسترس باشد، اما در HTML آن دستور noindex وجود داشته باشد. در این حالت گوگل صفحه را می‌تواند ببیند، اما شما صراحتا به آن گفته‌اید که صفحه را در نتایج جست‌وجو قرار ندهد.
اگر چنین صفحه‌ای باید در گوگل نمایش داده شود، باید noindex را حذف کنید و بعد وضعیت را دوباره در URL Inspection بررسی کنید. نکته مهم این است که robots.txt و noindex یک چیز نیستند. Robots.txt روی دسترسی خزنده به URL تأثیر می‌گذارد، در حالی که noindex مستقیما به ایندکس شدن مربوط است. بنابراین نباید صرفا با دیدن URL is not on Google فرض کنید علت حتما noindex است.
مشکل Canonical
گاهی صفحه شما برای ایندکس شدن قابل دسترسی است، اما گوگل URL دیگری را به‌عنوان نسخه اصلی انتخاب کرده است.
در URL Inspection می‌توانید تفاوت User-declared canonical و Google-selected canonical را بررسی کنید. اگر URL نسخه اصلی تشخیص داده نشود و صفحه نسخه‌ای مشابه صفحه دیگری باشد، ممکن است گوگل نسخه دیگری را به‌عنوان Canonical انتخاب کند.
این حالت مخصوصا زمانی مهم است که چند صفحه تقریبا محتوای یکسان دارند یا Canonical اشتباه تنظیم شده است. در این شرایط تغییرات بی‌دلیل در محتوا یا درخواست‌های مکرر ایندکس فایده‌ای ندارد؛ باید مشخص شود چرا گوگل URL دیگری را ترجیح داده است.
صفحه خطای فنی دارد
گاهی علت URL is not on Google کاملا فنی است.
مثلا صفحه ممکن است هنگام Crawl با خطای ۴۰۴ یا ۵xx مواجه شده باشد یا سرور نتواند محتوای صفحه را به‌درستی در اختیار Googlebot قرار دهد. حتما باید مشکلات هاست خود را بررسی کرده و با استفاده از ابزارهای تست سرعت سایت، مطمئن شوید که سایت شما از این نظر عملکرد مناسبی دارد. در URL Inspection، بخش Page fetch و وضعیت Crawl برای همین منظور اهمیت دارد. در صورت نیاز هم می‌توانید از Test Live URL برای بررسی وضعیت فعلی صفحه استفاده کنید.
بنابراین اگر Page fetch موفق نیست، قبل از هر کاری باید مشکل فنی را برطرف کنید. به این منظور پیشنهاد می‌شود که حتما مطلب آموزش سرچ کنسول گوگل را بخوانید.
بعد از رفع مشکل چه کار کنیم؟
بعد از اینکه علت مشخص و اصلاح شد، دوباره Test Live URL را اجرا کنید تا ببینید نسخه فعلی صفحه از دید گوگل قابل دسترسی و ایندکس شدن هست یا نه.
اگر مشکل برطرف شده باشد، می‌توانید Request Indexing را ارسال کنید.
اما یادتان باشد که Request Indexing فقط یک درخواست است؛ به این معنی نیست که گوگل حتما صفحه را در همان لحظه یا حتی حتما در نهایت وارد ایندکس می‌کند.
در نهایت، اول علت را پیدا کنید
عبارت URL is not on Google خودش یک خطای مشخص نیست؛ یک وضعیت است.
اگر صفحه تازه منتشر شده، ممکن است فقط نیاز به زمان داشته باشد. اگر گوگل هنوز URL را پیدا نکرده، باید روی کشف URL و لینک داخلی تمرکز کنید. اگر صفحه Crawl شده ولی ایندکس نشده، باید کیفیت، تکراری بودن و Canonical را بررسی کنید. و اگر Crawl یا Indexing به دلیل فنی متوقف شده، اول باید همان مانع را برطرف کنید.
به همین دلیل، دیدن URL is not on Google به‌تنهایی نباید باعث شود فورا صفحه را ویرایش کنید یا چند بار پشت سر هم درخواست ایندکس بفرستید؛ دلیل زیر همین پیام است که مشخص می‌کند واقعا چه کاری باید انجام دهید. اگر به این دست از آموزش‌ها علاقمند هستید، حتما سایر مقالات وبسایت ایده پرداز را هم مطالعه کنید.
