ایندکس کردن صفحات سایت

در واقع در این پست مشکلاتی را بیان خواهیم کرد، که مانع از ایندکس شدن URL ها در سایت شما و افت سایت شما از لحاظ سئو خواهد شد. در حالت ایده‌آل، با رشد سایت، تعداد صفحات ایندکس شده سایت شما به تدریج افزایش می یابد. در صورت مشاهده افت یا جهش، به بخش عیب یابی سرچ کنسول مراجعه کنید. هدف شما این است که کنونیکال هر صفحه مهم ایندکس شود. صفحات تکراری یا جایگزین نباید ایندکس شوند. داشتن یک صفحه با علامت تکراری یا جایگزین معمولاً چیز خوبی است. این بدان معناست که ما صفحه کنونیکال را پیدا کرده و آن را ایندکس کرده ایم. با ابزار  URL Inspection شما می توانید کنونیکال هر URL را پیدا کنید. بیایید دلایل بیشتری برای از دست دادن صفحات مشاهده کنیم:
 

• پوشش 100% url های سایت: شما نباید انتظار داشته باشید که همه URL های سایت شما ایندکس شوند، فقط صفحاتی که کنونیکال هستند باید در دستور کار شما برای ایندکس شدن قرار گیرند، همانطور که در بالا توضیح داده شد.
• ایندکس کردن فوری: وقتی محتوای جدیدی اضافه می کنیم، ممکن است چند روز طول بکشد تا گوگل آن را ایندکس کند. با درخواست ایندکس کردن شما می توانید تاخیر کرال کردن و ایندکس شدن صفحات را کاهش دهید.
• صفحات ایندکس نشده : صفحاتی ایندکس نمی شوند، اما نه لزوماً به دلیل خطا. با مطالعه توضیحات سرچ کنسول خواهیم دید چگونه باید به  یک صفحه رسیدگی کنیم تا ایندکس شود. 

Server error (5xx) 
سرور شما هنگام درخواست صفحه یک خطای 500 را به شما برمی گرداند.
 

Redirect error

گوگل یکی از خطاهای ریدایرکت را تشخیص داده است:
 

• وجود یک زنجیره ریدایرکت خیلی طولانی
• وجود یک حلقه ریدایرکت (ریدایرکت رفت و برگشت  دو url)
• وجود یک URL ارور دار یا خالی در زنجیره ریدایرکت

از ابزار تشخیص ارور مانند Lighthouse برای دریافت جزئیات بیشتردر مورد ریدایرکت استفاده کنید.
 

URL blocked by robots.txt
این صفحه توسط فایل ربات تی اکس تی سایت شما مسدود شده است. می‌توانید این موضوع را با استفاده از ابزار آزمایش‌ ربات تی اکس تی مشاهده کنید. توجه داشته باشید که وجود صفحه در ربات تی اکس تی تضمین نمی کند که صفحه سایت شما از طریق روش های دیگر ایندکس نمی شود.
اگر گوگل بتواند اطلاعات دیگری درباره این صفحه بدون خواندن آن پیدا کند، شانس کمی وجود دارد که این صفحه ایندکس شود. برای اطمینان از اینکه یک صفحه توسط گوگل ایندکس نمی شود، آن را از دستور ربات تی اکس تی بردارید و از دستورالعمل نو ایندکس 'noindex' استفاده کنید.
 
 

URL marked ‘noindex’
هنگامی که گوگل سعی کرد صفحه را ایندکس کند با دستورالعمل "noindex" مواجه می شود و بنابراین آن را ایندکس نمی کند. اگر نمی خواهید این صفحه ایندکس شود، به شما تبریک می گویم! اگر می خواهید این صفحه ایندکس شود، باید دستورالعمل 'noindex' را حذف کنید.
برای مطمئن شوید که این مسئله:
روی url inspection در سایدبار کناری سرچ کنسول کلیک کنید.
 Coverage > Indexing > Indexing allowed?
گزارش باید نشان دهد که تگ نو ایندکس از ایندکس شدن صفحات جلوگیری می کند. شما می توانید از طریق سورس های یک صفحه با سرچ کلمه "noindex" جستجو کنید و تگ نو ایندکس را پیدا کنید.
 
۳. مطمئن شوید که تگ noindex هنوز در سایت وجود دارد:

• روی تست URL کلیک کنید
• Availability > Indexing > Indexing allowed?

ببینید آیا دستورالعمل noindex هنوز شناسایی می شود یا خیر. اگر noindex  دیگر وجود ندارد، می‌توانید روی درخواست ایندکس کلیک کنید تا از گوگل بخواهید دوباره برای ایندکس کردن صفحه تلاش کند. اگر noindex هنوز وجود دارد، باید آن را حذف کنید تا صفحه ایندکس شود.

۴.اگر می خواهید این صفحه ایندکس شود، باید تگ یا هدر HTTP را حذف کنید.
 

Soft 404
در این حالت یک پیام کاربر پسند "یافت نشد" را نمایش می دهد، اما در واقع یک کد HTTP 404 را از سرور در پاسخ به درخواست شما برمیگرداند و نمایش می دهد.
 توصیه می‌کنیم اطلاعات بیشتری را در صفحه اضافه کنید تا به گوگل اطلاع دهید که این صفحه ارور ۴۰۴ سافت ندارد. و روی View tested page کلیک کنید تا اسکرین شاتی را ببینید که نشان می دهد گوگل چگونه صفحه را رندر می کند.
 
 

Blocked due to unauthorized request (401)
اگر می‌خواهید Googlebot بتواند این صفحه را کرال کند، یا الزامات مجوز برای این صفحه را حذف کنید، یا به Googlebot اجازه دهید با تأیید هویت به صفحات شما دسترسی داشته باشد. با مراجعه به صفحه در حالت ناشناس می توانید این خطا را تأیید کنید.
 

Not found (404)
گوگل این URL را بدون هیچ دریافت جواب صریحی از سایت یا موجود بودن در نقشه سایت کشف میکند. گوگل ممکن است URL را از طریق لینکی از صفحه دیگری کشف کرده باشد، یا احتمالاً صفحه قبلا وجود داشته و حذف شده است. Googlebot احتمالاً برای مدتی این URL را امتحان خواهد کرد. هیچ راهی وجود ندارد که به Googlebot بگوییم یک URL را برای همیشه فراموش کند، اگرچه کمتر و کمتر در آن می خزد. پاسخ 404 لزوماً مشکلی نیست، اگر صفحه بدون هیچ جایگزینی حذف شده باشد. اگر صفحه شما منتقل شده است، از ریدایرکت 301 به مکان جدید استفاده کنید. در این صورت رفع خطاهای 404 را می ببینید.
 

Blocked due to access forbidden (403)
 

HTTP 403 به این معنی است که برای ورود کاربر صفحه اعتبارسنجی طراحی شده است، اما Googlebot  هرگز اعتبارنامه را ارائه نمی دهد، بنابراین سرور شما این خطا را اشتباه برمی گرداند و صفحه ایندکس نمی شود.
 
اگر می‌خواهید Googlebot این صفحه را ایندکس کند، باید کاربرانی را که وارد سیستم نشده‌اند بپذیرید یا صریحاً به درخواست‌های Googlebot بدون احراز هویت اجازه دهید (اگرچه باید هویت آن را تایید کنید).

URL blocked due to other 4xx issue
 

سرور با یک خطای 4xx مواجه شد که توسط هیچ نوع مشکل دیگری که در اینجا توضیح داده شده پوشش داده نشده است. سعی کنید صفحه خود را با استفاده از ابزار URL Inspection اشکال زدایی کنید.
 
خزیده شده - در حال حاضر نمایه نشده است
Crawled - currently not indexed
این صفحه توسط گوگل خریده شد اما ایندکس نشده است، ممکن است در آینده ایندکس شود یا نشود. نیازی به ارسال مجدد این URL برای خزیدن نیست.

کشف شده - در حال حاضر نمایه نشده است
Discovered - currently not indexed
این صفحه توسط گوگل پیدا شد، اما هنوز خزیده انجام نشده است. به طور معمول، گوگل می‌خواست URL را بخزد، اما انتظار می‌رفت اطلاعات بیشتری را از سایت بارگذاری کند، بنابراین گوگل خزیدن را دوباره برنامه ریزی کرده است. به همین دلیل است که آخرین تاریخ خزیدن در گزارش سرچ کنسول خالی قید شده است.
 

صفحه جایگزین با برچسب متعارف مناسب
Alternate page with proper canonical tag
این صفحه به عنوان جایگزین صفحه دیگری (یعنی یک صفحه به یک صفحه دیگر کنونیکال شده است) علامت گذاری شده است. این صفحه به درستی به صفحه کنونیکال اشاره می کند که ایندکس شده است، بنابراین شما نیازی به انجام کاری ندارید.
 

محتوا تکراری بدون تگ کنونیکال به صفحه دیگر
Duplicate without user-selected canonical
این صفحه تکراری از صفحه دیگری است و یک صفحه کنونیکال ترجیحی را نمایش نمی دهد. گوگل صفحه دیگری را به عنوان صفحه که کنونیکال به این صفحه شده است برای این صفحه انتخاب کرده است، بنابراین این صفحه در جستجو ارائه نخواهد داد. می توانید این URL را بررسی کنید تا ببینید گوگل کدام URL را برای این صفحه کنونیکال می داند.
این مورد یک خطا نیست، اما همانطور که در نظر گرفته شده کار می کند، زیرا گوگل صفحات تکراری را ارائه نمی دهد. با این حال، اگر فکر می‌کنید که گوگل URL اشتباهی را به‌عنوان کنونیکال انتخاب کرده است، می‌توانید به صراحت این صفحه را به درستی کنونیکال کنید.
اگر این URL را در گزارش بازرسی URL مشاهده می کنید، اطلاعات نمایه شده برای URL آزمایش شده اعمال می شود (با نادیده گرفتن هرگونه تغییر مسیر). برای مشاهده وضعیت نمایه URL متعارف مرتبط با این URL (نشانی اینترنتی که در فهرست Google است)، روی دکمه INSPECT در قسمت نمایه سازی صفحه > نمایه سازی گزارش کلیک کنید.
 
تست بازرسی URL زنده پس از تغییر مسیرها و سپس آزمایش URL نهایی انجام می شود، اگرچه آزمایش زنده نشان نمی دهد که در حال دنبال کردن یک تغییر مسیر است.