خطای ۴۰۴ soft چیست و چطور آن را برطرف کنیم؟

یکی از مراحل سئو فنی، یافتن و رفع خطاهای نرم ۴۰۴ یا همان soft 404 است. خطاهای Soft 404 می تواند بسیار گیج کننده باشد زیرا در بسیاری از موارد مشخص نیست که چه مسئله ای وجود دارد و این امر باعث عیب یابی و رفع آن می شود و به صورت کلی، یک روند دشوار بوده است.

خطای نرم ۴۰۴ چیست؟ what is a soft 404 error

خطای نرم ۴۰۴ هنگامی رخ می دهد که صفحه ای توسط کاربر درخواست نشده باشد یا نامعتبر باشد و سرور به جای برگرداندن کد خطای HTTP صحیح (۴۰۴ یا ۴۱۰ یافت نشد) ، کد وضعیت HTTP 200 را برمی گرداند (موفقیت).

با کلمات ساده تر، این بدان معنی است که با وجود نامعتبر بودن صفحه، به جای اینکه کد خطای صحیح را به موتورهای جستجو بدهید تا آنها آن را نادیده بگیرند، سرور شما یک کد ۲۰۰ یعنی کد تأیید را برمی گرداند.در نتیجه، موتورهای جستجو همچنان این صفحات را مورد خزش قرار می دهد و آنها را در نتایج جستجو لیست می کند.

خطاهای نرم ۴۰۴ معمولاً زمانی اتفاق می افتند که:

شما صفحاتی با محتوای کم یا بدون محتوا دارید. این باعث می شود گوگل تصور کند که این صفحه باید یک کد ۴۰۴/۴۱۰ و نه یک کد ۲۰۰ خوب برگرداند. مثال چنین خطاهایی، صفحات خالی تگ بوده که هیچ محتوایی را نمایش نمی دهد.

در اینجا یک موضوع موقتی برای خزیدن وجود دارد. وقتی گوگل سعی می کند صفحه ای را مورد خزش قرار دهد، برخی از منابع صفحه (CSS ، JS) لود نمی شوند و در نتیجه، صفحه بدون محتوا به نمایش در می آید که این امر موجب می شود گوگل فکر کند خطای ۴۰۴ اتفاق افتاده است. گوگل به دروغ یک صفحه را به عنوان “به نظر می رسد ۴۰۴ باشد” علامت گذاری می کند در حالی که هیچ مشکلی در صفحه وجود ندارد.
چه چیزی برای رفع soft 404 errors مهم است؟

به دلایل زیر می توانید خطای soft 404 را پیدا نمایید و به رفع آن بپردازید:

این یک عمل بد است

یک صفحه باید کد وضعیت HTTP صحیح را برگرداند. در صورت گم شدن، نامعتبر بودن یا غیرمجاز بودن صفحات، باید کد۴۰۴/۴۱۰ (یافت نشد) یا ۳۰۱ (منتقل شده) ارائه شود که در این حالت کد ۲۰۰ (کد موفقیت) برگردانده می شود.

این یک تجربه کاربری بد است

شما نمی خواهید کاربران روی پیوندی از نتایج موتور جستجو کلیک کنند و در صفحه ای از وب سایت شما قرار بگیرند که دارای محتوای کم یا بدون محتوا است. همانطور که میدانید چنین محتوایی برای کاربران هیچ ارزشی ندارد.

بودجه خزیدن شما هدر می رود

موتورهای جستجو به جای صرف وقت برای خزیدن در صفحات مهم خود، وقت خود را صرف خزیدن و ایندکس کردن صفحات با خطای نرم ۴۰۴ می کنند.

چه تفاوتی بین خطاهای ۴۰۴ Not Found و soft 404 وجود دارد؟

تفاوت بین خطاهای ۴۰۴ (پیدا نشده) و خطای نرم ۴۰۴ در این است که در مورد خطاهای ۴۰۴ (not found) صفحه پیدا نشده است و کد وضعیت HTTP برگردانده شده کد ۴۰۴ یا ۴۱۰ است (که به درستی با یافتن آن مطابقت دارد). در صورتی که خطای نرم ۴۰۴، صفحه پیدا نمی شود اما به جای بازگرداندن کد وضعیت HTTP 404 ، صفحه کد موفقیت ۲۰۰ را برمی گرداند و این گمراه کننده است. به عبارت ساده، برای هر دو مورد، کد پاسخ صفحه باید ۴۰۴ باشد، اما در مورد خطاهای نرم ۴۰۴ اینگونه نیست.

تفاوت عمده دیگر این است که در خطای،۴۰۴ صفحه توسط موتورهای جستجو ایندکس نمی شوند و در نتایج جستجو نشان داده نمی شوند اما خطای نرم ۴۰۴، توسط موتورهای جستجو index می شوند و حتی ممکن است در نتایج جستجو ظاهر شوند.
خطاهای ۴۰۴ و سئو

آیا خطاهای ۴۰۴ بر SEO و پتانسیل رتبه بندی شما تأثیر می گذارد؟ البته این مورد مانند موارد دیگر سئویی نیز، بستگی دارد. موارد معتبری وجود دارد که اعلام می کند خطای ۴۰۴ همانی است که انتظار می رود. به عنوان مثال، وقتی کالایی دیگر در دسترس نیست، می توانید صفحه ۴۰۴ را به کاربران نمایش دهید تا به آن ها بگویید که محصول خاص برای همیشه از بین رفته است.

مثال دیگر، زمانی است که می خواهید یک صفحه را به طور کامل از نتایج جستجو حذف کنید. با بازگرداندن یک کد وضعیت ۴۰۴ ، به موتورهای جستجو می گویید که صفحه برای همیشه حذف شده است. وقتی صحبت از خطاهای نرم ۴۰۴ می شود، این موارد می تواند پیچیده تر باشد، زیرا مواردی وجود دارد که صفحه معتبر بوده اما گوگل فکر می کند که اینگونه نیست و سرور شما کد ۲۰۰ یعنی تأیید را ارسال می کند. در این موارد، بهتر است دلیل وقوع خطاها را بررسی کنید و آنها را برطرف کنید. به عنوان یک قاعده کلی، برای بهینه سازی بودجه خزیدن (crawl budget) ، از داشتن خطاهای ۴۰۴ در سایت خود جلوگیری بعمل آورید و از گیج کردن موتورهای جستجو خودداری کنید و تجربه کاربری خوبی را به کاربران ارائه دهید.

چگونه خطاهای نرم ۴۰۴ را پیدا کنیم؟

قابل اطمینان ترین راه برای یافتن خطاهای ۴۰۴ (۴۰۴ مورد یافت نشد و خطاهای نرم ۴۰۴) از طریق کنسول جستجوی گوگل (search console) بوده که در بخش اختصاصی coverage report و URL Inspection میتوانید به این مورد رسیدگی نمایید.

گزارش Coverage

– در ابتدا در سرچ کنسول لاگین کنید.
– سپس، بر روی گزینه coverage که در زیر فیلد index بوده بروید و گزارش coverage را مشاهده نمایید.

مطمئن شوید که برگه ERROR انتخاب شده است و به دنبال موارد زیر باشید:

– آدرس ارسالی به نظر می رسد خطای نرم ۴۰۴ باشد
– نرم ۴۰۴ (soft 404)
– یافت نشد (۴۰۴)

برای دریافت جزئیات بیشتر در مورد صفحات مشکل دار، روی توضیحات خطا کلیک کنید.

ابزار URL Inspection

روش دیگر برای یافتن کد پاسخ وضعیت HTTP، استفاده از ابزار URL Inspection است.

– آدرس URL را در ابزار بازرسی URL وارد کرده و enter را بزنید.
– روی VIEW CRAWLED PAGE و سپس اطلاعات بیشتر کلیک کنید.
– پاسخ HTTP را همانطور که در تصویر بالا نشان داده شده است مشاهده خواهید کرد

آدرس ارسالی به نظر می رسد soft 404 error است.

بل از اینکه یک صفحه توسط گوگل، به عنوان Soft 404 مشخص شود، ابتدا به عنوان “URL ارسال شده به نظر می رسد ۴۰۴ نرم” باشد، به نمایش در می آید. این کار به این دلیل انجام می شود که بعضی اوقات خطاهای نرم ۴۰۴ موقتی بوده اند، بنابراین قبل از اینکه Google تصمیم نهایی را بگیرد، ابتدا صفحات را به عنوان “به نظر می رسد نرم ۴۰۴ است” علامت گذاری می کند و اگر این مسئله پایدار باشد، به عنوان Soft 404 علامت گذاری می شود.

وقتی به نظر می رسد یک صفحه به عنوان URL ارسال شده ۴۰۴ نرم افزاری در برگه ERROR علامت گذاری شده است ، به این معنی است که اگر صفحه دوباره آنلاین شود، Google سعی می کند صفحه را مورد خزش قرار دهد و وضعیت آن را تغییر دهد.

وقتی صفحه ای در SOFT 404 در برگه EXCLUDED نشان داده می شود، به این معنی است که Google دیگر سعی نمی کند این صفحه را فهرست کند زیرا این صفحه پیدا نشده است یا با استفاده از دستورالعمل صفحه NOINDEX از نسخه خارج شده است.

چگونه خطاهای Soft 404 را برطرف کنیم؟

ابزارهای خزنده، خطای نرم ۴۰۴ را تشخیص نمی دهند زیرا در واقع، خطای ۴۰۴ نیستند؛ اما شما می توانید از ابزارهای خزنده برای تشخیص موارد دیگری که در ادامه آورده شده است، استفاده نمایید.

محتوای نازک (Thin Content): برخی از ابزارهای خزنده نه تنها صفحاتی را که محتوای نازک دارند گزارش می کنند، بلکه تعداد کل کلمات را نیز نشان می دهند. از آنجا می توانید URL ها را بر اساس تعداد کلمات محتوای خود مرتب کنید. با صفحاتی شروع کنید که حداقل کلمات را دارند و بررسی کنید که آیا محتوای صفحه کم است.

محتوای تکراری (Duplicate Content): برخی از ابزارهای خزنده به اندازه کافی پیشرفته هستند که می توانند چند درصد از صفحه را محتوای الگو تشخیص دهند. اگر محتوای اصلی تقریباً مشابه بسیاری از صفحات دیگر است، باید به این صفحات مراجعه کرده و دلیل وجود محتوای تکراری را در سایت خود مشخص کنید.

جدا از ابزارهای خزنده، می توانید از Google Search Console استفاده کرده و خطاهای خزنده را بررسی کنید تا صفحاتی را که در نرم افزار ۴۰۴ ذکر شده اند، پیدا کنید. خزیدن در یک سایت کامل برای یافتن مشکلاتی که باعث ایجاد نرم افزار ۴۰۴ می شوند، به شما این امکان را می دهد که مشکلات را قبل از اینکه Google حتی آنها را شناسایی کند، شناسایی و اصلاح کنید.

به نظر می رسد بیشتر اوقات، استفاده از راه حل ساده مانند گسترش صفحات با محتوای نازک یا جایگزینی محتوای تکراری با مطالب جدید و منحصر به فرد، یکی از این موارد باشد. در طول این فرآیند، مواردی وجود دارد که باید در نظر بگیرید:

تلفیق صفحات (Consolidate Pages): گاهی اوقات محتوای نازک به دلیل خاص بودن بیش از حد در مورد موضوع صفحه ایجاد می شود که می تواند حرف کمی برای شما باقی بگذارد. در صورت مرتبط بودن موضوعات، ادغام چندین صفحه نازک در یک صفحه می تواند مناسب تر باشد. این نه تنها مشکلات محتوای نازک را حل می کند، بلکه می تواند مسائل محتوای تکراری را نیز برطرف کند. به عنوان مثال، یک سایت تجارت الکترونیکی که کفش هایی را می فروشد که در رنگ ها و اندازه های مختلف هستند، ممکن است برای هر اندازه و ترکیب رنگی URL متفاوتی داشته باشد. تعداد زیادی صفحه با محتوای نازک و نسبتاً یکسان باقی می ماند. روش موثرتر اینست که همه اینها را در یک صفحه قرار دهید و گزینه های موجود را برشمارید.

موارد فنی را که باعث تکرار محتوا می شوند پیدا کنید: حتی با استفاده از ساده ترین ابزار خزنده وب مانند Xenu (که به محتوا نگاه نمیکند و فقط به آدرس های اینترنتی توجه دارد و به کدهای پاسخ و برچسب های عنوان هم نگاه نمی کند) ، با مشاهده URL ها همچنان می توانید موارد محتوای تکراری را پیدا کنید. این شامل مواردی مانند www در مقابل URL های غیر www ، http و https ، با index.html و بدون www ، با پارامترهای ردیابی و غیره است.