چگونه با رفع مشکلات محتوای تکراری سئوی سایت خود را بهبود بخشید؟

برای بهبود سئوی سایت و گرفتن رتبه بهتر، باید از شر محتوای تکراری خلاص بشید. این مشکل حسابی موتورهای جستجو رو سردرگم می کنه و اجازه نمیده سایت شما اونجوری که باید و شاید دیده بشه. با استفاده درست از راهکارهایی مثل تگ کنونیکال و ریدایرکت 301، می تونید این مشکل رو حل کنید و سایتتون رو به اوج ببرید!

اصلا چرا باید نگران محتوای تکراری باشیم؟ فرض کنید شما کلی زحمت کشیدید، وقت گذاشتید و محتوای باکیفیت تولید کردید، اما سایتتون اونطور که انتظار دارید در نتایج گوگل بالا نمیاد. یکی از دلایل اصلی این اتفاق می تونه همین محتوای تکراری یا به قول فرنگی ها Duplicate Content باشه. خیلی از وب مسترها و صاحبان سایت شاید اصلا ندونن که دارن این مشکل رو تجربه می کنن یا فکر کنن چیز مهمی نیست، در حالی که این یه چالش جدی برای سئوی سایت محسوب میشه و اگه بهش بی توجهی کنید، ممکنه کلی از فرصت های خوب رو از دست بدید.

قراره تو این مقاله، بهتون بگیم محتوای تکراری چیه، چه بلاهایی سر سئوی سایتتون میاره، چطور پیداش کنید و از همه مهم تر، چطوری این مشکل رو برای همیشه حل کنید تا سایتتون تو گوگل بدرخشه و ترافیک بیشتری جذب کنه. آماده اید یه نفس راحت بکشید و سایتتون رو از این دردسر نجات بدید؟ پس بزن بریم!

محتوای تکراری (Duplicate Content) چیست؟ درک دقیق مشکل

اگه بخوایم خیلی ساده و خودمونی بگیم، محتوای تکراری یعنی یه محتوا یا یه تیکه از محتوا که تو چند تا آدرس اینترنتی (URL) متفاوت، چه تو یه سایت خودتون، چه تو سایت های دیگه، ظاهر بشه. فکر کنید یه متن رو نوشتید و تو دو تا صفحه از سایتتون منتشر شده، یا حتی قسمتی از توضیحات محصولتون رو از سایت تولیدکننده کپی کردید و دقیقا همون تو سایت های دیگه هم هست. همه این ها میشن محتوای تکراری.

تعریف ساده و دوستانه Duplicate Content

تصور کنید یه مغازه دارید و یه جنس رو تو دو تا قفسه مختلف گذاشتید، با دو تا قیمت متفاوت یا حتی با یه قیمت. مشتری ها گیج میشن، نمیدونن کدوم رو بردارن. گوگل هم تقریبا همینطوره. وقتی محتوای تکراری می بینه، نمیدونه کدوم صفحه رو باید به کاربر نشون بده، چون محتواش که یکیه! پس قضیه دقیقا همینه، یه محتوای یکسان یا خیلی شبیه به هم که از چند تا آدرس مختلف در دسترسه. این می تونه یه پاراگراف، یه عکس، یه ویدیو یا حتی کل یه صفحه باشه.

محتوای کپی شده با محتوای تکراری چه فرقی داره؟

حالا که فهمیدیم محتوای تکراری چیست، باید یه نکته مهم رو هم بدونیم. خیلی ها فکر می کنن محتوای تکراری همون محتوای کپی شده ست، در حالی که این دوتا با هم فرق دارن.

• محتوای کپی شده (Copied Content): این یعنی شما یا یکی دیگه، یه محتوا رو از سایت دیگه عینا کپی کرده. مثلا یه سایت یه مقاله نوشته و شما بدون هیچ تغییری همون رو تو سایت خودتون گذاشتید. این کار از نظر گوگل اصلا خوب نیست و می تونه منجر به جریمه های سنگین (مثل پنالتی گوگل پاندا) بشه، چون نوعی سرقت ادبی محسوب میشه.
• محتوای تکراری (Duplicate Content): این بیشتر وقتا ناخواسته اتفاق می افته و معمولا هم تو یه سایت خودتون دیده میشه. مثلا به خاطر تنظیمات اشتباه سایت، یه صفحه با دو تا آدرس مختلف بالا میاد، یا صفحات دسته بندی و آرشیو محتوای مشابهی با پست های اصلی دارن. گوگل ممکنه برای این مورد شما رو جریمه نکنه، اما قطعا گیج میشه و نمی تونه تصمیم بگیره کدوم صفحه شما رو رتبه بده، که نتیجه اش همون آسیب به سئو هست.

پس حواستون باشه، محتوای تکراری لزوما جرم نیست، اما می تونه مثل یه سنگ بزرگ جلوی پای سئوی سایتتون باشه. اما محتوای کپی شده، رسما یه عمل غیر اخلاقیه و ممکنه سایتتون رو از گردونه رقابت خارج کنه.

چرا محتوای تکراری برای سئوی سایتتون سمّه؟ (اثرات مخرب)

شاید فکر کنید خب چه اشکالی داره چند صفحه محتوای شبیه به هم داشته باشم؟ نهایتا گوگل یکیش رو نشون میده دیگه! اما قضیه به این سادگی ها نیست. محتوای تکراری می تونه مثل یه سم آهسته عمل کنه و ریشه سئوی سایتتون رو بخشکونه. بذارید چند تا از مهم ترین اثرات مخربش رو بهتون بگم تا حسابی حواستون جمع باشه.

بودجه خزش (Crawl Budget)؛ یه وقت هدر نره!

ربات های گوگل یه بودجه مشخص برای خزش (Crawl) و گشت و گذار تو سایت شما دارن. یعنی تو یه بازه زمانی مشخص، فقط میتونن تعداد محدودی از صفحات رو بررسی کنن. وقتی کلی صفحه با محتوای تکراری دارید، این ربات ها مجبور میشن وقت و بودجه شون رو صرف خزش این صفحات بی ارزش کنن. نتیجه؟ صفحات مهم و جدید سایتتون دیرتر ایندکس میشن یا اصلا ایندکس نمیشن! این مثل اینه که پولتون رو به جای خرید طلا، تو بانک بذارید و هر روز ازش کم بشه!

ایندکس نشدن صفحات و مخفی شدن سایتتون

گوگل دوست داره بهترین و منحصربه فردترین محتوا رو به کاربرهاش نشون بده. وقتی با چندین نسخه از یه محتوا روبه رو میشه، نمیدونه کدوم یکی رو باید تو نتایج جستجو ایندکس کنه. خیلی وقتا تصمیم میگیره که یکی از این صفحات رو انتخاب کنه و بقیه رو اصلا تو نتایج نشون نده. یعنی چی؟ یعنی ممکنه صفحه اصلی و مهم شما اصلا تو نتایج نیاد و ترافیک ارگانیکتون به شدت کم بشه. فکر کنید یه جنس عالی دارید، اما هیچ کس از وجودش خبر نداره!

سردرگمی گوگل و بلاتکلیفی در رتبه بندی

یکی از بدترین اتفاق ها اینه که گوگل نمیدونه کدوم یکی از صفحات تکراری شما رو رتبه بده. وقتی این اتفاق میفته، ممکنه هیچ کدوم از اون صفحات رتبه خوبی نگیرن و اعتبارشون بین خودشون تقسیم بشه. اینجوری حتی اگه محتوای خوبی هم داشته باشید، به خاطر مشکل محتوای تکراری، رقابت رو به بقیه میبازید. گوگل مثل یه معلم سخت گیره که از تقلب متنفره، حتی اگه تقلب ناخواسته باشه!

از دست رفتن اعتبار لینک ها (Link Equity)

لینک ها مثل رای های اعتماد به سایت شما هستن. وقتی سایت های دیگه به شما لینک میدن، در واقع دارن بهتون اعتبار میدن. حالا اگه دو سه تا صفحه با محتوای تکراری داشته باشید و این لینک ها بین این صفحات تقسیم بشن، قدرت و اعتبار هر کدوم از این صفحات کم میشه. مثل اینه که به جای اینکه یه نفر همه پولش رو به یه نفر بده، پولش رو بین چند نفر تقسیم کنه، قدرت هیچ کدوم بالا نمیره.

ترافیک و فروش کمتر؛ کابوس هر کسب وکار آنلاین

همه این مشکلاتی که گفتیم، تهش به یه چیز ختم میشه: ترافیک کمتر و در نتیجه فروش کمتر. اگه سایتتون دیده نشه، اگه تو نتایج گوگل بالا نیاد، چطور می خواید مشتری جذب کنید؟ محتوای تکراری مستقیم روی درآمد شما تاثیر میذاره و می تونه کلی از فرصت های طلایی رو ازتون بگیره.

تجربه کاربری بد یعنی خداحافظی با مشتری

کاربر وقتی تو سایت شما میاد و با محتوای تکراری مواجه میشه، حس بدی بهش دست میده. ممکنه فکر کنه سایت شما کیفیت نداره یا اصلا حرفه ای نیست. این موضوع روی تجربه کاربری تاثیر منفی میذاره و باعث میشه کاربرها سریع سایت رو ترک کنن و دیگه برنگردن. یادتون باشه، کاربر پادشاهه!

کنیبالیزیشن (Keyword Cannibalization)؛ وقتی صفحاتتون با هم رقابت می کنن!

این یکی هم از اون مشکلای رایجه که اغلب با محتوای تکراری دست به دست هم میدن. کنیبالیزیشن کلمات کلیدی یعنی دو یا چند صفحه از سایت شما برای یک کلمه کلیدی مشخص با هم رقابت کنن. مثلا شما برای کلمه خرید گوشی سامسونگ دو تا مقاله یا صفحه محصول متفاوت دارید که هر دو میخوان برای همین کلمه تو گوگل رتبه بگیرن. اینجوری گوگل گیج میشه و نمیدونه کدوم رو نشون بده، در نتیجه ممکنه هیچ کدومشون رتبه خوبی نگیرن. محتوای تکراری خیلی وقتا باعث میشه این کنیبالیزیشن اتفاق بیفته، چون محتوای شبیه به هم، گوگل رو متقاعد می کنه که این صفحات دارن برای یک چیز رقابت می کنن.

از کجا معلومه محتوای تکراری تو سایت ما پیدا میشه؟ (دلایل رایج)

حالا که متوجه شدید محتوای تکراری چقدر می تونه برای سئوی سایتتون مضر باشه، حتما دلتون میخواد بدونید اصلا این مشکل از کجا میاد و چرا به وجود میاد؟ بیشتر وقتا، دلایل ایجاد محتوای تکراری ناخواسته هستن و از اشتباهات فنی یا ساختاری سایت سرچشمه می گیرن. بیاین با هم این دلایل رو بررسی کنیم.

دلایل فنی و ساختاری که بیشتر ازشون غافل می شیم

• پارامترهای URL: این یکی از رایج ترین دلایله! مثلا وقتی تو یه فروشگاه آنلاین، محصولات رو بر اساس رنگ، سایز یا قیمت فیلتر می کنید، یه سری پارامتر به آدرس صفحه اضافه میشه (مثلا:

  www.mysite.com/products?color=red&size=large

  ). این آدرس، یه صفحه جدا حساب میشه، در حالی که محتواش همون صفحه اصلی محصوله.

• نسخه های HTTP و HTTPS یا WWW و بدون WWW: اگه سایتتون هم با

  http://

  و هم با

  https://

  در دسترس باشه و به درستی ریدایرکت 301 نشده باشه، یا هم با

  www.

  و هم بدون

  www.

  باز بشه، گوگل این ها رو صفحات جداگونه با محتوای تکراری میبینه.

• نسخه های موبایل، چاپی یا AMP: اگه برای موبایل، نسخه جداگانه (مثل

  m.example.com

  ) یا برای چاپ، نسخه مخصوصی از صفحات دارید و اونا رو به درستی با تگ کنونیکال به صفحه اصلی وصل نکرده باشید، بازم مشکل محتوای تکراری پیش میاد. همینطور صفحات AMP که اگه درست تنظیم نشن، میتونن مشکل ساز باشن.

• صفحات آرشیو، دسته بندی و برچسب ها: تو سایت های بلاگی یا فروشگاهی، صفحات دسته بندی، برچسب ها و آرشیوهای ماهانه یا سالانه، ممکنه بخش بزرگی از محتوای پست های اصلی رو نمایش بدن. این خودش منبع بزرگی برای محتوای تکراری می تونه باشه.
• خطاهای ریدایرکت: گاهی اوقات ریدایرکت ها به درستی تنظیم نمیشن یا حلقه های ریدایرکت به وجود میاد که میتونه باعث ایجاد صفحات تکراری بشه.
• مشکلات فایل Robots.txt: این فایل می تونه جلوی خزش ربات ها رو بگیره، اما لزوما جلوی ایندکس شدن رو نمیگیره. اگه به اشتباه ربات ها رو از خزش صفحات مهمی که تکراری نیستن منع کنید یا صفحات تکراری رو درست بلاک نکنید، مشکل پیش میاد.

دلایل محتوایی که خودمون ناخواسته ایجاد می کنیم

• کپی کردن توضیحات محصول/خدمت: تو فروشگاه های اینترنتی، خیلی رایجه که توضیحات محصول رو از تامین کننده کپی می کنن. این توضیحات معمولا تو ده ها یا صدها سایت دیگه هم هست و حسابی مشکل محتوای تکراری خارجی ایجاد می کنه.
• بازنشر محتوا بدون تغییر: گاهی اوقات محتوای بقیه سایت ها رو بدون اینکه ارزش افزوده ای بهش اضافه کنید یا تغییرات اساسی بدید، تو سایت خودتون منتشر می کنید. این هم دقیقا همون محتوای کپی شده هست که قبلا در موردش صحبت کردیم و برای سئو خیلی خطرناکه.
• فیدهای RSS کامل: اگه فید RSS سایتتون محتوای کامل مقالات رو نمایش بده و این فید توسط سایت های دیگه هم استفاده بشه، می تونه منجر به محتوای تکراری خارجی بشه.

چطور محتوای تکراری رو تو سایت خودتون پیدا کنید؟ (ابزارهای کاربردی)

حالا که فهمیدیم محتوای تکراری چیست و چه مشکلاتی برای سئوی سایتتون ایجاد می کنه، وقتشه که آستین بالا بزنیم و این محتواها رو پیدا کنیم. نگران نباشید، ابزارهای مختلفی هستن که تو این مسیر بهمون کمک می کنن. بیاین با هم چند تا از بهترین هاشون رو مرور کنیم.

جستجوی دستی با گوگل؛ اولین قدم!

اولین و ساده ترین راه، خود گوگله! شما می تونید یه تیکه از متنی که فکر می کنید ممکنه تکراری باشه رو انتخاب کنید (حدود 15-20 کلمه)، اون رو بین دو تا علامت نقل قول ( ) بذارید و تو گوگل سرچ کنید. مثلا:

این محصول دارای کیفیت بالا و تنوع رنگ بندی بوده و برای تمام کاربران مناسب است.

اگه صفحات دیگه (چه تو سایت خودتون و چه تو سایت های دیگه) عینا همین متن رو داشته باشن، گوگل بهتون نشون میده.

یه راه دیگه هم استفاده از اپراتورهای پیشرفته جستجوی گوگل هست:

• برای پیدا کردن محتوای تکراری تو سایت خودتون:

  site:yoursite.com متن مورد نظر

  (به جای yoursite.com آدرس سایت خودتون رو بنویسید)

• برای پیدا کردن محتوای کپی شده از سایت شما تو بقیه سایت ها:

  متن مورد نظر -site:yoursite.com

Google Search Console؛ رفیق شفیق هر وب مستر

گوگل سرچ کنسول (GSC) یه ابزار رایگان و فوق العاده کاربردی از خود گوگله که می تونه تو شناسایی محتوای تکراری حسابی به دردتون بخوره.

وارد بخش Index > Coverage بشید. اینجا می تونید گزارش های مربوط به ایندکس صفحات سایتتون رو ببینید. دنبال پیام هایی مثل Duplicate without user-selected canonical یا Duplicate, Google chose different canonical than user باشید. این ها یعنی گوگل صفحات تکراری رو پیدا کرده و یا خودش یه نسخه اصلی انتخاب کرده، یا از شما میخواد که این کار رو بکنید. این بخش رو همیشه چک کنید تا زودتر مشکلات رو متوجه بشید.

Screaming Frog SEO Spider؛ غول شناسایی مشکلات سئو

Screaming Frog یه ابزار فوق العاده قوی برای سئوی تکنیکاله. این ابزار می تونه کل سایت شما رو بخزه و مشکلات مختلف سئو، از جمله محتوای تکراری رو شناسایی کنه.

بعد از نصب و اجرای Screaming Frog، آدرس سایتتون رو وارد کنید و اجازه بدید تا خزش تموم بشه. بعد می تونید به بخش Content > Duplicates برید. اینجا هم Exact Duplicates (محتوای کاملا یکسان) و هم Near Duplicates (محتوای تقریبا مشابه) رو بهتون نشون میده. حتی میتونید درصد شباهت رو هم تو تنظیمات مشخص کنید. یه راهنمای کامل برای استفاده از این ابزار برای پیدا کردن محتوای تکراری، اینه که به قسمت Config > Content > Duplicates برید و گزینه های دلخواهتون رو انتخاب کنید.

Siteliner؛ کشف تکراری های داخلی

Siteliner یه ابزار آنلاینه که تو پیدا کردن محتوای تکراری داخلی (یعنی تو خود سایتتون) حسابی خوب عمل می کنه. کافیه آدرس سایتتون رو وارد کنید و دکمه Check Site رو بزنید. این ابزار بهتون نشون میده که کدوم صفحات چقدر محتوای تکراری دارن و حتی میتونید روی لینک ها کلیک کنید تا دقیقا بخش های تکراری رو ببینید. خیلی کاربردی و آسونه.

Copyscape؛ شکارچی محتوای کپی شده از بیرون

همونطور که گفتیم، محتوای کپی شده از سایت های دیگه خطرناک تره. Copyscape ابزاریه که برای این کار ساخته شده. می تونید آدرس یه صفحه از سایتتون رو بهش بدید، یا حتی یه تیکه از متن رو Paste کنید تا براتون تو کل وب دنبال محتوای شبیه بهش بگرده. اینجوری می فهمید که آیا کسی محتوای شما رو کپی کرده یا شما ناخواسته محتوای کپی شده دارید.

Ahrefs Site Audit و SEMrush Site Audit؛ ابزارهای همه فن حریف

اگر از ابزارهای حرفه ای سئو مثل Ahrefs یا SEMrush استفاده می کنید، بخش Site Audit اون ها رو دست کم نگیرید. این ابزارها هم گزارش های جامع و کاملی از مشکلات Duplicate Content بهتون میدن. کافیه یه پروژه جدید تعریف کنید و اجازه بدید سایتتون رو آنالیز کنن. تو گزارش ها، می تونید به راحتی صفحات تکراری و پیشنهادهای رفع مشکل رو پیدا کنید.

۷ راه حل جادویی برای نجات سئوی سایت از شر محتوای تکراری

حالا که فهمیدید محتوای تکراری چیست و چطور پیداش کنید، وقتشه که دست به کار بشید و این مشکلات رو از سر راه سئوی سایتتون بردارید. نگران نباشید، راهکارهایی که اینجا میگم، هم عملی هستن و هم تو بیشتر مواقع جواب میدن. فقط باید با دقت و حوصله انجامشون بدید.

۱. تگ Canonical؛ ستاره راهنما برای گوگل

تگ Canonical (یا لینک کنونیکال) مثل یه ستاره راهنما برای گوگله. شما با استفاده از این تگ به گوگل میگید: آهای گوگل جان، من میدونم که این صفحه یه محتوای شبیه به صفحه X داره، اما لطفا صفحه X رو به عنوان نسخه اصلی در نظر بگیر و اون رو تو نتایج نشون بده.

چه زمانی استفاده کنیم؟

• وقتی صفحات با پارامترهای URL دارید (مثلا فیلترهای محصول).
• برای صفحات محصول مشابه که فقط تو جزئیات کوچیک (مثل رنگ یا سایز) فرق دارن.
• برای نسخه های HTTP و HTTPS یا WWW و بدون WWW (البته اگه ریدایرکت 301 انجام ندادید).
• صفحات AMP اگه درست تنظیم نشده باشن.

نحوه پیاده سازی:

این کد رو باید تو قسمت <head> صفحه تکراری (نه صفحه اصلی!) اضافه کنید:

<link rel=canonical href=https://example.com/original-page/ />

به جای https://example.com/original-page/ آدرس URL صفحه اصلی و دلخواهتون رو بذارید.

تو وردپرس هم با افزونه هایی مثل Yoast SEO یا Rank Math خیلی راحت میشه تگ کنونیکال رو برای هر صفحه یا پست تنظیم کرد. کافیه وارد ویرایشگر صفحه بشید و تو بخش تنظیمات سئو، آدرس صفحه کنونیکال رو وارد کنید.

نکات مهم:

• تگ کنونیکال باید همیشه به یه صفحه قابل ایندکس و معتبر اشاره کنه.
• همزمان با noindex از کنونیکال استفاده نکنید، چون گوگل گیج میشه.

۲. ریدایرکت 301 دائمی: انتقال ارزش به یک صفحه

ریدایرکت 301 مثل اینه که شما یه جاده قدیمی رو برای همیشه می بندید و یه جاده جدید به جای اون احداث می کنید و تمام ترافیک و اعتبار جاده قدیمی رو به جاده جدید منتقل می کنید. این روش برای مواقعی خوبه که میخواید چند صفحه با محتوای مشابه رو کلا تو یه صفحه ادغام کنید یا صفحات منسوخ شده رو از بین ببرید.

چه زمانی استفاده کنیم؟

• ادغام چند صفحه با محتوای خیلی شبیه به هم در یک صفحه جامع تر.
• حذف صفحات قدیمی یا منسوخ شده که دیگه نیازی بهشون نیست.
• تغییر ساختار URL سایتتون (مثلا از HTTP به HTTPS یا از بدون WWW به با WWW).

نحوه پیاده سازی:

اگه سایتتون آپاچی (Apache) هست، می تونید این کد رو تو فایل .htaccess اضافه کنید:

Redirect 301 /old-page.html https://example.com/new-page.html

(به جای /old-page.html و https://example.com/new-page.html آدرس های قدیمی و جدید رو بذارید).

تو وردپرس هم افزونه های زیادی برای ریدایرکت وجود دارن که کار رو خیلی راحت می کنن.

تفاوت با تگ Canonical:

تگ کنونیکال به گوگل میگه که کدوم صفحه رو نشون بده، اما صفحه تکراری همچنان موجوده و کاربر می تونه بهش دسترسی پیدا کنه. اما ریدایرکت 301، صفحه رو به طور دائمی منتقل می کنه و کاربر دیگه به صفحه قدیمی دسترسی نداره. اگه محتوای صفحه تکراری اصلا براتون مهم نیست و می خواید کلا از دسترس خارج بشه، ریدایرکت 301 گزینه بهتریه.

۳. متاتگ Noindex و Follow؛ نذارید گوگل صفحه رو ایندکس کنه!

متاتگ Noindex به موتورهای جستجو میگه که: این صفحه رو نخز، یا اگه خزیدی، لطفا تو نتایج جستجو نشونش نده. این روش برای صفحاتی خوبه که نمی خواید تو گوگل ظاهر بشن، اما لینک های داخل اون صفحه براتون مهمن.

چه زمانی استفاده کنیم؟

• صفحات تشکر بعد از خرید یا پر کردن فرم.
• صفحات لاگین (ورود) یا ثبت نام.
• صفحات نتایج جستجوی داخلی سایتتون.
• صفحات آرشیو کم اهمیت یا تگ ها.

نحوه پیاده سازی:

این کد رو تو قسمت <head> صفحه مورد نظر اضافه کنید:

<meta name=robots content=noindex, follow>

با این کار، گوگل صفحه رو ایندکس نمی کنه (noindex) اما لینک های داخلش رو دنبال می کنه (follow) و اعتبارشون رو انتقال میده.

تو وردپرس هم با افزونه های سئو مثل Yoast SEO یا Rank Math، می تونید به راحتی تیک Noindex رو برای هر صفحه بزنید.

۴. بهینه سازی فایل Robots.txt؛ مدیریت ربات های گوگل

فایل Robots.txt مثل یه تابلو ورود ممنوع برای ربات های گوگله. شما با این فایل به ربات ها میگید که کدوم قسمت های سایت رو بگردن و کدوم قسمت ها رو اصلا نگاه هم نکنن. این فایل بیشتر برای کنترل خزش ربات ها استفاده میشه، نه لزوما جلوگیری از ایندکس شدن.

چه زمانی استفاده کنیم؟

• برای جلوگیری از خزش بخش هایی از سایت که محتوای تکراری دارن و ایندکسشون بی معنیه (مثلا بخش های پنل کاربری).
• برای فایل های CSS یا JS که تکراری هستن و نیازی به خزش ندارن.

نحوه پیاده سازی:

باید این کد رو تو فایل robots.txt (که تو روت سایتتون قرار داره) اضافه کنید:

User-agent: *
Disallow: /duplicate-folder/

این کد به همه ربات ها میگه که پوشه /duplicate-folder/ رو نگردن.

نکات مهم:

• Robots.txt فقط مانع خزش میشه، نه لزوما مانع ایندکس. اگه صفحه تکراری شما تو جای دیگه لینک شده باشه، ممکنه گوگل بازم اون رو ایندکس کنه.
• با احتیاط ازش استفاده کنید، چون اگه یه صفحه مهم رو به اشتباه بلاک کنید، ممکنه از نتایج گوگل حذف بشه!

۵. مدیریت پارامترهای URL در گوگل سرچ کنسول (احتیاط شرط عقل است!)

قبلا تو گوگل سرچ کنسول یه بخشی به اسم URL Parameters وجود داشت که می تونستید به گوگل بگید چطور با پارامترهای مختلف URL سایتتون رفتار کنه. مثلا بهش بگید که پارامتر session ID رو نادیده بگیره.

چه زمانی استفاده کنیم؟

این ابزار امروزه کمتر مورد استفاده قرار می گیره و گوگل هم تاکید داره که ترجیحا از تگ کنونیکال استفاده کنید. اما برای سایت های خیلی بزرگ و پیچیده که پارامترهای زیادی دارن، ممکنه هنوز کاربردی باشه.

نحوه استفاده:

اگه واقعا نیاز دارید، باید به بخش Legacy Tools and Reports > URL Parameters تو گوگل سرچ کنسول برید و پارامترها رو تنظیم کنید. اما احتیاط کنید! اگه اشتباهی انجام بدید، ممکنه صفحات مهمتون از ایندکس خارج بشن.

۶. تگ Hreflang؛ برای سایت های بین المللی

اگه سایت شما چندزبانه یا چندمنطقه ایه (مثلا هم نسخه فارسی داره هم انگلیسی، یا نسخه فارسی برای ایران و نسخه فارسی برای افغانستان)، ممکنه گوگل صفحات مشابه رو به عنوان محتوای تکراری ببینه. تگ Hreflang دقیقا برای همینجاست.

چیست؟

این تگ به گوگل و سایر موتورهای جستجو میگه که این صفحه نسخه مربوط به کدوم زبان یا کدوم منطقه جغرافیایی هست.

نحوه پیاده سازی:

باید این کد رو تو قسمت <head> تمام نسخه های زبانی صفحاتتون اضافه کنید:

<link rel=alternate href=https://example.com/fa/ hreflang=fa />
<link rel=alternate href=https://example.com/en/ hreflang=en />
<link rel=alternate href=https://example.com/en-gb/ hreflang=en-gb />
<link rel=alternate href=https://example.com/ hreflang=x-default />

این کد به گوگل میگه که کدوم صفحه رو برای کدوم زبان یا منطقه نشون بده و از سردرگمی جلوگیری می کنه.

۷. تولید محتوای یونیک و باکیفیت؛ بهترین دفاع، حمله است!

از همه این راهکارهای فنی که بگذریم، بهترین و اساسی ترین راه حل برای جلوگیری از محتوای تکراری و بهبود سئوی سایت، تولید محتوای یونیک و باکیفیته. اگه محتوایی که تولید می کنید واقعا ارزشمند، جامع و منحصربه فرد باشه، اصلا نیازی نیست نگران تکراری بودنش باشید!

• بازنویسی محتوای موجود: اگه محتوای تکراری تو سایتتون دارید، به جای حذف کردن، سعی کنید اون رو بازنویسی و غنی تر کنید. اطلاعات جدید اضافه کنید، مثال های به روز بیارید و اون رو به یه محتوای بی نظیر تبدیل کنید.
• ارزش افزوده ایجاد کنید: اگه لازمه از منابع دیگه استفاده کنید، حتما اطلاعات تکمیلی، تحلیل های شخصی یا تجربیات خودتون رو بهش اضافه کنید تا ارزش محتوا بالا بره.

یادتون باشه، محتوای باکیفیت نه تنها مشکل محتوای تکراری رو حل می کنه، بلکه باعث میشه کاربرها عاشق سایتتون بشن، زمان بیشتری توش بمونن و به مشتری وفادار تبدیل بشن. این یعنی برد دو سر!

کی محتوای تکراری ایراد نداره؟ (استثنائات مهم)

خب، تا اینجا کلی درباره مشکلات محتوای تکراری و روش های حلش صحبت کردیم، اما آیا همیشه محتوای تکراری بده؟ نه! تو بعضی شرایط، داشتن محتوای شبیه به هم اصلا ایرادی نداره و گوگل هم به خاطرش شما رو جریمه نمی کنه. بیاین این استثنائات رو با هم ببینیم.

• صفحات قوانین و مقررات، حریم خصوصی و شرایط استفاده: این صفحات معمولا تو بیشتر سایت ها محتوای مشابهی دارن. مثلا قوانین یه فروشگاه آنلاین، بخش هایی ازش شبیه به فروشگاه های دیگه هست. گوگل این موضوع رو می فهمه و این صفحات رو به عنوان محتوای تکراری منفی در نظر نمی گیره.
• نقل قول های رسمی یا بخشی از اسناد عمومی با ذکر منبع: اگه بخشی از یه سند رسمی، یه خبر یا یه نقل قول مهم رو تو سایتتون میارید، به شرطی که منبع رو ذکر کرده باشید، مشکلی پیش نمیاد. مثلا اگه از یه مقاله علمی یا یه خبر رسمی چیزی رو نقل می کنید، با ذکر منبع، محتوای شما کاملا قانونی و قابل قبوله. حتی بهتره برای لینک دادن به منبع اصلی، از تگ rel=nofollow استفاده کنید.
• صفحات محصول در فروشگاه های آنلاین با تغییرات جزئی که با تگ کنونیکال مدیریت شده اند: فکر کنید یه گوشی رو تو پنج تا رنگ مختلف میفروشید و هر رنگ یه صفحه جداگانه داره. محتوای این پنج صفحه ۹۰ درصد شبیه به همه و فقط رنگش فرق داره. تو این حالت، اگه از تگ کنونیکال برای معرفی یه صفحه به عنوان اصلی استفاده کنید و بقیه رو به اون کنونیکال کنید، مشکلی پیش نمیاد. گوگل متوجه میشه که اینها نسخه های مختلفی از یه محصول هستن و شما هم به درستی مدیریتشون کردید.

پس حواستون باشه که تو این موارد، نیازی نیست نگران باشید و وقت و انرژی زیادی برای تغییر این محتواها صرف کنید. اما تو بقیه موارد، حتما مشکلات محتوای تکراری رو جدی بگیرید و برای بهبود سئوی سایتتون، رفعشون کنید.

جمع بندی: از الان به فکر سئوی سایتتون باشید!

امیدوارم با خوندن این مقاله، دیگه حسابی فهمیده باشید محتوای تکراری چیست و چقدر می تونه برای سئوی سایتتون دردسر درست کنه. دیدیم که این مشکل می تونه از هر جایی سر و کله اش پیدا بشه، از پارامترهای URL گرفته تا کپی کردن توضیحات محصول و اشتباهات فنی دیگه. اما نگران نباشید، چون برای هر مشکلی یه راه حلی هست!

از استفاده صحیح از تگ کنونیکال برای معرفی صفحه اصلی به گوگل گرفته، تا ریدایرکت 301 برای ادغام صفحات و متاتگ Noindex برای مخفی کردن صفحات کم اهمیت، همه و همه ابزارهایی هستن که تو دستای شماست. فایل Robots.txt و تگ Hreflang هم برای مدیریت خزش و سایت های چندزبانه به کمکتون میان.

اما یادتون نره که بهترین و موثرترین راهکار برای بهبود سئوی سایت و فرار از مشکلات محتوای تکراری، همیشه تولید محتوای یونیک و باکیفیته. چیزی که کاربرها عاشقش بشن و گوگل هم نتونه نادیده اش بگیره. پس از امروز، کمر همت رو ببندید و سایتتون رو از شر محتوای تکراری نجات بدید تا ترافیکش زیاد بشه و تو نتایج جستجو بدرخشه. موفق باشید!