محتوای تکراری

محتوای تکراری چیست؟

محتوای تکراری، محتوایی است که در بیش از یک مکان در اینترنت ظاهر می شود. که "یک مکان"  با آدرس منحصر بفرد با یک موقعیت(URL) تعریف می شود- بنابراین اگر محتوای شما در بیش از یک آدرس وب وجود داشته باشند می توان گفت که محتوای شما تکراری است. با وجودیکه این مساله، از لحاظ فنی مساله ای  مهم نیست، برخی اوقات وجود محتوای تکراری، موثر در رتبه بندی موتورهای جستجو می باشد. وجود چندین قطعه از محتوا که گوگل آن را " appreciably similar" می نامد، زمانی رخ می دهد که محتوا در بیش از یک موقعیت در اینترنت وجود داشته باشند. این مساله در موتورهای جستجو، در رابطه با تصمیم گیری در مورد اینکه کدام نسخه در پاسخ مناسب تر است، می تواند مشکل ساز باشد.

 چرا محتوای تکراری مهم است؟

برای موتورهای جستجو

محتوای تکراری می تواند بوجودآورنده سه مساله اساسی برای موتورهای جستجو باشد:

• آنها نمی دانند که کدام نسخه(ها) شامل/بدون شاخص های مد نظر، آنهاست.
• آنها نمی دانند که در رابطه با نظارت بر معیارهای پیوند(trustauthority, anchor text, link equity, و.....) باید بر روی یک صفحه یا چندین نسخه مجزا کار کنند.
• آنها نمی دانند که کدام نسخه(ها) را برای نتایج پرس وجو رتبه بندی کنند.

برای صاحبان سایت ها

صاحبان سایت با از دست دادن ترافیک و رتبه بندی خود در نمایش محتوای تکراری، زیان خواهند دید. این زیان ها اغلب ناشی از دو مساله عمده هستند:

• برای ارائه بهترین تجربه جستجو، موتورهای جستجو بندرت چندین نسخه از یک محتوا را نمایش می دهند، بنابراین آنها مجبورند که از بین تمام نسخه ها تنها یک نسخه را که احتمالا بهترین نتیجه را در بر دارد، انتخاب کنند، همین امر شانس مشاهده هر نسخه از محتویات تکراری را کاهش می دهد.
• Link equity می تواند بی معنا باشد، چرا که سایت های دیگر نیز باید از بین تکرارها انتخاب شوند، به جای اینکه لینک های ورودی به یک قسمت از محتوا اشاره کنند، آنها به چندین قسمت اشاره می کنند، و Link equity در بین تکرارها پخش می شود. از آنجا که لینک های ورودی یک عامل رتبه بندی محسوب می شوند، این امر می تواند بر امکان مشاهده یک قطعه از محتوا تاثیر بگذارد.

نتیجه شبکه؟ یک قطعه از محتوا با وجود داشتن شاخص مشاهده شدن، به مرحله مشاهده نمی رسد: [caption id="attachment_5265" align="aligncenter" width="780"] محتوای کپی[/caption]

چگونه چالش محتوای تکراری بوجود می آید؟

در اکثر موارد صاحبان وبسایت  به عمد مطالب تکراری را ایجاد نمی کنند. اما این بدان معنی نیست که این مساله خارج از حوزه محتوای تکراری است. در حقیقت طبق برآوردهای انجام شده 29 درصداز محتوای وب ها تکراری است! بیاید نگاهی به برخی از رایج ترین روش های ایجاد محتوای تکراری ناخواسته بیاندازیم:

• تغییرات URL

پارامترهای URL مانند ردیابی کلیک ها و تجزیه و تحلیل برخی از کدها، می تواند باعث تولید محتوای تکراری شود. این مساله نه تنها از طریق خود پارامترها بلکه بواسطه ترتیب قرارگیری پارامترها در خود URL نیز مشاهده می شود.   به عنوان مثال:

• widgets.com/blue-widgets?color=blue تکراری   www.widgets.com/blue-widgetsاست.
• widgets.com/blue-widgets?color=blue&cat=3 تکراری www.widgets.com/blue-widgets?cat=3&color=blueاست.

بطور مشابه session ID نیز خالق محتوای تکراری است. این اتفاق زمانی رخ می دهد که در هنگام بازدید هر کاربر از یک وبسایت  session ID اختصاص داده شده به آن در URL ذخیره شود. [caption id="attachment_5266" align="aligncenter" width="691"] محتوای کپی[/caption]   هنگامی که چندین نسخه، از نسخه های چاپی مناسب از محتوا شاخص شوند نیز می تواند باعث بوجود آمدن مسئله محتوای تکراری شود . [caption id="attachment_5267" align="aligncenter" width="639"] محتوای تکراری[/caption]   درسی که در اینجا می توان گرفت این است که ،جلوگیری از اضافه شدن پارامترهای URL یا نسخه های متناوب از URLها (اطلاعاتی که محتویات آنها از طریق اسکریپت ها منتقل می شوند) در زمانی، مفید خواهند بود.

• HTTP در قیاس با HTTPS یا WWW در قیاس با صفحه های بدون WWW

اگر سایت شما دارای نسخه های جداگانه  " www.site.com " و "site.com" (با و بدون پیشوند WWW) است و در صورت وجود محتوای مشابه در هر نسخه، شما عملا هر کدام از این صفحات را تکراری کرده اید. همین امر در مورد سایت هایی که از هر دو نسخه Http:// و Https:// استفاده کرده اند نیز صدق می کند. در صورتی که هر دو نسخه زنده بوده و توسط موتورهای جستجو قابل دیدن باشد شما ممکن است که وارد مساله تکراری بودن محتوا شوید.

• محتوای Scraped یا کپی شده

محتوا نه تنها شامل پست های وبلاگ یا محتوای سرمقاله هاست بلکه شامل صفحات اطلاعات محصولی نیز می باشد. Scraper ها  محتوای وبلاگ ها را در سایت خودشان بازنویسی می کنند. که این ممکن است منبعی آشنا از محتوای تکراری باشد، اما مشکلی رایج در سایت های تجارت الکترونیک وجود دارد: اطلاعات محصول،در صورتی که وبسایت های مختلف آیتم های مشابه را به فروش برسانند و هر کدام از آنها، توضیحات کارخانه سازنده برای آن محصول، را استفاده کنند، این خود باعث بوجود آمدن محتوای یکسان در چندین مکان در سراسر وب می شود.  

چگونه مشکلات محتوای تکراری را حل کنیم

رفع مشکل محتوای تکراری همه را به فکر ایده ای مرکزی می اندازد: مشخص کردن اینکه کدام یک از موارد تکراری مورد صحیح است. هنگامی که بتوان محتوای یک سایت را در URLهای مختلف پیدا کرد زمان آن است که آن را برای موتورهای جستجو canonical کرد. اجازه بدهید به سراغ سه راه اصلی برای اینکار برویم: استفاده از 301 redirect برای URL صحیح، خصوصیت rel=canonical یا استفاده از ابزار بررسی در Google Search Console.

301 redirect

در بسیاری موارد بهترین راه برای مقابله با محتوای تکراری تنظیم کردن 301 redirect از صفحه تکراری به محتویات صفحه اصلی است. هنگامی که چندین صفحه با دارا بودن پتانسیل رتبه بندی  به خوبی در یک صفحه ترکیب شوند، آنها نه تنها رقابتشان با دیگری کم نمی شود، بلکه سیگنال های قوی تری از ارتباط و محبوبیت را در همه جا ارسال می کنند. این تاثیر مثبتی بر توانایی صفحه "صحیح" برای اینکه به خوبی رتبه بندی شود، خواهد داشت. [caption id="attachment_5268" align="aligncenter" width="559"] محتوای تکراری[/caption]

rel=canonical

گزینه دیگری که در برخورد با محتوای تکراری از آن استفاده می شود خصوصیت rel=canonical است. این خصوصیت به موتورهای جستجو می گوید که با یک صفحه داده شده باید مانند یک کپی از یک URL خاص رفتار کند، و تمام لینک ها و معیارهای محتوا و"قدرت رتبه بندی " بکار برده شده توسط موتورهای جستجو عملا باید توسط URL خاص ایجاد شده باشند. [caption id="attachment_5269" align="aligncenter" width="523"] محتوای تکراری[/caption]   صفت rel=canonical قسمتی از Head، Html صفحه وب است بدین صورت: فرمت کلی:

<head>
...[other code that might be in your document's HTML head]...
<link href="URL OF ORIGINAL PAGE" rel="canonical" />
...[other code that might be in your document's HTML head]...
</head>

rel=canonical بایید به قسمت Head، Html هر کدام از نسخه های صفحه تکراری اضافه شده و بخش بالای " URL OF ORIGINAL PAGE " بوسیله یک لینک به صفحه اصلی (canonical)جایگزین شود. (مطمئن شوید که نشانه های نقل قول را نگه داشته اید). این ویژگی تقریبا دارای Link equity (قدرت رتبه بندی) به اندازه 301 redirect می باشد. و بدلیل اجرا در همان سطح صفحه (به جای سرور) مدت زمان توسعه کمتری را برای اجرا نیاز دارد.   در اینجا می توان دید که از BuzzFeed برای تطابق با صفت rel=canonical با استفاده از پارامترهای URL ( در این مورد Click Tracking) استفاده شده است.اگر چه به این صفحه توسط دو URL می توان دسترسی داشت، ویژگی rel=canonical تضمین می کند که تمام Link equity و معیارهای محتوا به صفحه اصلی سپرده می شود.( /no-one-does-this-anymore) 

Meta Robots Noindex

در برخورد با محتوای تکراری یک متا تگ می تواند مفید باشد. همان ربات متا. زمانی که با مقادیر" noindex, follow " استفاده می شود معمولا Meta Noindex نامیده می شود. Follow و از نظر تکنیکی به عنوان content=”noindex,follow” شناخته می شود.این تگ ربات متا می تواند به Head، Html هر صفحه ای که باید از شاخص موتور جستجو حذف شود، اضافه شود. فرمت کلی:

<head>
...[other code that might be in your document's HTML head]...
<meta name="robots" content="noindex,follow">
...[other code that might be in your document's HTML head]...
</head>

تگ ربات متا به موتورهای جستجو این اجازه را می دهد که بر روی لینک های یک صفحه  خزیده و آن لینک ها را در شاخص خود نگه دارند. دیده شدن صفحات تکراری در زمانی که گوگل آنها را شاخص نکند امری مهم است، زیرا گوگل به صراحت به شما در رابطه با مرور محتوای تکراری هشدار می دهد( در صورت اشتباه شما در کدنویسی موتورهای جستجو می توانند همه چیز را ببینند و به آنها اجازه داده می شود که به قضاوت خودکار(به احتمال زیاد خودکار) در وضعیت های مبهم بپردازند). استفاده از ربات های متا منحصرا یک راه حل خوب برای مسائل محتوای تکراری مربوط به صفحه بندی است.

Preferred domain و بررسی پارامترها در Google Search Console:

Google Search Console به شما اجازه می دهد تا دامنه دلخواه را برای سایت خود تنظیم کنید(به عنوان مثال http://yoursite.com به جای http://www.yoursite.com) و این را مشخص کنید که آیا  GoogleBot باید بتواند پارامترهای مختلف URL را مرور کند یا خیر(پارامترهای بررسی): بسته به ساختار URL شما و علت بوجود آمدن مساله محتوای تکراری Preferred domain یا بررسی پارامترها شما(یا هردو) ممکن است که راه حل این کار باشد. دلیل اصلی استفاده از بررسی پارامترها، به عنوان یک روش اصلی برای مقابله با محتوای تکراری است ، که با تغییرات ایجاد شده توسط شما فقط برای گوگل کار می کند. هر قواعدی که با استفاده از Google Search Console جایگزین می شود تاثیری در چگونگی تفسیر سایت شما توسط Bing یا هر کاوشگر موتور جستجوی دیگری نخواهد داشت. در نهایت برای تنظیم Search Console شما نیاز خواهید داشت که از ابزارهای Web master برای موتورهای جستجوی دیگر استفاده کنید.

روش های دیگر برای مقابله با محتوای تکراری

1. حفظ یکپارچگی در زمان اتصال از داخل وب به بیرون. به عنوان مثال اگر یک وب مستر تعیین کند که یک نسخه canonical از یک دامنه example.com/ است، پس باید تمام لینک های داخلی به http://www.example.com/example به جای http://example.com/page اشاره کنند.(به عدم وجود www دقت کنید).
2. هنگامی که اتحادیه محتوا را شکل دادید، مطمئن شوید که در وبسایت متحد شده یک لینک به محتوای اصلی اضافه شده ، بدون تغییر در URL( برای دریافت اطلاعات بیشتر قسمت اعلان روز جمعه ما در رابطه با محتوای تکراری را بررسی کنید).
3. برای اضافه کردن یک حفاظ اضافی در برابر Scraperهای محتوا که اعتبار SEO شما را در رابطه با محتویات به تاراج می برند، کار عاقلانه این است که لینک rel=canonical را به صفحه خود اضافه کنید. این canonical به نشانی اینترنتی فعلی اشاره می کند، و این نکته ای است که تلاش برخی از Scraper ها را خنثی می کند.

یک لینک rel=canonical خود ارجاع: URL مشخص شده در تگ rel=canonical بسیار مشابه با آدرس فعلی است. در حالی که همه Scraper ها کامل بر روی کد Html منابع اصلی خود پورت نخواهند بود، برخی از آن ها این کار را خواهند کرد. تگ rel=canonical خود ارجاع به شما این اطمینان را خواهد داد که این نسخه از سایت شما به عنوان محتوای اصلی اعتبار دریافت خواهد کرد.