Technische Tipps zum Duplicate Content

Mit Sicherheit haben Sie Duplicate Content auf Ihrer Webseite, Druckversionen verschiedener Seiten und einiges mehr, von dem Sie vielleicht gar nichts wissen, da Duplicate Content ohne Ihr Wissen von dem verwendeten CMS oder auch von Tracking-Systemen generiert werden kann.

Sie haben auch davon gehört, dass Duplicate Content unter allen Umständen zu vermeiden ist, um eine Abstrafung durch Google zu vermeiden. Aber ist dem wirklich so? Ist die Panik gerechtfertigt?

Was ist Duplicate Content?

Duplicate Content

(doppelter Inhalt) liegt dann vor, wenn der gleiche oder auffällig ähnlicher Inhalt auf verschiedenen Webseiten, der gleichen oder einer anderen Domain zur Verfügung steht. Oder in anderen Worten, wenn der gleiche Content über verschiedene URLs zu erreichen ist. Google unterscheidet sehr wohl zwischen Duplicate Content, der nicht böswillig generiert wird und Content, der generiert wird, um das Ranking zu manipulieren. Hierzu gehört auch der sogenannte “Spun-Content”, Texte, die oft maschinell paraphrasiert wurden, um den Eindruck von einzigartigem Content zu erwecken. In der Konsole-Hilfe gibt Google Beispiele für nicht böswillig duplizierten Content:

• Diskussionsforen, die sowohl reguläre als auch gekürzte, auf mobile Endgeräte ausgerichtete, Seiten erzeugen
• Lagerartikel, die über mehrere eindeutige URLs angezeigt bzw. referenziert werden
• Druckversionen von Webseiten

Darüber hinaus gibt es noch zahlreiche weitere Möglichkeiten, wie Duplicate Content ohne böse Absicht entstehen, oder als solcher wahrgenommen werden kann:

• Ihre Webseite lässt sich mit verschiedenen URLs aufrufen und erscheint den Crawlern als gleicher Content auf verschiedenen URLs, wie beispielsweise IhreSeite.com com http://IhreSeite.com http://IhreSeite.com/ https://www.IhreSeite.com https://IhreSeite.com
• Sie verwenden eine sichere HTTPS Webseite, können aber per Redirect auch über HTTP erreicht werden
• Sie haben Ihre URL geändert, aber eine Neuindexierung ist noch nicht erfolgt
• Sie tracken das Besucherverhalten und eine Session ID wird in der URL abgespeichert
• ein CMS kann für Kommentare eine Seitennummerierung einführen
• Ihr Content wurde kopiert und auf einer anderen Webseite ohne Quellenangabe veröffentlicht

Warum ist Duplicate Content ein Problem für die Suchmaschinen?

Wenn die

Crawler

auf Duplicate Content stoßen, wissen sie nicht, welche Version zu indexieren ist und welche nicht. Ebenso ist nicht klar, welche Seite hinsichtlich Trust, Autorität und anderen Maßstäben zu bewerten ist, und welche Seite letztendlich in den Suchergebnissen gezeigt werden soll.

Gibt es eine Abstrafung (Penalty) von Google bei Duplicate Content?

Der Mythos, dass Duplicate Content zu einem erhöhten Risiko einer Abstrafung durch

Google

führt, hält sich bemerkenswert hartnäckig. Google selbst hat bereits im Jahr 2008 in einem Webmaster Blog ausdrücklich darauf hingewiesen, dass es diese Penalty nicht gibt. Auch in diversen Statements in den folgenden Jahren wurde dies immer wieder bestätigt, zuletzt in einem Video in 2016 durch Google’s Andrey Lipattsev. Auch in der Search Konsole-Hilfe steht das Gleiche noch einmal in epischer Breite ausgeführt. Google geht es in erster Linie nur darum, zu verstehen, welche Seite in den Suchergebnissen auftauchen soll. Nicht unter die Definition von Duplicate Content fällt jedoch, wenn Sie Content von einer Seite übernehmen oder Content wiederholt publizieren würden, ohne Mehrwert hinzuzufügen. Dies wäre eine völlig andere Situation, die abgestraft werden kann. Google gibt aber Entwarnung für den Fall, dass Content von Ihnen anderswo im Netz kursiert, da er von Ihnen kopiert wurde. Google ist dabei sehr bewusst, dass Sie nicht Schuld daran sind, und wertet dies nicht als Regelverstoß. Google bemüht sich, in diesen Fällen die Originalversion herauszufinden und in den Suchergebnissen zu zeigen. Sollten Ihre Urheberrechte verletzt werden, sollten Sie dies Google mitteilen, unabhängig von möglichen rechtlichen Schritten. Nur der Vollständigkeit halber sei noch erwähnt, dass “Manipulative Boiler-Plate” und “Near Duplicate Spun-Content“ zur sogenannten Black-Hat-SEO gehören und nicht als (unschuldiger) Duplicate Content angesehen werden. Sie stellen qualitativ minderwertigen Content dar und verstoßen klar gegen die Richtlinien von Google.

Warum Sie sich dennoch um Duplicate Content kümmern sollten

Denken Sie daran, dass Google einzigartigen und qualitativ hochwertigen Content eindeutig bevorzugt. Duplicate Content wird zwar nicht abgestraft, wie vielfach befürchtet, aber auch nicht gerankt. Und er kann verhindern, dass Sie das volle Potenzial Ihrer Seite ausschöpfen können, weil etwa durch Strukturfehler eine Verwässerung Ihres Trusts und Ihrer Autorität mit Einbußen im Ranking einhergehen kann.

Identifizieren Sie Duplicate Content

Duplicate Content kann sowohl auf der eigenen Seite auftreten, wie auch irgendwo im Web. Sie haben praktisch keinen Einfluss darauf, was irgendwo im weltweiten Web passiert und Google weiß das auch. Was auf Ihrer eigenen Webseite geschieht, können Sie andererseits sehr wohl beeinflussen und Google empfiehlt, dass Sie dies auch tun. Zunächst einmal sollten Sie sich darüber im Klaren sein, mit wie viel Duplicate Content Sie es auf Ihrer Webseite überhaupt zu tun haben. Sie können über die Search Console Google’s Alerts hierzu weitere Zusatzinformationen finden. Sie können auch im Webmasters Dashboard die Zahl der Seiten sehen, die gecrawlt worden sind. Wenn diese Zahl deutlich höher ist, als Ihre tatsächliche Seitenanzahl, ist das ein Indiz auf eine inkonsistente URLs. Es gibt auch einige kostenlose Tools. Eins davon finden Sie auf siteliner.com. Neben Duplicate Content gibt es weitere nützliche Informationen, u.a. auch, ob Ihre sitemap.xml vorhanden ist und im robot.txt referenziert wurde. Weitere Tools sind copyscape und Screaming Frog.

Was tun mit Duplicate Content?

Sie haben eine gewisse Menge an Duplicate Content gefunden, was ganz normal und kein Anlass für Panik ist. Es stehen zahlreiche therapeutische Maßnahmen zur Verfügung, um diesen in den Griff zu bekommen und gleichzeitig für mehr Ordnung und eine bessere Struktur zu sorgen.

Eine URL für alle

Entscheiden Sie sich für eine URL, egal ob mit oder ohne www, HTTP oder HTTPS, falls Sie dies eingeführt haben. Sie können Google Ihre Präferenz im Webmaster Konto mitteilen. Nur diese Version wird dann indexiert und in den Suchergebnissen angezeigt. Sollten Sie einen Backlink haben, der eine andere Version Ihrer URL benutzt, wird dieser entsprechend Ihrer bevorzugten Version verfolgt.

Bleiben Sie konsistent

Entscheiden Sie sich auch für ein einziges Format bei internen Links und wenden Sie dieses durchgehend an, z.B. entweder IhreSeite.com/Artikel oder IhreSeite.com/Artikel/ oder IhreSeite.com/Artikel/index.htm. Egal welches, aber bleiben Sie bei einem Format.

Kanonische Seiten

Wenn der gleiche Inhalt über verschiedene URLs zugänglich ist, können Sie Ihre bevorzugte Seite mit dem Linkelement rel=“canonical” im Header kennzeichnen. Damit weiß Google, welcher Link im Suchergebnis gezeigt werden soll. Zusätzlich sollten Sie eine Sitemap einreichen, in der die kanonischen Seiten enthalten sind. Falls Ihrer Webseite WordPress zugrunde liegt, können Sie mit dem Yoast SEO PlugIn in den Advanced Settings die kanonischen Seiten eingeben.

301 Weiterleitungen

Diese sollten Sie für nicht kanonische URLs verwenden, um Besucher und Suchmaschinen automatisch auf die korrekte Seite zu verweisen. Dies wird oft nach Neustrukturierungen einer Webseite erforderlich, so etwa auch, wenn Sie HTTPS eingeführt haben. Für WordPress-Nutzer gibt es das PlugIn Redirection, das Ihnen die Implementierung erleichtert.

CMS

Manche CMS zeigen den gleichen Content in verschiedenen Formaten oder an verschiedenen Stellen. Sollten Sie automatisch generierten Duplicate Content auf Ihrer Webseite finden, sollten Sie ihn per Meta Tag ‘noindex, follow’ kennzeichnen. Er wird dann nicht indexiert, aber die auf der Seite vorhandenen Links werden weiterverfolgt.

Was sollten Sie nicht tun?

Mit der robot.txt Datei könnten Sie sehr effektiv den Crawlern Zutritt zu Seiten mit Duplicate Content verwehren. Theoretisch hätten Sie das Problem so gelöst, könnte man meinen. Dem ist aber nicht so und Google warnt sehr deutlich, dies nicht zu tun. Duplicate Content wirkt sich nicht schädlich aus, wenn er als solcher deklariert ist und nicht gerade in die Spam-Kategorie fällt. Außerdem lässt sich eine Indexierung sowieso nicht verhindern, wenn die Seite anderweitig verlinkt ist. Sollte diese Seite wertvolle

Backlinks

erhalten haben, würden diese nicht für das Ranking berücksichtigt werden können, da die Crawler sie nicht sehen. Die oben erwähnten Alternativen kanonischer Seiten und Meta Tags ‘noindex’ sind in jedem Fall vorzuziehen.

Fazit

Duplicate Content hat in der Vergangenheit stets für Verwirrung gesorgt. Die Furcht vor Abstrafungen hat vielen Webmastern die Schweißperlen auf die Stirn getrieben, was aber völlig übertrieben war. Dennoch sollte man das Problem des Duplicate Contents in Angriff nehmen und ihn vermeiden oder eliminieren, wo immer es möglich ist. Eine Bereinigung schafft mehr Transparenz und kann außerdem für eine bessere und übersichtlichere Struktur Ihrer Webseite sorgen, was letztlich auch Ihrem Ranking förderlich sein wird. Die Methoden der Eliminierung sind nicht schwierig anzuwenden und es stehen ausreichend Tools und PlugIns zur Verfügung, die die Arbeit wesentlich erleichtern.