SEO und Suchmaschine: der Weg eines Dokuments vom Auffinden bis zum Suchergebnis

SEO und Suchmaschine hängen an einer einzigen Frage zusammen: Was macht die Maschine mit einem Dokument, das auf Ihrem Server liegt, und an welchen Stellen dieses Ablaufs können Sie eingreifen? Google beschreibt die Verarbeitung von Webseiten als Abfolge aus Crawling, Indexierung und Bereitstellung von Suchergebnissen. Jede dieser Stufen ist eine eigene Entscheidung der Suchmaschine, jede kann scheitern, und jede reagiert auf andere Signale. Wer diese Trennung kennt, stellt bei einer nicht auffindbaren Seite nicht mehr die diffuse Frage “Warum rankt das nicht?”, sondern die beantwortbare Frage “An welcher Stufe ist es hängen geblieben?”.

Dieser Leitfaden geht den Weg entlang, den ein Dokument nimmt: bekannt werden, abgerufen werden, verarbeitet und in den Index aufgenommen werden, für eine konkrete Suchanfrage ausgewählt und schließlich in einer bestimmten Form dargestellt werden. Für jede Stufe steht dabei im Vordergrund, welches technische Mittel dort tatsächlich wirkt, welches dort nichts ausrichtet und woran Sie erkennen, wo Sie gerade stehen.

Die Suchmaschine als Kette von Entscheidungen

Es hilft, sich die Suchmaschine nicht als eine Instanz vorzustellen, die eine Website “bewertet”, sondern als eine Reihe getrennter Systeme, die einander Material weiterreichen. Ein System sammelt Adressen. Ein zweites ruft diese Adressen ab. Ein drittes verarbeitet, was zurückkam, und entscheidet, ob und in welcher Form es in den Index aufgenommen wird. Ein viertes wählt aus dem Index für jede einzelne Suchanfrage aus. Ein fünftes entscheidet, wie das Ergebnis auf der Ergebnisseite aussieht.

Diese Trennung ist mehr als ein didaktisches Bild, sie hat unmittelbare praktische Folgen. Ein Dokument kann bekannt sein, ohne je abgerufen worden zu sein. Es kann abgerufen worden sein, ohne indexiert zu werden. Es kann im Index liegen und trotzdem für keine einzige Anfrage ausgewählt werden. Und es kann ausgewählt werden und dennoch anders dargestellt werden, als Sie es geplant hatten. Vier verschiedene Zustände, vier verschiedene Ursachen, vier verschiedene Hebel.

Der zweite wichtige Punkt: Fast alles, was Sie der Suchmaschine mitteilen, ist ein Hinweis und keine Anweisung. Google selbst formuliert SEO als Maßnahmen, die Suchmaschinen dabei unterstützen, Inhalte zu verstehen, und Nutzern helfen, eine Website über Suchergebnisse zu finden. Das Wort “unterstützen” ist wörtlich zu nehmen. Sie beschreiben Ihre Inhalte so, dass sie korrekt eingeordnet werden können. Sie erzwingen keine Einordnung. Nur eine Handvoll Mittel, allen voran die noindex-Regel, hat tatsächlich verbindlichen Charakter, und auch die nur unter einer Bedingung, auf die wir gleich zurückkommen.

Stufe 1: Wie eine URL überhaupt bekannt wird

Bevor irgendetwas passiert, muss die Suchmaschine wissen, dass es eine Adresse gibt. Dieser Schritt wird häufig übersprungen, weil er trivial wirkt, und ist dann die Ursache dafür, dass ein Bereich einer Website über Monate unsichtbar bleibt.

Adressen werden im Wesentlichen auf drei Wegen bekannt. Erstens über Verweise: Ein Crawler ruft ein Dokument ab, findet darin Adressen und nimmt diese in seine Liste auf. Das ist der Normalfall und der Grund, warum eine Seite, auf die nirgendwo verwiesen wird, faktisch nicht existiert, selbst wenn sie fehlerfrei ausgeliefert wird. Zweitens über eine XML-Sitemap: Sie kann Suchmaschinen Hinweise zu wichtigen URLs und deren Dateien geben, garantiert jedoch weder Crawling noch Indexierung. Die Sitemap ist damit ein Katalog, kein Auftrag. Drittens über externe Quellen außerhalb Ihrer Kontrolle, etwa Verweise von anderen Websites.

Für die Steuerung folgt daraus eine nüchterne Arbeitsteilung. Die Sitemap ist das Mittel, um Adressen bekannt zu machen, die sonst schwer erreichbar wären, etwa neu angelegte Bereiche oder Seiten, die nur über Filter und Formulare erreichbar sind. Sie ist kein Mittel, um Indexierungsprobleme zu lösen. Wenn eine URL in der Sitemap steht und trotzdem nicht im Index landet, liegt das Problem eine oder zwei Stufen weiter hinten, und das Eintragen in eine zweite, dritte oder vierte Sitemap ändert daran nichts.

Ein Nebeneffekt der Sitemap wird oft unterschätzt: Sie ist auch ein Prüfwerkzeug für Sie selbst. Eine Sitemap, die aus Ihrem System generiert wird, listet genau die Adressen, von denen Ihr System glaubt, dass es sie ausliefert. Weicht diese Liste von dem ab, was Ihre Navigation tatsächlich verlinkt, haben Sie einen Befund über Ihre eigene Seitenstruktur, unabhängig von jeder Suchmaschine.

Stufe 2: Crawling, oder ob der Abruf gelingt

Ist eine Adresse bekannt, versucht der Crawler, sie abzurufen. Hier entscheidet sich, ob die Suchmaschine überhaupt Material bekommt, mit dem sie arbeiten kann.

Das zentrale Steuerungsmittel auf dieser Stufe ist die robots.txt. Mit einer robots.txt-Datei lässt sich der Zugriff von Crawlern steuern; sie ist nicht das geeignete Mittel, um eine URL zuverlässig aus dem Suchindex fernzuhalten. Dieser Satz enthält die wichtigste und am häufigsten missverstandene Unterscheidung im ganzen Themenfeld. Die robots.txt regelt den Abruf, nicht die Aufnahme. Sie sagt einem Crawler: Hol dieses Verzeichnis nicht ab. Sie sagt ihm nicht: Zeige diese Seite nicht an.

Der Unterschied wird praktisch, sobald beides zusammenkommt. Sperren Sie eine URL per robots.txt und setzen gleichzeitig eine noindex-Regel in das Dokument, hebt sich das gegenseitig auf: Der Crawler darf das Dokument nicht abrufen, kann die noindex-Regel darin also gar nicht lesen, und wenn die Adresse ihm auf anderem Weg bekannt ist, kann sie trotzdem in der Ergebnisliste auftauchen. Wer eine Seite verlässlich aus den Ergebnissen halten will, muss den Abruf also gerade erlauben, damit die Anweisung gelesen werden kann.

Sinnvoll eingesetzt wird die robots.txt dort, wo Abrufe keinen Nutzen haben und Aufwand erzeugen: endlose Filter- und Sortierparameter, interne Suchergebnisse, Endpunkte, die bei jedem Aufruf neue Adressen erzeugen. Der Maßstab ist dabei nicht “soll das im Index sein”, sondern “soll die Maschine das überhaupt abholen”.

Zur Crawling-Stufe gehört auch, welche Fassung Ihres Dokuments betrachtet wird. Google verwendet überwiegend die mobile Version einer Website für Indexierung und Ranking. Das ist keine Stilfrage, sondern eine Frage der Vollständigkeit: Was in der mobilen Ausgabe fehlt, fehlt für die Verarbeitung. Ausgeblendete Textblöcke, nur auf großen Bildschirmen geladene Abschnitte, in der mobilen Fassung weggelassene strukturierte Daten, all das reduziert das Material, mit dem die Suchmaschine arbeitet, auch wenn die Desktop-Ansicht vollständig aussieht.

Ein praktischer Prüfansatz für diese Stufe: Rufen Sie ein Dokument so ab, wie ein einfacher Client es täte, ohne Browser und ohne Ausführung von Skripten, und sehen Sie sich an, was zurückkommt. Alles, was in dieser Antwort steht, ist sicher vorhanden. Alles, was erst danach entsteht, ist von zusätzlichen Verarbeitungsschritten abhängig, die stattfinden können, aber nicht müssen.

Stufe 3: Indexierung, oder ob die Aufnahme erfolgt

Ein erfolgreich abgerufenes Dokument wird verarbeitet und dann daraufhin geprüft, ob es in den Index aufgenommen wird. Auch das ist eine Entscheidung und kein Automatismus. Aufgenommen wird, was verstanden werden konnte und was aus Sicht der Maschine eigenständigen Wert im Index hat.

Zwei Steuerungsmittel wirken hier direkt.

Das erste ist die noindex-Regel. Sie weist unterstützte Suchmaschinen an, eine Seite nicht in ihren Suchergebnissen anzuzeigen, sofern der Crawler die Regel abrufen kann. Das ist das schärfste Instrument in dieser Kette, und der Nebensatz ist die Bedingung dafür, dass es überhaupt funktioniert. Die Regel kann als Meta-Angabe im Dokument oder als HTTP-Header ausgeliefert werden, und beides setzt einen erlaubten, gelingenden Abruf voraus.

Das zweite ist die Kanonisierung. Bei mehreren ähnlichen URLs kann eine kanonische URL über Weiterleitungen, rel=“canonical” oder eine Sitemap signalisiert werden. Hier geht es nicht darum, ob ein Dokument in den Index kommt, sondern welche Adresse dafür steht. Ähnliche oder identische Inhalte unter mehreren Adressen sind auf gewachsenen Websites der Normalfall, nicht die Ausnahme: mit und ohne abschließendem Schrägstrich, mit Tracking-Parametern, unter mehreren Kategoriepfaden, in Druckansichten, in paginierten Varianten. Die Suchmaschine wählt in solchen Fällen eine Adresse als repräsentativ aus. Ihre Kanonisierungssignale sind der Vorschlag, welche das sein soll.

Auch das ist ein Hinweis, keine Anweisung, und wie stark er wiegt, hängt davon ab, ob er widerspruchsfrei ist. Ein häufiger Fehler ist die Signalkollision: Die Sitemap listet Variante A, das canonical-Element auf beiden Varianten zeigt auf B, die interne Verlinkung verweist auf A, und eine Weiterleitung führt von B nach A. Vier Aussagen, drei davon widersprüchlich. Die Maschine entscheidet dann selbst, und das Ergebnis ist schwer vorhersagbar. Die Abhilfe ist unspektakulär: In allen vier Kanälen dieselbe Adresse nennen.

Für die Indexierung ist außerdem relevant, wie eindeutig ein Dokument thematisch fassbar ist. Ein Dokument, das eine klar umrissene Frage behandelt, lässt sich eindeutiger einordnen als eines, das mehrere Themen streift. Das ist kein Rankingtrick, sondern eine Folge davon, wie Verarbeitung funktioniert: Was inhaltlich mehrdeutig ist, bleibt auch in der Einordnung mehrdeutig.

Stufe 4: Auswahl für eine konkrete Suchanfrage

Im Index zu liegen bedeutet, für Anfragen in Betracht zu kommen. Es bedeutet nicht, für Anfragen ausgewählt zu werden. Die Auswahl geschieht pro Suchanfrage, nicht pro Website, und das ist der Punkt, an dem viele Analysen die Ebene verwechseln.

Praktisch heißt das: Die Frage lautet nie “Ist meine Seite gut?”, sondern immer “Ist dieses Dokument für diese Anfrage die passendere Antwort als die anderen Dokumente im Index?”. Dieselbe Seite kann für eine Formulierung ausgewählt werden und für eine eng verwandte nicht, weil hinter den beiden Formulierungen unterschiedliche Erwartungen stehen.

Für die Steuerung der Verarbeitung ergeben sich daraus zwei nüchterne Konsequenzen.

Erstens: Ein Dokument sollte erkennbar für eine Erwartung gebaut sein. Wenn eine Anfrage eine Erklärung erwartet, ist eine Übersicht über Anbieter kein naheliegendes Ergebnis, unabhängig von deren Qualität. Die Passung entsteht aus dem, was das Dokument tatsächlich leistet, nicht aus der Wortwahl.

Zweitens: Wenn mehrere eigene Dokumente auf dieselbe Erwartung zielen, konkurrieren sie um denselben Platz. Die Suchmaschine wählt dann eines von beiden aus, und zwar unter Umständen nicht das, für das Sie sich entschieden hätten. Das ist kein Strafmechanismus, sondern schlicht die Auswahllogik. Der Hebel liegt darin, die Dokumente inhaltlich so abzugrenzen, dass sie unterschiedliche Erwartungen bedienen, oder sie zusammenzuführen und über die Kanonisierung eine repräsentative Adresse zu bestimmen.

Stufe 5: Darstellung im Ergebnis

Ist ein Dokument ausgewählt, bleibt die Frage, wie es angezeigt wird. Diese letzte Stufe wird oft ganz übergangen, obwohl sie darüber entscheidet, was ein Mensch von Ihrem Dokument tatsächlich zu sehen bekommt.

Die Suchmaschine erzeugt die Darstellung selbst und stützt sich dabei auf das Dokument. Titel und Beschreibungstext in der Ergebnisliste werden aus dem gewählt, was zur Anfrage passt, und können von Ihren Angaben abweichen. Auch hier gilt das Grundmuster: Ihre Angaben sind das Material, aus dem die Darstellung entsteht, nicht die Darstellung selbst.

Ein Mittel wirkt auf dieser Stufe besonders direkt: strukturierte Daten. Sie liefern Suchmaschinen ausdrücklich gekennzeichnete Informationen über den Inhalt einer Seite und können geeignete Darstellungen in der Suche ermöglichen. Der Kern ist das Wort “ausdrücklich gekennzeichnet”. Ohne strukturierte Daten muss die Maschine aus dem Fließtext erschließen, dass eine Zahl ein Preis, ein Datum ein Veranstaltungstermin und ein Abschnitt eine Frage mit Antwort ist. Mit strukturierten Daten steht es explizit da.

Zwei Einschränkungen gehören dazu. Strukturierte Daten ermöglichen eine Darstellung, sie erzwingen sie nicht. Und sie müssen zu dem passen, was auf der Seite tatsächlich sichtbar ist. Auszeichnungen, die Inhalte beschreiben, die es auf der Seite nicht gibt, beschreiben nicht die Seite, sondern einen Wunsch.

Welches Mittel an welcher Stelle wirkt

Die häufigsten Fehlgriffe entstehen dadurch, dass ein Mittel auf einer Stufe eingesetzt wird, auf der es nichts ausrichtet. Die folgende Übersicht ordnet die Mittel den Stufen zu:

Die Spalte ganz rechts ist in der Praxis die nützlichste. Sie beantwortet die Frage, warum eine Maßnahme, die korrekt umgesetzt wurde, trotzdem nicht das erwartete Ergebnis gebracht hat: weil sie auf einer anderen Stufe ansetzt als das Problem.

Vier typische Fehlkopplungen

Die gesperrte Seite, die trotzdem erscheint. Eine URL wird per robots.txt gesperrt, um sie aus den Ergebnissen zu bekommen. Sie erscheint weiter, weil die Sperre den Abruf regelt und nicht die Aufnahme. Die Auflösung: Abruf erlauben, noindex-Regel setzen, warten, bis das Dokument erneut abgerufen wurde.

Die Sitemap als Reparaturwerkzeug. Seiten werden nicht indexiert, also werden sie in die Sitemap aufgenommen, und wenn das nicht hilft, in eine zusätzliche. Die Sitemap wirkt auf der Auffinden-Stufe. Wenn die Adressen bereits bekannt sind, adressiert sie das Problem nicht.

Der Widerspruch zwischen den Signalen. Interne Verlinkung, Sitemap, canonical-Angabe und Weiterleitungen nennen unterschiedliche Adressen für dasselbe Dokument. Die Maschine entscheidet selbst, welchem Signal sie folgt. Die Auflösung ist Konsistenz über alle vier Kanäle hinweg.

Die unsichtbare mobile Lücke. Ein Dokument sieht am Desktop vollständig aus, die mobile Fassung lässt Abschnitte, Auszeichnungen oder Verweise weg. Da überwiegend die mobile Version für Indexierung und Ranking verwendet wird, arbeitet die Suchmaschine mit der reduzierten Fassung. Die Auflösung ist Gleichwertigkeit der Inhalte, nicht Gleichheit des Layouts.

Beobachten statt annehmen

Alle bisherigen Stufen sind beobachtbar, und der Unterschied zwischen einer Vermutung und einem Befund ist genau diese Beobachtung.

Die Google Search Console unterstützt Websitebetreiber dabei, Crawling, Indexierung und Leistung in der Google Suche zu überwachen. Für die hier beschriebene Kette ist sie das direkte Gegenstück: Sie zeigt, ob eine Adresse bekannt ist, ob sie abgerufen werden konnte, ob sie indexiert wurde und ob sie für Anfragen ausgeliefert wird. Damit lässt sich die Frage “An welcher Stufe hängt es?” nicht nur stellen, sondern beantworten.

Für die zweite große Suchmaschine gibt es das Gegenstück: Bing stellt mit den Bing Webmaster Tools Funktionen zur Überwachung der Suchleistung, Indexierung und technischen Websitegesundheit bereit. Wer beide Quellen nutzt, sieht außerdem, ob ein Befund an der eigenen Auslieferung liegt oder an der Verarbeitung einer einzelnen Suchmaschine, denn ein Problem, das in beiden Systemen sichtbar ist, liegt fast immer bei Ihnen.

Ein pragmatischer Ablauf für einen konkreten Verdachtsfall, in genau dieser Reihenfolge:

1. Ist die Adresse überhaupt bekannt? Wenn nein, ist es ein Auffinden-Problem: Verweise und Sitemap prüfen.
2. Konnte sie abgerufen werden? Wenn nein, ist es ein Crawling-Problem: robots.txt, Serverantwort und Erreichbarkeit prüfen.
3. Wurde sie indexiert? Wenn nein, ist es ein Indexierungsproblem: noindex-Regeln, Kanonisierung und inhaltliche Eigenständigkeit prüfen.
4. Wird sie für Anfragen ausgeliefert? Wenn nein, ist es ein Auswahlproblem: Passung zur Erwartung und Konkurrenz durch eigene Dokumente prüfen.
5. Sieht die Darstellung anders aus als geplant? Dann ist es ein Darstellungsproblem: Auszeichnungen und ihre Deckung mit dem sichtbaren Inhalt prüfen.

Jede Frage in dieser Liste hat einen Zustand als Antwort, kein Gefühl. Das ist der eigentliche Nutzen des Stufenmodells.

Häufige Fragen

Muss ich meine Website bei einer Suchmaschine bekannt machen, damit sie verarbeitet wird? Der Regelweg ist, dass Adressen über Verweise gefunden werden, ergänzt um die Hinweise aus einer XML-Sitemap. Diese Hinweise sind allerdings keine Zusage: Eine Sitemap garantiert weder Crawling noch Indexierung.

Warum ist eine Seite im Index, obwohl ich sie ausgeschlossen habe? Weil vermutlich das falsche Mittel gewählt wurde. Ein Ausschluss per robots.txt regelt den Zugriff des Crawlers und ist nicht das geeignete Mittel, eine URL zuverlässig aus dem Suchindex fernzuhalten. Die noindex-Regel wirkt an dieser Stelle, aber nur, wenn der Crawler sie abrufen kann.

Was passiert mit mehreren fast identischen Adressen? Die Suchmaschine bestimmt eine als repräsentativ. Sie können diese Wahl beeinflussen, indem Sie die kanonische URL über Weiterleitungen, rel=“canonical” oder die Sitemap signalisieren, und zwar in allen Kanälen dieselbe.

Bekomme ich durch strukturierte Daten eine bessere Darstellung? Strukturierte Daten liefern ausdrücklich gekennzeichnete Informationen über den Inhalt einer Seite und können geeignete Darstellungen ermöglichen. Die Entscheidung über die tatsächliche Darstellung trifft weiterhin die Suchmaschine.

Reicht es, wenn die Desktop-Ansicht vollständig ist? Nein. Da überwiegend die mobile Version einer Website für Indexierung und Ranking verwendet wird, ist die mobile Fassung die maßgebliche Grundlage der Verarbeitung.

Zusammengefasst

Die Schnittstelle zwischen SEO und Suchmaschine ist keine Sammlung von Kniffen, sondern eine Kette von fünf Entscheidungen: bekannt werden, abgerufen werden, aufgenommen werden, ausgewählt werden, dargestellt werden. Für jede dieser Stufen gibt es genau bestimmte Mittel, und jedes dieser Mittel wirkt ausschließlich auf seiner Stufe. Die Sitemap macht bekannt. Die robots.txt regelt den Abruf. Die noindex-Regel regelt die Aufnahme, sofern sie gelesen werden darf. Die Kanonisierung regelt, welche Adresse steht. Strukturierte Daten wirken auf die Darstellung. Die mobile Fassung ist die Grundlage von Indexierung und Ranking.

Wer diese Zuordnung verinnerlicht hat, verwendet keine Maßnahmen mehr, die auf der falschen Stufe ansetzen, und kann jede Auffälligkeit auf eine beantwortbare Frage zurückführen. Und weil Search Console und Bing Webmaster Tools genau diese Zustände sichtbar machen, bleibt die Antwort eine Beobachtung und wird nicht zur Vermutung.