Webseiten bei Suchmaschinen anmelden: der Workflow nach dem Launch
So prüfen Sie technische Freigaben, melden Ihre Website bei Google und Bing an und erkennen anschließend konkrete Indexierungsblocker.
Die Anmeldung einer neuen Webseite bei Suchmaschinen ist kein Pflichtakt, sondern ein Kontrollpunkt. Google findet und indexiert neue Websites normalerweise automatisch, eine manuelle Anmeldung ist keine Voraussetzung für die Aufnahme in die Suche. Wer trotzdem aktiv anmeldet, gewinnt etwas anderes: Zugang zu den Daten der Suchmaschine über die eigene Website. Erst damit lässt sich prüfen, ob die Seiten tatsächlich im Index gelandet sind, und im Fehlerfall benennen, woran es liegt.
Genau darum geht es in diesem Ablauf. Zuerst die technische Freigabe prüfen, dann die Website bei Google und Bing übermitteln, anschließend die Indexierung verifizieren und Blocker gezielt diagnostizieren.
Schritt 0: technische Freigabe prüfen, bevor Sie anmelden
Eine Anmeldung bei einer Website, die Crawler aussperrt, erzeugt nur eine saubere Fehlermeldung. Deshalb steht die technische Prüfung vor der Übermittlung. Vier Punkte reichen für den Anfang.
robots.txt kontrollieren. Rufen Sie ihre-domain.de/robots.txt im Browser auf. Ein Disallow: / unter User-agent: * sperrt die gesamte Website für Crawler. Das ist der häufigste Rückstand aus der Entwicklungsphase, weil Staging-Umgebungen genau so abgesichert werden. Wichtig zu verstehen: Die robots.txt steuert den Zugriff von Crawlern, sie ist jedoch nicht das geeignete Mittel, um eine URL zuverlässig aus dem Suchindex auszuschließen. Sie regelt das Abrufen, nicht das Aufnehmen.
Noindex-Anweisungen suchen. Prüfen Sie im Quelltext, ob ein <meta name="robots" content="noindex"> gesetzt ist, und ob der Server einen X-Robots-Tag: noindex im HTTP-Header ausliefert. Eine Noindex-Anweisung verhindert die Aufnahme einer abrufbaren Seite in die Suchergebnisse, sobald der Suchmaschinen-Crawler sie verarbeitet hat. Viele Content-Management-Systeme haben dafür eine zentrale Einstellung, die beim Launch umgestellt werden muss.
Erreichbarkeit sicherstellen. Jede Seite, die in den Index soll, muss mit Statuscode 200 antworten, über eine eindeutige, bevorzugte Adresse erreichbar sein und ein Canonical-Tag auf sich selbst tragen. Doppelte Erreichbarkeit über www und ohne www oder über http und https sollte per Weiterleitung auf eine Variante zusammenlaufen.
Sitemap bereitstellen. Erzeugen Sie eine XML-Sitemap, die ausschließlich indexierbare URLs enthält. Eine XML-Sitemap kann Google dabei helfen, wichtige URLs einer Website zu entdecken, stellt aber keine Garantie für Crawling oder Indexierung dar. Sie ist ein Vorschlag, kein Auftrag. Notieren Sie sich die Adresse, meist ihre-domain.de/sitemap.xml, für die nächsten beiden Schritte.
Schritt 1: Website in der Google Search Console anmelden
Die Google Search Console ist die offizielle Plattform für die Übermittlung und für alles, was danach kommt. Der Ablauf hat drei Teile.
Property anlegen. Sie wählen zwischen einer Domain-Property und einer URL-Präfix-Property. Die Domain-Property erfasst alle Subdomains und beide Protokolle gemeinsam, verlangt aber die Bestätigung über einen DNS-Eintrag. Die URL-Präfix-Property gilt nur für die eingetragene Variante, lässt dafür mehrere Bestätigungswege zu. Für eine neue Website mit Zugriff auf die DNS-Verwaltung ist die Domain-Property die sauberere Wahl, weil sie spätere Lücken vermeidet.
Inhaberschaft bestätigen. Für die Domain-Property hinterlegen Sie einen TXT-Eintrag bei Ihrem DNS-Anbieter. Für die URL-Präfix-Property stehen unter anderem eine HTML-Datei im Wurzelverzeichnis, ein Meta-Tag im <head> der Startseite oder die Verknüpfung über ein bereits installiertes Google-Tag zur Verfügung. Entfernen Sie den Nachweis später nicht, sonst verlieren Sie den Zugriff auf die Property.
Sitemap übermitteln. Im Bereich Sitemaps tragen Sie den Pfad Ihrer XML-Sitemap ein und senden ihn ab. Der Status sollte nach kurzer Zeit auf “Erfolgreich” wechseln und die Zahl der erkannten URLs anzeigen. Weicht diese Zahl stark von der Zahl Ihrer Seiten ab, liegt der Fehler in der Sitemap selbst, nicht bei Google.
Schritt 2: Website bei Bing Webmaster Tools anmelden
Bing bedient nicht nur die eigene Suche, sondern auch angeschlossene Dienste, und der Aufwand ist gering. Bing Webmaster Tools unterstützt die Website-Verifizierung, die Sitemap-Übermittlung und die Kontrolle der Auffindbarkeit in Bing.
Der Ablauf entspricht dem bei Google: Website hinzufügen, Inhaberschaft nachweisen, Sitemap einreichen. Danach haben Sie für beide relevanten Suchmaschinen eine Datenquelle, in der Sie den Indexstatus nachsehen können, statt ihn zu vermuten.
Mehr als diese beiden Plattformen brauchen Sie für die Anmeldung nicht. Alle weiteren Suchmaschinen im deutschsprachigen Raum beziehen ihre Ergebnisse entweder von einem dieser beiden Indizes oder crawlen ohnehin eigenständig.
Schritt 3: Indexierung verifizieren statt annehmen
Eine eingereichte Sitemap ist keine Bestätigung. Sie sagt nur, dass Google die Datei gelesen hat. Die Erfolgskontrolle läuft über zwei Werkzeuge.
Die URL-Prüfung. Mit der URL-Prüfung der Google Search Console kann der Indexstatus einer URL kontrolliert und für geeignete Seiten eine Indexierung beantragt werden. Geben Sie die vollständige Adresse oben in das Suchfeld ein. Sie erhalten eine klare Auskunft: “URL ist auf Google” oder “URL ist nicht auf Google”, jeweils mit der Begründung, dem zuletzt verwendeten Crawler und dem Datum des letzten Crawls. Über “Indexierung beantragen” stellen Sie eine einzelne URL in die Prüfwarteschlange. Das ist für die Startseite und einige wichtige Unterseiten sinnvoll, nicht für hundert Seiten hintereinander.
Der Seitenindexierungsbericht. Er zeigt für die gesamte Website, wie viele URLs indexiert sind und wie viele aus welchem Grund nicht. Dieser Bericht ist der eigentliche Arbeitsplatz nach der Anmeldung, weil er die Blocker nach Ursache gruppiert.
Rechnen Sie damit, dass zwischen Einreichung und Indexierung Zeit vergeht. Eine feste Frist gibt es nicht, weil weder die Sitemap noch der Indexierungsantrag eine Aufnahme garantieren.
Schritt 4: Indexierungsblocker diagnostizieren
Wenn Seiten nicht im Index landen, nennt der Bericht den Grund. Die häufigsten Meldungen und ihre Bedeutung:
“Durch robots.txt blockiert”. Der Crawler durfte die Seite nicht abrufen. Lösung: Die betreffende Disallow-Regel entfernen oder präzisieren. Achtung, eine so blockierte URL kann trotzdem in den Ergebnissen auftauchen, wenn andere Seiten auf sie verlinken, weil die Sperre nur das Abrufen betrifft.
“Durch Noindex-Tag ausgeschlossen”. Der Crawler durfte abrufen, die Seite hat ihre eigene Aufnahme aber untersagt. Lösung: Meta-Tag oder HTTP-Header entfernen und die URL erneut prüfen lassen.
“Gecrawlt, zurzeit nicht indexiert”. Google hat die Seite gesehen und sich gegen die Aufnahme entschieden. Das ist ein Qualitäts- und Substanzsignal, kein technischer Fehler. Prüfen Sie, ob die Seite eigenständigen Inhalt bietet oder eine dünne Variante einer anderen Seite ist.
“Gefunden, zurzeit nicht indexiert”. Die URL ist bekannt, wurde aber noch nicht abgerufen. Häufige Ursachen sind sehr viele neue URLs auf einmal, langsame Serverantworten oder eine sehr flache interne Verlinkung.
“Alternative Seite mit richtigem kanonischem Tag”. Google betrachtet eine andere URL als die maßgebliche Version. Das ist korrekt, wenn Sie es so wollten, und ein Fehler, wenn Ihr Canonical-Tag falsch gesetzt ist.
“Soft 404” oder “Nicht gefunden (404)”. Die Seite liefert keinen verwertbaren Inhalt oder existiert nicht mehr. Entweder Inhalt ergänzen oder die URL aus der Sitemap entfernen.
“Serverfehler (5xx)” oder “Weiterleitungsfehler”. Technische Störungen. Prüfen Sie Serverprotokolle und Weiterleitungsketten, bevor Sie erneut zur Indexierung anmelden.
Kurzcheckliste
- robots.txt frei, kein Noindex, Statuscode 200, sauberes Canonical.
- XML-Sitemap erzeugt, enthält nur indexierbare URLs.
- Google Search Console: Property angelegt, Inhaberschaft bestätigt, Sitemap eingereicht.
- Bing Webmaster Tools: Website hinzugefügt, verifiziert, Sitemap eingereicht.
- URL-Prüfung für Startseite und wichtige Unterseiten durchgeführt.
- Seitenindexierungsbericht nach zwei bis drei Wochen erneut angesehen und jeden gemeldeten Ausschlussgrund einzeln abgearbeitet.
Die Anmeldung ist damit abgeschlossen. Was danach folgt, ist Beobachtung: Der Indexierungsbericht bleibt das Werkzeug, mit dem Sie sehen, ob neue Seiten den Weg in den Index finden, und an welcher Stelle sie hängen bleiben.
