Crawling & Indexierung: Wie der Google-Index funktioniert [Guide 2026]

Crawling & Indexierung: So findet und speichert Google deine Inhalte
Das Wichtigste in Kürze:

Crawling heißt, dass Google deine Seite abruft. Indexierung heißt, dass Google sie analysiert und in den Suchindex aufnimmt. Beide Schritte können unabhängig voneinander scheitern. Aus meiner Sicht lassen sich die meisten Meldungen im Bericht zur Seitenindexierung einer der beiden Stufen zuordnen. Manche betreffen beide, etwa Weiterleitungen oder die Wahl der kanonischen URL.

  • Einzelne URLs stößt du über die URL-Prüfung der Search Console an, viele URLs über die Sitemap. Für Einzelanfragen in der URL-Prüfung gibt es ein Kontingent. Mehrfaches Beantragen macht es laut Google nicht schneller.
  • Google nennt für das Crawling nach einer Anfrage „a few days to a few weeks“. Nach einem Antrag in der URL-Prüfung dauert die Indexierung laut Search-Console-Hilfe meist etwa einen Tag, manchmal deutlich länger. Laut internen Schätzwerten, die Gary Illyes im Oktober 2026 gezeigt hat, entdeckt Google eine neue URL typischerweise nach rund 20 Stunden. Die Indexierung selbst dauert typischerweise rund 1,5 Stunden, im langsamsten Fall Monate oder aus Qualitätsgründen nie.
  • Seit Februar 2026 nennt Google eine Grenze, die sich noch ändern kann: Der Googlebot liest die ersten 2 MB einer HTML-Datei (unkomprimiert). Das Crawl Budget gilt je Hostname.
  • Dass Google den Index in Stufen nach Speichertyp organisiert, hat Gary Illyes 2021 selbst beschrieben. Die Namen Base, Zeppelins und Landfills stammen aus dem Leak von 2024.

Am 23. September 2026 habe ich um 13:55 Uhr UTC meinen Leitfaden zu Google Discover aktualisiert und danach die Sitemap neu eingereicht. Die Search Console hat die Einreichung um 13:58 Uhr bestätigt. Eine halbe Stunde später nannte die URL-Prüfung über die API als letzten Crawl trotzdem den 13. September (UTC). Die Einreichung war also angekommen. Laut Search-Console-API war die Sitemap aber noch als ausstehend markiert, zuletzt gelesen hatte Google sie am 22. September. Neu gecrawlt war die URL laut URL-Prüfung ebenfalls noch nicht. Genau zwischen diesen beiden Zuständen spielt dieser Artikel.

Crawling und Indexierung sind die ersten beiden Stufen der Google-Suche. Wie es danach mit Query Processing, Ranking und Re-Ranking weitergeht, steht im Hauptartikel darüber, wie der Google-Suchalgorithmus von Crawling bis Ranking funktioniert. Hier geht es um die zwei Fragen davor: Kommt Google an deine Seite heran? Und nimmt Google sie auf?

Crawling und Indexierung: der Unterschied

Key Takeaway: Crawling entscheidet, ob Google den Inhalt einer URL zu sehen bekommt. Indexierung entscheidet, ob Google ihn speichert und für Suchanfragen bereithält. Wer ein Problem lösen will, muss zuerst die Stelle kennen: Crawling oder Indexierung.

Google beschreibt die Suche in drei Stufen: Crawling, Indexierung und das Ausspielen der Ergebnisse. Beim Crawling laden Programme namens Crawler Texte, Bilder und Videos von gefundenen Seiten herunter. Bei der Indexierung analysiert Google diese Inhalte und legt sie im Index ab, einer großen Datenbank. So steht es in Googles Überblick „So funktioniert die Google Suche“.

Crawling Indexierung
Frage Kann Google die URL abrufen? Nimmt Google den Inhalt in den Index auf?
Wer Googlebot und weitere Google-Crawler Googles Indexierungssystem
Du steuerst über robots.txt, interne Links, Sitemap, Serverantwort noindex, Canonical, Inhalt, Duplikate
Typische Meldung in der Search Console „URL wird von der robots.txt-Datei blockiert“, „Gefunden – zurzeit nicht indexiert“ „Gecrawlt – zurzeit nicht indexiert“, „Duplikat“

Auch eine gesperrte Seite kann als nackte URL im Index landen. Dafür reichen Links von anderen Seiten. Google zeigt sie dann ohne Beschreibung. Umgekehrt wird nicht jede gecrawlte Seite indexiert.

Hinweis: Google indexiert nicht jede Seite einer Website. Die Hilfe zum Indexierungsbericht sagt es für das Web insgesamt: „Google indexiert nicht alle Seiten im Web.“ John Mueller sagte schon 2021 laut Search Engine Journal, es sei „completely normal“, dass Google nicht alles indexiere. Bei hundert Seiten mit achtzig indexierten sehe er kein Problem, das man beheben müsse. Wichtig ist, dass deine wichtigen Seiten zum indexierten Teil gehören.

Was ist Crawling? So arbeitet der Googlebot

Key Takeaway: Der Googlebot arbeitet eine Liste bekannter URLs ab und findet über Links und Sitemaps neue. Er liest die ersten 2 MB einer HTML-Datei. Seiten mit Status 200 reiht Google danach zum Rendern ein, sofern kein noindex in Robots-Meta-Tag oder Header steht.

Crawling beginnt mit einer Liste von URLs, die Google schon kennt: aus früheren Crawls, aus Sitemaps und aus Links auf anderen Seiten. Der Googlebot ruft URLs aus dieser Liste ab, liest den HTML-Code und nimmt neue Links in seine Liste auf. Nicht jede entdeckte URL wird dabei gecrawlt. Wie oft er wiederkommt, ist sehr unterschiedlich. Google schreibt in seiner Übersicht zum Crawling, Startseiten von Nachrichtenseiten würden unter Umständen alle paar Minuten neu gecrawlt. Bei Seiten, die sich seit Jahren nicht geändert haben, warte Google womöglich einen Monat.

2 MB pro Datei

Seit einer Klarstellung im Februar 2026 (laut Changelog) nennt Google eine Grenze, die sich laut Google noch ändern kann: Der Googlebot liest bei unterstützten Dateitypen die ersten 2 MB, bei PDF-Dateien die ersten 64 MB. Gemessen wird unkomprimiert. Was dahinter steht, wird für die Indexierung nicht berücksichtigt. Für andere Google-Crawler gilt laut Crawler-Übersicht standardmäßig 15 MB, einzelne Produkte können abweichen. Was das für schwere Seiten heißt, habe ich im Beitrag zum 2-MB-Crawl-Limit ausgewertet.

Rendering gehört zum Crawling dazu

Nach dem Abruf rendert Google die Seite. Laut Googles Dokumentation zu JavaScript-SEO kommen Seiten mit Statuscode 200 in die Rendering-Warteschlange. Ob sie JavaScript enthalten, spielt dabei keine Rolle. Ausgenommen sind Seiten, bei denen ein Robots-Meta-Tag oder Header die Indexierung ausschließt. Mehr dazu im Abschnitt zu JavaScript und Rendering.

Welche Google-Crawler es gibt

Google teilt seine Crawler in drei Gruppen: allgemeine Crawler wie den Googlebot, Crawler für Sonderfälle wie den AdsBot und Abrufe, die ein Nutzer auslöst. Die vollständige Liste führt Google in der Übersicht der Google-Crawler. Für die Suche sind diese wichtig:

Crawler Token in der robots.txt Aufgabe
Googlebot Smartphone und Desktop Googlebot Crawling für die Google-Suche, überwiegend als Smartphone
Googlebot Image Googlebot-Image Bilder für Google Bilder und andere Bildfunktionen
Googlebot Video Googlebot-Video Videos für videobezogene Suchfunktionen
Googlebot News Googlebot-News nur ein Token: Google crawlt mit den normalen Googlebot-Kennungen
Google-InspectionTool Google-InspectionTool Testwerkzeuge wie die URL-Prüfung und den Test für Rich-Suchergebnisse
GoogleOther GoogleOther Abrufe für andere Google-Teams, etwa Forschung
Google-Extended Google-Extended nur ein Token: steuert, ob Inhalte für künftige Gemini-Modelle und Grounding genutzt werden, ohne Einfluss auf Aufnahme und Ranking in der Suche
AdsBot AdsBot-Google prüft Anzeigen-Zielseiten und ignoriert mit Erlaubnis des Werbetreibenden Regeln für User-agent: *

Seit März 2026 gibt es außerdem den Google-Agent für KI-Agenten, die im Auftrag eines Nutzers im Web handeln. Solche vom Nutzer ausgelösten Abrufe halten sich laut Google in der Regel nicht an die robots.txt. Für das normale Crawling der Suche bleibt die robots.txt wirksam, eine Zugriffskontrolle ist sie aber nicht. Was das für deine Website bedeutet, steht in meinem Beitrag Google-User-Agent für KI-Agenten erklärt.

Crawl Budget: wie Google Prioritäten setzt

Key Takeaway: Das Crawl Budget ergibt sich aus der Nachfrage nach deinen URLs und der Kapazität, die dein Server verträgt. Es gilt je Hostname. Alle Google-Crawler teilen sich die Kapazität. Ein Thema ist es vor allem für große Websites.

Google kann nicht jede URL beliebig oft abrufen. Die überarbeitete Crawl-Budget-Dokumentation nennt zwei Teile. Das Crawl Capacity Limit legt über Zahl und Dauer paralleler Verbindungen fest, wie viel Last Google deinem Server zumutet. Jede Website startet laut Google mit demselben vorsichtigen Wert. Er passt sich mit der Zeit an. Die Crawl Demand hängt laut Google von Größe, Aktualisierungshäufigkeit, Seitenqualität und Relevanz ab.

Zwei Punkte aus der Doku sind in der Praxis wichtig. Google versteht unter einer Website einen Hostnamen, www.example.com und shop.example.com haben also getrennte Budgets. Seit der Überarbeitung vom 22. Juli 2026 (laut Changelog) steht dort außerdem: Die Kapazität teilen sich alle Google-Crawler, hohe Nachfrage eines Crawlers kann anderen also Kapazität nehmen. Was sich im Detail geändert hat, zeige ich im Beitrag Crawl-Budget-Doku: Googles Rewrite im Diff.

Was Budget kostet

  • Duplikate und Parameter-URLs: Filter, Sortierungen und Session-IDs erzeugen viele Adressen für denselben Inhalt.
  • Soft-404-Seiten: Seiten, die einen Fehler oder keinen Inhalt zeigen, aber einen Erfolgsstatus (2xx) senden. Google erkennt sie als Soft 404, crawlt sie laut Doku aber weiter.
  • Endlose URL-Räume: Kalender, die immer neue Adressen erzeugen.
  • Gehackte Bereiche: Spam-Seiten auf deiner Domain, die Google ebenfalls abruft.

Wie du das auf einer großen Website angehst, steht in meinem Leitfaden Crawl Budget optimieren.

Crawling steuern: robots.txt und Sitemaps

Key Takeaway: Die robots.txt regelt, was Google abrufen darf. Was im Index landet, regelt sie nicht. In die Sitemap gehören die kanonischen URLs, die in der Suche erscheinen sollen. Beides sind Hinweise und Regeln fürs Crawling, keine Indexierungsbefehle.

robots.txt: Zutritt regeln

Die robots.txt liegt im Stammverzeichnis deiner Domain und sagt Crawlern, welche Pfade sie nicht abrufen sollen. Sinnvoll ist das etwa für Filter-URLs und sortierte Varianten, die nur Budget kosten. Aus meiner Sicht gehören interne Suchseiten und Warenkörbe oft dazu. Ein Beispiel:

# Beispiel robots.txt
User-agent: *
Disallow: /admin/
Disallow: /checkout/
Disallow: /suche?

Sitemap: https://example.com/sitemap.xml

Die Angabe Crawl-delay findest du in vielen Vorlagen. Google unterstützt sie laut robots.txt-Spezifikation nicht und ignoriert sie.

Achtung: Die robots.txt verhindert das Crawling, nicht die Indexierung. Google schreibt dazu: „A page that’s disallowed in robots.txt can still be indexed if linked to from other sites.“ Wer eine Seite sicher aus dem Index halten will, nutzt noindex und lässt das Crawling zu, damit Google die Anweisung überhaupt lesen kann.

XML-Sitemaps: die Liste deiner wichtigen URLs

Laut Sitemap-Dokumentation gehören die URLs in die Sitemap, die du in den Suchergebnissen sehen willst. Das sind die kanonischen Adressen. URLs mit noindex, Duplikate und weiterleitende Adressen lässt du weg. Eine Sitemap darf 50 MB unkomprimiert oder 50.000 URLs groß sein, für mehr nutzt du einen Sitemap-Index. Das Feld lastmod nutzt Google nur, wenn es durchgängig und nachprüfbar stimmt.

Google nennt das Einreichen einer Sitemap „merely a hint“. Es gibt mehrere Wege: den Sitemap-Bericht der Search Console, einen Eintrag in der robots.txt oder die Search-Console-API. Ich reiche Sitemaps per API ein und habe mir dabei eine Regel angewöhnt. Die API antwortet mit einer leeren Antwort, bei mir mit Status 204. Das heißt nur, dass der Aufruf verarbeitet wurde. Dass die Einreichung im Sitemap-Bericht steht, zeigt erst der zurückgelesene Zeitpunkt lastSubmitted, wenn er nach deinem Aufruf liegt. Mein Skript liest ihn deshalb nach jeder Einreichung zurück. Ob und wann Google die Sitemap danach abruft, zeigt auch dieser Wert nicht.

Crawling anstoßen und Indexierung beantragen

Key Takeaway: Für einzelne URLs nutzt du die URL-Prüfung, für viele die Sitemap. Beides ist eine Bitte an Google, kein Befehl. Die Indexing API taugt für normale Seiten nicht.

Google beschreibt in „Google um erneutes Crawlen deiner URLs bitten“ zwei Wege. Welcher passt, hängt davon ab, wie viele Seiten du geändert hast.

Einzelne URL: so beantragst du die Indexierung

  1. Öffne die URL-Prüfung in der Search Console und gib die vollständige URL ein. Für den Antrag auf Indexierung musst du Inhaber oder uneingeschränkter Nutzer der Property sein.
  2. Prüfe den Status aus dem Index: indexiert oder nicht, letzter Crawl, von Google gewählte kanonische URL.
  3. Klicke auf „Live-URL testen“. Der Test zeigt, ob Google die aktuelle Fassung abrufen kann. Mit „Getestete Seite anzeigen“ siehst du Screenshot und gerendertes HTML.
  4. Klicke auf „Indexierung beantragen“.

Google schränkt das selbst ein: Es gibt ein Tageskontingent. Mehrfaches Beantragen derselben URL macht es laut Google nicht schneller. Eine feste Zahl nennt Google nicht.

Viele URLs: Sitemap aktualisieren und einreichen

Für viele geänderte Seiten empfiehlt Google die Sitemap. Aktualisiere lastmod der geänderten URLs und reiche die Sitemap in der Search Console neu ein. Bei seo-kreativ.de setzt Yoast den Wert, das Einreichen erledige ich per Skript mit Rücklesen.

Was nicht funktioniert: die Indexing API für normale Seiten

Mehrere WordPress-Plugins werben mit schneller Indexierung über Googles Indexing API. Laut Dokumentation ist sie nur für Seiten mit JobPosting oder BroadcastEvent in einem VideoObject gedacht. Ich habe es im September 2026 an einem eigenen Blogbeitrag ausprobiert. Die API antwortete mit Status 200. Der anschließende Abruf der Benachrichtigung ergab „Requested entity was not found“. Angenommen hieß in diesem Fall nicht verarbeitet. Das ist ein einzelner Test und keine allgemeine Regel. Er passt aber zu dem, was Google dokumentiert.

Wie lange dauert die Indexierung?

Key Takeaway: Google nennt für das Crawling nach einer Anfrage einige Tage bis einige Wochen und für die Indexierung nach einem Antrag meist etwa einen Tag. Eine Garantie gibt es nicht. Googles interne Schätzwerte vom Oktober 2026: Eine neue URL wird typischerweise nach rund 20 Stunden entdeckt, die Indexierung dauert dann rund 1,5 Stunden. Laut Google priorisieren seine Systeme die schnelle Aufnahme hochwertiger, nützlicher Inhalte.

Google macht dazu drei Angaben. In der Anleitung zum erneuten Crawlen steht: „Crawling can take anywhere from a few days to a few weeks.“ In der Hilfe zur URL-Prüfung heißt es, die Indexierung dauere „typically only a day or so“, könne aber in manchen Fällen viel länger dauern, bis zu ein oder zwei Wochen. Und Google schreibt: „Our systems prioritize the fast inclusion of high quality, useful content.“

Situation Was Google sagt
Crawl nach Anfrage einige Tage bis einige Wochen
Indexierung nach Antrag in der URL-Prüfung meist etwa ein Tag, manchmal ein bis zwei Wochen
Startseite einer Nachrichtenseite unter Umständen alle paar Minuten neu gecrawlt
Seite ohne Änderung seit Jahren Google wartet womöglich einen Monat
Duplikat-Cluster nach inhaltlicher Überarbeitung Google hält die Seiten womöglich bis zu zwei Wochen im Cluster

Wie viel das in der Praxis heißt, zeigt der Fall aus der Einleitung. Sitemap eingereicht und bestätigt heißt noch nicht, dass der Googlebot da war. Den Stand prüfst du in der URL-Prüfung unter „Letztes Crawling“.

Googles interne Schätzwerte vom Oktober 2026

Genauer wurde Google am 2. Oktober 2026. Auf der Search Central Live Deep Dive in Barcelona zeigte Gary Illyes drei Folien dazu, wie lange Crawling, Indexierung und Ausspielung dauern. Für jeden Schritt nennen sie einen Mindestwert, einen typischen Wert und den langsamsten Fall. Unter jeder Folie steht: „Times expressed on the diagram are estimations based on internal analysis.“ Fotos der Folien hat Search Engine Roundtable veröffentlicht. Auf Googles eigenen Seiten habe ich sie bis zum 8. Oktober 2026 nicht gefunden. Illyes schrieb danach in einem Kommentar auf LinkedIn: „mind that this was an exercise to see if the audience can relate to the numbers we pulled internally and put in those slides.“

Schritt Typisch Langsamster Fall
Neue URL entdecken rund 20 Stunden Wochen bis nie
Bekannte URL erneut crawlen rund 30 Tage Wochen bis nie
Sitemap verarbeiten rund 24 Stunden bis 14 Tage oder nie (Qualität)
Änderung der robots.txt rund 24 Stunden 25 Stunden
Rendering Sekunden, dazu Stunden in der Warteschlange Tage bis Wochen
Indexierung von Ende zu Ende rund 1,5 Stunden Monate oder nie (Qualität)

Quelle: Folien von Gary Illyes, Search Central Live Deep Dive Europe, Barcelona, 2. Oktober 2026, abgelesen an den Fotos bei Search Engine Roundtable. „Ende zu Ende“ heißt laut Folie, dass die kritischen Prozesse erfolgreich abgeschlossen sind. Google nennt die Werte Schätzungen und legt keine Methode offen.

Ich lese daraus drei Dinge. Erstens addieren sich die Zeiten. Laut dem Teilnehmerbericht von ROAST wies Illyes darauf hin, dass eine Seite erst gecrawlt sein muss, bevor Google sie indexieren kann. Eine neue URL wartet also nacheinander auf Entdeckung, Crawl und Indexierung. Zweitens steht das „nie“ bei Sitemap und Indexierung ausdrücklich neben Qualität. Eine schnell verarbeitete Sitemap hilft nichts, wenn Google die Seite nicht aufnehmen will. Drittens passt mein Fall aus der Einleitung ins Bild. Eine halbe Stunde nach der Einreichung hatte Google die Sitemap noch nicht gelesen. Typisch sind laut Folie rund 24 Stunden.

Was ist Indexierung? Vom Abruf in den Index

Key Takeaway: Bei der Indexierung analysiert Google den Inhalt, bildet Gruppen ähnlicher Seiten und wählt je Gruppe eine kanonische URL. Gary Illyes nannte das System dahinter 2020 laut Search Engine Roundtable noch Caffeine. Google beschreibt es als fortlaufend aktualisierten Index.

Nach dem Abruf analysiert Google den Inhalt: Text, Titel, Bilder, Videos und strukturierte Daten. Ähnliche Seiten fasst Google zu einer Gruppe zusammen und wählt eine Adresse als kanonische Version, die in der Suche erscheinen kann. Die anderen gelten als Duplikate.

Caffeine: fortlaufend statt in Schüben

2010 hat Google seine Index-Infrastruktur auf ein System namens Caffeine umgestellt. Google versprach damals „50 percent fresher results“ und schrieb, der Index werde nun „on a continuous basis“ aktualisiert, statt in großen Schüben. Nach außen hat Google den Namen auch 2020 noch benutzt. Gary Illyes sagte damals laut Search Engine Roundtable: „We have Caffeine. That’s our indexing system.“ Intern habe es allerdings einen anderen Namen.

Strukturierte Daten

Strukturierte Daten im JSON-LD-Format helfen Google, den Inhalt besser zu verstehen: ein Rezept mit Zutaten und Zeit, ein Produkt mit Preis und Verfügbarkeit. Welche Rich-Suchergebnisse Google daraus zeigt, ändert sich. Die FAQ-Ergebnisse etwa zeigt Google laut Changelog seit Mai 2026 nicht mehr an.

Interne Index-Stufen: was öffentlich bekannt ist

Google speichert nicht alle Dokumente gleich. Gary Illyes hat das 2021 im Podcast „Search Off the Record“ beschrieben, wiedergegeben von Search Engine Roundtable. Sehr oft ausgespielte Dokumente liegen auf schnellem Speicher bis hin zu RAM. Dazwischen nennt er als Beispiel SSDs. Der Großteil des Index liegt auf günstigem, leicht ersetzbarem Speicher. „And that’s what practically defines the index tiers that we have“, sagte er. Die Stufen selbst sind also von Google beschrieben.

Neu kamen 2024 die Namen. In den geleakten Unterlagen zur Content Warehouse API steht das Attribut scaledSelectionTierRank mit dem Zusatz „over the serving tier (Base, Zeppelins, Landfills)“. Mike King hat den Leak bei iPullRank ausgewertet. Das Attribut und die drei Namen kommen in seiner Analyse nicht vor. Welcher Name welcher Speicherstufe entspricht, steht weder im Leak noch in einer Google-Aussage. Eine Reihenfolge von Base über Zeppelins bis Landfills liegt nahe, belegt ist sie nicht.

Begriff Belegt ist Nicht belegt ist
Base der Name im Leak 2024 Speicherart, Reihenfolge, Wirkung auf Rankings
Zeppelins der Name im Leak 2024 Speicherart, Reihenfolge, Wirkung auf Rankings
Landfills der Name im Leak 2024 Speicherart, Reihenfolge, Wirkung auf Rankings

Ganz neu ist die Idee nicht. Bis 2007 kennzeichnete Google Ergebnisse aus einem Supplemental Index sichtbar. Für die Praxis heißt das: Aus externen Daten lässt sich nicht ableiten, in welcher Stufe eine Seite liegt. Fehlende Sichtbarkeit hat viele mögliche Ursachen und taugt nicht als Hinweis auf eine bestimmte Stufe.

Hinweis zur Quellenlage: Stufen nach Speichertyp: Google (Illyes 2021). Namen der Stufen: Leak 2024. Zuordnung der Namen zu den Stufen und alles zu Rankingchancen je Stufe: Deutung. Meine Einordnung des Leaks zu Nutzersignalen steht im Beitrag Google Leak: Nutzersignale.

Indexierung steuern: Canonical, noindex und hreflang

Key Takeaway: Der Canonical ist ein Hinweis. noindex ist eine Anweisung, die Google nur sieht, wenn es die Seite crawlen darf. hreflang verknüpft Sprachfassungen und muss in beide Richtungen gesetzt sein.

Canonical: die bevorzugte Version

<link rel="canonical" href="https://example.com/original-seite/" />

Ist derselbe Inhalt unter mehreren Adressen erreichbar, zeigt der Canonical auf die Version, die in der Suche erscheinen soll. Google behandelt ihn als Hinweis und kann anders entscheiden, wenn die Signale sich widersprechen. Interne Links, Sitemap und Canonical sollten deshalb auf dieselbe URL zeigen. Typische Fälle sind HTTP und HTTPS, mit und ohne www sowie Tracking- und Sortierparameter.

noindex: eine Seite aus dem Index halten

<meta name="robots" content="noindex, follow" />

noindex ist eine Anweisung an Google, die Seite nicht in den Index aufzunehmen. Sie wirkt nur, wenn Google die Seite crawlen darf. Eine per robots.txt gesperrte Seite liest Google nicht und sieht das noindex deshalb nie. Manche kombinieren noindex mit follow. John Mueller sagte 2017 laut Search Engine Roundtable, eine dauerhaft auf noindex gesetzte Seite werde langfristig wie noindex, nofollow behandelt. Wichtige Links gehören deshalb auch auf indexierbare Seiten. noindex ist außerdem keine Zugriffskontrolle. Nicht öffentliche Seiten schützt du laut Google zum Beispiel mit einem Passwort.

Weitere Regeln im Robots-Meta-Tag sind max-snippet für die Länge des Snippets und nosnippet, das Snippets ganz unterdrückt. Die Regel noarchive hat heute keine Wirkung mehr, weil es den Cache-Link in der Google-Suche nicht mehr gibt. So steht es in der Doku zum Robots-Meta-Tag.

hreflang: Sprachfassungen verknüpfen

<link rel="alternate" hreflang="de" href="https://example.com/de/seite/" />
<link rel="alternate" hreflang="en" href="https://example.com/en/page/" />
<link rel="alternate" hreflang="x-default" href="https://example.com/" />

hreflang sagt Google, welche Sprach- oder Länderfassung einer Seite zu welchem Nutzer passt. Übersetzte Fassungen gelten laut Google ohnehin nicht als Duplikate, solange der Hauptinhalt übersetzt ist. Jede Sprachfassung muss laut Google sich selbst und alle anderen Fassungen angeben. x-default empfiehlt Google für die Fassung, die alle übrigen Nutzer sehen. Details stehen in meinem Beitrag zu hreflang.

JavaScript und Rendering

Key Takeaway: Google verarbeitet Seiten in drei Phasen: Crawling, Rendering, Indexierung. Eine Seite kann nur Sekunden in der Rendering-Warteschlange stehen, es kann aber länger dauern. Google empfiehlt Server-Side Rendering, statisches Rendering oder Hydration. Dynamic Rendering empfiehlt Google nicht mehr.

Googles JavaScript-Dokumentation beschreibt drei Phasen. Beim Crawling ruft Google das HTML ab. Danach wartet die Seite in einer Warteschlange, bis der Web Rendering Service sie mit einem Headless-Chromium rendert. Google schreibt dazu: „The page may stay on this queue for a few seconds, but it can take longer than that.“ Das gerenderte HTML nutzt Google für die Indexierung.

Was dabei zählt:

  • Server-Side Rendering oder statisches HTML liefert den Inhalt schon beim Abruf aus. Das hilft auch Crawlern, die kein JavaScript ausführen.
  • Dynamic Rendering nennt Google „a workaround and not a recommended solution“. Stattdessen empfiehlt Google Server-Side Rendering, statisches Rendering oder Hydration.
  • Links müssen als <a href> crawlbar sein. Per JavaScript eingefügte Links sind laut Google in Ordnung, wenn sie diese Form haben.
  • Inhalte, die erst nach einem Klick oder einer Eingabe nachgeladen werden, sieht Google nicht, denn es löst keine Interaktionen aus.

Crawler-Test: So siehst du, was Google sieht

Ein verlässlicher Test ist die URL-Prüfung. „Live-URL testen“ ruft die Seite als Google-InspectionTool ab, „Getestete Seite anzeigen“ zeigt Screenshot, gerendertes HTML und nachgeladene Ressourcen. Fehlt dort Inhalt aus deinem Browser, hast du ein Rendering-Problem. Für eine schnelle Gegenprobe deaktivierst du in den Chrome-Entwicklertools JavaScript und lädst die Seite neu. Der Test für Rich-Suchergebnisse zeigt ebenfalls den gerenderten Code. Mehr in meinem Leitfaden JavaScript-SEO und Rendering.

Mobile-First-Indexierung

Key Takeaway: Google hat die Umstellung im Oktober 2023 abgeschlossen und im Juni 2024 angekündigt, nach dem 5. Juli 2024 auch die letzten Websites nur noch mit dem Smartphone-Googlebot zu crawlen und zu indexieren. Inhalte, die auf dem Smartphone gar nicht erreichbar sind, kann Google nicht mehr indexieren.

Die Geschichte ist lang: Ankündigung im November 2016, Beginn des Rollouts im März 2018, mehrere verschobene Fristen. Am 31. Oktober 2023 schrieb Google, die Umstellung sei abgeschlossen. Im Juni 2024 kündigte Google an, die letzten Websites nach dem 5. Juli 2024 nur noch mit dem Googlebot Smartphone zu crawlen. Den Desktop-Googlebot nutzt Google laut derselben Ankündigung noch gelegentlich, etwa für Produkt-Einträge und Google for Jobs.

Für deine Website heißt das: Maßgeblich ist, was auf dem Smartphone ausgeliefert wird. Bei responsivem Design mit gleichem Inhalt bekommt das Smartphone dieselbe Seite. Prüfen solltest du separate Mobil-URLs und Auslieferung je nach Gerät. Inhalte in Akkordeons oder Tabs sind laut Google in Ordnung, solange sie gleichwertig sind.

  • Inhalt: gleiche Texte, Bilder und Videos wie auf dem Desktop.
  • Metadaten: Title, Description und Robots-Meta-Tag auch in der mobilen Fassung.
  • Strukturierte Daten: dasselbe Markup mobil wie am Desktop.
  • Interne Links: die mobile Navigation erreicht alle wichtigen Seiten.
  • Bilder: Alt-Texte vorhanden, keine per CSS versteckten Bilder.
  • Bedienung: Schaltflächen groß genug, rund 48 × 48 CSS-Pixel für Touch-Ziele als Empfehlung von web.dev für die Bedienbarkeit, keine Google-Vorgabe, Text ohne Zoom lesbar.

Wie die Seitennutzung insgesamt bewertet wird, beschreibt Google in der Page-Experience-Dokumentation. Google betont dort, dass es kein einzelnes Signal gibt. Die technischen Messwerte behandle ich im Beitrag zu Core Web Vitals.

Probleme finden: Search Console, Logfiles, Tools

Key Takeaway: Der Bericht „Seitenindexierung“ zeigt dir, welche URLs im Index sind und warum andere fehlen. Die Crawling-Statistik und Server-Logs zeigen, was der Googlebot tatsächlich abruft.

Unter „Indexierung“ → „Seiten“ zeigt die Search Console im Bericht zur Seitenindexierung zwei Gruppen: indexierte und nicht indexierte Seiten. Für die nicht indexierten nennt Google den Grund. Die wichtigsten Gründe und was Google dazu schreibt (wörtliche Zitate aus der deutschen Hilfe in Anführungszeichen):

Meldung Was Google dazu schreibt Gehört zu
URL wird von der robots.txt-Datei blockiert Die robots.txt verhindert den Abruf. Crawling
URL als „noindex“ markiert „Google ist beim Versuch, die Seite zu indexieren, auf die Anweisung ‚noindex‘ gestoßen und hat die Seite deshalb nicht indexiert.“ Indexierung
Gefunden – zurzeit nicht indexiert Google hat die URL gefunden, aber noch nicht gecrawlt. Meist hätte der Abruf die Website laut Google überlastet, deshalb wurde er verschoben. Crawling (Priorisierung)
Gecrawlt – zurzeit nicht indexiert „Google indexiert nicht alle Seiten im Web. Diese Meldung ist daher für viele Websites üblich und weist nicht unbedingt auf ein Problem hin, das behoben werden muss.“ Indexierung
Duplikat – Google hat eine andere Seite als der Nutzer als kanonische Seite bestimmt Google hat eine andere URL der Gruppe gewählt. Indexierung
Soft 404-Fehler Die Seite sieht wie eine Fehlerseite aus, liefert aber Status 200. Indexierung

Einen Grund für die einzelne Seite nennt Google bei „Gecrawlt – zurzeit nicht indexiert“ nicht. Seit ihrer Neufassung um den Monatswechsel Oktober/November 2026 erklärt die Hilfe die Meldung aber allgemein: Sie ist häufig und kein sicheres Zeichen für ein Problem. Siehst du sie bei wichtigen Seiten, rät Google zur URL-Prüfung. Vermutest du nach gründlicher Prüfung einen Fehler, der die Indexierung der ganzen Website trifft, nennt Google dafür ein Meldeformular. Nach der URL-Prüfung lohnt es sich aus meiner Sicht, die interne Verlinkung der Seite zu prüfen. Danach vergleiche ich den Inhalt ehrlich mit den Seiten, die für das Thema ranken. Bei „Gefunden – zurzeit nicht indexiert“ hat Google den Crawl laut Hilfe meist verschoben. Dann heißt es meist abwarten. Bei vielen solchen URLs lohnt ein Blick auf Serverantwortzeiten und überflüssige URL-Räume.

Crawling-Statistik und Logfiles

Unter „Einstellungen“ → „Crawling-Statistik“ zeigt die Search Console, wie oft Google deine Website abruft, mit welchen Antwortcodes und wie schnell dein Server antwortet. Noch genauer sind Server-Logs. Filtere sie nach dem User-Agent Googlebot. Behandle die Treffer aber nur als Kandidaten, denn User-Agents lassen sich fälschen. Echte Googlebots erkennst du laut Google per Reverse-DNS-Abfrage oder am Abgleich mit den veröffentlichten IP-Bereichen. Dann siehst du, welche Bereiche der Googlebot häufig besucht und welche er auslässt. Du siehst auch Fehler, die die Search Console nicht meldet.

Tools

Für eigene Crawls eignet sich etwa Screaming Frog, die kostenlose Version schafft 500 URLs. Sitebulb, JetOctopus sowie die Site-Audits von Ahrefs und Semrush machen Ähnliches. Wichtiger als das Tool ist die Regel dahinter. Jede Seite für den Index muss abrufbar sein, Status 200 liefern und indexierbaren Inhalt haben. Wie du tote Inhalte findest, die nur Crawl Budget kosten, beschreibe ich im Beitrag zum Content-Audit.

Infografik: Der Weg einer URL in den Google-Index

Infografik: Der Weg einer URL durch Entdeckung, Crawling, Rendering und Indexierung bis zu den Index-Stufen
Abbildung: Eigene Darstellung. Stufen nach Speichertyp laut Gary Illyes (Google, 2021), Namen der Stufen aus dem API-Leak 2024, Zuordnung der Namen: Deutung. Stand: September 2026. seo-kreativ.de · Christian Ott

Häufig gestellte Fragen (FAQ)

Was ist der Unterschied zwischen Crawling und Indexierung?

Crawling heißt, dass Google deine Seite abruft. Indexierung heißt, dass Google den Inhalt analysiert und in den Suchindex aufnimmt. Eine Seite kann gecrawlt und trotzdem nicht indexiert werden, etwa als Duplikat. Nur indexierte Seiten können in den Suchergebnissen erscheinen.

Wie stoße ich das Crawling bei Google an?

Für einzelne URLs nutzt du die URL-Prüfung der Search Console und klickst auf „Indexierung beantragen“. Für viele URLs aktualisierst du die Sitemap und reichst sie neu ein. Für Anträge in der URL-Prüfung gibt es ein Tageskontingent. Mehrfaches Beantragen macht es laut Google nicht schneller.

Wie lange dauert es, bis Google eine Seite indexiert?

Google nennt für das Crawling nach einer Anfrage einige Tage bis einige Wochen. Nach einem Antrag in der URL-Prüfung dauert die Indexierung laut Search-Console-Hilfe meist etwa einen Tag, manchmal bis zu ein oder zwei Wochen. Eine Garantie gibt es nicht. Interne Schätzwerte, die Gary Illyes im Oktober 2026 gezeigt hat, nennen als typischen Wert rund 20 Stunden bis zur Entdeckung einer neuen URL und rund 1,5 Stunden für die Indexierung.

Was bedeutet „Gecrawlt – zurzeit nicht indexiert“?

Google hat die Seite abgerufen, aber nicht in den Index aufgenommen. Laut Hilfe indexiert Google nicht alle Seiten im Web. Die Meldung ist daher häufig und zeigt nicht unbedingt ein Problem an. Einen Grund für die einzelne Seite nennt Google nicht. Betrifft sie eine wichtige Seite, prüfe sie mit der URL-Prüfung und sieh dir Inhalt, Duplikate und interne Verlinkung an.

Wie oft crawlt Google meine Website?

Das hängt von Größe, Aktualisierungshäufigkeit, Qualität und Relevanz ab. Google nennt eine große Spanne. Startseiten von Nachrichtenseiten werden unter Umständen alle paar Minuten gecrawlt. Bei unveränderten Seiten wartet Google womöglich einen Monat. Deine Werte zeigt die Crawling-Statistik in den Einstellungen der Search Console.

Was ist besser: robots.txt-Disallow oder noindex?

Das hängt vom Ziel ab. Die robots.txt verhindert das Crawling. Die Indexierung verhindert sie nicht sicher: Eine verlinkte URL kann ohne Inhalt im Index landen. noindex hält eine Seite aus dem Index. Das funktioniert nur, wenn Google sie crawlen darf. Soll eine Seite sicher nicht in der Suche erscheinen, nimm noindex und sperre sie nicht in der robots.txt.

Fazit: erst abrufbar, dann indexierbar

Key Takeaway: Ordne jedes Problem zuerst einer der beiden Stufen zu. Crawling-Probleme löst du über Zugang, Links, Sitemap und Server. Indexierungsprobleme löst du über Anweisungen, Duplikate und Inhalt.

Bevor eine Seite mit ihrem Inhalt ranken kann, muss Google sie abrufen und aufnehmen. Für den Abruf sorgst du mit einer sauberen robots.txt, einer Sitemap mit den kanonischen URLs, erreichbaren Links und einem schnellen Server. Die Aufnahme beeinflusst du mit eindeutigen Canonicals und bewusst gesetzten noindex-Anweisungen. Eine Garantie gibt es nicht. Dazu kommen Inhalte, die sich vom Bestand im Index abheben.

Anstoßen kannst du beides, beschleunigen nur begrenzt. Eine beantragte Indexierung ist eine Bitte. Die Indexing API hilft für normale Seiten nicht. Mehrfaches Beantragen beschleunigt laut Google nichts. Was nach der Indexierung passiert, beschreibe ich im nächsten Kapitel: Query Processing: So versteht Google deine Suchanfrage.

Tipp: Öffne nach jeder größeren Änderung die URL-Prüfung für eine betroffene Seite und notiere den letzten Crawl. So kennst du Googles echtes Tempo bei deiner Website statt nur Durchschnittswerte.

Quellen (abgerufen am 10.11.2026)

Letztes Update: 10. November 2026. Googles Hilfe zum Indexierungsbericht beschreibt „Gecrawlt – zurzeit nicht indexiert“ seit dem Monatswechsel Oktober/November 2026 neu. Tabelle, Hinweis und FAQ folgen dem neuen Wortlaut. Präzisiert sind außerdem x-default bei hreflang und die Angaben zu Fristen nach einer Anfrage. Korrektur vom 10.11.2026: In einer früheren Fassung stand in der Tabelle bei „URL als ‚noindex‘ markiert“ ein Satz, den die Hilfe im Abschnitt zu fehlenden Seiten führt. Richtig ist der Satz der Hilfe zu dieser Meldung (Quelle: Google, Hilfe zum Bericht zur Seitenindexierung). Vorherige Updates: 8. Oktober 2026 mit Googles internen Schätzwerten zur Dauer von Crawling und Indexierung (gezeigt von Gary Illyes am 2. Oktober 2026 in Barcelona) und 23.09.2026 mit zwölf Korrekturen. Korrektur vom 23.09.2026: In einer früheren Fassung hieß es, (1) Google habe Index-Tiers nicht offiziell bestätigt. Richtig ist: Gary Illyes hat 2021 beschrieben, dass Google den Index nach Speichertyp in Stufen organisiert, aus dem Leak stammen nur die Namen (Quelle: Search Engine Roundtable, 20.01.2021). (2) Mike King stütze die Tier-Zuordnung auf den Satz „For TeraGoogle, this data resides in very limited serving memory (Flash storage)“. Richtig ist: Der Satz steht in der geleakten Beschreibung von Qualitätssignalen und nicht in Kings Analyse (Quelle: Content-Warehouse-Dokumentation, CompressedQualitySignals). (3) Kings Analyse ordne Base, Zeppelins und Landfills Flash, SSD und HDD zu, samt Aktualisierungsintervallen. Richtig ist: King nennt die Speichertypen nur als Hintergrund, eine Zuordnung und die Intervalle stehen dort nicht (Quelle: iPullRank, Mai 2024). (4) In die Sitemap gehörten keine Weiterleitungsziele. Richtig ist: Weiterleitende URLs gehören nicht hinein, ihre Ziele als kanonische URLs schon (Quelle: Google, Sitemap-Dokumentation). (5) Das Robots-Beispiel enthielt „Crawl-delay: 1“ für den Googlebot. Richtig ist: Google unterstützt diese Angabe nicht (Quelle: Google, robots.txt-Spezifikation). (6) Die URL-Prüfung zeige Mobile-Usability-Probleme. Außerdem verhindere noarchive eine Cache-Version. Richtig ist: Den Bericht zur mobilen Nutzerfreundlichkeit hat Google im Dezember 2023 eingestellt. Den Cache-Link gibt es nicht mehr (Quellen: Search Central Blog, April 2023; Doku zum Robots-Meta-Tag). (7) Googlebot News habe einen eigenen User-Agent. Richtig ist: Googlebot-News ist nur ein Token, gecrawlt wird mit den normalen Googlebot-Kennungen (Quelle: Google, Übersicht der Crawler). (8) Die Schriftgröße auf Mobilgeräten müsse mindestens 16 Pixel betragen. Richtig ist: Dafür gibt es keine Google-Vorgabe (Quelle: Chrome-Dokumentation zu Lighthouse). (9) Google akzeptiere Dynamic Rendering als gute Option. Richtig ist: Google nennt es einen Workaround, der nicht empfohlen wird (Quelle: Google, Dokumentation zu Dynamic Rendering). (10) Google verwende den Namen Caffeine heute nicht mehr öffentlich. Richtig ist: Gary Illyes nannte das Indexierungssystem 2020 ausdrücklich so (Quelle: Search Engine Roundtable, 08.10.2020). (11) Bei „Gecrawlt – zurzeit nicht indexiert“ stufe Google die Seite als nicht wertvoll genug ein. Richtig ist: Google nennt für diese Meldung keinen Grund (Quelle: Google, Hilfe zum Bericht zur Seitenindexierung). (12) Eine Angabe aus der Zeit um 2018 habe gelautet, Rendering dauere Wochen. Richtig ist: Google sprach 2018 von mehreren Tagen und 2019 von bis zu einer Woche (Quelle: Onely, Wiedergabe der Google-Vorträge).

Stand: November 2026. Alle Angaben ohne Gewähr. Trotz sorgfältiger Recherche keine Gewähr für Aktualität und Vollständigkeit. Dieser Beitrag ist keine individuelle Beratungsleistung. Die 2024 geleakten Unterlagen sind kein offizielles Google-Dokument und können unvollständig oder veraltet sein. Aussagen dazu sind meine Interpretation und keine Bestätigung durch Google. Alle genannten Marken und Produktnamen sind Eigentum ihrer jeweiligen Inhaber. Die Angaben zu seo-kreativ.de stammen aus eigenen, nicht repräsentativen Abrufen der Search-Console-API und der Indexing API am 9., 11. und 23. September 2026 und beschreiben einen konkreten Stand.

Christian Ott - Gründer von www.seo-kreativ.de

Christian Ott - SEO kreativ denken & Wissen teilen

Als Gründer von SEO-Kreativ lebe ich meine 2014 entdeckte Leidenschaft für SEO. Mein Weg vom Hobby-Blogger zum SEO-Experten und Product Developer hat dabei meinen Ansatz geprägt: Ich teile Wissen verständlich, praxisnah und ohne Fachchinesisch.