Crawling heißt, dass Google deine Seite abruft. Indexierung heißt, dass Google sie analysiert und in den Suchindex aufnimmt. Beide Schritte können unabhängig voneinander scheitern. Aus meiner Sicht lassen sich die meisten Meldungen im Bericht zur Seitenindexierung einer der beiden Stufen zuordnen. Manche betreffen beide, etwa Weiterleitungen oder die Wahl der kanonischen URL.
- Einzelne URLs stößt du über die URL-Prüfung der Search Console an, viele URLs über die Sitemap. Für Einzelanfragen in der URL-Prüfung gibt es ein Kontingent. Mehrfaches Beantragen macht es laut Google nicht schneller.
- Google nennt für das Crawling nach einer Anfrage „a few days to a few weeks“. Nach einem Antrag in der URL-Prüfung dauert die Indexierung laut Search-Console-Hilfe meist etwa einen Tag, manchmal deutlich länger. Laut internen Schätzwerten, die Gary Illyes im Oktober 2026 gezeigt hat, entdeckt Google eine neue URL typischerweise nach rund 20 Stunden. Die Indexierung selbst dauert typischerweise rund 1,5 Stunden, im langsamsten Fall Monate oder aus Qualitätsgründen nie.
- Seit Februar 2026 nennt Google eine Grenze, die sich noch ändern kann: Der Googlebot liest die ersten 2 MB einer HTML-Datei (unkomprimiert). Das Crawl Budget gilt je Hostname.
- Dass Google den Index in Stufen nach Speichertyp organisiert, hat Gary Illyes 2021 selbst beschrieben. Die Namen Base, Zeppelins und Landfills stammen aus dem Leak von 2024.
Am 23. September 2026 habe ich um 13:55 Uhr UTC meinen Leitfaden zu Google Discover aktualisiert und danach die Sitemap neu eingereicht. Die Search Console hat die Einreichung um 13:58 Uhr bestätigt. Eine halbe Stunde später nannte die URL-Prüfung über die API als letzten Crawl trotzdem den 13. September (UTC). Die Einreichung war also angekommen. Laut Search-Console-API war die Sitemap aber noch als ausstehend markiert, zuletzt gelesen hatte Google sie am 22. September. Neu gecrawlt war die URL laut URL-Prüfung ebenfalls noch nicht. Genau zwischen diesen beiden Zuständen spielt dieser Artikel.
Crawling und Indexierung sind die ersten beiden Stufen der Google-Suche. Wie es danach mit Query Processing, Ranking und Re-Ranking weitergeht, steht im Hauptartikel darüber, wie der Google-Suchalgorithmus von Crawling bis Ranking funktioniert. Hier geht es um die zwei Fragen davor: Kommt Google an deine Seite heran? Und nimmt Google sie auf?
Crawling und Indexierung: der Unterschied
Google beschreibt die Suche in drei Stufen: Crawling, Indexierung und das Ausspielen der Ergebnisse. Beim Crawling laden Programme namens Crawler Texte, Bilder und Videos von gefundenen Seiten herunter. Bei der Indexierung analysiert Google diese Inhalte und legt sie im Index ab, einer großen Datenbank. So steht es in Googles Überblick „So funktioniert die Google Suche“.
| Crawling | Indexierung | |
|---|---|---|
| Frage | Kann Google die URL abrufen? | Nimmt Google den Inhalt in den Index auf? |
| Wer | Googlebot und weitere Google-Crawler | Googles Indexierungssystem |
| Du steuerst über | robots.txt, interne Links, Sitemap, Serverantwort | noindex, Canonical, Inhalt, Duplikate |
| Typische Meldung in der Search Console | „URL wird von der robots.txt-Datei blockiert“, „Gefunden – zurzeit nicht indexiert“ | „Gecrawlt – zurzeit nicht indexiert“, „Duplikat“ |
Auch eine gesperrte Seite kann als nackte URL im Index landen. Dafür reichen Links von anderen Seiten. Google zeigt sie dann ohne Beschreibung. Umgekehrt wird nicht jede gecrawlte Seite indexiert.
Was ist Crawling? So arbeitet der Googlebot
Crawling beginnt mit einer Liste von URLs, die Google schon kennt: aus früheren Crawls, aus Sitemaps und aus Links auf anderen Seiten. Der Googlebot ruft URLs aus dieser Liste ab, liest den HTML-Code und nimmt neue Links in seine Liste auf. Nicht jede entdeckte URL wird dabei gecrawlt. Wie oft er wiederkommt, ist sehr unterschiedlich. Google schreibt in seiner Übersicht zum Crawling, Startseiten von Nachrichtenseiten würden unter Umständen alle paar Minuten neu gecrawlt. Bei Seiten, die sich seit Jahren nicht geändert haben, warte Google womöglich einen Monat.
2 MB pro Datei
Seit einer Klarstellung im Februar 2026 (laut Changelog) nennt Google eine Grenze, die sich laut Google noch ändern kann: Der Googlebot liest bei unterstützten Dateitypen die ersten 2 MB, bei PDF-Dateien die ersten 64 MB. Gemessen wird unkomprimiert. Was dahinter steht, wird für die Indexierung nicht berücksichtigt. Für andere Google-Crawler gilt laut Crawler-Übersicht standardmäßig 15 MB, einzelne Produkte können abweichen. Was das für schwere Seiten heißt, habe ich im Beitrag zum 2-MB-Crawl-Limit ausgewertet.
Rendering gehört zum Crawling dazu
Nach dem Abruf rendert Google die Seite. Laut Googles Dokumentation zu JavaScript-SEO kommen Seiten mit Statuscode 200 in die Rendering-Warteschlange. Ob sie JavaScript enthalten, spielt dabei keine Rolle. Ausgenommen sind Seiten, bei denen ein Robots-Meta-Tag oder Header die Indexierung ausschließt. Mehr dazu im Abschnitt zu JavaScript und Rendering.
Welche Google-Crawler es gibt
Google teilt seine Crawler in drei Gruppen: allgemeine Crawler wie den Googlebot, Crawler für Sonderfälle wie den AdsBot und Abrufe, die ein Nutzer auslöst. Die vollständige Liste führt Google in der Übersicht der Google-Crawler. Für die Suche sind diese wichtig:
| Crawler | Token in der robots.txt | Aufgabe |
|---|---|---|
| Googlebot Smartphone und Desktop | Googlebot | Crawling für die Google-Suche, überwiegend als Smartphone |
| Googlebot Image | Googlebot-Image | Bilder für Google Bilder und andere Bildfunktionen |
| Googlebot Video | Googlebot-Video | Videos für videobezogene Suchfunktionen |
| Googlebot News | Googlebot-News | nur ein Token: Google crawlt mit den normalen Googlebot-Kennungen |
| Google-InspectionTool | Google-InspectionTool | Testwerkzeuge wie die URL-Prüfung und den Test für Rich-Suchergebnisse |
| GoogleOther | GoogleOther | Abrufe für andere Google-Teams, etwa Forschung |
| Google-Extended | Google-Extended | nur ein Token: steuert, ob Inhalte für künftige Gemini-Modelle und Grounding genutzt werden, ohne Einfluss auf Aufnahme und Ranking in der Suche |
| AdsBot | AdsBot-Google | prüft Anzeigen-Zielseiten und ignoriert mit Erlaubnis des Werbetreibenden Regeln für User-agent: * |
Seit März 2026 gibt es außerdem den Google-Agent für KI-Agenten, die im Auftrag eines Nutzers im Web handeln. Solche vom Nutzer ausgelösten Abrufe halten sich laut Google in der Regel nicht an die robots.txt. Für das normale Crawling der Suche bleibt die robots.txt wirksam, eine Zugriffskontrolle ist sie aber nicht. Was das für deine Website bedeutet, steht in meinem Beitrag Google-User-Agent für KI-Agenten erklärt.
Crawl Budget: wie Google Prioritäten setzt
Google kann nicht jede URL beliebig oft abrufen. Die überarbeitete Crawl-Budget-Dokumentation nennt zwei Teile. Das Crawl Capacity Limit legt über Zahl und Dauer paralleler Verbindungen fest, wie viel Last Google deinem Server zumutet. Jede Website startet laut Google mit demselben vorsichtigen Wert. Er passt sich mit der Zeit an. Die Crawl Demand hängt laut Google von Größe, Aktualisierungshäufigkeit, Seitenqualität und Relevanz ab.
Zwei Punkte aus der Doku sind in der Praxis wichtig. Google versteht unter einer Website einen Hostnamen, www.example.com und shop.example.com haben also getrennte Budgets. Seit der Überarbeitung vom 22. Juli 2026 (laut Changelog) steht dort außerdem: Die Kapazität teilen sich alle Google-Crawler, hohe Nachfrage eines Crawlers kann anderen also Kapazität nehmen. Was sich im Detail geändert hat, zeige ich im Beitrag Crawl-Budget-Doku: Googles Rewrite im Diff.
Was Budget kostet
- Duplikate und Parameter-URLs: Filter, Sortierungen und Session-IDs erzeugen viele Adressen für denselben Inhalt.
- Soft-404-Seiten: Seiten, die einen Fehler oder keinen Inhalt zeigen, aber einen Erfolgsstatus (2xx) senden. Google erkennt sie als Soft 404, crawlt sie laut Doku aber weiter.
- Endlose URL-Räume: Kalender, die immer neue Adressen erzeugen.
- Gehackte Bereiche: Spam-Seiten auf deiner Domain, die Google ebenfalls abruft.
Wie du das auf einer großen Website angehst, steht in meinem Leitfaden Crawl Budget optimieren.
Crawling steuern: robots.txt und Sitemaps
robots.txt: Zutritt regeln
Die robots.txt liegt im Stammverzeichnis deiner Domain und sagt Crawlern, welche Pfade sie nicht abrufen sollen. Sinnvoll ist das etwa für Filter-URLs und sortierte Varianten, die nur Budget kosten. Aus meiner Sicht gehören interne Suchseiten und Warenkörbe oft dazu. Ein Beispiel:
# Beispiel robots.txt User-agent: * Disallow: /admin/ Disallow: /checkout/ Disallow: /suche? Sitemap: https://example.com/sitemap.xml
Die Angabe Crawl-delay findest du in vielen Vorlagen. Google unterstützt sie laut robots.txt-Spezifikation nicht und ignoriert sie.
XML-Sitemaps: die Liste deiner wichtigen URLs
Laut Sitemap-Dokumentation gehören die URLs in die Sitemap, die du in den Suchergebnissen sehen willst. Das sind die kanonischen Adressen. URLs mit noindex, Duplikate und weiterleitende Adressen lässt du weg. Eine Sitemap darf 50 MB unkomprimiert oder 50.000 URLs groß sein, für mehr nutzt du einen Sitemap-Index. Das Feld lastmod nutzt Google nur, wenn es durchgängig und nachprüfbar stimmt.
Google nennt das Einreichen einer Sitemap „merely a hint“. Es gibt mehrere Wege: den Sitemap-Bericht der Search Console, einen Eintrag in der robots.txt oder die Search-Console-API. Ich reiche Sitemaps per API ein und habe mir dabei eine Regel angewöhnt. Die API antwortet mit einer leeren Antwort, bei mir mit Status 204. Das heißt nur, dass der Aufruf verarbeitet wurde. Dass die Einreichung im Sitemap-Bericht steht, zeigt erst der zurückgelesene Zeitpunkt lastSubmitted, wenn er nach deinem Aufruf liegt. Mein Skript liest ihn deshalb nach jeder Einreichung zurück. Ob und wann Google die Sitemap danach abruft, zeigt auch dieser Wert nicht.
Crawling anstoßen und Indexierung beantragen
Google beschreibt in „Google um erneutes Crawlen deiner URLs bitten“ zwei Wege. Welcher passt, hängt davon ab, wie viele Seiten du geändert hast.
Einzelne URL: so beantragst du die Indexierung
- Öffne die URL-Prüfung in der Search Console und gib die vollständige URL ein. Für den Antrag auf Indexierung musst du Inhaber oder uneingeschränkter Nutzer der Property sein.
- Prüfe den Status aus dem Index: indexiert oder nicht, letzter Crawl, von Google gewählte kanonische URL.
- Klicke auf „Live-URL testen“. Der Test zeigt, ob Google die aktuelle Fassung abrufen kann. Mit „Getestete Seite anzeigen“ siehst du Screenshot und gerendertes HTML.
- Klicke auf „Indexierung beantragen“.
Google schränkt das selbst ein: Es gibt ein Tageskontingent. Mehrfaches Beantragen derselben URL macht es laut Google nicht schneller. Eine feste Zahl nennt Google nicht.
Viele URLs: Sitemap aktualisieren und einreichen
Für viele geänderte Seiten empfiehlt Google die Sitemap. Aktualisiere lastmod der geänderten URLs und reiche die Sitemap in der Search Console neu ein. Bei seo-kreativ.de setzt Yoast den Wert, das Einreichen erledige ich per Skript mit Rücklesen.
Was nicht funktioniert: die Indexing API für normale Seiten
Mehrere WordPress-Plugins werben mit schneller Indexierung über Googles Indexing API. Laut Dokumentation ist sie nur für Seiten mit JobPosting oder BroadcastEvent in einem VideoObject gedacht. Ich habe es im September 2026 an einem eigenen Blogbeitrag ausprobiert. Die API antwortete mit Status 200. Der anschließende Abruf der Benachrichtigung ergab „Requested entity was not found“. Angenommen hieß in diesem Fall nicht verarbeitet. Das ist ein einzelner Test und keine allgemeine Regel. Er passt aber zu dem, was Google dokumentiert.
Wie lange dauert die Indexierung?
Google macht dazu drei Angaben. In der Anleitung zum erneuten Crawlen steht: „Crawling can take anywhere from a few days to a few weeks.“ In der Hilfe zur URL-Prüfung heißt es, die Indexierung dauere „typically only a day or so“, könne aber in manchen Fällen viel länger dauern, bis zu ein oder zwei Wochen. Und Google schreibt: „Our systems prioritize the fast inclusion of high quality, useful content.“
| Situation | Was Google sagt |
|---|---|
| Crawl nach Anfrage | einige Tage bis einige Wochen |
| Indexierung nach Antrag in der URL-Prüfung | meist etwa ein Tag, manchmal ein bis zwei Wochen |
| Startseite einer Nachrichtenseite | unter Umständen alle paar Minuten neu gecrawlt |
| Seite ohne Änderung seit Jahren | Google wartet womöglich einen Monat |
| Duplikat-Cluster nach inhaltlicher Überarbeitung | Google hält die Seiten womöglich bis zu zwei Wochen im Cluster |
Wie viel das in der Praxis heißt, zeigt der Fall aus der Einleitung. Sitemap eingereicht und bestätigt heißt noch nicht, dass der Googlebot da war. Den Stand prüfst du in der URL-Prüfung unter „Letztes Crawling“.
Googles interne Schätzwerte vom Oktober 2026
Genauer wurde Google am 2. Oktober 2026. Auf der Search Central Live Deep Dive in Barcelona zeigte Gary Illyes drei Folien dazu, wie lange Crawling, Indexierung und Ausspielung dauern. Für jeden Schritt nennen sie einen Mindestwert, einen typischen Wert und den langsamsten Fall. Unter jeder Folie steht: „Times expressed on the diagram are estimations based on internal analysis.“ Fotos der Folien hat Search Engine Roundtable veröffentlicht. Auf Googles eigenen Seiten habe ich sie bis zum 8. Oktober 2026 nicht gefunden. Illyes schrieb danach in einem Kommentar auf LinkedIn: „mind that this was an exercise to see if the audience can relate to the numbers we pulled internally and put in those slides.“
| Schritt | Typisch | Langsamster Fall |
|---|---|---|
| Neue URL entdecken | rund 20 Stunden | Wochen bis nie |
| Bekannte URL erneut crawlen | rund 30 Tage | Wochen bis nie |
| Sitemap verarbeiten | rund 24 Stunden | bis 14 Tage oder nie (Qualität) |
| Änderung der robots.txt | rund 24 Stunden | 25 Stunden |
| Rendering | Sekunden, dazu Stunden in der Warteschlange | Tage bis Wochen |
| Indexierung von Ende zu Ende | rund 1,5 Stunden | Monate oder nie (Qualität) |
Quelle: Folien von Gary Illyes, Search Central Live Deep Dive Europe, Barcelona, 2. Oktober 2026, abgelesen an den Fotos bei Search Engine Roundtable. „Ende zu Ende“ heißt laut Folie, dass die kritischen Prozesse erfolgreich abgeschlossen sind. Google nennt die Werte Schätzungen und legt keine Methode offen.
Ich lese daraus drei Dinge. Erstens addieren sich die Zeiten. Laut dem Teilnehmerbericht von ROAST wies Illyes darauf hin, dass eine Seite erst gecrawlt sein muss, bevor Google sie indexieren kann. Eine neue URL wartet also nacheinander auf Entdeckung, Crawl und Indexierung. Zweitens steht das „nie“ bei Sitemap und Indexierung ausdrücklich neben Qualität. Eine schnell verarbeitete Sitemap hilft nichts, wenn Google die Seite nicht aufnehmen will. Drittens passt mein Fall aus der Einleitung ins Bild. Eine halbe Stunde nach der Einreichung hatte Google die Sitemap noch nicht gelesen. Typisch sind laut Folie rund 24 Stunden.
Was ist Indexierung? Vom Abruf in den Index
Nach dem Abruf analysiert Google den Inhalt: Text, Titel, Bilder, Videos und strukturierte Daten. Ähnliche Seiten fasst Google zu einer Gruppe zusammen und wählt eine Adresse als kanonische Version, die in der Suche erscheinen kann. Die anderen gelten als Duplikate.
Caffeine: fortlaufend statt in Schüben
2010 hat Google seine Index-Infrastruktur auf ein System namens Caffeine umgestellt. Google versprach damals „50 percent fresher results“ und schrieb, der Index werde nun „on a continuous basis“ aktualisiert, statt in großen Schüben. Nach außen hat Google den Namen auch 2020 noch benutzt. Gary Illyes sagte damals laut Search Engine Roundtable: „We have Caffeine. That’s our indexing system.“ Intern habe es allerdings einen anderen Namen.
Strukturierte Daten
Strukturierte Daten im JSON-LD-Format helfen Google, den Inhalt besser zu verstehen: ein Rezept mit Zutaten und Zeit, ein Produkt mit Preis und Verfügbarkeit. Welche Rich-Suchergebnisse Google daraus zeigt, ändert sich. Die FAQ-Ergebnisse etwa zeigt Google laut Changelog seit Mai 2026 nicht mehr an.
Interne Index-Stufen: was öffentlich bekannt ist
Google speichert nicht alle Dokumente gleich. Gary Illyes hat das 2021 im Podcast „Search Off the Record“ beschrieben, wiedergegeben von Search Engine Roundtable. Sehr oft ausgespielte Dokumente liegen auf schnellem Speicher bis hin zu RAM. Dazwischen nennt er als Beispiel SSDs. Der Großteil des Index liegt auf günstigem, leicht ersetzbarem Speicher. „And that’s what practically defines the index tiers that we have“, sagte er. Die Stufen selbst sind also von Google beschrieben.
Neu kamen 2024 die Namen. In den geleakten Unterlagen zur Content Warehouse API steht das Attribut scaledSelectionTierRank mit dem Zusatz „over the serving tier (Base, Zeppelins, Landfills)“. Mike King hat den Leak bei iPullRank ausgewertet. Das Attribut und die drei Namen kommen in seiner Analyse nicht vor. Welcher Name welcher Speicherstufe entspricht, steht weder im Leak noch in einer Google-Aussage. Eine Reihenfolge von Base über Zeppelins bis Landfills liegt nahe, belegt ist sie nicht.
| Begriff | Belegt ist | Nicht belegt ist |
|---|---|---|
| Base | der Name im Leak 2024 | Speicherart, Reihenfolge, Wirkung auf Rankings |
| Zeppelins | der Name im Leak 2024 | Speicherart, Reihenfolge, Wirkung auf Rankings |
| Landfills | der Name im Leak 2024 | Speicherart, Reihenfolge, Wirkung auf Rankings |
Ganz neu ist die Idee nicht. Bis 2007 kennzeichnete Google Ergebnisse aus einem Supplemental Index sichtbar. Für die Praxis heißt das: Aus externen Daten lässt sich nicht ableiten, in welcher Stufe eine Seite liegt. Fehlende Sichtbarkeit hat viele mögliche Ursachen und taugt nicht als Hinweis auf eine bestimmte Stufe.
Indexierung steuern: Canonical, noindex und hreflang
Canonical: die bevorzugte Version
<link rel="canonical" href="https://example.com/original-seite/" />
Ist derselbe Inhalt unter mehreren Adressen erreichbar, zeigt der Canonical auf die Version, die in der Suche erscheinen soll. Google behandelt ihn als Hinweis und kann anders entscheiden, wenn die Signale sich widersprechen. Interne Links, Sitemap und Canonical sollten deshalb auf dieselbe URL zeigen. Typische Fälle sind HTTP und HTTPS, mit und ohne www sowie Tracking- und Sortierparameter.
noindex: eine Seite aus dem Index halten
<meta name="robots" content="noindex, follow" />
noindex ist eine Anweisung an Google, die Seite nicht in den Index aufzunehmen. Sie wirkt nur, wenn Google die Seite crawlen darf. Eine per robots.txt gesperrte Seite liest Google nicht und sieht das noindex deshalb nie. Manche kombinieren noindex mit follow. John Mueller sagte 2017 laut Search Engine Roundtable, eine dauerhaft auf noindex gesetzte Seite werde langfristig wie noindex, nofollow behandelt. Wichtige Links gehören deshalb auch auf indexierbare Seiten. noindex ist außerdem keine Zugriffskontrolle. Nicht öffentliche Seiten schützt du laut Google zum Beispiel mit einem Passwort.
Weitere Regeln im Robots-Meta-Tag sind max-snippet für die Länge des Snippets und nosnippet, das Snippets ganz unterdrückt. Die Regel noarchive hat heute keine Wirkung mehr, weil es den Cache-Link in der Google-Suche nicht mehr gibt. So steht es in der Doku zum Robots-Meta-Tag.
hreflang: Sprachfassungen verknüpfen
<link rel="alternate" hreflang="de" href="https://example.com/de/seite/" /> <link rel="alternate" hreflang="en" href="https://example.com/en/page/" /> <link rel="alternate" hreflang="x-default" href="https://example.com/" />
hreflang sagt Google, welche Sprach- oder Länderfassung einer Seite zu welchem Nutzer passt. Übersetzte Fassungen gelten laut Google ohnehin nicht als Duplikate, solange der Hauptinhalt übersetzt ist. Jede Sprachfassung muss laut Google sich selbst und alle anderen Fassungen angeben. x-default empfiehlt Google für die Fassung, die alle übrigen Nutzer sehen. Details stehen in meinem Beitrag zu hreflang.
JavaScript und Rendering
Googles JavaScript-Dokumentation beschreibt drei Phasen. Beim Crawling ruft Google das HTML ab. Danach wartet die Seite in einer Warteschlange, bis der Web Rendering Service sie mit einem Headless-Chromium rendert. Google schreibt dazu: „The page may stay on this queue for a few seconds, but it can take longer than that.“ Das gerenderte HTML nutzt Google für die Indexierung.
Was dabei zählt:
- Server-Side Rendering oder statisches HTML liefert den Inhalt schon beim Abruf aus. Das hilft auch Crawlern, die kein JavaScript ausführen.
- Dynamic Rendering nennt Google „a workaround and not a recommended solution“. Stattdessen empfiehlt Google Server-Side Rendering, statisches Rendering oder Hydration.
- Links müssen als
<a href>crawlbar sein. Per JavaScript eingefügte Links sind laut Google in Ordnung, wenn sie diese Form haben. - Inhalte, die erst nach einem Klick oder einer Eingabe nachgeladen werden, sieht Google nicht, denn es löst keine Interaktionen aus.
Crawler-Test: So siehst du, was Google sieht
Ein verlässlicher Test ist die URL-Prüfung. „Live-URL testen“ ruft die Seite als Google-InspectionTool ab, „Getestete Seite anzeigen“ zeigt Screenshot, gerendertes HTML und nachgeladene Ressourcen. Fehlt dort Inhalt aus deinem Browser, hast du ein Rendering-Problem. Für eine schnelle Gegenprobe deaktivierst du in den Chrome-Entwicklertools JavaScript und lädst die Seite neu. Der Test für Rich-Suchergebnisse zeigt ebenfalls den gerenderten Code. Mehr in meinem Leitfaden JavaScript-SEO und Rendering.
Mobile-First-Indexierung
Die Geschichte ist lang: Ankündigung im November 2016, Beginn des Rollouts im März 2018, mehrere verschobene Fristen. Am 31. Oktober 2023 schrieb Google, die Umstellung sei abgeschlossen. Im Juni 2024 kündigte Google an, die letzten Websites nach dem 5. Juli 2024 nur noch mit dem Googlebot Smartphone zu crawlen. Den Desktop-Googlebot nutzt Google laut derselben Ankündigung noch gelegentlich, etwa für Produkt-Einträge und Google for Jobs.
Für deine Website heißt das: Maßgeblich ist, was auf dem Smartphone ausgeliefert wird. Bei responsivem Design mit gleichem Inhalt bekommt das Smartphone dieselbe Seite. Prüfen solltest du separate Mobil-URLs und Auslieferung je nach Gerät. Inhalte in Akkordeons oder Tabs sind laut Google in Ordnung, solange sie gleichwertig sind.
- Inhalt: gleiche Texte, Bilder und Videos wie auf dem Desktop.
- Metadaten: Title, Description und Robots-Meta-Tag auch in der mobilen Fassung.
- Strukturierte Daten: dasselbe Markup mobil wie am Desktop.
- Interne Links: die mobile Navigation erreicht alle wichtigen Seiten.
- Bilder: Alt-Texte vorhanden, keine per CSS versteckten Bilder.
- Bedienung: Schaltflächen groß genug, rund 48 × 48 CSS-Pixel für Touch-Ziele als Empfehlung von web.dev für die Bedienbarkeit, keine Google-Vorgabe, Text ohne Zoom lesbar.
Wie die Seitennutzung insgesamt bewertet wird, beschreibt Google in der Page-Experience-Dokumentation. Google betont dort, dass es kein einzelnes Signal gibt. Die technischen Messwerte behandle ich im Beitrag zu Core Web Vitals.
Probleme finden: Search Console, Logfiles, Tools
Unter „Indexierung“ → „Seiten“ zeigt die Search Console im Bericht zur Seitenindexierung zwei Gruppen: indexierte und nicht indexierte Seiten. Für die nicht indexierten nennt Google den Grund. Die wichtigsten Gründe und was Google dazu schreibt (wörtliche Zitate aus der deutschen Hilfe in Anführungszeichen):
| Meldung | Was Google dazu schreibt | Gehört zu |
|---|---|---|
| URL wird von der robots.txt-Datei blockiert | Die robots.txt verhindert den Abruf. | Crawling |
| URL als „noindex“ markiert | „Google ist beim Versuch, die Seite zu indexieren, auf die Anweisung ‚noindex‘ gestoßen und hat die Seite deshalb nicht indexiert.“ | Indexierung |
| Gefunden – zurzeit nicht indexiert | Google hat die URL gefunden, aber noch nicht gecrawlt. Meist hätte der Abruf die Website laut Google überlastet, deshalb wurde er verschoben. | Crawling (Priorisierung) |
| Gecrawlt – zurzeit nicht indexiert | „Google indexiert nicht alle Seiten im Web. Diese Meldung ist daher für viele Websites üblich und weist nicht unbedingt auf ein Problem hin, das behoben werden muss.“ | Indexierung |
| Duplikat – Google hat eine andere Seite als der Nutzer als kanonische Seite bestimmt | Google hat eine andere URL der Gruppe gewählt. | Indexierung |
| Soft 404-Fehler | Die Seite sieht wie eine Fehlerseite aus, liefert aber Status 200. | Indexierung |
Einen Grund für die einzelne Seite nennt Google bei „Gecrawlt – zurzeit nicht indexiert“ nicht. Seit ihrer Neufassung um den Monatswechsel Oktober/November 2026 erklärt die Hilfe die Meldung aber allgemein: Sie ist häufig und kein sicheres Zeichen für ein Problem. Siehst du sie bei wichtigen Seiten, rät Google zur URL-Prüfung. Vermutest du nach gründlicher Prüfung einen Fehler, der die Indexierung der ganzen Website trifft, nennt Google dafür ein Meldeformular. Nach der URL-Prüfung lohnt es sich aus meiner Sicht, die interne Verlinkung der Seite zu prüfen. Danach vergleiche ich den Inhalt ehrlich mit den Seiten, die für das Thema ranken. Bei „Gefunden – zurzeit nicht indexiert“ hat Google den Crawl laut Hilfe meist verschoben. Dann heißt es meist abwarten. Bei vielen solchen URLs lohnt ein Blick auf Serverantwortzeiten und überflüssige URL-Räume.
Crawling-Statistik und Logfiles
Unter „Einstellungen“ → „Crawling-Statistik“ zeigt die Search Console, wie oft Google deine Website abruft, mit welchen Antwortcodes und wie schnell dein Server antwortet. Noch genauer sind Server-Logs. Filtere sie nach dem User-Agent Googlebot. Behandle die Treffer aber nur als Kandidaten, denn User-Agents lassen sich fälschen. Echte Googlebots erkennst du laut Google per Reverse-DNS-Abfrage oder am Abgleich mit den veröffentlichten IP-Bereichen. Dann siehst du, welche Bereiche der Googlebot häufig besucht und welche er auslässt. Du siehst auch Fehler, die die Search Console nicht meldet.
Tools
Für eigene Crawls eignet sich etwa Screaming Frog, die kostenlose Version schafft 500 URLs. Sitebulb, JetOctopus sowie die Site-Audits von Ahrefs und Semrush machen Ähnliches. Wichtiger als das Tool ist die Regel dahinter. Jede Seite für den Index muss abrufbar sein, Status 200 liefern und indexierbaren Inhalt haben. Wie du tote Inhalte findest, die nur Crawl Budget kosten, beschreibe ich im Beitrag zum Content-Audit.
Infografik: Der Weg einer URL in den Google-Index

Häufig gestellte Fragen (FAQ)
Was ist der Unterschied zwischen Crawling und Indexierung?
Crawling heißt, dass Google deine Seite abruft. Indexierung heißt, dass Google den Inhalt analysiert und in den Suchindex aufnimmt. Eine Seite kann gecrawlt und trotzdem nicht indexiert werden, etwa als Duplikat. Nur indexierte Seiten können in den Suchergebnissen erscheinen.
Wie stoße ich das Crawling bei Google an?
Für einzelne URLs nutzt du die URL-Prüfung der Search Console und klickst auf „Indexierung beantragen“. Für viele URLs aktualisierst du die Sitemap und reichst sie neu ein. Für Anträge in der URL-Prüfung gibt es ein Tageskontingent. Mehrfaches Beantragen macht es laut Google nicht schneller.
Wie lange dauert es, bis Google eine Seite indexiert?
Google nennt für das Crawling nach einer Anfrage einige Tage bis einige Wochen. Nach einem Antrag in der URL-Prüfung dauert die Indexierung laut Search-Console-Hilfe meist etwa einen Tag, manchmal bis zu ein oder zwei Wochen. Eine Garantie gibt es nicht. Interne Schätzwerte, die Gary Illyes im Oktober 2026 gezeigt hat, nennen als typischen Wert rund 20 Stunden bis zur Entdeckung einer neuen URL und rund 1,5 Stunden für die Indexierung.
Was bedeutet „Gecrawlt – zurzeit nicht indexiert“?
Google hat die Seite abgerufen, aber nicht in den Index aufgenommen. Laut Hilfe indexiert Google nicht alle Seiten im Web. Die Meldung ist daher häufig und zeigt nicht unbedingt ein Problem an. Einen Grund für die einzelne Seite nennt Google nicht. Betrifft sie eine wichtige Seite, prüfe sie mit der URL-Prüfung und sieh dir Inhalt, Duplikate und interne Verlinkung an.
Wie oft crawlt Google meine Website?
Das hängt von Größe, Aktualisierungshäufigkeit, Qualität und Relevanz ab. Google nennt eine große Spanne. Startseiten von Nachrichtenseiten werden unter Umständen alle paar Minuten gecrawlt. Bei unveränderten Seiten wartet Google womöglich einen Monat. Deine Werte zeigt die Crawling-Statistik in den Einstellungen der Search Console.
Was ist besser: robots.txt-Disallow oder noindex?
Das hängt vom Ziel ab. Die robots.txt verhindert das Crawling. Die Indexierung verhindert sie nicht sicher: Eine verlinkte URL kann ohne Inhalt im Index landen. noindex hält eine Seite aus dem Index. Das funktioniert nur, wenn Google sie crawlen darf. Soll eine Seite sicher nicht in der Suche erscheinen, nimm noindex und sperre sie nicht in der robots.txt.
Fazit: erst abrufbar, dann indexierbar
Bevor eine Seite mit ihrem Inhalt ranken kann, muss Google sie abrufen und aufnehmen. Für den Abruf sorgst du mit einer sauberen robots.txt, einer Sitemap mit den kanonischen URLs, erreichbaren Links und einem schnellen Server. Die Aufnahme beeinflusst du mit eindeutigen Canonicals und bewusst gesetzten noindex-Anweisungen. Eine Garantie gibt es nicht. Dazu kommen Inhalte, die sich vom Bestand im Index abheben.
Anstoßen kannst du beides, beschleunigen nur begrenzt. Eine beantragte Indexierung ist eine Bitte. Die Indexing API hilft für normale Seiten nicht. Mehrfaches Beantragen beschleunigt laut Google nichts. Was nach der Indexierung passiert, beschreibe ich im nächsten Kapitel: Query Processing: So versteht Google deine Suchanfrage.
Quellen (abgerufen am 10.11.2026)
- Google: In-Depth Guide to How Google Search Works
- Google: Bericht zur Seitenindexierung: Search Console-Hilfe
- Search Engine Journal: Google: It’s Normal for Pages of a Site to Not Be Indexed
- Google: Things to Know about Google’s Web Crawling
- Google: Google’s Crawling Documentation Changelog
- Google: What Is Googlebot
- Google: Overview of Google crawlers and fetchers
- Google: Understand JavaScript SEO Basics
- Google: Crawl Budget Management
- Google: How Google interprets the robots.txt specification
- Google: Build and submit a sitemap
- Google: Ask Google to Recrawl Your Website
- Google: URL-Prüftool: Search Console-Hilfe
- Google: Indexing API Quickstart
- Search Engine Roundtable: Google: How Long It Takes Google Search For Crawling, Indexing & Serving
- LinkedIn: Google Crawl Index Serve Times (Beitrag mit Kommentar von Gary Illyes)
- ROAST: Google Search Central Live Deep Dive Barcelona: Day 3 Recap
- Google: Our new search index: Caffeine
- Search Engine Roundtable: Google Talks More About What Caffeine Does
- Google: Latest Google Search Documentation Updates
- Search Engine Roundtable: Google Search Has Indexing Tiers
- iPullRank: Secrets from the Google Algorithm Leak: Search’s Internal Engineering Documentation and What it Means
- Google: Supplemental goes mainstream
- Search Engine Roundtable: Google: Long Term Noindex Will Lead To Nofollow Also
- Google: Robots Meta Tags Specifications
- Google: Localized Versions of your Pages
- Google: Mobile-first indexing has landed: thanks for all your support
- Google: Mobile-indexing-vLast-final-final.doc
- Google: Mobile-first Indexing Best Practices
- Google: Understanding Google Page Experience
Stand: November 2026. Alle Angaben ohne Gewähr. Trotz sorgfältiger Recherche keine Gewähr für Aktualität und Vollständigkeit. Dieser Beitrag ist keine individuelle Beratungsleistung. Die 2024 geleakten Unterlagen sind kein offizielles Google-Dokument und können unvollständig oder veraltet sein. Aussagen dazu sind meine Interpretation und keine Bestätigung durch Google. Alle genannten Marken und Produktnamen sind Eigentum ihrer jeweiligen Inhaber. Die Angaben zu seo-kreativ.de stammen aus eigenen, nicht repräsentativen Abrufen der Search-Console-API und der Indexing API am 9., 11. und 23. September 2026 und beschreiben einen konkreten Stand.


