Wenn du eine große Website betreibst und in der Google Search Console plötzlich siehst, dass der Googlebot hunderttausende oder sogar über eine Million Abrufe macht, fühlt sich das im ersten Moment wie ein gutes Zeichen an. Da passiert etwas. Google schaut hin. Vielleicht, denkst du, steht der Indexierungsschub kurz bevor.
Nur: Genau das muss nicht passieren. Der entscheidende Punkt ist ziemlich nüchtern: Crawling ist nicht gleich Indexierung. Dass Google Seiten besucht, heißt noch lange nicht, dass Google diese Seiten auch in den Suchindex aufnehmen will. Und es bedeutet erst recht nicht, dass diese Seiten später Rankings bekommen.
Der geschilderte Fall ist dafür ein ziemlich gutes Beispiel. Eine große Website mit rund 180.000 URLs wurde in den letzten Wochen etwa 1,17 Millionen Mal vom Googlebot gecrawlt. Trotzdem waren am Ende nur vier URLs indexiert. Sogar die Startseite fehlte im Index. Das wirkt auf den ersten Blick widersprüchlich. Aus meiner Erfahrung ist genau diese Konstellation aber gar nicht so selten, vor allem bei großen Produktaggregatoren, Preisvergleichsseiten, automatisch erzeugten Katalogen oder Websites, die sehr viele ähnliche Seiten aus Datenbanken bauen.
Google kann also sehr aktiv crawlen und gleichzeitig entscheiden: „Das ist für den Index nicht überzeugend genug.“ Manchmal crawlt Google gerade deshalb so viel, weil es versucht, die Struktur, Weiterleitungen und Inhalte einer Website zu verstehen. Das ist eher eine Prüfung als ein Vertrauensvorschuss.
Warum viel Crawling kein Qualitätszeichen ist
Viele Websitebetreiber verwechseln Crawling mit Anerkennung. Das ist verständlich. Wenn du siehst, dass Google deine Seiten abruft, denkst du schnell: Google interessiert sich für meine Inhalte. Und ja, ein gewisses Interesse ist da. Aber der Googlebot ist zunächst einmal ein Sammler, Prüfer und technischer Besucher. Er schaut, was existiert, was erreichbar ist, wie URLs miteinander verbunden sind, welche Weiterleitungen gesetzt sind und ob Inhalte stabil genug erscheinen.
Die Indexierung ist ein zweiter Schritt. Dort wird wesentlich strenger entschieden. Die Frage lautet nicht mehr nur: „Kann Google diese Seite abrufen?“ Die Frage lautet eher: „Hat diese Seite genug eigenständigen Wert, um in den Suchindex aufgenommen zu werden?“
Gerade bei großen Seiten ist diese Unterscheidung brutal wichtig. Eine Website kann technisch erreichbar sein, schnell antworten, viele interne Links haben und trotzdem nicht indexiert werden. Warum? Weil Google im Index kein endloses Archiv jeder abrufbaren URL führen will. Der Index ist kein vollständiger Spiegel des Webs. Er ist eine kuratierte Auswahl. Und bei 180.000 URLs schaut Google sehr genau hin, ob diese Masse wirklich gerechtfertigt ist.
Stell dir vor, du eröffnest einen riesigen Laden mit 180.000 Regalen. Von außen sieht das beeindruckend aus. Aber wenn in fast jedem Regal nur minimal veränderte Kopien derselben Produktinformationen liegen, vielleicht noch automatisch zusammengebaut, ohne echte Einordnung, ohne eigene Bewertungen, ohne hilfreiche Filterlogik, ohne klare Nutzerführung, dann fragt sich jeder Besucher irgendwann: Warum sollte ich hier bleiben?
Google denkt in solchen Fällen ähnlich, wenn auch algorithmisch. Es geht nicht darum, dass viele URLs grundsätzlich schlecht wären. Große Marktplätze, Händler, Reiseportale oder Immobilienseiten haben ebenfalls sehr viele Seiten. Aber sie liefern meist klaren Mehrwert: aktuelle Verfügbarkeit, echte Daten, starke Marken, Nutzerinteraktionen, strukturierte Navigation, Vertrauenssignale und Inhalte, die nicht einfach wie automatisiert gestapelte Datenbankauszüge wirken.
Ein großer Umfang allein überzeugt Google nicht. Im Gegenteil: Je größer eine Website wird, desto höher wird die Anforderung an technische Sauberkeit und inhaltliche Substanz. Kleine Fehler multiplizieren sich dann rasend schnell. Eine falsche Weiterleitungslogik betrifft plötzlich nicht drei Seiten, sondern zehntausende. Dünne Vorlagen produzieren nicht zehn schwache Seiten, sondern ganze URL-Wüsten.
Das erste Problem: Weiterleitungen, die Google misstrauisch machen
Im konkreten Fall wurde ein technisches Problem angesprochen, das man nicht unterschätzen sollte: Einige der indexierten URLs leiteten offenbar auf die Startseite weiter. Das klingt harmlos, ist es aber nicht unbedingt.
Wenn viele unterschiedliche URLs alle auf die Startseite weiterleiten, kann das für Google nach einem strukturellen Chaos aussehen. Es entsteht der Eindruck, dass URLs nicht sauber aufgelöst werden, dass Inhalte verschwunden sind oder dass die Weiterleitungen nicht inhaltlich passend gesetzt wurden. Und genau da wird es kritisch.
Eine Weiterleitung sollte im besten Fall logisch sein. Wenn eine Produktseite nicht mehr existiert, leitest du sie auf ein möglichst ähnliches Ersatzprodukt, eine passende Kategorie oder eine informative Seite weiter. Aber wenn sehr viele unterschiedliche Produkt-, Such- oder Kategorieseiten pauschal zur Startseite springen, wirkt das schnell wie eine Notlösung. Oder schlimmer: wie ein Versuch, Google irgendein Ziel unterzuschieben, obwohl die ursprünglich angeforderte Seite keinen echten Inhalt mehr hat.
Aus technischer SEO-Sicht ist das einer dieser Fälle, bei denen ich immer zuerst die Grundlagen prüfen würde, bevor man über Content-Strategie, Backlinks oder Core Updates spricht. Denn wenn Google schon beim Abruf und bei der URL-Verarbeitung auf merkwürdige Signale stößt, wird alles Weitere wackelig.
Warum Startseiten-Weiterleitungen besonders heikel sind
Die Startseite ist meistens die allgemeinste Seite einer Domain. Sie ist selten ein guter Ersatz für eine spezifische Produktseite. Wenn eine URL ursprünglich ein konkretes Produkt, eine Suchkombination oder eine Angebotsseite sein sollte, dann ist die Startseite inhaltlich fast nie eine saubere Entsprechung.
Google kann solche Weiterleitungen mit der Zeit als sogenannte Soft-404-Signale interpretieren. Das heißt: Technisch bekommt Google vielleicht einen Redirect und anschließend eine funktionierende Seite. Inhaltlich aber erkennt Google: Das Ziel passt nicht wirklich zur ursprünglichen Anfrage. Die ursprüngliche URL ist also für den Index nicht sinnvoll.
Wenn das vereinzelt passiert, ist es kein Weltuntergang. Jede größere Website hat irgendwo Weiterleitungen, veraltete Produkte oder aufgeräumte URLs. Aber wenn dieses Muster häufig auftritt, kann es das Vertrauen in die gesamte Seitenstruktur beschädigen.
Und dann kommt noch etwas dazu: Wenn Google nur vier URLs indexiert und einige davon wiederum auf die Startseite weiterleiten, dann sagt das sehr viel über den Zustand der Website aus. Es geht dann nicht nur um „Warum wird meine Startseite nicht indexiert?“, sondern eher um: „Versteht Google überhaupt, welche URLs auf dieser Website gültig, dauerhaft und nützlich sind?“
Manchmal ist das wie bei einem schlecht beschrifteten Lager. Du gehst hinein, siehst viele Türen, öffnest sie, und ständig landest du wieder im Eingangsbereich. Irgendwann hörst du auf, jede Tür ernst zu nehmen.
Das zweite Problem: Programmatic SEO ist viel schwerer, als es aussieht
Der zweite Punkt ist der eigentliche Kern der Sache. Die Website wurde als großer Produktaggregator eingeordnet. Also als Seite, die viele Produktinformationen sammelt, strukturiert und vermutlich über Vorlagen in sehr viele URLs ausspielt. Solche Projekte arbeiten häufig mit programmatic SEO: Inhalte entstehen nicht einzeln redaktionell, sondern massenhaft aus Daten, Templates und Regeln.
Das kann funktionieren. Aber es ist, ehrlich gesagt, viel schwieriger, als viele glauben.
Programmatic SEO hat in den letzten Jahren einen gewissen Reiz bekommen, weil es skalierbar wirkt. Du baust einmal ein Template, speist Daten ein, kombinierst Kategorien, Marken, Eigenschaften, Orte oder Preise, und plötzlich hast du tausende oder hunderttausende Landingpages. Auf dem Papier sieht das genial aus. In der Praxis entsteht aber oft ein riesiger Bestand an Seiten, die sich nur minimal unterscheiden.
Und genau hier wird Google kritisch. Nicht, weil automatisch erzeugte Seiten grundsätzlich verboten wären. Sondern weil viele dieser Seiten für Nutzer kaum zusätzlichen Wert bieten. Sie wirken austauschbar. Heute Produkt A mit Preis X, morgen Produkt B mit Preis Y, aber immer dieselbe Struktur, dieselben Floskeln, dieselben leeren Abschnitte, dieselbe dünne Beschreibung.
Automatisierung ersetzt keine Relevanz. Das ist vielleicht der wichtigste Satz in diesem ganzen Thema.
Wenn du 180.000 Seiten erzeugst, musst du Google und den Nutzern erklären, warum diese 180.000 Seiten existieren sollten. Nicht mit einer Sitemap. Nicht mit „weil unsere Datenbank das kann“. Sondern durch echte Nützlichkeit auf Seitenebene.
Was Google bei großen Produktaggregatoren wahrscheinlich sehen will
Ein Produktaggregator steht immer vor einer schwierigen Frage: Warum sollte jemand deine Seite nutzen statt direkt beim Händler, Hersteller oder einem bekannten Marktplatz zu suchen?
Wenn deine Antwort nur lautet „Wir listen eben Produkte auf“, reicht das meistens nicht. Produktlisten gibt es überall. Preise, Bilder und Kurzbeschreibungen sind oft nicht exklusiv. Wenn diese Informationen zudem von anderen Quellen übernommen, umformatiert oder automatisch kombiniert werden, fehlt der eigene Beitrag.
Wert entsteht eher dort, wo du etwas hinzufügst. Zum Beispiel eine bessere Vergleichbarkeit, echte Verfügbarkeitsdaten, historische Preisentwicklung, klare Kaufberatung, sinnvolle Filter, redaktionelle Einordnung, Nutzerbewertungen, transparente Kriterien oder Informationen, die nicht jeder andere Anbieter ebenfalls hat.
Ein Beispiel aus der Praxis: Eine automatisch generierte Seite wie „Beste rote Laufschuhe Größe 43 unter 100 Euro“ kann nützlich sein, wenn sie wirklich aktuelle Produkte zeigt, sauber filtert, erklärt, für wen diese Auswahl passt, Unterschiede herausarbeitet und den Nutzer schneller zur Entscheidung bringt. Wenn dieselbe Seite aber nur eine Datenbankabfrage mit ein paar Standardtexten ist, dann ist sie für Google leicht als dünne Massenware erkennbar.
Und ja, manchmal ist der Unterschied subtil. Eine Seite kann auf den ersten Blick „gefüllt“ aussehen und trotzdem keinen echten Mehrwert haben. Das merkt man spätestens, wenn man als Mensch versucht, damit eine Entscheidung zu treffen. Findest du dort wirklich Hilfe? Oder nur eine hübsch verpackte Tabelle?
Warum die Startseite nicht automatisch sicher ist
Viele Betreiber sind besonders irritiert, wenn nicht einmal die Startseite indexiert wird. Das fühlt sich fast wie eine Abstrafung an. Normalerweise ist die Startseite einer Domain tatsächlich eine der ersten Seiten, die Google indexiert. Wenn selbst sie fehlt, lohnt es sich, sehr genau hinzuschauen.
Das kann technische Gründe haben. Robots-Anweisungen, Canonicals, Weiterleitungen, Serverantworten, JavaScript-Probleme, noindex-Tags, fehlerhafte interne Verlinkung oder inkonsistente Signale können verhindern, dass eine Startseite sauber indexiert wird. Im geschilderten Fall wurde aber vor allem auf größere technische Probleme rund um Weiterleitungen hingewiesen.
Es kann aber auch ein Qualitäts- und Vertrauensproblem sein. Wenn Google eine Domain crawlt und überwiegend schwache, automatisch erzeugte, redundante oder fehlerhaft weiterleitende Seiten findet, dann wird auch die Startseite nicht automatisch als wertvoll betrachtet. Sie profitiert nicht unbegrenzt davon, dass sie „Homepage“ ist.
Man muss sich das ein bisschen wie einen ersten Eindruck vorstellen. Wenn du ein Restaurant betrittst und schon im Eingangsbereich klebrige Speisekarten, falsche Türschilder und leere Vitrinen siehst, wirst du auch der Küche weniger zutrauen. Vielleicht unfair, aber menschlich. Suchmaschinen arbeiten nicht menschlich, aber sie aggregieren Signale. Und schlechte Muster auf vielen URLs können das Gesamtbild erheblich trüben.
Was du aus diesem Fall für deine eigene Website mitnehmen solltest
Wenn du eine große Website betreibst oder gerade planst, mit automatisierten Landingpages zu skalieren, solltest du diesen Fall nicht als exotische Ausnahme abtun. Er zeigt sehr schön, wo die Fallen liegen.
Der erste Lerneffekt: Eine hohe Crawl-Aktivität ist kein Erfolgsmesswert. Sie kann sogar ein Warnsignal sein, wenn gleichzeitig kaum indexiert wird. In so einem Fall solltest du nicht feiern, sondern diagnostizieren. Welche URL-Typen crawlt Google? Welche Statuscodes liefern sie? Welche davon sind in der Sitemap? Welche haben Canonicals? Welche werden intern stark verlinkt? Wo entstehen Weiterleitungsketten oder Weiterleitungen auf unpassende Ziele?
Der zweite Lerneffekt: Indexierung ist eine Qualitätsentscheidung. Google muss nicht alles aufnehmen, was technisch erreichbar ist. Gerade große, automatisch erzeugte Seitenbestände müssen beweisen, dass sie mehr sind als skalierte Schablonen.
Der dritte Lerneffekt: Technik und Qualität lassen sich nicht trennen. Viele reden bei SEO gerne getrennt über „Technical SEO“ und „Content“. In der Realität vermischen sich beide Ebenen. Eine Seite mit gutem Inhalt kann durch schlechte Redirects ausgebremst werden. Eine technisch saubere Seite kann wegen dünnem, generischem Inhalt trotzdem ignoriert werden. Bei großen Produktaggregatoren brauchst du beides: robuste Technik und echten Nutzwert.
Die nüchterne Diagnose: Erst aufräumen, dann skalieren
Wenn ich so ein Projekt auf dem Tisch hätte, würde ich nicht zuerst fragen, wie man noch mehr Seiten erzeugt. Ich würde eher bremsen. Vielleicht unangenehm, aber notwendig.
Zuerst müsste klar sein, welche URL-Typen überhaupt indexierbar sein sollen. Nicht jede Facette, nicht jede Filterkombination, nicht jede interne Suchseite und nicht jede automatisch erzeugte Varianten-URL gehört in den Index. Das ist einer der häufigsten Fehler bei großen Katalogen: Alles wird geöffnet, alles kommt in die Sitemap, alles wird intern irgendwie verlinkt, und am Ende kann Google nicht mehr unterscheiden, was wichtig ist.
Dann müsste man Weiterleitungen und Statuscodes prüfen. URLs, die nicht mehr existieren, sollten nicht pauschal auf die Startseite zeigen. Sie brauchen entweder ein sinnvolles Ziel, einen klaren 404/410-Status oder eine andere saubere Lösung. Das klingt trocken, aber solche Grundlagen entscheiden oft darüber, ob Google einer Website überhaupt eine stabile Struktur zutraut.
Erst danach würde ich die Inhalte prüfen. Und zwar nicht nur stichprobenartig auf „steht da Text?“, sondern auf echten Nutzen. Gibt es einzigartige Informationen? Gibt es Gründe, warum ein Nutzer diese Seite speichern, teilen oder einer anderen Seite vorziehen würde? Werden Entscheidungen erleichtert? Oder besteht die Seite nur aus automatisch zusammengesetzten Blöcken?
Gerade bei Produktaggregatoren ist das manchmal ernüchternd. Man schaut auf zehn verschiedene Seiten und merkt: Eigentlich ist es immer dieselbe Seite mit anderen Produktnamen. Für eine Datenbank ist das sauber. Für Nutzer ist es oft mäßig. Für Google ist es, nun ja, selten überzeugend.
Programmatic SEO ist nicht tot, aber es braucht Substanz
Es wäre zu einfach zu sagen, dass programmatic SEO grundsätzlich nicht funktioniert. Das stimmt so nicht. Es gibt viele erfolgreiche Websites, die mit Daten, Templates und Automatisierung arbeiten. Aber die erfolgreichen Beispiele haben meistens etwas gemeinsam: Sie automatisieren nicht nur Text, sie automatisieren hilfreiche Struktur.
Sie erzeugen Seiten, die eine echte Nachfrage bedienen. Sie vermeiden unnötige URL-Kombinationen. Sie reichern Daten sinnvoll an. Sie haben klare interne Prioritäten. Und sie löschen, sperren oder konsolidieren Seiten, die keinen Zweck erfüllen.
Schlechte programmatic SEO fühlt sich dagegen an wie Teppichverlegen im Internet: Hauptsache, überall liegt etwas. Gute programmatic SEO ist eher Architektur. Du entscheidest bewusst, welche Räume es gibt, wie sie verbunden sind und warum jemand hineingehen sollte.
Wenn du also viele Produktseiten, Vergleichsseiten oder automatisch erzeugte Landingpages betreibst, solltest du dir eine unbequeme Frage stellen: Würde diese Seite auch existieren, wenn Google sie nie sehen würde? Wenn die ehrliche Antwort „nein“ lautet, hast du vermutlich ein Problem.
Denn Seiten, die nur für Suchmaschinen gebaut wurden, aber Nutzern kaum helfen, sind genau die Art von Seiten, bei denen Google zunehmend skeptisch reagiert. Und dann kann es passieren, dass der Bot zwar immer wieder vorbeikommt, aber der Index geschlossen bleibt.
Was der Fall am Ende wirklich zeigt
Der Fall zeigt nicht einfach nur, dass eine große Website Pech mit der Indexierung hatte. Er zeigt ein Muster, das man im SEO-Alltag immer wieder sieht: Eine Website skaliert schneller, als ihre Qualität und Technik mitwachsen können.
1,17 Millionen Crawls klingen beeindruckend. Vier indexierte URLs bei 180.000 vorhandenen Seiten klingen dagegen alarmierend. Zusammengenommen erzählen diese Zahlen eine klare Geschichte: Google hat hingeschaut, aber offenbar nicht genug Gründe gefunden, die Seiten aufzunehmen. Zusätzlich gab es technische Signale, die das Vertrauen weiter geschwächt haben dürften.
Für dich heißt das: Wenn du eine große Website aufbaust, solltest du nicht nur fragen, wie viele Seiten du erzeugen kannst. Frag lieber, welche Seiten wirklich eine Daseinsberechtigung haben. Das ist weniger glamourös als Wachstumskurven und URL-Zahlen, aber langfristig deutlich gesünder.
Die wichtigste Lektion ist simpel, aber unbequem: Google muss nicht indexieren, nur weil du viele Seiten bereitstellst. Du musst Google und vor allem den Nutzern zeigen, dass diese Seiten hilfreich, stabil, eindeutig und wertvoll sind. Bei kleinen Websites ist das schon wichtig. Bei großen Produktaggregatoren ist es überlebenswichtig.
Und manchmal beginnt der beste SEO-Fortschritt nicht mit neuen Inhalten, sondern mit Aufräumen. Alte Weiterleitungen prüfen. Schwache URL-Muster schließen. Automatisch erzeugte Seiten kritisch hinterfragen. Die Startseite technisch sauber absichern. Den Index nicht als Müllhalde für jede denkbare Kombination behandeln.
Das klingt nach Arbeit, und das ist es auch. Aber genau dort trennt sich bei großen Websites oft das ernsthafte Projekt von der bloßen URL-Maschine. Google kann sehr viel crawlen. Entscheidend ist, ob es danach auch etwas findet, das es behalten möchte.
