Wenn du deine Website technisch sauber halten willst, ist diese Aussage ziemlich ernüchternd: Die sogenannten Content Signals in der robots.txt haben nach Einschätzung von Google derzeit keinerlei Wirkung auf Google-Crawler, andere bekannte Crawler oder LLMs. Gemeint sind zusätzliche Direktiven, mit denen Websitebetreiber angeblich signalisieren können, ob Inhalte für Suche, KI-Training oder KI-Agenten verwendet werden dürfen. Klingt erst einmal nach einer praktischen Idee. Gerade jetzt, wo viele Publisher, Shops und Fachportale nervös auf KI-Crawler schauen, wäre so ein feines Steuerinstrument natürlich willkommen.
Nur: Nach aktuellem Stand scheint genau hier der Haken zu liegen. Google nutzt diese Content-Signal-Direktiven laut der vorliegenden Aussage nicht. Auch llms.txt und llms-author.txt werden von Google nicht verwendet. Und noch deutlicher: Es sei auch nicht bekannt, dass relevante Crawler oder LLM-Anbieter diese Signale tatsächlich auswerten würden, abgesehen vielleicht von einzelnen SEO-Tools, die solche Dateien oder Direktiven testen, anzeigen oder interpretieren.
Für dich heißt das erst einmal: Nur weil du etwas in deine robots.txt schreibst, bedeutet das nicht automatisch, dass Maschinen es respektieren. Das ist ein Punkt, den ich in der Praxis immer wieder sehe. Viele Teams behandeln die robots.txt ein bisschen wie eine Hausordnung am Eingang der Website. Aber technisch funktioniert sie eher wie ein Schild, das nur von den Besuchern gelesen wird, die sich vorher darauf geeinigt haben, genau diese Schilder zu beachten. Alles andere ist Wunschdenken, manchmal nützliches Wunschdenken, aber eben Wunschdenken.
Warum diese Content Signals aktuell praktisch ins Leere laufen
Die zentrale Aussage ist recht klar: Die von Cloudflare eingeführten Content Signals als robots.txt-Direktive haben aktuell „no effects whatsoever“, also keinerlei Effekt, für Crawler oder LLMs. Das ist schon eine harte Formulierung. Nicht „wir prüfen das noch“, nicht „wir nutzen es teilweise“, sondern sinngemäß: Es bewirkt nichts.
Der Hintergrund ist wichtig. Die robots.txt ist kein beliebig erweiterbares Kontrollzentrum, bei dem jede neue Zeile automatisch von allen Bots verstanden wird. Crawler lesen nur die Direktiven, die sie kennen und unterstützen. Klassische Anweisungen wie User-agent, Disallow, Allow oder Hinweise auf eine Sitemap sind etabliert. Wenn du aber eigene Fantasie-Anweisungen ergänzt, werden seriöse Crawler sie in der Regel einfach ignorieren. Das ist nicht böse gemeint, sondern schlicht Standardverhalten.
Genau darum wurde auch gesagt, dass solche Content-Signal-Direktiven im Moment vor allem eines erzeugen: Aufblähung und künftigen Wartungsaufwand in deiner robots.txt. Und ehrlich gesagt, das klingt in technischer Hinsicht sehr plausibel. Eine robots.txt sollte übersichtlich bleiben. Wenn dort nach und nach experimentelle Signale, halb unterstützte KI-Hinweise, interne Kommentare und alte Tests landen, wird sie irgendwann zu einer Art Abstellkammer. Man findet noch alles irgendwie, aber niemand weiß mehr so genau, was davon noch relevant ist.
Aus meiner Erfahrung ist das ein unterschätztes Problem. Eine kleine robots.txt wirkt harmlos. Aber bei größeren Websites mit mehreren Subdomains, Staging-Umgebungen, CDN-Regeln, internationalen Varianten und verschiedenen Bot-Regeln wird daraus schnell ein Bereich, den niemand mehr gerne anfasst. Und wenn dann noch Direktiven hinzukommen, die keine reale Wirkung haben, steigt nur das Risiko, dass du später falsche Annahmen triffst.
Der Unterschied zwischen „steht drin“ und „wird beachtet“
Hier liegt der Kern der Sache. Du kannst in eine robots.txt theoretisch alles Mögliche schreiben. Ein Crawler wird dadurch aber nicht automatisch verpflichtet, diese Zeilen umzusetzen. Wenn ein Bot eine Direktive nicht kennt, ignoriert er sie üblicherweise. Das ist ähnlich wie bei einem Verkehrszeichen, das du selbst gebastelt hast und vor deine Einfahrt stellst. Deine Nachbarn verstehen vielleicht, was du meinst. Die Straßenverkehrsordnung interessiert sich dafür aber eher nicht.
Bei Content Signals ist es offenbar genau so. Die Idee dahinter ist, Inhalte in Kategorien einzuteilen oder Nutzungssignale zu setzen. Etwa, ob Inhalte für Search, Training oder Agent-Verwendungen zugelassen oder blockiert werden sollen. In einer idealen Welt wäre das fein granular: Suchmaschinen dürfen indexieren, KI-Modelle dürfen nicht trainieren, KI-Agenten dürfen vielleicht bestimmte Vorgänge nicht automatisiert ausführen. Klingt sauber. Klingt sogar fair.
Aber die technische Realität ist rauer. Wenn große Crawler diese Signale nicht unterstützen, bleibt es eine Absichtserklärung ohne Durchsetzung. Du kannst dich dann zwar intern besser fühlen, weil du deine Präferenz dokumentiert hast. Aber SEO-technisch oder crawler-technisch solltest du daraus keine verlässliche Schutzwirkung ableiten.
Das gilt auch für llms.txt und llms-author.txt. Diese Dateien werden seit einiger Zeit diskutiert, weil viele Websitebetreiber hoffen, darüber KI-Systemen bessere Hinweise zu geben: Welche Inhalte wichtig sind, welche Autoren dazugehören, welche Entitäten gemeint sind, wie Inhalte genutzt werden sollen. Für bestimmte Experimente mag das spannend sein. Nur sagt Google hier klar: Google nutzt diese Dateien nicht. Und es ist nicht bekannt, dass andere maßgebliche Crawler oder LLMs sie offiziell nutzen, zumindest nicht in einer Weise, auf die du dich verlassen solltest.
Was Cloudflares neue Standardregeln bedeuten können
Spannend wird das Thema vor allem durch Cloudflares geplante Standardeinstellungen. Ab dem 15. September 2026 sollen für neue Domains, die zu Cloudflare kommen, bestimmte Kategorien anders voreingestellt werden. Dabei geht es um drei grobe Klassen: Training, Agent und Search.
Für neue Domains sollen die Kategorien Training und Agent standardmäßig blockiert werden, wenn es sich um Seiten handelt, auf denen Werbung angezeigt wird. Die Kategorie Search bleibt dagegen standardmäßig erlaubt. Das ist eine interessante Trennung. Suche soll weiter funktionieren, also klassische Auffindbarkeit über Suchmaschinen. KI-Training und agentenartige Nutzung sollen dagegen stärker eingeschränkt werden.
Auf dem Papier ist das nachvollziehbar. Viele Publisher wollen durchaus in der Suche sichtbar sein, weil organischer Traffic, Markenpräsenz und Nachfrage davon abhängen. Gleichzeitig möchten sie nicht unbedingt, dass ihre Inhalte massenhaft für Training oder automatisierte KI-Aktionen verwendet werden, ohne klare Gegenleistung. Gerade wer mit Anzeigen monetarisiert, hat ein offensichtliches Interesse daran, dass Menschen auf die Seite kommen und nicht nur Antworten aus einem Modell konsumieren, das irgendwann einmal die Inhalte aufgenommen hat.
Nur musst du zwei Ebenen auseinanderhalten. Die eine Ebene sind Cloudflare-Einstellungen und deren technische Umsetzung innerhalb der Cloudflare-Infrastruktur. Die andere Ebene ist die Frage, ob Google oder andere externe Crawler die dazugehörigen Content-Signal-Direktiven in der robots.txt respektieren. Und genau da sagt Google: Aktuell nein.
Das ist dieser kleine, aber entscheidende Unterschied, der in Meetings gerne untergeht. Ein CDN-Anbieter kann eine neue Logik einführen, eine Benutzeroberfläche anbieten und Regeln veröffentlichen. Aber damit ist noch nicht garantiert, dass das restliche Web-Ökosystem diese Logik übernimmt. Standards entstehen nicht dadurch, dass ein einzelner Anbieter sie aufschreibt. Sie entstehen, wenn genügend relevante Akteure sie implementieren, dokumentieren und stabil nutzen.
Warum du deine Cloudflare-Einstellungen trotzdem prüfen solltest
Auch wenn Google diese Content-Signal-Direktiven nicht auswertet, solltest du Cloudflare nicht einfach ignorieren, falls du den Dienst nutzt. Der Marktanteil ist groß: Rund 21,3 Prozent aller Websites im Internet sollen Anfang 2026 Cloudflare eingesetzt haben. Das ist kein Nischenphänomen. Wenn dort Standardwerte geändert werden, kann das für viele Betreiber spürbare Folgen haben, selbst wenn nicht jede Folge direkt mit Google SEO zu tun hat.
Du solltest also prüfen, welche Einstellungen für deine Domain gelten, ob du betroffen bist und ob die neuen Defaults zu deiner Strategie passen. Das klingt banal, aber genau solche Dinge fallen im Alltag gerne hintenüber. Man richtet Cloudflare einmal ein, optimiert DNS, aktiviert Caching, vielleicht WAF-Regeln, Bot Fight Mode, Bildoptimierung, und dann schaut ein Jahr lang niemand mehr tief in die Einstellungen. Bis plötzlich ein Standard umgestellt wird und sich alle wundern.
Ich würde an deiner Stelle besonders auf drei Fragen schauen. Erstens: Willst du Search ausdrücklich erlauben? Für die meisten Websites lautet die Antwort ja, aber nicht immer für alle Bereiche. Zweitens: Willst du KI-Training blockieren? Das ist eine strategische und rechtliche Frage, keine reine SEO-Frage. Drittens: Was verstehst du unter Agent-Nutzung? Denn KI-Agenten können künftig Dinge tun, die weit über simples Crawling hinausgehen: Formulare ausfüllen, Preise vergleichen, Inhalte extrahieren, Bestellungen vorbereiten, Supportprozesse anstoßen. Da wird es schnell praktisch.
Was mich an dieser Diskussion manchmal irritiert: Viele reden über KI-Crawler so, als seien sie alle gleich. Sind sie aber nicht. Ein Suchmaschinen-Crawler, ein Trainingscrawler, ein Echtzeit-Abruf für KI-Antworten und ein Agent, der Aktionen ausführt, sind technisch und wirtschaftlich verschiedene Dinge. Du brauchst deshalb auch keine pauschale Panik, aber du brauchst eine bewusste Haltung.
Was das für deine SEO- und KI-Strategie bedeutet
Die wichtigste Konsequenz lautet: Verlass dich nicht darauf, dass experimentelle Dateien oder neue robots.txt-Direktiven deine Inhalte zuverlässig vor KI-Nutzung schützen oder deine Entitäten besser verständlich machen. Wenn dein Ziel ist, in Google besser erkannt, indexiert oder korrekt zugeordnet zu werden, sind llms.txt, llms-author.txt und Content Signals nach aktuellem Stand nicht der Hebel, auf den du setzen solltest.
Gerade die Frage nach Personen-Entitäten und eindeutiger Zuordnung ist interessant. Viele hoffen, dass Zusatzdateien helfen könnten, Personen, Autoren, Marken oder Organisationen besser auseinanderzuhalten. Das Problem ist real. Wenn zwei Menschen denselben Namen tragen, wenn Autoren für mehrere Websites schreiben oder wenn eine Marke ähnlich heißt wie eine andere, können Suchsysteme durcheinanderkommen. Manchmal ist es überraschend, wie lange solche Verwechslungen bestehen bleiben.
Aber dafür brauchst du robuste Signale. Zum Beispiel konsistente Autorenseiten, klare About-Seiten, saubere strukturierte Daten, eindeutige Profile, nachvollziehbare interne Verlinkung, stabile Namensformen und inhaltliche Kohärenz. Das sind keine glänzenden neuen Spielzeuge, ich weiß. Es klingt fast langweilig. Aber genau diese langweiligen Grundlagen funktionieren oft besser als das nächste experimentelle Format.
Wenn du eine Person als Entität stärken willst, reicht es nicht, irgendwo eine Datei abzulegen und zu hoffen, dass ein LLM sie liest. Du solltest vielmehr sicherstellen, dass die Person auf der Website klar eingebettet ist. Wer ist sie? Wofür steht sie fachlich? Welche Inhalte stammen von ihr? Gibt es eine konsistente Autorenbox? Gibt es eine Profilseite mit relevanten Informationen? Sind strukturierte Daten korrekt ausgezeichnet? Gibt es externe Bestätigungen, ohne dass du künstlich Linkbuilding betreibst? All das ist mühsamer, aber belastbarer.
Robots.txt bleibt wichtig, aber nicht als Zauberstab
Die robots.txt ist weiterhin ein wichtiges Werkzeug. Nur solltest du sie nicht überfrachten. Nutze sie für Dinge, die von den relevanten Crawlern verstanden werden. Blockiere Bereiche, die nicht gecrawlt werden sollen. Verweise auf deine Sitemap. Pflege klare Regeln für verschiedene User-Agents, wenn du dafür einen guten Grund hast. Aber behandle sie nicht wie einen Ort, an dem jede neue Hoffnung abgelegt wird.
Besonders vorsichtig wäre ich bei Teams, die aus Unsicherheit immer mehr Regeln ergänzen. Da steht dann irgendwann etwas wie: klassische Googlebot-Regeln, Bingbot-Regeln, alte Parameter-Blockaden, KI-Crawler-Listen, Kommentarzeilen, Testdirektiven, CDN-spezifische Signale, mehrere Sitemap-Verweise und obendrauf noch historische Reste aus einem Relaunch von vor drei Jahren. Das fühlt sich nach Kontrolle an, ist aber oft das Gegenteil. Es wird unklar.
Eine gute robots.txt ist für mich eher wie ein Werkzeugbrett in einer Werkstatt. Jedes Werkzeug hat seinen Platz. Wenn du einen Schraubenzieher brauchst, findest du ihn sofort. Wenn du dagegen alles in eine Kiste wirfst, findest du am Ende zwar auch irgendetwas, aber vermutlich nicht das Richtige. Genau so solltest du an technische SEO-Dateien herangehen.
Wenn du Content-Signal-Zeilen bereits eingebaut hast, musst du nicht in Panik verfallen. Sie werden offenbar einfach ignoriert, sofern ein Crawler sie nicht kennt. Aber du solltest dokumentieren, warum sie dort stehen, wer sie pflegt und wann du sie wieder prüfst. Noch besser: Wenn sie keinen praktischen Zweck erfüllen, entferne sie oder halte sie zumindest sauber getrennt und kommentiert. Technische Klarheit ist ein Rankingfaktor nur im übertragenen Sinn, aber sie verhindert echte Fehler.
Die größere Frage: Wer setzt eigentlich die Regeln für KI-Crawling?
Unter der Oberfläche steckt hier eine größere Debatte. Websitebetreiber wollen Kontrolle darüber, wie ihre Inhalte genutzt werden. Suchmaschinen wollen crawlen, indexieren und Antworten liefern. KI-Unternehmen wollen Daten verstehen, zusammenfassen, trainieren oder in Echtzeit abrufen. CDNs und Infrastruktur-Anbieter wiederum versuchen, ihren Kunden Werkzeuge zu geben, mit denen sie diese Zugriffe steuern können. Das ist ein ziemliches Durcheinander, und ehrlich gesagt: Es wird noch eine Weile unordentlich bleiben.
Cloudflares Ansatz ist ein Versuch, Ordnung in diese Landschaft zu bringen. Die Kategorien Search, Training und Agent sind grundsätzlich sinnvoll, weil sie unterschiedliche Nutzungsformen benennen. Aber ein Signal ist nur dann stark, wenn es von den Empfängern akzeptiert wird. Wenn Google sagt, dass es diese Content-Signal-Direktiven nicht beachtet und offenbar auch keine Pläne in diese Richtung erkennen lässt, dann ist das für SEO-Verantwortliche eine wichtige Information.
Das bedeutet nicht, dass solche Konzepte für immer irrelevant bleiben. Standards können sich entwickeln. Was heute ignoriert wird, kann morgen diskutiert und übermorgen teilweise unterstützt werden. Nur solltest du deine aktuelle Strategie nicht auf eine mögliche spätere Akzeptanz bauen. Das wäre, als würdest du ein Haus planen, weil irgendwann vielleicht eine Straße dorthin gebaut wird. Kann passieren. Muss aber nicht.
Praktisch betrachtet solltest du zwischen Wunschsignal, technischer Durchsetzung und rechtlicher Positionierung unterscheiden. Ein Wunschsignal sagt: „Ich möchte das nicht.“ Technische Durchsetzung sagt: „Ich verhindere es aktiv über Zugriffskontrolle, Blockaden, Authentifizierung oder Bot-Management.“ Rechtliche Positionierung sagt: „Ich formuliere Nutzungsbedingungen und mache Ansprüche geltend.“ Die robots.txt steht irgendwo zwischen Wunschsignal und technischer Koordination. Sie ist wichtig, aber sie ist keine Mauer.
Was du jetzt konkret tun solltest
Wenn du Cloudflare nutzt, prüfe deine Einstellungen vor dem genannten Stichtag beziehungsweise sobald du eine neue Domain einrichtest. Verlass dich nicht darauf, dass Default-Werte automatisch zu deinem Geschäftsmodell passen. Für eine Nachrichtenseite, einen Onlineshop, ein SaaS-Portal, eine Community oder eine wissenschaftliche Plattform können die richtigen Antworten unterschiedlich aussehen.
Wenn du eine robots.txt pflegst, geh sie einmal nüchtern durch. Welche Direktiven werden wirklich unterstützt? Welche sind historisch gewachsen? Welche wurden nur ergänzt, weil jemand irgendwo gelesen hat, dass man das jetzt so macht? Ich würde dabei alles markieren, was experimentell ist. Nicht unbedingt sofort löschen, aber zumindest bewusst einordnen.
Wenn du hoffst, über llms.txt oder ähnliche Dateien deine Sichtbarkeit in KI-Systemen zu verbessern, würde ich vorsichtig bleiben. Testen ist okay. Dokumentieren auch. Aber priorisiere nicht diese Dateien, solange wichtige Grundlagen fehlen. In den meisten Fällen bekommst du mehr Wirkung durch saubere Informationsarchitektur, strukturierte Daten, klare Autorenschaft, gute interne Links und konsistente Marken- beziehungsweise Personeninformationen.
Und falls du KI-Training wirklich verhindern willst, reicht ein Eintrag in einer Datei nicht aus. Dann musst du über Bot-Management, Logfile-Analyse, Zugriffsbeschränkungen, Nutzungsbedingungen und gegebenenfalls rechtliche Maßnahmen nachdenken. Das ist weniger bequem als eine Zeile in der robots.txt, aber deutlich realistischer.
Mein Fazit für dich
Die kurze Version ist: Content Signals in der robots.txt haben derzeit keine erkennbare Wirkung auf Google und offenbar auch nicht auf relevante LLM-Crawler. Google nutzt weder diese Direktiven noch llms.txt oder llms-author.txt. Crawler ignorieren Anweisungen, die sie nicht unterstützen. Dadurch entsteht eher zusätzlicher Pflegeaufwand als echte Kontrolle.
Trotzdem solltest du das Thema nicht komplett abtun. Cloudflares neue Standardeinstellungen können für viele Websites relevant werden, weil der Dienst sehr weit verbreitet ist und künftig Training- und Agent-Kategorien unter bestimmten Bedingungen standardmäßig blockieren will, während Search erlaubt bleibt. Das ist strategisch interessant, aber eben nicht gleichbedeutend damit, dass Google diese Signale auswertet.
Wenn du mich fragst, liegt die vernünftige Haltung irgendwo in der Mitte. Nicht hysterisch jede neue KI-Datei einbauen. Aber auch nicht so tun, als wäre KI-Crawling nur ein vorübergehendes Geräusch im Maschinenraum. Halte deine technischen Signale sauber, prüfe deine CDN-Einstellungen, stärke deine echten Entitätssignale und baue keine SEO-Strategie auf Direktiven, die von den wichtigsten Systemen nicht unterstützt werden.
Manchmal ist die langweilige Lösung die beste: weniger Ballast, klarere Regeln, bessere Dokumentation. Gerade bei robots.txt-Dateien ist das fast immer ein Gewinn. Und wenn ein neuer Standard irgendwann wirklich von großen Crawlern akzeptiert wird, kannst du ihn immer noch sauber einbauen. Bis dahin gilt: Nicht jede neue Direktive ist ein neues Steuerinstrument. Manchmal ist sie nur eine Zeile Text, die niemand liest.
