Wenn du eine Website betreibst, Inhalte veröffentlichst oder für SEO verantwortlich bist, dürfte diese Entwicklung ziemlich relevant für dich werden. Es geht um eine neue Möglichkeit, in der robots.txt auszudrücken, ob deine Inhalte für das Training von KI-Systemen genutzt werden dürfen oder nicht. Und zwar nicht mehr mühsam für jeden einzelnen KI-Anbieter separat, sondern über ein gemeinsames Signal, das mehrere große Anbieter künftig verstehen sollen.
Der Kern ist schnell gesagt, aber die Folgen sind nicht ganz trivial: Google will ab 2027 ein neues, gemeinsames KI-Training-Kontrollsignal unterstützen. Auch andere große KI- und Suchanbieter bewegen sich in diese Richtung. Für dich als Websitebetreiber könnte das bedeuten, dass du künftig mit einer einzigen Regel in deiner robots.txt breiter steuern kannst, ob deine Inhalte für KI-Training verwendet werden sollen.
Aus meiner Erfahrung ist genau das einer der Punkte, an denen viele Publisher bisher ins Schwimmen geraten. Man hatte plötzlich eine wachsende Liste von Crawlern, Bots, Produktnamen und Spezialregeln vor sich. Google-Extended hier, GPTBot dort, ClaudeBot irgendwo anders, Bing-spezifische Mechanismen, dazu noch die Frage: Geht es um Suchindexierung, KI-Training, AI-Antworten, Grounding oder alles zusammen? Das ist selbst für erfahrene Leute nicht immer sauber auseinanderzuhalten. Für kleinere Websitebetreiber erst recht nicht.
Deshalb ist der neue Ansatz interessant. Nicht, weil er alle Probleme auf einen Schlag löst. Das tut er nicht. Aber er könnte zumindest einen Teil der technischen Komplexität reduzieren. Und ehrlich gesagt: Das wäre längst überfällig.
Was sich mit dem neuen KI-Training-Signal ändern soll
Der neue Mechanismus basiert auf Arbeiten rund um AIPREF, einer Initiative innerhalb der Internet Engineering Task Force, also dem internationalen Umfeld, in dem technische Internetstandards diskutiert und entwickelt werden. Das Signal soll Websitebetreibern ermöglichen, ihre Präferenzen zur Nutzung ihrer Inhalte für KI-Training maschinenlesbar mitzuteilen.
Maschinenlesbar heißt in diesem Zusammenhang: Nicht irgendwo in den Nutzungsbedingungen versteckt, nicht in einem PDF, nicht in einem Blogpost, sondern an einer Stelle, die Crawler ohnehin lesen können. Und diese Stelle ist die gute alte robots.txt. Ein bisschen unspektakulär vielleicht, aber gerade deshalb praktisch. Die robots.txt ist seit Jahrzehnten der Ort, an dem Websites Bots Anweisungen geben. Sie ist nicht perfekt, sie ist kein hartes technisches Schloss, aber sie ist etabliert.
Das neue Signal soll voraussichtlich mit einem speziellen User-Agent arbeiten:
user-agent: __usage_ai-training
Dieser Ausdruck steht sinngemäß für die Nutzung von Webinhalten zum Training von KI-Modellen. Wenn du also künftig über robots.txt angeben möchtest, dass deine Inhalte nicht für KI-Training verwendet werden sollen, könnte dieses gemeinsame Signal der Weg dafür sein. Die genaue Standardisierung ist noch nicht vollständig abgeschlossen, aber die Richtung ist klar: ein gemeinsamer, breiter verständlicher Mechanismus statt vieler einzelner Anbieterregeln.
Bislang musstest du, wenn du KI-Training einschränken wolltest, oft verschiedene Bots oder produktspezifische Crawler einzeln adressieren. Praktisch sieht das schnell aus wie eine kleine Sammlung technischer Sonderfälle. Ein Unternehmen nennt seinen Bot so, das nächste unterscheidet zwischen Training und Darstellung in KI-Antworten, ein anderes setzt auf eigene Dokumentation. Für große Publisher mit technischen Teams ist das nervig, aber machbar. Für einzelne Blogger, Künstler, Shopbetreiber, Fachverlage oder Forenadministratoren ist es oft schlicht unübersichtlich.
Der neue Ansatz will genau hier ansetzen: Du sollst deine Grundentscheidung in einem Schritt ausdrücken können. Also etwa: Meine Inhalte sollen nicht für KI-Training verwendet werden. Und teilnehmende KI-Anbieter sollen dieses Signal entsprechend interpretieren.
Wichtig ist allerdings: Es handelt sich um ein Signal, keinen magischen Schutzschild. Robots.txt funktioniert traditionell auf Basis freiwilliger Beachtung. Seriöse Anbieter halten sich daran, unseriöse Scraper möglicherweise nicht. Das war schon bei klassischen Suchmaschinen-Crawlern so und wird im KI-Zeitalter nicht plötzlich anders sein. Trotzdem ist ein einheitliches Signal ein Schritt nach vorne, weil es wenigstens für die großen, sichtbaren Anbieter eine gemeinsame Sprache schafft.
Warum robots.txt plötzlich wieder so wichtig wird
Die robots.txt war lange vor allem ein SEO-Werkzeug. Du hast damit gesteuert, welche Bereiche einer Website von Suchmaschinen gecrawlt werden sollen und welche nicht. Natürlich gab es immer Missverständnisse: Disallow bedeutet nicht automatisch Noindex, blockierte Seiten können unter Umständen trotzdem in Suchergebnissen auftauchen, und so weiter. Aber im Großen und Ganzen war klar, worum es ging: Crawling für klassische Suche.
Mit generativer KI hat sich die Lage verschoben. Inhalte werden nicht mehr nur indexiert, um später als Suchtreffer angezeigt zu werden. Sie können auch verwendet werden, um Modelle zu trainieren, Antworten zu generieren, Zusammenfassungen zu erstellen oder externe Informationen in KI-Produkten zu verankern. Diese verschiedenen Nutzungsarten klingen technisch ähnlich, sind aber für Publisher wirtschaftlich und rechtlich sehr unterschiedlich.
Ein Beispiel aus der Praxis: Stell dir vor, du betreibst eine Website mit sehr spezialisierten Ratgebern, sagen wir zu Steuerfragen für Selbstständige oder zu medizinischen Nischenthemen. Klassische Suchmaschinen bringen dir Traffic, weil Nutzer auf dein Ergebnis klicken. Wenn deine Inhalte aber in einer KI-Antwort verarbeitet werden, bekommt der Nutzer möglicherweise die Antwort direkt dort. Vielleicht mit Link, vielleicht ohne. Vielleicht korrekt, vielleicht verkürzt. Und wenn deine Inhalte zusätzlich zum Training eines Modells genutzt werden, fließen sie in ein System ein, das später ähnliche Antworten erzeugen kann, ohne dass deine ursprüngliche Seite sichtbar bleibt.
Genau an diesem Punkt wollen viele Publisher mehr Kontrolle. Nicht unbedingt, weil sie KI grundsätzlich ablehnen. Das wäre zu simpel gedacht. Viele möchten differenzieren: Ja zur Suchindexierung. Vielleicht ja zur Verwendung als Quelle in Antworten, wenn Links und Traffic zurückkommen. Vielleicht nein zum dauerhaften Modelltraining. Oder umgekehrt: Ja zum Training, aber nein zu bestimmten Formen der Wiederverwendung. Die Realität ist da ziemlich bunt.
Das neue Signal konzentriert sich zunächst auf KI-Training. Es soll helfen, diese konkrete Nutzung besser zu kontrollieren. Andere Bereiche des AIPREF-Vokabulars werden weiter diskutiert. Und genau das ist wichtig: Es geht noch nicht um ein fertig geschnürtes Paket für jede denkbare KI-Nutzung, sondern um einen Baustein, der relativ früh nutzbar werden soll.
Das Zusammenspiel mit Google-Extended
Google hat bereits einen eigenen Mechanismus namens Google-Extended. Darüber können Websitebetreiber steuern, ob ihre Inhalte für bestimmte KI-bezogene Google-Produkte verwendet werden dürfen. Dieser bestehende Mechanismus soll nicht verschwinden. Er bleibt parallel erhalten.
Interessant ist die geplante Interpretation des neuen gemeinsamen Signals. Wenn eine Website über den neuen Policy-Token in der robots.txt das KI-Training ablehnt und Google-Extended nicht ausdrücklich anders geregelt ist, will Google diese Entscheidung so behandeln, als wäre Google-Extended blockiert worden. Vereinfacht gesagt: Wenn du allgemein Nein zu KI-Training sagst und keine spezielle Erlaubnis für Google-Extended gibst, soll Google das als Ablehnung für Google-Extended verstehen.
Das klingt zunächst logisch, hat aber einen kleinen Haken, den man nicht übersehen sollte. Du musst künftig sehr genau wissen, welche Regel Vorrang hat und was du wirklich ausdrücken willst. Eine breite Ablehnung ist bequem, aber wenn du bestimmte Anbieter oder bestimmte Nutzungsformen erlauben möchtest, brauchst du weiterhin genauere Regeln.
Das ist in der Praxis ähnlich wie bei SEO-Direktiven. Eine generelle Disallow-Regel kann sinnvoll sein, aber manchmal brauchst du Ausnahmen. Und Ausnahmen sind oft der Ort, an dem Fehler passieren. Ich habe schon genug robots.txt-Dateien gesehen, in denen versehentlich halbe Websites blockiert wurden. Nicht aus böser Absicht, sondern weil jemand „mal schnell“ eine Regel ergänzt hat. Bei KI-Kontrollen wird diese Fehleranfälligkeit nicht kleiner.
Deshalb würde ich jedem raten, solche Anpassungen nicht nebenbei zu machen. Es klingt nach einer einfachen Textzeile, aber die Konsequenzen können größer sein. Gerade wenn deine Website Sichtbarkeit in KI-Produkten, klassische Suche und mögliche Lizenz- oder Content-Strategien miteinander verbinden muss, solltest du die Regeln sauber dokumentieren.
Was das für dich als Websitebetreiber praktisch bedeutet
Die wichtigste praktische Veränderung ist die Aussicht auf weniger Fragmentierung. Statt zehn oder zwanzig verschiedene Bot-Regeln zu pflegen, könntest du künftig eine übergreifende Präferenz setzen. Wenn große Anbieter dieses Signal wirklich unterstützen, wird es für Publisher deutlich einfacher, eine Grundhaltung zu formulieren.
Das könnte insbesondere für drei Gruppen interessant sein. Erstens für klassische Publisher, die Sorge haben, dass ihre Inhalte zum Rohstoff für KI-Systeme werden, ohne dass daraus angemessener Traffic oder Vergütung entsteht. Zweitens für Künstler, Autoren, Fotografen und kleinere Kreative, die eine stärkere Kontrolle über Nachahmung und Kopien wünschen. Drittens für Unternehmen, die fachliche Inhalte veröffentlichen und vermeiden wollen, dass proprietäres Know-how zu breit in KI-Training einfließt.
Wobei man fairerweise sagen muss: Wenn Inhalte öffentlich im Web stehen, sind sie grundsätzlich zugänglich. Die Frage ist nicht nur, ob ein Signal existiert, sondern ob es respektiert wird. Bei großen Anbietern ist der politische und regulatorische Druck inzwischen deutlich höher. Ein maschinenlesbares Signal in robots.txt schafft hier eine klarere Ausgangslage. Wenn du deutlich Nein sagst und ein Anbieter es trotzdem ignoriert, ist die Diskussion eine andere, als wenn deine Präferenz nirgends standardisiert erkennbar war.
Ein weiterer Punkt ist die Verbindung zu europäischen Regelungen. Im Umfeld des EU AI Act und des Verhaltenskodex für Anbieter von allgemeinen KI-Modellen spielt robots.txt als maschinenlesbare Ausdrucksform für Publisher-Präferenzen eine erkennbare Rolle. Das macht die Sache ernster. Es geht nicht nur um eine freundliche Branchenkonvention, sondern um die Frage, welche technischen Signale künftig als relevantes Mittel zur Rechte- und Präferenzäußerung gelten.
Für dich heißt das: Die robots.txt wird strategischer. Früher war sie oft eine kleine technische Datei, die man nach dem Relaunch kurz prüft und dann vergisst. Künftig kann sie ein Ort sein, an dem du zentrale Entscheidungen über Suchmaschinen, KI-Nutzung und Datenzugriff formulierst. Das ist eine ziemlich große Aufwertung für eine Datei, die viele Websitebetreiber kaum beachten.
Nicht alles ist automatisch geklärt
So positiv der gemeinsame Ansatz klingt, es bleiben offene Fragen. Und aus meiner Sicht sollte man die nicht kleinreden. Ein Teilnehmer an den Diskussionen wies darauf hin, dass der Standardisierungsprozess noch nicht abgeschlossen ist und es weiterhin Streitpunkte gibt. Einer davon betrifft offenbar die Frage, ob diese Präferenzen auch für Dinge gelten sollen, die durch Nutzerhandlungen ausgelöst werden.
Das klingt abstrakt, ist aber wichtig. Stell dir vor, ein Nutzer kopiert Inhalte von deiner Website in ein KI-Tool oder fordert ein KI-System auf, deine Arbeit zu analysieren, umzuschreiben oder nachzuahmen. Wenn solche nutzerinitiierten Vorgänge von den Präferenzen ausgenommen werden, könnte das für Kreative problematisch sein. Vor allem Künstler, Autoren und andere Urheber, die ohnehin schon mit KI-generierten Nachahmungen zu kämpfen haben, sehen darin vermutlich keine Kleinigkeit.
Und ehrlich gesagt: Ich verstehe diese Sorge. Technisch ist es nachvollziehbar, dass Anbieter zwischen eigenem Crawling und Nutzeraktionen unterscheiden wollen. Rechtlich und praktisch verschwimmt die Grenze aber schnell. Wenn ein Tool massenhaft eingesetzt wird, um Inhalte zu kopieren, umzuschreiben oder Stilimitate zu produzieren, fühlt sich der Schaden für den Urheber nicht weniger real an, nur weil ein Nutzer den Vorgang angestoßen hat.
Genau deshalb ist der laufende Standardisierungsprozess so wichtig. Es reicht nicht, wenn nur die großen Plattformen untereinander definieren, was bequem ist. Publisher, Künstler, kleinere Websitebetreiber, Zivilgesellschaft und Regulierer müssen mitreden. Und offenbar passiert das zumindest teilweise. Die Arbeitsgruppe ist öffentlich, transparent und grundsätzlich für alle zugänglich. Das heißt aber nicht, dass Beteiligung einfach ist. Wer dort wirklich mitarbeiten will, braucht Zeit, Fachwissen, Geduld und manchmal auch Geld für Reisen oder längere Meetings. Das ist eine faktische Hürde, auch wenn formal niemand ausgeschlossen wird.
Ich finde diesen Punkt bemerkenswert, weil er zeigt, wie Internetstandards oft entstehen: nicht in einem geheimen Raum, aber auch nicht automatisch demokratisch im Alltagssinn. Wer die Ressourcen hat, prägt mehr mit. Wer sie nicht hat, bleibt häufig Zuschauer. Gerade bei einem Thema, das so viele unabhängige Kreative betrifft, ist das kein kleines Detail.
Die feine Linie zwischen Sichtbarkeit und Kontrolle
Für viele Websitebetreiber wird die entscheidende Frage nicht einfach lauten: Erlaube ich KI-Training oder blockiere ich es? Die eigentliche Frage ist subtiler: Welche Art von KI-Nutzung hilft mir, und welche schadet mir?
Google weist darauf hin, dass Websites, die Google-Extended ausdrücklich erlauben, in bestimmten KI-Antworten erscheinen und über sogenanntes Grounding in Gemini-Anwendungen Klicks erhalten können. Grounding bedeutet vereinfacht, dass KI-Antworten auf konkrete Webquellen gestützt werden. In der Theorie kann das für Publisher attraktiv sein, weil die Website als Quelle genutzt und möglicherweise verlinkt wird.
Die große Unbekannte ist natürlich: Wie viel Traffic kommt wirklich zurück? Wenn eine KI-Antwort die Nutzerfrage bereits ausreichend beantwortet, klicken viele Menschen nicht mehr. Das kennen wir schon von Featured Snippets, Knowledge Panels und AI Overviews. Manchmal bringt Sichtbarkeit in Suchfunktionen mehr Vertrauen und Markenpräsenz. Manchmal klaut sie schlicht den Klick. Es kommt stark auf die Branche, die Suchintention und die Darstellung an.
Deshalb solltest du die neue Kontrolle nicht isoliert betrachten. Wenn du Inhalte veröffentlichst, brauchst du eine klare Haltung dazu, wie du mit KI-Sichtbarkeit umgehen willst. Für eine Nachrichtenseite kann die Rechnung anders aussehen als für einen Shop. Für ein Kochblog anders als für eine juristische Fachplattform. Für eine Künstlerin, deren Stil nachgeahmt wird, wieder völlig anders.
Manchmal ist es überraschend, wie schnell solche technischen Einstellungen Geschäftsmodelle berühren. Eine einzige Regel in der robots.txt kann beeinflussen, ob du in bestimmten KI-Produkten auftauchst, ob deine Inhalte für Training verwendet werden und wie Anbieter deine Website behandeln. Das klingt nach Technik, ist aber eigentlich Content-Strategie.
Ein mögliches Vorgehen für deine eigene Website
Wenn du dich auf diese Entwicklung vorbereiten willst, würde ich nicht bis 2027 warten und dann hektisch eine Zeile einfügen. Sinnvoller ist es, schon vorher deine Position zu klären.
Frag dich zuerst, welche Inhalte auf deiner Website besonders schützenswert sind. Bei einem Unternehmensblog mit allgemeinen Marketingtexten ist die Lage vielleicht entspannt. Bei exklusiven Recherchen, künstlerischen Arbeiten, gut bezahlten Fachanalysen oder datenintensiven Ressourcen sieht es anders aus. Nicht jeder Inhalt hat denselben strategischen Wert.
Dann solltest du prüfen, welche KI- und Crawler-Regeln du heute bereits nutzt. Viele Websites haben inzwischen über Jahre gewachsene robots.txt-Dateien. Da stehen alte SEO-Regeln, blockierte Parameter, Testverzeichnisse, manchmal längst vergessene Bot-Anweisungen. Wenn du darauf einfach neue KI-Signale packst, ohne aufzuräumen, erhöhst du die Wahrscheinlichkeit von Widersprüchen.
Außerdem brauchst du intern eine klare Entscheidung, wer solche Regeln festlegt. Ist das SEO? Legal? Redaktion? IT? Geschäftsführung? In kleinen Teams landet es oft bei der technischsten Person, aber das ist nicht immer ideal. Die Frage, ob Inhalte für KI-Training genutzt werden dürfen, ist nicht nur technisch. Sie betrifft Rechte, Reichweite, Monetarisierung und Markenstrategie.
Ich würde auch empfehlen, Änderungen zu protokollieren. Schreib auf, wann du welche Regel gesetzt hast und warum. Das klingt banal, spart aber später Nerven. Wenn in einem Jahr jemand fragt, warum die Website in bestimmten KI-Funktionen nicht auftaucht oder warum ein Anbieter blockiert wurde, willst du nicht in alten Slack-Nachrichten graben müssen.
Warum der gemeinsame Standard trotzdem ein Fortschritt ist
Trotz aller offenen Fragen halte ich diesen Schritt für sinnvoll. Nicht perfekt, aber sinnvoll. Das Web braucht eine bessere Sprache für KI-Präferenzen. Der aktuelle Zustand ist zu chaotisch. Jeder Anbieter baut eigene Mechanismen, Publisher reagieren mit wachsenden Blocklisten, und am Ende wissen viele gar nicht mehr, welche Regel was bewirkt.
Ein gemeinsames Signal wie __usage_ai-training kann hier Ordnung schaffen. Es erlaubt zumindest eine klare Grundansage: Ja oder nein zur Nutzung für KI-Training. Danach können spezifische Anbieterregeln weiterhin feinere Entscheidungen ermöglichen. Genau diese Kombination aus breitem Standardsignal und individuellen Kontrollen wirkt praktikabel.
Dass bestehende unternehmensspezifische Kontrollen parallel weiter funktionieren sollen, ist dabei wichtig. Denn ein gemeinsamer Standard darf nicht bedeuten, dass du keine Nuancen mehr setzen kannst. Gerade größere Publisher werden differenzieren wollen. Vielleicht blockieren sie Training allgemein, erlauben aber bestimmten Partnern die Nutzung. Vielleicht erlauben sie Grounding, aber nicht Modelltraining. Vielleicht schließen sie Lizenzdeals ab und möchten diese technisch abbilden. Dafür braucht es weiterhin flexible Steuerung.
Für kleinere Websites dagegen ist schon das einfache Signal wertvoll. Nicht jeder hat die Zeit, jede Woche neue KI-Crawler-Dokumentationen zu lesen. Ein gemeinsamer Policy-Token in der robots.txt ist da deutlich näher an der Realität der meisten Websitebetreiber.
Der Zeitplan ist allerdings nicht sofort. Google nennt eine Unterstützung in frühem 2027. Bis dahin kann sich am Entwurf noch einiges ändern. Auch andere Anbieter werden ihre Implementierungen präzisieren müssen. Du solltest also nicht davon ausgehen, dass das morgen vollständig funktioniert. Aber du solltest die Entwicklung ernst nehmen, weil sie zeigt, wohin sich die Branche bewegt.
Mein Fazit für dich
Die wichtigste Botschaft ist: KI-Training wird steuerbarer, aber nicht automatisch einfacher. Das neue gemeinsame Signal kann dir helfen, deine Präferenzen klarer und effizienter auszudrücken. Vor allem die Möglichkeit, über robots.txt mit einem einzigen Mechanismus mehrere Anbieter anzusprechen, ist ein echter Fortschritt.
Gleichzeitig bleibt die Verantwortung bei dir, sauber zu entscheiden, was du willst. Eine pauschale Blockade kann sinnvoll sein, wenn Schutz und Kontrolle im Vordergrund stehen. Eine gezielte Erlaubnis kann sinnvoll sein, wenn du von Sichtbarkeit in KI-Produkten profitieren möchtest. Und irgendwo dazwischen liegt vermutlich die Realität vieler Websites.
Ich würde das Thema nicht als rein technische Randnotiz behandeln. Es ist ein Teil der künftigen Content-Strategie. Deine robots.txt wird stärker zu einem Dokument, das ausdrückt, wie deine Inhalte im KI-Ökosystem behandelt werden sollen. Vielleicht klingt das ein wenig dramatisch für eine kleine Textdatei im Root-Verzeichnis. Aber genau so fühlt sich das Web gerade an: Alte Mechanismen bekommen plötzlich neue Bedeutung.
Wenn du Inhalte besitzt, die dir wichtig sind, solltest du spätestens jetzt anfangen, deine Haltung zu KI-Training, KI-Antworten und Crawler-Zugriff sauber zu formulieren. Nicht panisch, aber bewusst. Denn 2027 ist in technischen Standards gar nicht so weit weg. Und wenn der neue Mechanismus kommt, bist du deutlich besser aufgestellt, wenn du schon weißt, welche Entscheidung du treffen willst.
