OpenAI will gemeinsames robots.txt-Signal für KI-Trainingspräferenzen respektieren
OpenAI kündigt an, ein gemeinsames Signal in der robots.txt zu respektieren, mit dem Websites ihre Präferenzen zur Nutzung ihrer Inhalte für das Training generativer Foundation-KI festlegen können. Das Unternehmen beschreibt das Vorhaben als freiwillige Initiative, mit der Betreiber ihre Präferenz gleichzeitig an mehrere teilnehmende Anbieter übermitteln können.
- OpenAI will ein gemeinsames robots.txt-Signal respektieren, das die Präferenzen von Websites zum Training generativer Foundation-KI ausdrückt.
- Die freiwillige Initiative ermöglicht es Betreibern, eine Präferenz an mehrere teilnehmende Anbieter zu übermitteln, statt für jeden Crawler eigene Regeln zu pflegen.
- OpenAI will das Signal in den kommenden Monaten umsetzen und später Details bekannt geben.
- Die bestehenden robots.txt-Crawler-Kontrollen von OpenAI gelten weiterhin und werden respektiert.
- Das Signal geht auf die AI Preferences Working Group der IETF zurück, und OpenAI ruft andere KI-Anbieter dazu auf, es ebenfalls zu respektieren.
Ein Signal statt vieler Crawler-Regeln
Laut OpenAI mussten Website-Betreiber bislang einzelne Crawler identifizieren und für jeden Anbieter eigene Regeln pflegen. Das gemeinsame Signal soll diesen Aufwand verringern. Mit einem einheitlichen Signal in der robots.txt kann ein Publisher dieselbe Präferenz an mehrere teilnehmende KI-Unternehmen an einer zentralen Stelle kommunizieren.
OpenAI beschreibt die Initiative als freiwillig. Das Signal bezieht sich auf die Nutzung von Inhalten für das Training generativer Foundation-KI und funktioniert über die robots.txt, also jene Datei, mit der Websites bereits heute mit automatisierten Crawlern kommunizieren.
Zeitplan und bestehende Steuerungsmöglichkeiten
Umgesetzt hat das Unternehmen das Signal noch nicht. OpenAI will es nach eigenen Angaben „in den kommenden Monaten“ implementieren und dann ein weiteres Update mit Details zur Umsetzung veröffentlichen. Einen konkreten Termin nannte das Unternehmen nicht.
Das neue Signal ersetzt die bestehenden Möglichkeiten nicht. OpenAI erklärt, dass seine vorhandenen Crawler-Kontrollen, die Webpublishern Flexibilität und Kontrolle über ihre Seiten geben, weiterhin gelten und respektiert werden. Betreiber, die Regeln für einzelne OpenAI-Crawler festgelegt haben, verlieren diese Optionen also nicht.
Bezug zur Standardisierungsarbeit der IETF
Der Schritt knüpft an die laufende Arbeit der AI Preferences Working Group der Internet Engineering Task Force (IETF) an. OpenAI gibt an, sich mit anderen Teilnehmern der Arbeitsgruppe der Ankündigung des gemeinsamen Signals anzuschließen, und sieht darin eine Stärkung der eigenen weiteren Beteiligung an den Standardisierungsdiskussionen der IETF.
Das Unternehmen fügt hinzu, es werde seine Praktiken weiter anpassen, wenn sich diese Gespräche und das Umfeld insgesamt weiterentwickeln, mit Blick auf angemessene Kontrollmöglichkeiten und Fairness.
Was das für Publisher und andere KI-Anbieter bedeutet
Für Publisher und Website-Betreiber liegt der von OpenAI beschriebene praktische Nutzen in weniger Pflegeaufwand: ein Signal, das mehrere Anbieter lesen können, statt einer wachsenden Liste anbieterspezifischer Regeln. Wie groß dieser Nutzen ausfällt, hängt davon ab, wie viele Unternehmen mitmachen, denn die Initiative ist freiwillig und gilt nur für teilnehmende Anbieter.
OpenAI bezeichnet den Schritt als „praktischen Schritt hin zu einem offenen Web“, in dem Menschen Informationen veröffentlichen und finden können und Website-Inhaber klarere, einfachere Möglichkeiten haben, ihre Entscheidungen über die Nutzung ihrer Inhalte mitzuteilen. Zudem ruft das Unternehmen andere KI-Anbieter dazu auf, das Signal ebenfalls zu respektieren.
