Vercel Firewall: KI-Crawler und KI-Assistenten lassen sich jetzt getrennt blockieren
Vercel hat das verwaltete Regelwerk AI Bots in der Vercel Firewall überarbeitet: Anfragen von KI-Crawlern und von KI-Assistenten lassen sich nun getrennt protokollieren oder blockieren. Website-Betreiber können so zum Beispiel Bots für Training und Indexierung aussperren, Assistenten aber weiterhin Seiten abrufen lassen, um Nutzerfragen zu beantworten.
- Das verwaltete Regelwerk AI Bots der Vercel Firewall kann KI-Crawler und KI-Assistenten jetzt unabhängig voneinander protokollieren oder blockieren.
- KI-Crawler sammeln Inhalte für Indexierung und Modelltraining, KI-Assistenten rufen Seiten als Reaktion auf Nutzeraktionen oder Suchanfragen ab.
- Die Einstellungen sind im Dashboard unter Security > Firewall > Rules oder über die Vercel CLI verfügbar.
- Laut Vercel werden die Regeln aktualisiert, sobald neue Bots hinzukommen.
- Das verwaltete Regelwerk AI Bots ist in allen Tarifen verfügbar.
Zwei Bot-Kategorien, zwei getrennte Aktionen
Laut Vercel unterscheidet das AI-Bots-Regelwerk jetzt zwischen zwei Arten automatisierten Datenverkehrs. KI-Crawler sind Bots, die Inhalte für die Indexierung und das Training von Modellen sammeln. KI-Assistenten sind Bots, die Seiten als Reaktion auf Nutzeraktionen oder Suchanfragen abrufen.
Jede Kategorie erhält eine eigene Aktion: protokollieren oder blockieren. Vercel nennt ein Beispiel dafür, was dadurch möglich wird: Ein Projekt kann KI-Crawler blockieren und KI-Assistenten gleichzeitig erlauben, seine Inhalte abzurufen, um Fragen von Nutzern zu beantworten. Außerdem aktualisiere Vercel die Regeln, sobald neue Bots hinzukommen, sodass Teams keine eigenen Bot-Listen pflegen müssen.
So wird es konfiguriert
Im Dashboard finden sich die Einstellungen im Bereich Security > Firewall > Rules eines Projekts. Unter Bot Management aktivieren Nutzer AI Bots und klicken auf das Zahnradsymbol daneben. Anschließend legen sie jeweils eine Aktion für KI-Crawler und für KI-Assistenten fest, prüfen die Änderungen und veröffentlichen sie.
Dieselben Einstellungen lassen sich auch über die Vercel CLI ändern. Vercels Beispiele verwenden diese Befehle:
- vercel firewall rules edit ai-bots --category ai-crawlers --action deny --yes, um KI-Crawler zu blockieren
- vercel firewall rules edit ai-bots --category ai-assistants --action log --yes, um Anfragen von KI-Assistenten zu protokollieren
Nach der Bearbeitung können Nutzer die ausstehenden Änderungen mit vercel firewall diff prüfen und mit vercel firewall publish übernehmen.
Was das für Website-Betreiber bedeutet
Bisher musste der Seitenbetreiber die von Vercel beschriebene Unterscheidung selbst treffen. Die Trennung gibt Teams nun die Möglichkeit, das massenhafte Sammeln für Training und Indexierung anders zu behandeln als den Abruf auf Anfrage, den eine Person mit einer Frage auslöst. Eine Website könnte etwa die Nutzung für das Modelltraining ablehnen und trotzdem erreichbar bleiben, wenn ein Assistent ihre Seiten für einen Nutzer nachschlägt.
Das verwaltete Regelwerk AI Bots steht laut Vercel in allen Tarifen zur Verfügung, die Steuerung ist also nicht auf kostenpflichtige Stufen beschränkt. In der Ankündigung wird Sage Abraham als Beteiligter genannt, weitere Details finden sich in der Dokumentation von Vercel.
