GitHub trainiert ModernBERT-Klassifikator, um das Rauschen beim Secret Scanning zu verringern

GitHub hat für das Secret Scanning einen kontextbewussten Klassifikator entwickelt, der laut Unternehmen echte Zugangsdaten mit weniger Fehlalarmen findet. Das Modell, ein feinabgestimmtes ModernBERT, verkürzte die mediane Scandauer nach dem Push um 86 % gegenüber der bisherigen LLM-basierten Pipeline und machte die Erkennung generischer Secrets für den Push-Schutz praxistauglich.
- GitHub hat einen feinabgestimmten ModernBERT-Klassifikator trainiert, der beim Secret Scanning echte Secrets von ähnlich aussehenden Zeichenfolgen unterscheidet.
- Laut GitHub sank die mediane Scandauer nach dem Push um 86 % gegenüber der bisherigen LLM-basierten Pipeline.
- GitHub meldet eine um 11,5 % höhere Nutzerakzeptanz und Kosteneinsparungen von mehr als 98 %.
- Regex-Muster liefern weiterhin die Kandidaten; der Klassifikator entscheidet, welche zu Warnungen werden.
- Der Geschwindigkeitsgewinn ermöglichte es, die Erkennung generischer Secrets auf den Push-Schutz auszuweiten.
Das Problem mit generischen Secrets
Laut GitHub funktioniert Secret Scanning dann am besten, wenn Entwicklerinnen und Entwickler den Funden vertrauen. Erkennt ein Scanner zu wenig, können echte Zugangsdaten in einem Repository verbleiben. Schlägt er zu oft an, verschwenden Entwickler Zeit mit Zeichenfolgen, die gar keine Secrets sind.
Generische Secrets machen diesen Balanceakt schwierig. Strukturierte Zugangsdaten tragen oft ein markantes Präfix, eine bestimmte Länge, ein Alphabet oder eine Prüfsumme, generische dagegen nicht unbedingt. Ihre Syntax überschneidet sich mit Build-Kennungen, Prüfsummen, Asset-Hashes und Beispielwerten. Entscheidend ist laut GitHub der Kontext. Ein Passwort neben der URL einer Produktionsdatenbank ist wahrscheinlich echt, derselbe Wert in einer Testdatei dagegen vermutlich harmlos. Ein weiteres Beispiel für ähnlich aussehende Zeichenfolgen ist ein Localhost-Verbindungsstring in einer Einrichtungsanleitung.
GitHub nennt solche Zeichenfolgen Hard Negatives: Sie passen auf ein Muster für Zugangsdaten, sind aber nicht verwendbar. Zusätzliche Regeln können einige davon unterdrücken, doch laut Unternehmen birgt jede Ausnahme das Risiko, ein echtes Secret zu verdecken.
Eine zweistufige Pipeline
Der neue Scanner arbeitet in zwei Stufen. Zunächst durchsuchen Regex-Filter die Inhalte mit hohem Recall nach potenziellen Secrets und erfassen so breite Familien von Mustern, die wie Zugangsdaten aussehen, schnell und deterministisch. Anschließend bewertet ein feinabgestimmter ModernBERT-Klassifikator jeden Kandidaten zusammen mit Dateipfad, Variablennamen und dem umgebenden Code oder Text.
Der Klassifikator schätzt, wie wahrscheinlich ein Kandidat ein echtes Secret ist. Funde mit hoher Konfidenz werden zu Warnungen, während Platzhalter, Testdaten und Prüfsummen herausgefiltert werden, bevor sie die Entwickler erreichen. GitHub betont, dass das Modell das deterministische Scannen nicht ersetzt, sondern ergänzt. Die Regexes bleiben dafür zuständig, Kandidaten zu finden, und das maschinelle Lernen übernimmt den Schritt, „sieht aus wie ein Secret“ von „ist wahrscheinlich ein echtes Secret“ zu trennen.
GitHub wählte ModernBERT, weil das Modell kompakt und effizient ist und sich gut für die Klassifikation von codenahem Text eignet. Laut Unternehmen bietet es ein Kontextverständnis, das mit dem eines LLM vergleichbar ist, ohne die Latenz und den Rechenaufwand, die bei der Erzeugung natürlichsprachlicher Ausgaben anfallen. GitHub weist zudem darauf hin, dass der Klassifikator eine Einschätzung nach bestem Wissen ist und keine Garantie bietet.
So wurde das Modell trainiert
Der schwierigste Teil war laut GitHub, repräsentative Daten für Fälle zu finden, in denen die Syntax allein in die Irre führt. Training und Auswertung kombinieren drei Quellen:
- Produktbasierte Beispiele aus GitHub-Repositories, die Rückmeldungen aus der Secret-Erkennung und zusätzliche menschliche Validierung nutzen.
- Regex-Kandidaten mit hohem Recall aus Repository-Daten, darunter von Menschen annotierte Beispiele und schwache Labels, die die Abdeckung erweitern.
- Synthetische Beispiele für seltene und schwierige Fälle, etwa Secrets in Dokumentation, Testdateien, öffentliche Schlüssel, Prüfsummen, strukturierte Lookalikes und Beinahe-Treffer-Paare.
Synthetische Datensätze durchlaufen vor der Aufnahme eine deterministische Validierung und eine modellbasierte Qualitätsprüfung. Jede Modelleingabe enthält den Kandidatenwert, den Dateipfad, den Secret-Typ und eine begrenzte Menge an umgebendem Kontext. Vor der Aufteilung der Daten fasste GitHub Zeilen zusammen, die dasselbe Repository, denselben Kandidatenwert oder dasselbe Beispiel teilen, damit Beinahe-Duplikate nicht sowohl im Training als auch in der Auswertung auftauchen. Schwellenwerte werden in einer Offline-Auswertung festgelegt und vor dem breiteren Rollout an produktionsnahem Datenverkehr validiert.
Ergebnisse und was sich für Entwickler ändert
GitHub nennt gegenüber der bisherigen LLM-basierten Pipeline mehrere Verbesserungen:
- Eine um 11,5 % höhere Akzeptanz bei den Nutzern, die mit weniger Fehlalarmen zusammenhängt.
- Eine um 86 % geringere mediane Ausführungszeit beim Scannen nach dem Push.
- Kosteneinsparungen von mehr als 98 %, die das Unternehmen auf das kompakte Modell im Vergleich zu Remote-Aufrufen eines LLM zurückführt.
Secret Scanning greift zu zwei Zeitpunkten. Der Push-Schutz prüft Änderungen, bevor ein Push akzeptiert wird, und der Scan nach dem Push kontrolliert fortlaufend eingecheckte Inhalte und erstellt Warnungen. Laut GitHub machte der Geschwindigkeitsgewinn es praktikabel, die Erkennung generischer Secrets auf den Push-Schutz auszuweiten, sodass Entwickler Ergebnisse erhalten, bevor sie Änderungen pushen, und nicht erst, nachdem der Code eingecheckt wurde.
Für Entwickler und Sicherheitsteams lautet das erklärte Ziel, weniger Warnungen zu Platzhaltern und Testwerten zu erhalten, damit die Aufmerksamkeit den Zugangsdaten gilt, auf die es ankommt.


