Studierende lernen, wie Open-Source-Werkzeuge KI-Demos zu verlässlichen Systemen machen

Vom Laptop-Demo zur Produktion

Die Veranstaltung mit dem Titel Open Source AI: Building Reliable AI Systems wurde von Susan Malaika (IBM, Responsible AI bei LF AI & Data) ausgerichtet und organisiert, in Zusammenarbeit mit dem Career Center und dem Responsible Computing Club der SJSU. Jennifer Hernandez, bei IBM zuständig für Client, University & Community Engagement, half bei der Organisation. Der Rückblick stammt von Julia Husainzada, Data-Science-Studentin und Präsidentin des Responsible Computing Club.

Der Ausgangspunkt war einfach: Eine KI-Demo zu bauen war noch nie so leicht, doch sie zu einem skalierbaren System auszubauen, ist die eigentliche Herausforderung. Jedes der vier Werkzeuge deckte einen anderen Teil dieses Problems ab: LLM-Aufrufe zuverlässig machen, KI sicher halten, sie sicher entwickeln und auf verlässlichen Daten aufbauen.

Mellea und ASAGO: verlässliche Aufrufe und testbare Sicherheit

Basel Shbita stellte Mellea vor, eine Python-Bibliothek, die zwischen Anwendung und Modell sitzt und das LLM als Baustein behandelt. Aufgaben werden in kleinere Schritte zerlegt, jeweils mit eigenen Anweisungen, Anforderungen und einer eigenen Sampling-Strategie. Jeder Aufruf folgt dem Muster Instruieren, Validieren, Reparieren und muss den vom Entwickler definierten Datentyp zurückgeben. Das Mellea-Team nennt dies Generative Computing. Laut Rückblick können dadurch kleine Open-Weight-Modelle zu einem Bruchteil der Kosten die Arbeit großer Modelle leisten, Modelle und Inferenz-Engines lassen sich leicht austauschen, und das Verhalten steht unter der Kontrolle des Programms des Entwicklers statt eines anfälligen Prompts. Installieren lässt sich die Bibliothek mit pip install mellea.

Muneeza Azmat, Senior ML Engineer im KI-Sicherheitsteam von Red Hat, präsentierte ASAGO, ein Open-Source-Projekt, das die Pipeline von der Richtlinie bis zur Produktion automatisiert. Es behandelt das Richtliniendokument als maßgebliche Grundlage, ordnet dessen Abschnitte etablierten KI-Risikotaxonomien zu, erzeugt Risikoszenarien auf Basis der Tools, auf die ein Agent zugreifen kann, und übersetzt sie in Tests für Red-Teaming-Werkzeuge wie Garak. Da jeder Test auf die Richtlinie zurückgeführt werden kann, erhalten Compliance-Teams Nachvollziehbarkeit und ein Maß dafür, wie viel der Richtlinie abgedeckt ist.

Bob und Docling: sichere Entwicklung und verlässliche Daten

James Busche zeigte Bob, die KI-Entwicklungsumgebung von IBM, als Beispiel dafür, dass Entwickler nicht mehr jede Codezeile selbst schreiben, sondern das Orchester dirigieren. Bob handelt nur mit den Berechtigungen, die der Entwickler erteilt. Es unterstützt Sicherheitsprüfungen von Anfang an, globale oder projektbezogene Regeln wie die Pflicht zu Testfällen für neuen Code, die Einarbeitung in unbekannte Codebasen und die Erstellung von Dokumentation. Es gibt drei Modi, Ask, Plan und Agent, und es startet mit kleinen, günstigen Modellen und wechselt nur bei Bedarf auf größere.

Ming Zhao stellte Docling vor, ein Open-Source-Projekt, das von IBM Research gestartet wurde und inzwischen von der LF AI & Data Foundation gehostet wird. Es wandelt Formate wie PDFs, Excel-Dateien, HTML, Bilder und Audio in KI-taugliche Formate wie JSON um und bewahrt dabei Layout und Tabellen. Die Chunks behalten Metadaten und Begrenzungsrahmen, sodass ein RAG-System angeben kann, an welcher Stelle eines Dokuments eine Antwort herstammt. Der Rückblick nennt ein kleines Vision-Modell mit rund 258 Millionen Parametern, das eine Seite in etwa 4 Sekunden verarbeitet, und führt an, Docling könne etwa 50-mal kosteneffizienter sein, als jede Seite durch ein großes Vision-Modell zu schicken.

Was den Studierenden als Nächstes geraten wurde

Die Ratschläge der Redner waren praxisnah. Shbita forderte die Studierenden auf, Probleme in Teilprobleme zu zerlegen. Azmat sagte, ASAGO halte zweiwöchentliche Treffen ab und habe Slack-Kanäle, in denen jeder mitwirken könne. Busche empfahl, kostenlos zu experimentieren, da Open-Source-LLMs auf dem eigenen Laptop laufen können.

Zhao erklärte, Validierungssysteme würden in den kommenden Jahren wahrscheinlich zu einem der größten Bereiche der KI, weil viele Organisationen KI eingeführt hätten, ohne deren Arbeit richtig zu prüfen. Malaika riet den Studierenden, einer Gruppe oder einem Open-Source-Projekt beizutreten, ein Praktikum zu absolvieren oder etwas Reales zu bauen, und wies darauf hin, dass Unternehmen nach praktischer Erfahrung suchen.

Für Studierende und Berufseinsteiger lautet die Botschaft der Veranstaltung: Kompetenzen für Verlässlichkeit, etwa strukturiertes Prompting, richtlinienbasiertes Testen, sichere Entwicklung und Datenvalidierung, lassen sich in Open-Source-Projekten erlernen, die Mitwirkende willkommen heißen.