Flo Health trimmt offenes Modell mit Databricks: medizinische Sicherheit steigt auf rund 61 Prozent
Flo Health, die Frauengesundheits-App mit 81 Millionen monatlich aktiven Nutzern, hat mit Databricks AI Runtime ein offenes Modell feinabgestimmt und den kombinierten Wert aus medizinischer Sicherheit und Nutzen von 16 auf 47 Prozent angehoben. Das teilt Databricks mit. Das Unternehmen baute zunächst ein eigenes Bewertungsframework auf und erzeugte damit anschließend Trainingssignale, ohne auf von Menschen annotierte Trainingspaare zurückzugreifen.
- Flo Health hob den kombinierten Wert aus Sicherheit und Nutzen seines Modells nach dem Fine-Tuning laut Databricks von 16 auf 47 Prozent.
- Die medizinische Sicherheit stieg von 34 auf rund 61 Prozent, der Nutzen von 42 auf 76 Prozent.
- Flo baute 26 KI-Bewerter, kalibriert an verblindeter klinischer Prüfung, sowie mehr als 15.000 synthetische Fragen nach dem Prinzip „Privacy first“.
- Das Training nutzte SFT und DPO auf 32 NVIDIA H100 GPUs mit Databricks AI Runtime.
- Flo plant, die Pipeline für Open-Weight-Modelle wie Gemma, Qwen und Kimi wiederzuverwenden.
Warum Flo sich von einem einzelnen Allzweckmodell löste
Als Flo von klassischem maschinellem Lernen zu personalisierten Einblicken auf Basis generativer KI überging, brachte der Einsatz eines einzigen Allzweckmodells Einschränkungen mit sich. Databricks nennt die Kosten im großen Maßstab, die Abhängigkeit vom Lebenszyklus eines Modellanbieters und die begrenzten Möglichkeiten, Flos eigenes Fachwissen in das Modell einzubringen.
Flos langfristige Vision ist ein Compound-AI-System, das für jede Aufgabe das passende Modell einsetzt und dabei einen einheitlichen Sicherheitsstandard über alle Modelle hinweg wahrt. Das führte das Unternehmen zu feinabgestimmten offenen Modellen. Das Team schätzt, dass maßgeschneiderte, feinabgestimmte Modelle die Inferenzkosten im Vergleich zu APIs von Frontier-Modellen um eine Größenordnung senken können und Flo mehr Kontrolle über Modellverhalten und Lebenszyklus geben.
Erst bewerten, dann trainieren
Flo definierte zwei Ziele: medizinische Sicherheit als Fundament und Nutzen als Ziel. Ein Modell kann unsichere Aussagen vermeiden und dennoch wenig Mehrwert bieten, oder eine ausführliche Antwort geben, in der eine wichtige Schutzmaßnahme fehlt. Bei einer Frage wie „Warum kommt meine Periode zu spät?“ kann eine Antwort, die nur zum Arztbesuch rät, zwar sicher, aber wenig hilfreich sein, während eine Antwort, die nur Lebensstilfaktoren aufzählt, aus Sicherheitssicht unvollständig sein kann.
Flos medizinische, Produkt- und Engineering-Teams zerlegten das medizinische Risiko in konkrete Bewertungsraster. Nachdem sie festgestellt hatten, dass Antworten auf Symptomfragen übermäßig beruhigend ausfallen konnten, schufen sie eine Regel für „ausgewogene Ursachen“, die dort, wo es relevant ist, die Abdeckung sowohl harmloser als auch potenziell ernster Ursachen verlangt. Die Raster wurden zu KI-Bewertern und anhand synthetischer Fälle sowie anonymisierter Fälle aus Experimenten mit echten Nutzern validiert. Wich ein Bewerter von einer ersten menschlichen Einschätzung ab, entschieden verblindete klinische Gutachter.
Das fertige Framework umfasste 26 Bewerter:
- 12 Bewerter für medizinische Sicherheit, die als harte Randbedingungen fungieren
- 6 „Mikro“-Bewerter für Tonalität, Faktenbezug, Rahmung und feingliedrige Sicherheit
- 8 Nutzenkriterien, darunter Vollständigkeit, Relevanz, Kohärenz und Ton
Synthetische Daten und Präferenzoptimierung
Flos Pipeline erzeugte mehr als 15.000 synthetische Fragen nach dem Prinzip „Privacy first“. Sie stammen aus modellgenerierten oder anonym aggregierten Signalen und nicht aus von Nutzern verfassten Freitexten oder identifizierbaren Informationen. Ärztinnen und Ärzte konzentrierten sich darauf, das Bewertungssystem zu entwerfen und zu validieren, statt jedes Trainingspaar einzeln zu labeln.
Der Ablauf bestand aus fünf Schritten: Fragen synthetisieren, mehrere Antwortkandidaten erzeugen, diese bewerten, die stärksten auswählen und daraus Präferenzpaare bilden, dann mit Supervised Fine-Tuning und DPO trainieren und die Bewerter erneut laufen lassen. Die erste Version verbesserte den Nutzen, doch die medizinische Sicherheit blieb weitgehend unverändert, weil die Präferenzpaare Abstufungen der medizinischen Qualität nicht gut genug trennten. Flo ergänzte daher einen abgestuften Sicherheitswert und ordnete Antworten, die das binäre Sicherheitstor passierten, danach neu, wie gründlich sie die jeweils geltenden Kriterien erfüllten.
Infrastruktur und Ergebnisse
Der Trainings-Stack kombinierte Databricks AI Runtime, LLM Foundry und Compose-RL, wobei MLflow für Tracking und Checkpoints sorgte. AI Runtime lieferte die serverlose GPU-Umgebung, LLM Foundry übernahm das verteilte Training, und Compose-RL stellte die Ebene für die Präferenzoptimierung bereit. Flo nutzte 32 NVIDIA H100 GPUs mit PyTorch und Fully Sharded Data Parallel.
Vladislav Nedosekin, Director of Engineering, Data & AI Platform bei Flo Health, sagte: „Wir können weniger Zeit mit der Verwaltung von GPU-Infrastruktur verbringen und mehr Zeit damit, die Modelle selbst zu verbessern.“
Das erste von Flo evaluierte Modell erreichte bei der medizinischen Sicherheit 34 Prozent und beim Nutzen 42 Prozent, wobei nur 16 Prozent der Antworten beide Kriterien erfüllten. Nach dem Fine-Tuning stieg die medizinische Sicherheit auf rund 61 Prozent, der Nutzen auf 76 Prozent und der kombinierte Wert auf 47 Prozent.
Was das für die Zukunft bedeutet
Databricks sieht in der wiederverwendbaren Bewertungs- und Trainingspipeline das langlebigere Ergebnis als in den 47 Prozent. Flo will sie auf neuere Open-Weight-Modelle anwenden, darunter Gemma, Qwen und Kimi, und dabei die bereits validierten Kriterien für medizinische Sicherheit und Nutzen beibehalten. Laut Databricks kann Flo so neue Modelle erproben, ohne die Trainingsumgebung neu aufbauen zu müssen.
