Databricks erweitert Genie Code um quelloffene Vital Skills für das Gesundheitswesen

Was Vital Skills sind und welches Problem sie lösen

Vital Skills sind gebündelte Playbooks auf Basis des offenen Agent-Skills-Standards. Databricks zufolge versorgen sie KI-Coding-Agenten mit Branchenwissen, sodass die Agenten wissen, welche Fragen zu stellen sind, welche Schritte unverzichtbar sind und welche erprobten Werkzeuge zum Einsatz kommen. Sie sind für Genie Code gedacht, den auf die Databricks-Plattform optimierten Coding-Agenten des Unternehmens, mit dem Nutzer Daten- und KI-Aufgaben per Chat statt per Code erledigen können.

Databricks argumentiert, dass allgemeine Agenten zwar plausiblen Code schreiben, es ihnen aber an fachlicher Disziplin fehle. Nach Angaben des Unternehmens wählen sie klinische Schwellenwerte stillschweigend aus und greifen auf generische statistische Verfahren zurück, statt auf die spezialisierten, die in dem Fachgebiet üblich sind. Genie Code ist in Unity Catalog integriert, sodass der Agent dieselben Sicherheits- und Governance-Regeln befolgt wie der Rest der Plattform. Databricks sagt, Genie Code übertreffe einen führenden Coding-Agenten bei realen Datenaufgaben um mehr als das Doppelte, räumt aber ein, dass es wie andere allgemeine Assistenten generische Methoden und Schwellenwerte annehme, die den HLS-Standards nicht genügten.

Benchmark-Ergebnisse und Designprinzipien

Databricks testete Genie Code mit und ohne Vital Skills auf BiomniBench, einem öffentlichen Benchmark für biomedizinische Datenanalyseaufgaben, die anhand von Expertenrubriken bewertet werden. Jede Aufgabe wurde dreimal ausgeführt und blind von einem LLM-Richter bewertet. Laut Unternehmen scheiterte Genie Code allein selten an offensichtlichen Teilen wie dem Parsen von Dokumenten und dem Erstellen von Diagrammen, blieb aber bei der fachspezifischen Methodik mitunter zurück und neigte zu übermäßigen Annahmen.

Mit Vital Skills erzielte Genie Code bei den relevanten Aufgaben höhere Werte und hatte keine negativen Auswirkungen auf Aufgaben außerhalb des Anwendungsbereichs der Skills. Databricks berichtet von mehr Konsistenz, Genauigkeit und Gründlichkeit, mit weniger übersehenen Schritten und Prüfungen sowie weniger Wiederholungsläufen.

Am Anfang jedes Skills stand ein Field Engineer, der das Problem bereits mehrfach mit Kunden gelöst hatte. Drei Prinzipien leiteten die Arbeit:

• Erst fragen, dann annehmen. Wenn eine Entscheidung beim Analysten liegt, etwa ein klinischer Schwellenwert, hält der Skill an, bietet Optionen an und lässt den Nutzer wählen.
• Geprüfte Werkzeuge statt improvisierten Codes. Bei sensiblen Aufgaben führt Genie Code getestete Werkzeuge und Code aus, statt jedes Mal neue Logik zu schreiben.
• Den Beweis liefern. Jeder Skill wurde bei denselben Aufgaben direkt mit Genie Code ohne Skill verglichen.

Der Skill-Katalog

Das Starterset umfasst Bioinformatik, klinische Arbeit und allgemeine Aufgaben, und Databricks erwartet, dass es wächst. Beiträge zum Open-Source-Repository sind willkommen. Die Skills lassen sich direkt verwenden oder anpassen.

• Bioinformatik: bulk-rnaseq, open-weight-models, pathway-enrichment-analysis (ORA oder GSEA) und sc-rnaseq für Einzelzelldaten aus .h5ad-Dateien.
• Klinik: cohort-builder, rwe-cohortstudy (vergleichende Wirksamkeit mit Matching oder IPW), semantic-builder und phi-deidentifier (HIPAA-Safe-Harbor-De-Identifizierung einer Unity-Catalog-Tabelle).
• Weitere: presentation-builder, report-writer, accelerators und skill-eval, das einen Skill mit gepaarten Läufen mit und ohne den Skill bewertet.

Der Skill semantic-builder baut mithilfe von 64 gängigen Kennzahlen aus EHR- oder Abrechnungsdaten eine semantische Schicht wie Metric Views auf. Sind Metriken wie die Verweildauer einmal in Unity Catalog definiert, lassen sie sich in Dashboards, Genie Agents, externen BI-Tools und Tabellenkalkulationen wiederverwenden.

Cohort Builder und Open-Weight-Modelle

Mit cohort-builder beschreibt ein Analyst eine Population in einfacher Sprache, zum Beispiel „Patienten mit Typ-2-Diabetes und nicht kontrolliertem Blutzucker“, und der Skill macht daraus eine reproduzierbare Kohorte. Er arbeitet mit kodierten Datensätzen und optional mit Freitextnotizen und eingescannten PDFs. Zunächst prüft er die Machbarkeit, indem er zeigt, wie viele Patienten infrage kommen, und hält an, um zu fragen, welcher Laborwert als „nicht kontrolliert“ gilt. Zu jedem Patienten wird der Grund für die Aufnahme angegeben, ohne dass rohe klinische Notizen im teilbaren Ergebnis offengelegt werden.

Databricks zufolge lieferte der Skill bei jedem Testlauf dieselbe Kohorte, während Genie Code ohne ihn jedes Mal eine andere Definition wählte. In gepaarten Auswertungen stieg der F1-Wert für Freitext-Kohorten von 0,62 auf 1,00.

Der Skill open-weight-models zielt auf biologische Foundation-Modelle wie Geneformer, scGPT, Scimilarity und TEDDY sowie auf Proteinstrukturmodelle wie AlphaFold/OpenFold und Boltz2. Databricks weist darauf hin, dass diese schwer zu betreiben sind, weil sie spezialisierte Infrastruktur benötigen. Der Skill bindet den passenden Code, die passenden Bibliotheken und GPU-Serving ein.

Was das für Anwender bedeutet

Databricks zufolge legen Vital Skills das Know-how von Biostatistikern, Datenschutzbeauftragten, Bioinformatikern oder Aktuaren in die Hände jedes Analysten und helfen Teams, schneller voranzukommen, bevor zusätzliche Expertise hinzugezogen wird. Da die Skills innerhalb der Databricks-Plattform laufen, lassen sich damit prototypisch entwickelte Arbeiten laut Unternehmen in geplante Lakeflow-Pipelines und -Jobs überführen. Die Benchmark-Zahlen stammen aus eigenen Tests von Databricks.