Databricks bringt ai_decide: schnelle Entscheidungsfunktion für Daten unter Governance

Ein Entscheidungsmodell statt eines Textgenerators

Databricks zufolge setzen viele Teams LLMs für Aufgaben ein, die weder komplexes Schlussfolgern noch Textgenerierung erfordern. Typische Fragen lauten: Zu welcher Kategorie gehört ein Support-Ticket? Muss ein Dokument von Menschen geprüft werden? Welches Modell soll einen bestimmten Prompt bearbeiten? Solche Entscheidungen treiben Unternehmens-Workflows in großem Maßstab an, von der Verarbeitung von Millionen Dokumenten bis zur Steuerung von Echtzeit-App-Logik.

Das Unternehmen argumentiert, dass der Einsatz von LLMs für derart kleine, strukturierte Entscheidungen zusätzliche Latenz und Kosten verursacht, die sich im Unternehmensmaßstab aufsummieren. ai_decide basiert auf einem Entscheidungsmodell, einer Kategorie, die der Blogbeitrag am Beispiel von Jev von TypeSafe AI veranschaulicht. Statt Text zu generieren, nimmt ein solches Modell unstrukturierte Eingaben und eine Reihe von Fragen entgegen und gibt direkt Entscheidungen samt Wahrscheinlichkeiten zurück.

So funktioniert ai_decide

ai_decide wertet eine oder mehrere Fragen anhand eines Textes aus. Für jede Frage liefert die Funktion eines von drei Ergebnissen: eine Wahrscheinlichkeit, eine Auswahl aus benannten Kriterien oder einen Wert auf einer geordneten Skala. Weil die Funktion auf Entscheidungen optimiert ist, bietet sie laut Databricks geringere Latenz und niedrigere Kosten als ein LLM bei ähnlichen Aufgaben.

Die Funktion lässt sich aus SQL aufrufen, um strukturierte Entscheidungen auf Daten in großem Maßstab zu treffen, oder über eine REST-API für Echtzeitanwendungen und Agenten. Für Teams, die bereits mit der TypeSafe AI API arbeiten, ist ai_decide laut Databricks direkt kompatibel.

Anwendungsfälle, die Databricks hervorhebt

• Kundenbewertungen: Jede Bewertung wird in einer einzigen SQL-Abfrage mit dem Hauptproblem und der Angabe versehen, ob der Kunde das Produkt zurückgeben möchte. Die Tags lassen sich anschließend nach Produkt und Monat aggregieren, um wiederkehrende Beschwerden zu verfolgen.
• Prompt-Routing: Ein Softwareunternehmen mit KI-Assistent kann mit ai_decide den Reasoning-Grad und die Schwierigkeit eines Prompts bestimmen und die Anfrage dann an ein Modell mit passenden Kosten und Fähigkeiten weiterleiten.
• Bewertung von KI-Antworten: Ein Onlinehändler kann ai_decide als Judge einsetzen, um zu prüfen, ob die Antwort eines KI-Support-Assistenten die Erstattungsrichtlinie einhält, und um zu bewerten, wie vollständig sie die Anfrage des Kunden beantwortet.
• Aktionen in Echtzeit: Databricks hat auf Databricks Apps eine Live-Snake-Demo gebaut. Bei jedem Tick sendet die App das aktuelle Spielfeld an ai_decide und fragt, in welche Richtung sich die Schlange als Nächstes bewegen soll.

Databricks zufolge könnte dieselbe Schleife auch hinter Entscheidungen stehen wie der, welches Tool ein Agent aufruft, welchen Zweig er nimmt oder welche Aktion als Nächstes folgt.

Open-Weight-Modelle und was das bedeutet

Über die verwaltete Funktion hinaus verweist Databricks auf ein breites und wachsendes Ökosystem von Open-Weight-Entscheidungsmodellen. Laut dem Unternehmen lässt sich jedes davon bei Databricks direkt in SQL bereitstellen und ausführen. Als Beispiel nennt es eine aktuelle Anleitung zu Open-Jev.

Für Teams mit großen Mengen unstrukturierter Daten lautet das Versprechen: ein günstigerer und schnellerer Weg für Klassifizierung, Scoring und Routing, wenn die Textgenerierung eines LLMs nicht nötig ist. Die Funktion befindet sich in der Beta, Dokumentation gibt es sowohl für den SQL- als auch für den REST-API-Weg. Preise oder konkrete Leistungswerte nennt die Quelle nicht.