Snowflake bringt mit Decision Fast ein Modell mit niedriger Latenz für KI-Entscheidungen in Echtzeit

Was Snowflake veröffentlicht

Zwei Wochen vor dieser Ankündigung hatte Snowflake Snowflake Decision in Cortex AI Functions eingeführt, ebenfalls als Private Preview. Das Modell ist für Klassifizierung, Scoring, Filterung und Routing ausgelegt und bewältigt hochvolumige Aufgaben mit begrenzten Antwortmöglichkeiten. Statt offenem Text liefert es eine typisierte Antwort, etwa eine bestimmte Kategorie, einen numerischen Score oder eine Ja/Nein-Wahrscheinlichkeit, auf die ein Workflow direkt reagieren kann.

Snowflake zufolge wünschten sich Kunden deutlich mehr Tempo für Entscheidungen in interaktiven oder latenzkritischen Workflows. Das Unternehmen spricht von „Arcade-Geschwindigkeit“. Die neue Version, wiederum in der Private Preview, umfasst drei Funktionen, die allesamt unter die bereits genutzten Governance-, Zugriffskontroll- und Audit-Richtlinien der Kunden fallen:

• snowflake-decision-fast: eine Variante von snowflake-decision mit geringerer Latenz für Workloads, bei denen die Antwortzeit genauso wichtig ist wie die Entscheidungsqualität.
• REST-API-Unterstützung: Snowflake-Decision-Modelle lassen sich über Cortex AI Gateway aufrufen, sodass Anwendungen, Dienste und Agenten außerhalb von SQL strukturierte Entscheidungen nutzen können.
• Cortex AI Functions: snowflake-decision-fast steht in SQL nativ über AI_COMPLETE zur Verfügung.

Eine Live-Demo zur Ticket-Klassifizierung

Um das Modell in einem interaktiven Umfeld zu zeigen, hat Snowflake eine Anwendung zur Textklassifizierung in Echtzeit gebaut. Während ein Kunde ein Support-Ticket tippt, zum Beispiel eine Beschwerde über eine doppelte Abbuchung, wertet die App den laufenden Text aus und trifft drei Entscheidungen gleichzeitig: welches Team das Ticket erhalten soll, ob es dringend ist und wie sich der Kunde fühlt. Bei jedem Tastenanschlag bewertet sie den aktuellen Text und stellt dem Modell begrenzte Fragen, um den nächsten Workflow-Schritt zu bestimmen.

Snowflake hebt drei Mechanismen seiner Decision-Modelle hervor:

• Konstruktionsgrenzen: Die App bietet nur gültige Optionen an, sodass das Modell keine ungültige Aktion zurückgeben kann. Laut Snowflake entfallen dadurch Parser, Wiederholungsschleifen und aufwendige Fehlerbehandlung.
• Wahrscheinlichkeiten als Produkt: Das Modell liefert den gewählten Wert plus Wahrscheinlichkeiten je Option statt frei formulierter Begründungen. Snowflake nennt als Beispiel eine 0,99 für die Route „Billing“ als Signal, für das sich in Live-Workflows Schwellenwerte setzen lassen.
• Sichtbare Latenz: Nach Angaben des Unternehmens dauern Roundtrips zum Endpoint durchgehend weniger als 300 ms, sodass die Nutzung beim Tippen nahtlos bleibt.

Der Blogbeitrag enthält ein Python-Beispiel, das das Modell über Cortex AI Gateway mit drei Fragen aufruft: eine Ja/Nein-Prüfung zur Dringlichkeit, die Auswahl unter Support-Teams und ein Score für die Frustration des Kunden auf einer Skala von ruhig bis sehr frustriert.

Dieselbe Logik für ganze Tabellen

Die gleichen Funktionen stehen über Cortex AI Functions bereit, sodass Entwickler Klassifizierungs- und Routing-Logik per SQL auf große Datenbestände anwenden können. Snowflake verweist auf eine globale Support-Plattform, die täglich Millionen von Tickets oder Nachrichten triagieren und weiterleiten muss. Ein universell einsetzbares LLM für eine so enge Klassifizierungsaufgabe kann aus Sicht des Unternehmens unnötige Komplexität, Kosten und Rechenaufwand verursachen.

Mit snowflake-decision-fast in AI_COMPLETE können Teams laut Snowflake dieselbe Entscheidungslogik über ganze Tabellen hinweg anwenden, ohne eigene Inferenz-Pipelines aufzubauen oder externe API-Integrationen zu verwalten. Die Beispielabfrage weist jedem Ticket eine Routing-Queue und ein Ja/Nein-Eskalationsflag zu und liefert strukturierte Ausgaben, die sich direkt weiterverarbeiten lassen.

Snowflake gibt außerdem an, Qualität und Geschwindigkeit zügig weiterzuentwickeln. Der erklärte Schwerpunkt liegt darauf, die Entscheidungsgenauigkeit bei etablierten Benchmarks zu steigern und zugleich Latenz und Rechenkosten zu senken. In den kommenden Monaten sind laufende Updates der Modellqualität zu erwarten. Eine Grafik im Beitrag vergleicht die durchschnittliche Genauigkeit und die Verarbeitungszeit pro Zeile für snowflake-decision und snowflake-decision-fast auf Basis des internen Decision-Benchmarks von Snowflake. Die zugrunde liegenden Zahlen nennt der Text nicht.

Verfügbarkeit und Bedeutung

Sowohl das schnelle Modell als auch der REST-Zugang befinden sich in der Private Preview. Kunden, die frühen Zugang möchten, sollen sich an ihr Snowflake-Account-Team wenden; ein Ansprechpartner meldet sich dann mit den nächsten Schritten, darunter die Dokumentation zur Private Preview.

Für Teams, die Agenten, Routing-Schritte oder Scoring pro Datensatz bauen, lautet das Versprechen: Entscheidungen lassen sich in den Arbeitsfluss einbetten, ohne dass Latenz oder Kosten stark ins Gewicht fallen. Snowflake beschreibt den Wandel als Verschiebung von der Frage „Können wir uns KI an dieser Stelle leisten?“ hin zu „Wo könnte noch eine Entscheidung hin?“. Die Aussagen zu Geschwindigkeit und Genauigkeit stammen vom Unternehmen selbst; unabhängige Ergebnisse sind nicht Teil der Ankündigung.