ArisGlobal senkt Kosten für KI-Inferenz durch Caching gemeinsamer Prompts auf AWS

ArisGlobal hat die Nutzung von Amazon Bedrock durch seine KI-Engine NavaX angepasst und speichert nun ein gemeinsames Prompt-Präfix statt jedes Dokuments zu unerwünschten Ereignissen im Cache. Nach Angaben des Unternehmens senkte die Neugestaltung die effektiven Input-Kosten und half dabei, mehr Mandanten ohne proportional steigende Kosten zu unterstützen.
- NavaX extrahiert rund 130 Felder aus Berichten zu unerwünschten Ereignissen.
- Das gemeinsame Prompt wuchs innerhalb von 6 Monaten von ungefähr 72.000 auf 180.000 Tokens.
- Die Inferenzkosten pro Fall stiegen vor der Neugestaltung um mehr als 200 %.
- ArisGlobal cached nun das gemeinsame Prompt-Präfix, bevor jedes Falldokument gesendet wird.
- Laut Telemetriedaten von ArisGlobal hat NavaX mehr als 1 Million reale Transaktionen verarbeitet.
Ein wachsender Prompt wurde zum Kostenproblem
ArisGlobal stellt Technologie für die Life-Sciences-Branche in den Bereichen Pharmakovigilanz, Regulatorik, Medical Affairs, klinische Forschung und Qualität bereit. Die LifeSphere-NavaX-Engine nutzt generative KI, um die Bearbeitung von Fällen zu unerwünschten Ereignissen zu automatisieren. Dabei bewerten Pharmaunternehmen Berichte über Reaktionen von Patienten auf Arzneimittel.
Wenn ein Bericht eingeht, verarbeitet der Agent Dynamic Data Extraction von NavaX ein typischerweise mehrseitiges PDF und extrahiert rund 130 Felder. Dazu gehören demografische Patientendaten, verdächtige Arzneimittel, Angaben zum Meldenden, Zeitabläufe der Ereignisse, Kriterien für die Einstufung als schwerwiegend und regulatorische Klassifizierungen. Das System setzt außerdem Kontrollen wie Amazon Bedrock Guardrails ein, um Inhalte zu filtern sowie sensible Informationen zu erkennen oder zu maskieren.
Jeder Fall umfasst mehrere aufeinanderfolgende Modellanfragen. Jede Anfrage enthält Systemanweisungen, kundenspezifische Regeln, ein Extraktionsschema mit Few-Shot-Beispielen und das Quelldokument. Als ArisGlobal weitere Pharmakunden hinzufügte, wuchs das gemeinsame Prompt-Präfix innerhalb von 6 Monaten von ungefähr 72.000 auf 180.000 Tokens, eine Zunahme um 150 %. Laut Quelle stiegen die Inferenzkosten pro Fall um mehr als 200 %.
ArisGlobal kehrte die Cache-Reihenfolge um
Das Prompt-Caching von Amazon Bedrock verwendet ein zusammenhängendes Präfix vom Beginn einer Anfrage bis zu einem Cache-Prüfpunkt erneut. Spätere Anfragen mit demselben Präfix können die gecachten Tokens zu einem reduzierten Preis einlesen. Da das System ein Präfix statt separater Blöcke cached, bestimmt die Reihenfolge der Inhalte, was wiederverwendet werden kann.
Im ersten Design von ArisGlobal stand das 10.200 Seiten umfassende Quelldokument an erster Stelle; der Prüfpunkt wurde dahinter gesetzt. Dadurch konnte das Dokument bei späteren Anfragen desselben Falls wiederverwendet werden, das gemeinsame Prompt blieb jedoch außerhalb des Caches. Bei einem neuen Fall kam ein anderes Dokument hinzu, sodass der Dokument-Cache keine Wiederverwendung über Fälle oder Mandanten hinweg ermöglichte.
Im Produktivdesign steht das gemeinsame Prompt-Präfix an erster Stelle, gefolgt von einem expliziten Prüfpunkt. Das Dokument des jeweiligen Falls folgt hinter dem Prüfpunkt und wird bei jeder Anfrage verarbeitet. ArisGlobal verzichtet damit auf die begrenzte Wiederverwendung des Dokuments innerhalb eines Falls, um das wachsende Prompt über Anfragen, Fälle und Mandanten hinweg wiederzuverwenden, die denselben Agenten nutzen.
Die Änderung ermöglicht einen breiteren Einsatz in Unternehmen
ArisGlobal entschied sich für Amazon Bedrock wegen des verwalteten Zugangs zu Foundation Models, der geografischen Cross-Region-Inferenz in der EU und des verwalteten Prompt-Cachings. Das Unternehmen brachte seine erste Lösung für generative KI im März 2025 mit Anthropic’s Claude auf Amazon Bedrock in den Produktivbetrieb.
Nach Angaben der internen Produktions-Telemetrie von ArisGlobal hat NavaX mehr als 1 Million reale Transaktionen in regulierten pharmazeutischen Umgebungen verarbeitet und dabei Milliarden von Tokens über mehrere Unternehmenskunden hinweg bearbeitet. Das gesamte LifeSphere-System läuft auf AWS.
Die Änderung beim Caching ist relevant, weil das gemeinsame Präfix die Regeln, Schemata, Beispiele und kundenspezifische Logik enthält, die mit der Aufnahme weiterer Pharmaunternehmen wachsen. AWS zufolge sorgt die Wiederverwendung von Prompts über die gesamte Flotte hinweg für ein unterproportionales Kostenwachstum. Dadurch kann ArisGlobal weitere Mandanten hinzufügen, ohne dass die Kosten proportional zum wachsenden Prompt- und Transaktionsvolumen steigen. Das Routing in der EU bleibt unverändert.


