Octave baut mandantenfähiges KI-Fundament auf Amazon Bedrock für 14.000 Kunden

Octave, Hersteller des Qualitätsmanagementsystems Reliance, hat auf Amazon Bedrock ein gemeinsames KI-Fundament aufgebaut, bevor eine einzelne KI-Funktion live ging. Laut AWS hat sich die Bereitstellungszeit pro Anwendungsfall damit um 50 Prozent verkürzt, während die regulierten Daten jedes Kunden isoliert bleiben.
- Octave hat laut AWS auf Amazon Bedrock ein gemeinsames KI-Fundament aufgebaut, bevor eine einzelne Funktion live ging.
- Das Fundament besteht aus drei Schichten: Datenaufbereitung, sichere Ausführung und Inhaltsschutz mit Bedrock Guardrails.
- Cohere Embed v4 mit 512 statt 1.536 Dimensionen senkte den Speicherbedarf um rund 66 Prozent bei gleichbleibender Zielgenauigkeit.
- Reliance hostet mehr als 2 Milliarden Dokumente, das Team wollte den größten Mandanten innerhalb eines Arbeitstages anbinden.
- Laut AWS hat das Fundament die Bereitstellungszeit pro Anwendungsfall um 50 Prozent verkürzt.
Warum Octave zuerst das Fundament baute
Qualitätsmanagement in regulierten Branchen lebt von der Historie: ein ähnlicher Defekt, der im Vorjahr untersucht wurde, eine Korrektur- und Vorbeugemaßnahme (Corrective and Preventive Action, CAPA), die eine Ursache behoben hat, oder ein Audit-Befund, der dieselbe Lücke bemängelt hat. Laut dem AWS-Beitrag steckt dieses Wissen in Milliarden von Dokumenten, die kein Mensch sprach- und formatübergreifend nach semantischer Ähnlichkeit durchsuchen kann. Jede Untersuchung beginnt deshalb bei null.
Octave ist in 180 Ländern tätig und beliefert mehr als 60 % der Global Fortune 500. Das Cloud-native System Reliance unterstützt mehr als 650 Unternehmenskunden mit über 40 Anwendungen, die gesamte Plattform bedient über 14.000 Kunden in der Medizintechnik, der Pharmaindustrie und der Lebensmittelproduktion. Jeder Kunde ist ein eigener Mandant, und keine Daten dürfen die Mandantengrenze überschreiten. Eine einzige versehentliche Offenlegung hätte, so der Beitrag, regulatorische Folgen, die jeden KI-Nutzen bei Weitem überwiegen würden.
In Workshops mit AWS kristallisierten sich vier Anwendungsfälle heraus: Zusammenfassung und Triage von Reklamationen, Überwachung der Audit-Bereitschaft, Erstellung von Vorfallbeschreibungen und prädiktive Bewertung von Qualitätsrisiken. Da die Plattform dutzende Anwendungen mit unterschiedlichen Dokumenttypen und Workflows umfasst, hätte eine isolierte KI-Lösung für eine Anwendung bedeutet, die Infrastruktur für die nächste neu aufzubauen. Das Team baute daher zuerst die horizontale Plattform und schnitt darauf vertikale Funktionsscheiben zu. Den Anfang machten Zusammenfassung und Triage von Reklamationen, um die Architektur zu erproben.
Vier Spannungsfelder und ein Design mit drei Schichten
Vor der Wahl eines Modells arbeitete das Team vier Probleme durch, die in unterschiedliche Richtungen zogen:
- Datenverfügbarkeit ohne Offenlegung: Vektorspeicher, Retrieval-Logik und Generierungskontext mussten jeweils auf einen einzelnen Mandanten begrenzt sein.
- Isolierte Agentenausführung: Die Berechtigungen der Agenten mussten auf den anfragenden Nutzer beschränkt sein statt auf eine gemeinsame Service-Rolle. Ein gemeinsamer Agenten-Pool mit statischen Zugangsdaten fiel bei diesem Test durch.
- Nicht vertrauenswürdige Inhalte: Agenten verarbeiten Reklamationen, E-Mail-Anhänge, gescannte PDFs und Bilder von außerhalb der Organisation. Der Beitrag verweist auf Risiken aus den OWASP Top 10 for LLM Applications (2025), darunter Prompt Injection (LLM01), Offenlegung sensibler Informationen (LLM02), unsachgemäße Verarbeitung von Ausgaben (LLM05) und übermäßige Handlungsbefugnis (LLM06).
- Skalierung: Reliance hostet mehr als 2 Milliarden Dokumente, und das Team legte sich darauf fest, selbst den größten Mandanten innerhalb eines einzigen Arbeitstages anzubinden, ohne Abstriche bei der Qualität zu machen.
Das daraus entstandene Fundament besteht aus drei Schichten. Die Datenaufbereitung bettet Dokumente mit Cohere Embed v4 auf Amazon Bedrock ein und schreibt sie in einen mandantenspezifischen Vektorspeicher auf Amazon OpenSearch Service. Die sichere Ausführung leitet Anfragen über AgentCore Gateway, das Authentifizierung und Richtlinien anwendet, an eine isolierte MicroVM-Sitzung weiter, die ein Anthropic-Claude-Modell auf Amazon Bedrock aufruft. Der Inhaltsschutz umschließt beide Schichten und setzt Amazon Bedrock Guardrails zur Eingabefilterung und erneut zur Ausgabefilterung ein, bevor etwas den Handler erreicht. Retrieval, Ausführung und Prüfung bleiben in getrennten Stufen, sodass sich jede einzeln durchsetzen und nachweisen lässt.
Warum Cohere Embed v4
Das Team testete Embedding-Modelle am eigenen Datenbestand statt anhand öffentlicher Ranglisten. Qualitätsakten mischen Fotos defekter Produkte, gescannte Prüfformulare und beschriftete Diagramme mit Text. Laut dem Beitrag legt Embed v4 beide Modalitäten in einem gemeinsamen Vektorraum ab, sodass sich das Foto eines gerissenen Gehäuses und der beschreibende Absatz mit einer einzigen Anfrage abrufen lassen. Die native Mehrsprachigkeit macht eine Übersetzung als Vorverarbeitung überflüssig, was wichtig ist, weil Dokumente innerhalb eines Mandanten oft in mehreren Sprachen vorliegen.
Die Verarbeitung innerhalb der Region war eine Grundvoraussetzung, da Kundendaten ihre AWS-Region auch bei der Inferenz nicht verlassen dürfen. Embed v4 unterstützt Inferenz innerhalb der Region in US East (N. Virginia), Europe (Ireland) und Asia Pacific (Tokyo) und deckt damit drei der regionalen Compliance-Anforderungen von Octave ab. Der Beitrag weist darauf hin, dass die Verfügbarkeit je nach Region variiert und sich im Lauf der Zeit ändert.
Bei den Kosten gilt: Die Ausgaben für OpenSearch Service wachsen linear mit der Zahl der Dimensionen. Embed v4 bietet konfigurierbare Ausgabedimensionen von 256 bis 1.536. In Tests mit repräsentativen Produktivanfragen hielten 512 Dimensionen die angestrebte Genauigkeit und senkten den Speicherbedarf gegenüber dem Standardwert von 1.536 um rund 66 Prozent. Das Kontextfenster von 128K Token erlaubte es dem Team, in jede Anfrage viele Chunks von etwa 4K Token zu packen, was der Beitrag für den Durchsatz beim Onboarding verantwortlich macht.
Isolation in der Laufzeitumgebung und was sie bedeutet
Octave entschied sich dafür, die Mandantentrennung in der Laufzeitumgebung durchzusetzen statt im Anwendungscode, was von jedem künftigen Feature-Team verlangt hätte, sie auf jedem Codepfad korrekt umzusetzen. Die AgentCore-Laufzeit erzwingt die Trennung unterhalb der Anwendungsschicht. Da sie unabhängig von Frameworks und Modellen ist, schränkte die Isolationsentscheidung die Wahl von Agenten-Framework und Modellen für den Complaint Triage Assistant nicht ein. Der Quelltext bricht an der Stelle ab, an der beschrieben wird, wie jede Nutzersitzung in einer eigenen Umgebung läuft.
Für andere SaaS-Anbieter gilt dem Beitrag zufolge dieselbe Argumentation über das Qualitätsmanagement hinaus überall dort, wo Daten wertvoll sind, die Isolation aber nicht verhandelbar ist. Als Ergebnis der Strategie, zuerst das Fundament zu bauen, nennt AWS in seiner Darstellung der Octave-Arbeit eine um 50 Prozent kürzere Bereitstellungszeit pro Anwendungsfall.


