LangSmith BYOC ist auf AWS allgemein verfügbar

Verwaltetes LangSmith innerhalb der Cloud-Grenzen des Kunden

LangSmith BYOC richtet sich an Organisationen, die die Datenresidenz und Netzwerkisolierung einer selbst gehosteten Plattform benötigen, ohne deren vollständigen Betrieb übernehmen zu müssen. LangChain stellt die Bereitstellung bereit und verwaltet sie. Dazu gehören Überwachung, Upgrades, Skalierung, Patching, Backups und die Verwaltung des Cluster-Lebenszyklus.

Der Kunde besitzt das AWS-Konto, die VPC, Datenbanken, den Objektspeicher und die sensiblen Anwendungsdaten. Die Datenebene läuft in diesem Konto und umfasst einen privaten Cluster von Amazon Elastic Kubernetes Service, Datenbanken, Speicher und LangSmith-Laufzeitdaten. Dazu gehören Traces, Prompts, Datensätze, Experimente, Evaluatoren, Annotationswarteschlangen, Sandboxes und Agentenbereitstellungen.

LangChain zufolge übernimmt die in der eigenen Cloud laufende Steuerungsebene Funktionen wie Authentifizierung, Benutzerverwaltung, Workspace-Konfiguration, Abrechnung und Nutzungsmetadaten sowie das LangSmith-Frontend. Sie speichert keine sensiblen Anwendungsdaten. Die Kommunikation zwischen den beiden Ebenen erfolgt über AWS PrivateLink und läuft nicht über das öffentliche Internet.

Für regulierte und sicherheitskritische Workloads entwickelt

BYOC richtet sich an Teams, deren Agenten-Traces und Laufzeitdaten personenbezogene Daten, geschützte Gesundheitsdaten, Kundendatensätze, interne API-Antworten und Tool-Ausgaben enthalten können. Als mögliche Einsatzbereiche nennt das Unternehmen Finanzdienstleistungen, Gesundheitswesen, Cybersicherheit und große Unternehmen mit strengen Anforderungen an die Datenverwaltung.

Da die Datenebene in der VPC des Kunden läuft, können sich Agenten und Sandboxes über bestehende Netzwerkpfade mit internen Datenbanken, privaten APIs und On-Premises-Systemen verbinden. Der Amazon-EKS-Cluster verfügt über keinen öffentlichen API-Server-Endpunkt, und die Worker-Knoten haben keine öffentlichen IP-Adressen.

Der operative Zugriff soll sich auditieren lassen. LangSmith-Auditprotokolle verbleiben in der Datenebene, Amazon-EKS-Auditprotokolle werden in Amazon CloudWatch im Konto des Kunden gespeichert, und VPC-Flow-Logs landen in einem vom Kunden betriebenen Amazon-S3-Bucket. Die Berechtigungen der Bereitstellungsrolle sind auf die Infrastrukturverwaltung beschränkt. Sie umfassen keine Leseberechtigungen für Daten, etwa den Zugriff auf Objekte im Trace-Bucket oder Verbindungen zu PostgreSQL und Redis.

Verfügbarkeit, Regionen und unterstützte Funktionen

BYOC ist für Enterprise-Kunden in 15 AWS-Regionen in den USA, der EU und APAC verfügbar. Kunden wenden ein Terraform-Modul an, um die für die Bereitstellung verwendete IAM-Rolle zu erstellen, und legen anschließend in LangSmith eine Datenebene an. LangChain stellt die VPC, den EKS-Cluster, Datenbanken, Speicher, Ingress und Dienste innerhalb des Clusters bereit.

Zu den verfügbaren Funktionen gehören Tracing, Dashboards und Warnmeldungen, Datensätze und Experimente, Evaluatoren, Annotationswarteschlangen, Insights, Context Hub, LangSmith Deployment, Sandboxes, LLM Gateway, Fleet und SmithDB. Die Quelle gibt außerdem an, dass Managed Deep Agents, der LLM-Authentifizierungs-Proxy und Engine BYOC unterstützen.

Über verschiedene Umgebungen, AWS-Konten und Regionen hinweg können zusätzliche Datenebenen erstellt werden. Einstellungen auf Organisationsebene wie Benutzer und Rollen gelten für alle Bereitstellungen. Teams können die Nutzung dadurch ausweiten, ohne für jede Gruppe ein separates Betriebsmodell schaffen zu müssen. LangChain zufolge sollten sich Kunden mit dem Unternehmen in Verbindung setzen, um BYOC zu besprechen, und für weitere Details die Dokumentation konsultieren.