Cohere startet Compass Cloud, eine verwaltete Retrieval-Plattform, in der privaten Beta

Von North und selbst gehosteten Setups zum Managed Service

Compass ist die Retrieval-Plattform von Cohere. Nach Angaben des Unternehmens liefert sie die relevantesten Informationen aus dem Datenbestand eines Unternehmens für Retrieval-Augmented Generation (RAG), Suche und agentische Workflows. Bislang sorgte Compass vor allem für das Retrieval in North, dem Agenten-Arbeitsbereich von Cohere für Unternehmen, einschließlich dessen Dokumentenbibliotheken und MCP-Ökosystem. Zudem hat Cohere die Plattform in hochsichere, selbst gehostete Umgebungen für Partner in regulierten Branchen ausgeliefert, deren Workloads sich nicht in SaaS-Angebote auslagern lassen.

Die Nachfrage der Kunden nach einer verwalteten Option sei „klar und konstant“ gewesen, so Cohere: Teams wollen die Retrieval-Fähigkeiten von Compass, scheuen aber vielfach den operativen Aufwand des Self-Hostings. Mit Compass Cloud verwaltet Cohere die komplette Pipeline und die Modellinferenz. Für Projekte mit strengen Datenschutzanforderungen bleiben selbst gehostete Deployments weiterhin verfügbar.

Teams greifen über die APIs, den MCP-Server oder das Python-SDK auf Compass zu. Cohere arbeitet als Beta-Partner mit einer begrenzten Zahl von Unternehmensteams zusammen; interessierte Firmen können den Zugang anfragen.

Die Probleme, die Compass adressiert

Cohere argumentiert, dass Retrieval im Unternehmenseinsatz nicht mehr allein an Relevanz und Latenz einer einzelnen Anfrage gemessen wird. Das Unternehmen nennt drei Entwicklungen, die die Anforderungen verändern:

• Token-Ökonomie: Jedes irrelevante Ergebnis, das an ein Modell weitergereicht wird, verbraucht Tokens und Kontextraum. Präziseres Retrieval bedeutet kleinere, qualitativ bessere Eingaben, geringere Inferenzkosten und eine schnellere Aufgabenerledigung.
• Agentische Zugriffsmuster: Agenten können für eine einzige Aufgabe dutzende Anfragen stellen. In diesen Multi-Hop-Schleifen summiert sich die Latenz, die Relevanz kann abdriften, und Berechtigungen müssen in jedem Schritt durchgesetzt werden.
• Ein fragmentierter Retrieval-Stack: Produktive Pipelines kombinieren oft getrennte Systeme für Ingestion, Indexierung, Reranking, Zugriffskontrolle und Orchestrierung. Teams investieren dadurch Aufwand in die Integration statt in die Retrieval-Qualität.

Compass soll diesen Stack in einem konfigurierbaren Dienst mit einer einheitlichen Schnittstelle bündeln.

Was die Pipeline abdeckt

Cohere beschreibt die Pipeline in sieben Schritten:

• Connect: Fertige Konnektoren für Arbeitsumgebungen wie SharePoint, OneDrive und Google Drive, mit mehrsprachiger, multimodaler und dateiformatunabhängiger Unterstützung.
• Parse: Komplexe Dokumente werden zu strukturierten, durchsuchbaren Daten; Bildverarbeitung kommt nur dort zum Einsatz, wo sie einen Mehrwert bringt.
• Embed: Dichte und dünnbesetzte (sparse) Repräsentationen werden gemeinsam erzeugt, sodass die Suche sowohl die semantische Absicht als auch fachspezifische Sprache erfasst.
• Index: Quelldateien, geparste Inhalte und Embeddings werden als getrennte Datensätze gespeichert. So lässt sich ein neues Embedding-Modell einführen, ohne Inhalte erneut zu crawlen und hochzuladen.
• Retrieve: Semantische, Sparse- und Stichwortsuche können unabhängig voneinander oder kombiniert in einer Anfrage laufen, wobei Berechtigungen beim Abruf durchgesetzt werden.
• Rerank: Der Reranker von Cohere wählt aus einer breiten Kandidatenmenge die relevantesten Passagen aus und verringert so irrelevanten Kontext und die für die Generierung nötigen Tokens.
• Govern: Mandantenfähige Zugriffskontrolle und Berechtigungen auf Dokumentenebene werden beim Abruf durchgesetzt. Aufbewahrungsrichtlinien lassen Inhalte automatisch verfallen und verhindern, dass gelöschte Dokumente erneut synchronisiert werden.

Benchmark-Angabe und Integrationsoptionen

Cohere berichtet von einem Genauigkeitsgewinn bei High Finance, einem internen, von Cohere annotierten Benchmark, in dem Modelle relevante Präsentationsunterlagen aus Investmentbanking und Hedgefonds abrufen. Laut Unternehmen verbesserte sich Compass gegenüber Azure Search um 14 bis 16 Punkte, von 64,8 auf 81,1 (nDCG@10). In dem Test wurden die Dokumente für Azure Search mit GPT-4.1 Mini geparst, während Cohere Embed 4 die PDFs direkt als Bilder einbettete, ohne separate Parsing-Lösung. Das Ergebnis stammt aus Coheres eigenem Benchmark und wurde nicht unabhängig überprüft.

Entwickler können auf zwei Wegen integrieren. Die Compass-API eignet sich für Teams, die eigene RAG- und Suchanwendungen bauen, und bietet mehr Kontrolle darüber, wie Inhalte repräsentiert, abgerufen, gerankt und genutzt werden. Der Weg über das Model Context Protocol (MCP) zielt auf agentisches Retrieval: Compass liefert einen eigenen, unabhängig versionierten MCP-Server, der Retrieval als wiederverwendbare Tools über einen offenen Standard bereitstellt. MCP-kompatible Clients können sie entdecken und aufrufen, ohne dass für jedes Agenten-Framework eine eigene Integration nötig wäre. Cohere zufolge können Agenten damit den Retrieval-Korpus schrittweise eingrenzen, was unnötigen Kontext reduziert und komplexe Retrieval-Aufgaben schneller und tokeneffizienter macht.

Was die Beta bietet

Die private Beta steht Teams offen, die retrieval-intensive und agentische Anwendungen entwickeln. Teilnehmer erhalten laut Cohere praktische Unterstützung durch das Engineering-Team, frühen Zugang zum Cloud-Deployment und direkten Einfluss auf die Roadmap. Zudem plant das Unternehmen am 8. Oktober eine Live-Session auf X mit Vertretern aus Engineering und Produktführung dazu, wohin sich die Unternehmenssuche entwickelt.

Für Unternehmen eröffnet der Schritt die Möglichkeit, Compass zu nutzen, ohne die Retrieval-Infrastruktur selbst zu betreiben, während regulierte Organisationen bei selbst gehosteten Deployments bleiben können.