Vercels HarnessAgent akzeptiert jetzt Bildeingaben für alle Harness-Adapter
Die HarnessAgent-Schicht im AI SDK von Vercel akzeptiert jetzt Bildeingaben für sämtliche Harness-Adapter. Entwickler können Bilder zusammen mit Text im Standard-Nachrichtenformat des AI SDK übergeben, wie aus dem Changelog des Unternehmens hervorgeht.
- Die HarnessAgent-Schicht im AI SDK akzeptiert laut Vercel jetzt Bildeingaben für jeden Harness-Adapter.
- Bilder werden im Standard-Nachrichtenformat des AI SDK übergeben, das Text- und File-Teile in einem Content-Array mischt.
- Unterstützte Adapter: Claude Code, Cline, Codex, Cursor, Deep Agents, fx, GitHub Copilot, Grok Build, OpenCode und Pi.
- Die Bildeingabe wird von den zugrunde liegenden Vision-Modellen der Harnesses verarbeitet.
- Vercel liefert ein Codex-Beispiel, das ein PNG-Bild in einem Satz beschreibt.
Was sich bei HarnessAgent ändert
Laut Vercel kann die HarnessAgent-Schicht im AI SDK jetzt Bilder als Eingabe verarbeiten, unabhängig davon, welcher Harness-Adapter im Einsatz ist. Die Bilder werden zusammen mit Text im Standard-Nachrichtenformat des AI SDK übermittelt, das ein Content-Array nutzt, in dem { type: 'text' }- und { type: 'file' }-Teile gemischt werden.
Vercel zufolge wird die Bildeingabe von den zugrunde liegenden Vision-Modellen der Harnesses verarbeitet. Die Unterstützung gilt für alle verfügbaren Adapter, die der Changelog wie folgt auflistet:
- Claude Code
- Cline
- Codex
- Cursor
- Deep Agents
- fx
- GitHub Copilot
- Grok Build
- OpenCode
- Pi
Weil die Funktion in der HarnessAgent-Schicht angesiedelt ist, gilt für jeden dieser Adapter dieselbe Nachrichtenstruktur. Ein eigener Ansatz pro Harness ist nicht nötig.
So funktioniert das Beispiel
Vercel liefert ein einfaches Beispiel mit, in dem der Codex-Harness ein vorgegebenes Bild beschreiben soll. Der Code erzeugt einen HarnessAgent mit dem codex-Harness und richtet dann über createVercelNetworkSandboxSession eine Sandbox-Sitzung mit der Runtime node24 und Port 4000 ein. Das Sandbox-Template stammt aus agent.getSandboxTemplate().
Nachdem mit agent.createSession eine Sitzung angelegt wurde, ruft das Beispiel agent.generate mit einer einzelnen Nutzernachricht auf. Diese Nachricht besteht aus zwei Teilen: einem Textteil mit dem Inhalt "Describe the image in one sentence." und einem File-Teil mit dem Medientyp image/png. Die Dateidaten werden mit Node's readFileSync aus einer lokalen image.png gelesen.
Das Muster folgt den üblichen Konventionen des AI SDK. Entwickler, die Nachrichten bereits nur mit Textteilen aufbauen, müssen also lediglich einen File-Teil ergänzen, um ein Bild einzubinden.
Was das für Entwickler bedeutet
Für Entwickler, die auf den Harness-Adaptern des AI SDK aufbauen, schließt die Änderung eine Lücke zwischen reinen Text-Prompts und multimodalen Prompts. Ein einziges Nachrichtenformat deckt nun Text und Bilder für jeden aufgeführten Adapter ab, die Bildverarbeitung übernimmt das jeweilige Modell des Harness.
Die Quelle nennt über das im Beispiel verwendete PNG hinaus keine unterstützten Bildformate und auch keine Grenzen für Größe oder Anzahl der Bilder. Zum Einstieg verweist Vercel Entwickler auf die Dokumentation zu den Bildeingaben von HarnessAgent.
