Künstliche Intelligenz, aktuell.
Direkt aus den Originalmeldungen.

Salesforce entwickelt interaktive Testumgebung für visuelle KI-Assistenten in Echtzeit

12. November 2026, 17:00Von der KI Nachrichten RedaktionQuelle: Salesforce
Salesforce entwickelt interaktive Testumgebung für visuelle KI-Assistenten in Echtzeit
Bild: Salesforce

Salesforce AI Research hat Interactive Visual Gym entwickelt, eine simulierte Umgebung, um zu testen, ob visuelle KI-Assistenten in Echtzeit den Ausgang physischer Aufgaben verändern können. Nach Angaben des Unternehmens können simulierte Nutzer auf Hinweise reagieren. Dadurch werden Fehler sichtbar, die bei Bewertungen mit vorab aufgezeichneten Videos unentdeckt bleiben können.

Das Wichtigste in Kürze
  • Interactive Visual Gym ermöglicht es simulierten Nutzern, auf die Hinweise visueller KI zu reagieren.
  • IVG-Bench umfasst 315 Szenarien in drei Umgebungen.
  • Der stärkste getestete Assistent erledigte 53,4 % der Aufgaben innerhalb des Zeitlimits.
  • Die Simulationsergebnisse stimmten in 78,5 % der Fälle mit den Präferenzen der Menschen bei Assistenten überein.
  • Salesforce nutzte den Simulator, um die Aufgabenleistung eines Open-Source-Modells zu verbessern.

Warum statische Tests nicht ausreichen

Visuelle KI-Assistenten verlassen zunehmend Chatfenster und unterstützen Menschen in Echtzeit bei körperlichen Arbeiten. Sie können Live-Videos verfolgen und Nutzer durch mehrstufige Aufgaben führen. Salesforce argumentiert jedoch, dass ein korrekter Hinweis nicht zwangsläufig nützlich ist, wenn er nicht früh genug kommt, um die nächste Handlung des Nutzers zu beeinflussen.

Viele bestehende Bewertungen spielen vorab aufgezeichnete Videos ab und vergleichen die Antwort eines Assistenten mit einem Lösungsschlüssel. Damit lässt sich feststellen, ob ein Hinweis korrekt war. Die Aufnahme kann jedoch nicht auf den Hinweis reagieren. Deshalb lässt sich nicht ermitteln, ob der Nutzer dem Rat vertraute, verwirrt wurde oder eine falsche Handlung vermied.

Salesforce ordnet seine Arbeit in jüngste Entwicklungen bei der Echtzeitinteraktion ein. Nach Angaben des Unternehmens stellte Thinking Machines im Mai Modelle vor, die kontinuierlich Audio, Video und Text verarbeiten. Im Juni veröffentlichten Forscher von Meta einen tragbaren Videodatensatz für proaktive Unterstützung bei Abläufen. Im September stellte Google Gemini 3.8 Live vor, das Echtzeitverständnis visueller Inhalte, gesprochene Gespräche und Aufgabenbearbeitung im Hintergrund kombiniert.

So funktioniert Interactive Visual Gym

Interactive Visual Gym, kurz IVG, bildet alltägliche körperliche Aufgaben wie Kochen und die Verwaltung von Smartphone-Einstellungen nach. Jede Aufgabe verbindet einen simulierten Nutzer mit einem visuellen KI-Assistenten. Die Handlungen des Nutzers und die simulierte Umgebung verändern sich als Reaktion auf die Hinweise des Assistenten.

In einem Küchenbeispiel bereitet ein simulierte Koch einen Burger in einer vorgegebenen Reihenfolge zu. Wählt der Koch die falsche Zutat aus, muss der Assistent den Fehler schnell genug erkennen, damit der Koch reagieren kann. Das System verwendet Anweisungen in natürlicher Sprache wie „gehe zur Pfanne mit dem Fleisch“ statt der Gelenkgeschwindigkeiten und Gradkoordinaten klassischer Robotiksimulatoren.

IVG kann Fehler, Planänderungen, Fragen und Erinnerungsanfragen zu genau festgelegten Zeitpunkten einplanen und dabei den Dialog des Nutzers konsistent mit dessen Verhalten halten. Die simulierten Nutzer unterscheiden sich außerdem in ihren Fähigkeiten, ihrem Vertrauen in KI, ihrer bevorzugten Ausführungsgeschwindigkeit und ihrer Toleranz für Unterbrechungen. Dadurch lässt sich dieselbe Aufgabe mit Nutzern testen, die detaillierte Anleitung benötigen, und mit anderen, die weniger Unterbrechungen bevorzugen.

Benchmark zeigt Probleme bei Timing und Beharrlichkeit

Mit IVG entwickelte Salesforce AI Research IVG-Bench mit 315 Szenarien in drei Umgebungen. Das Team bewertete 15 Assistenten, von denen jeder auf einem anderen Modell lief. Nach Angaben von Salesforce erledigte der stärkste Assistent, der auf Gemini 4 Argon lief, im Durchschnitt über alle Umgebungen hinweg 53,4 % der Aufgaben innerhalb des Zeitlimits. Modelle mit offenen Gewichtungen lagen im Allgemeinen hinter den führenden Frontier-Modellen zurück.

Die Bewertung misst sowohl den Aufgabenerfolg als auch die Qualität der Interaktion. Salesforce zufolge kann ein Assistent Nutzern zwar häufiger helfen, Aufgaben abzuschließen, aber dennoch ungeschickte Ratschläge geben. Dynamische Tests machen außerdem Probleme sichtbar, die statische Tests übersehen können. Dazu gehören Verzögerungen, durch die korrekte Hinweise veraltet sind, sowie wiederholte Anweisungen, nachdem ein Nutzer sie bereits bestätigt hat. Bei einigen Modellen mit offenen Gewichtungen verschlechterte sich die Anleitung im weiteren Verlauf der Aufgaben.

In Tests, bei denen Menschen den simulierten Koch steuerten und die Assistenten bewerteten, stimmte der automatisierte Interaktionsqualitätsscore von Salesforce nach Angaben des Unternehmens in 78,5 % der Fälle mit den Präferenzen der Menschen überein. Das Unternehmen stellte außerdem fest, dass sich simulierte Nutzer ähnlich wie echte Menschen verhielten, obwohl simulierte Nutzer deutlich häufiger sprachen und antworteten.

Eine Testumgebung für Einsatzentscheidungen

Salesforce zufolge kann IVG auch zur Verbesserung visueller Assistenten eingesetzt werden. In einem frühen Machbarkeitsnachweis trainierte das Team ein Open-Source-Modell im Simulator darauf, den Aufgabenabschluss und die Vermeidung von Fehlern zu priorisieren. Die Erfolgsquote des Modells stieg, und der Assistent wurde besser darin, zum richtigen Zeitpunkt Hinweise zu geben und einzugreifen, bevor Fehler auftraten.

Führungskräften, die visuelle KI-Assistenten für Teams im direkten Kunden- oder Produktionseinsatz in Betracht ziehen, empfiehlt Salesforce zu prüfen, ob das System den Aufgabenabschluss messbar verbessert, ob seine Hinweise eintreffen, solange sie das Ergebnis noch verändern können, und ob es auch bei langen Aufgaben oder nach einem Abweichen vom vorgesehenen Ablauf wirksam bleibt. IVG soll diese Rückkopplung auf der Ebene eines Datensatzes liefern, ohne Tausende Live-Trainingsläufe mit Menschen unterschiedlicher Fähigkeiten zu erfordern.

Ähnliche Meldungen

JetBrains bittet 12 KI-Modelle um 1.200 kontroverse Programmiermeinungen
Forschung15. November 2026, 18:02

JetBrains bittet 12 KI-Modelle um 1.200 kontroverse Programmiermeinungen

Zwölf KI-Modelle teilten in einem Experiment von JetBrains überwiegend gegen Python, Rust und TypeScript aus. Dabei sammelte das Unternehmen 1.200 Meinungen zu…

Salesforce: Aktualisierte Speicherregeln verdoppeln Erinnerungsleistung von Agentforce Memory
Produkte und Tools4. November 2026, 19:00

Salesforce: Aktualisierte Speicherregeln verdoppeln Erinnerungsleistung von Agentforce Memory

Salesforce AI Research hat nach eigenen Angaben die Gedächtnisleistung von Agentforce etwa verdoppelt, indem das Unternehmen die Regeln geändert hat, nach denen ein…

UW-Studie: KI-Modelle bewerten manche Akzente schlechter
Forschung4. November 2026, 17:49

UW-Studie: KI-Modelle bewerten manche Akzente schlechter

Eine von der University of Washington geleitete Studie zeigt, dass führende KI-Modelle englische Akzente aus China und Nigeria bei der Bewertung von…