Künstliche Intelligenz, aktuell.
Direkt aus den Originalmeldungen.

KS&R-Bericht: Synthetische Daten bestehen einfachen Test, scheitern aber an komplexem

12. November 2026, 13:00Von der KI Nachrichten RedaktionQuelle: PR Newswire
KS&R-Bericht: Synthetische Daten bestehen einfachen Test, scheitern aber an komplexem
Bild: PR Newswire

KS&R hat eine unabhängige Bewertung von vier Anbietern synthetischer Daten veröffentlicht. Alle erreichten in einer einfachen Studie das Niveau realer Daten, lagen in einer ersten komplexen Studie jedoch außerhalb des Vergleichsrahmens. Der Bericht nutzt den ECHO Index der Beratung, um zu bewerten, wie genau synthetische Daten menschliche Antworten reproduzieren.

Das Wichtigste in Kürze
  • KS&R hat Produktionsmodelle von vier Anbietern synthetischer Daten bewertet.
  • Alle vier erreichten in der einfachen Studie den Referenzwert.
  • Alle vier ersten Einreichungen lagen in der komplexen Studie außerhalb des Referenzrahmens.
  • Der Bericht basiert auf zwei Datensätzen und ist kein Ranking der Anbieter.
  • KS&R plant, den ECHO Index in Q1 2027 auf digitale Zwillinge und synthetische Personas auszuweiten.

Vier Anbieter im Vergleich mit realen Daten

Der Bericht State of Synthetic bewertet Produktionsmodelle von LagrangeDATA, Livepanel, Simulacra und Lewsearch. Jeder Anbieter erzeugte eine vollständige synthetische Kopie von zwei öffentlichen Datensätzen, einem einfachen und einem komplexen.

KS&R bewertete jede Einreichung anhand einer zweckgebundenen Referenz, die ausschließlich aus den realen Daten erstellt wurde. Im Mittelpunkt stand das sogenannte Sample Boosting: Dabei erzeugt ein Modell neue Befragte für Fragen, die reale Menschen bereits beantwortet haben.

Nach Angaben von KS&R lagen alle vier Anbieter in der einfachen Studie innerhalb des Referenzrahmens. In der komplexen Studie lagen dagegen alle vier ersten Einreichungen deutlich außerhalb.

Der Bericht untersucht die Schwächen der Modelle

KS&R zufolge zeigt der vollständige Bericht, an welchen Stellen die einzelnen Modelle versagten und wie gezielte Änderungen die Einreichungen näher an die Referenz brachten. Außerdem beschreibt er Fälle, in denen die Fachkompetenz eines Anbieters bei bestimmten Fragen einen messbaren Unterschied machte.

Die Ergebnisse beziehen sich auf konkrete Einreichungen zu zwei Datensätzen. KS&R betont, dass es sich weder um ein Ranking der Unternehmen noch um ein abschließendes Urteil über synthetische Daten insgesamt handelt.

Die Beratung entwickelte den ECHO Index, eine als zum Patent angemeldete Bewertungsmethode, um Käufern eine neutrale Möglichkeit zur Beurteilung synthetischer Daten zu geben. Das Unternehmen erklärt, es habe keine eigenen Produkte synthetischer Daten zu verteidigen. Anbieter validierten dagegen häufig ihre eigenen Modelle und präsentierten eine einzelne Kennzahl als Beleg.

„Synthetische Daten sind tragfähig, wenn sie kontrolliert eingesetzt werden. Kaufen Sie nicht das Versprechen. Kaufen Sie die Belege“, sagte Ben Cortese, PhD, Senior Vice President, Decision Sciences & Innovation bei KS&R, in der Ankündigung.

Ein Rahmen für kontrollierte Studien mit synthetischen Daten

Der Bericht erscheint zu einem Zeitpunkt, an dem Insights-Teams unter Druck stehen, schwer erreichbare Zielgruppen zu untersuchen, schneller zu arbeiten und mit knappen Budgets auszukommen. Laut KS&R werden synthetische Daten schneller verkauft, als entsprechende Kontrollmechanismen entwickelt werden können. Eine unabhängige Bewertung sei daher für Käufer besonders wichtig.

Der Bericht gibt Forschungsleitern Hinweise für die Durchführung einer kontrollierten Studie mit synthetischen Daten. Dazu gehören die Budgetplanung für Iterationen und Fragen, die Anbieter vor einem Kauf gestellt werden sollten. KS&R empfiehlt Käufern, synthetische Daten vor ihrer Nutzung von einer neutralen dritten Partei bewerten zu lassen.

Die Zusammenfassung für Führungskräfte und der vollständige Bericht sind kostenlos bei KS&R erhältlich. Anbieter können ihre Modelle bewerten und im ECHO Registry listen lassen. Forschungs- und Insights-Verantwortliche können mit KS&R prüfen, wo synthetische Daten sinnvoll eingesetzt werden können, bereits gekaufte Daten testen oder ein Modell vor einer Kaufentscheidung überprüfen.

KS&R setzt die Bewertung fort und plant, den ECHO Index auf digitale Zwillinge und synthetische Personas auszuweiten. Der Abschluss ist für Q1 2027 vorgesehen. Für Nutzer synthetischer Daten sprechen die Ergebnisse für einen stärker bedingten Ansatz: Der Erfolg bei einer einfachen Aufgabe belegt nicht die Leistung bei einer komplexen Aufgabe. Tests und Kontrollmechanismen bleiben daher Teil des Beschaffungsprozesses.

KS&RLagrangeDATALivepanelSimulacraLewsearchForschungsergebnisseBenchmarksDatenschutz

Ähnliche Meldungen

JetBrains bittet 12 KI-Modelle um 1.200 kontroverse Programmiermeinungen
Forschung15. November 2026, 18:02

JetBrains bittet 12 KI-Modelle um 1.200 kontroverse Programmiermeinungen

Zwölf KI-Modelle teilten in einem Experiment von JetBrains überwiegend gegen Python, Rust und TypeScript aus. Dabei sammelte das Unternehmen 1.200 Meinungen zu…

Hugging-Face-Seite führt XYBench ohne Benchmark-Details auf
Forschung13. November 2026, 18:02

Hugging-Face-Seite führt XYBench ohne Benchmark-Details auf

Hugging Face führt eine AllenAI-Seite mit dem Titel „XYBench: Helping with the problem behind the question“ auf. Der bereitgestellte Seitentext beschreibt weder den…

Meshy.ai-Benchmark zeigt weniger Fehldrucke mit Make Printable
Produkte und Tools13. November 2026, 16:00

Meshy.ai-Benchmark zeigt weniger Fehldrucke mit Make Printable

Laut Meshy.ai senkte die Funktion Make Printable den Anteil KI-generierter 3D-Drucke mit großen Fehlstellen oder Löchern in einem FDM-Benchmark von 44 auf 8 Prozent. Die…