HumanEval
AI21 Labs: Öffentliche Coding-Benchmarks verfehlen, wie Entwickler Agenten tatsächlich nutzen
AI21 Labs zufolge vermitteln öffentliche Coding-Benchmarks wie SWE-bench, HumanEval und Spider ein verzerrtes Bild davon, wie Entwickler KI-Agenten einsetzen. Nachdem…
ForschungAleph Alpha: Durchgesickerte Benchmark-Daten blähten HumanEval-Werte um 45 Punkte auf
Aleph Alpha hat nach eigenen Angaben 1,5 Millionen Dokumente, die Benchmark-Aufgaben zitieren, aus dem Mid-Training-Pool seines Modells Kolibri entfernt. Wurden sie in…