MMLU
Aleph Alpha: Maschinell übersetzte deutsche KI-Benchmarks messen oft das Falsche
Viele deutsche Fassungen gängiger LLM-Benchmarks messen nicht das, wofür die englischen Originale gebaut wurden, sagt Aleph Alpha. Nach der Prüfung von dreißig ins…
ForschungAleph Alpha: Durchgesickerte Benchmark-Daten blähten HumanEval-Werte um 45 Punkte auf
Aleph Alpha hat nach eigenen Angaben 1,5 Millionen Dokumente, die Benchmark-Aufgaben zitieren, aus dem Mid-Training-Pool seines Modells Kolibri entfernt. Wurden sie in…