GSM8K
Aleph Alpha: Maschinell übersetzte deutsche KI-Benchmarks messen oft das Falsche
Viele deutsche Fassungen gängiger LLM-Benchmarks messen nicht das, wofür die englischen Originale gebaut wurden, sagt Aleph Alpha. Nach der Prüfung von dreißig ins…
SageMaker: Teams schreiben eigene Trainingsschleifen, ohne GPUs zu verwalten
Amazon SageMaker AI hat seiner serverlosen Modellanpassung Training-Session-APIs hinzugefügt. Entwickler können damit eigene Fine-Tuning-Schleifen in Python schreiben…
ForschungAleph Alpha: Durchgesickerte Benchmark-Daten blähten HumanEval-Werte um 45 Punkte auf
Aleph Alpha hat nach eigenen Angaben 1,5 Millionen Dokumente, die Benchmark-Aufgaben zitieren, aus dem Mid-Training-Pool seines Modells Kolibri entfernt. Wurden sie in…