UChicago holt Mateo Díaz: Warum einfache Algorithmen riesige Probleme lösen

29. Oktober 2026, 16:12Quelle: UChicago Data Science Institute

Mateo Díaz ist als erster Faraco Family Assistant Professor an das Data Science Institute (DSI) und das Department of Statistics der University of Chicago gewechselt. In seiner Forschung geht er der Frage nach, warum einfache, schrittweise arbeitende Optimierungsalgorithmen brauchbare Lösungen für enorm komplexe Probleme finden, obwohl sie die zu optimierende Funktion nie als Ganzes sehen.

Das Wichtigste in Kürze

Mateo Díaz ist der erste Faraco Family Assistant Professor am Data Science Institute und am Department of Statistics der UChicago.
Seine Forschung fragt, warum einfache Optimierungsalgorithmen bei nichtkonvexen Problemen mit Milliarden von Parametern erfolgreich sind, wo die klassische Theorie an ihre Grenzen stößt.
Gemeinsam mit Kollegen von Google Research hat er dazu beigetragen, Verfahren erster Ordnung für die lineare Programmierung praxistauglich zu machen.
Díaz zufolge ist die Methode in produktionsreifen Solvern von NVIDIA, Google und Gurobi im Einsatz.
Er argumentiert, dass sicherheitskritische KI Garantien dafür braucht, wann man Algorithmen vertrauen kann.

Ein Rätsel im Kern der Optimierung

Díaz vergleicht Optimierung mit der Suche nach dem tiefsten Punkt einer hügeligen Landschaft, von der man nie alles auf einmal sieht. Laut Universität arbeiten viele Optimierungsalgorithmen auf diese Weise. „In jeder Iteration sehen sie ihre jüngste Wahl oder den Verlauf ihrer bisherigen Entscheidungen, aber nicht die Funktion als Ganzes“, erklärt Díaz. Dennoch seien „Algorithmen nach wie vor sehr gut darin, brauchbare Lösungen zu finden“.

Die klassische Optimierungstheorie erklärt das gut, solange die Funktionen konvex sind, die Probleme also sauber strukturiert. Modernes maschinelles Lernen ist anders. Seine Probleme sind nichtglatt, nichtkonvex und bewegen sich in riesigen Räumen mit Milliarden von Parametern, mit denen die klassische Theorie nicht mehr mithalten kann. „Es gibt eine sehr tiefe Kluft“, sagt Díaz, zwischen dem, was für gut strukturierte Funktionen bekannt ist, und dem, was beim Pre-Training neuronaler Netze passiert, etwa für große Sprachmodelle (LLMs).

Díaz entwickelt eine Theorie, die jene geometrischen Eigenschaften komplizierter Verlustlandschaften bestimmt, durch die einfache Algorithmen immer wieder erfolgreich sind. Er hofft, aus diesen Erkenntnissen Algorithmen zu gewinnen, die effizienter sind, sich auf moderner Hardware leichter skalieren lassen und bei kritischen Anwendungen zuverlässiger arbeiten.

Von der Theorie zu Solvern im Produktiveinsatz

Vor seinem Wechsel an die UChicago war Díaz Assistant Professor für Angewandte Mathematik und Statistik an der Johns Hopkins University. Seinen Ph.D. in Angewandter Mathematik erwarb er an der Cornell University. Der Großteil seiner Arbeit ist theoretisch und liegt an der Schnittstelle von Optimierung, Geometrie und Statistik, doch einiges davon hat bereits die Praxis erreicht.

Ein Beispiel ist die lineare Programmierung, eine Klasse von Optimierungsproblemen, die in den 1940er-Jahren erstmals mit George Dantzigs Simplex-Algorithmus gelöst wurde. Sie wird bis heute breit eingesetzt, doch die Probleme sind mit den Datenmengen der Welt gewachsen. Klassische Verfahren wie das Simplex-Verfahren „skalieren nicht sehr gut, weil sie auf Unterroutinen wie der Matrixinversion beruhen, die sich schwer parallelisieren lassen“, sagt Díaz.

Gemeinsam mit Kollegen von Google Research wandte er sich Optimierungsverfahren erster Ordnung zu, die sich leicht parallelisieren lassen. Sie galten lange als zu langsam für die Praxis. Díaz sagt, sein Team habe gezeigt, dass sie „sowohl praktikabel als auch eine wünschenswerte Alternative sein können, wenn man sie richtig verbessert“, insbesondere für Probleme, die für einen Laptop zu groß sind. Die Methode sei inzwischen in mehreren produktionsreifen Solvern im Einsatz, darunter Implementierungen von NVIDIA, Google und Gurobi.

Warum KI den Einsatz erhöht

Díaz sagt, der Aufstieg moderner KI habe die Fragen, mit denen er sich beschäftigt, nicht verändert, aber die Lücke zwischen Theorie und Praxis vergrößert. Algorithmen könnten Modelle in außergewöhnlichem Tempo und Umfang trainieren, doch die Forschung verstehe nicht vollständig, warum die zugrunde liegende Optimierung so gut funktioniert. „Wir verstehen die Dynamik des Trainings neuronaler Netze nicht“, sagt er. „Zumindest nicht in dem Maßstab, den wir in der Praxis sehen.“

Das sei vor allem bei sicherheitskritischen Anwendungen von Bedeutung, wo Algorithmen nicht verantwortungsvoll eingesetzt werden könnten, ohne Garantien dafür zu haben, wann man ihnen vertrauen kann, welche Bedingungen ihr Erfolg voraussetzt und wo ihre Grenzen liegen.

Díaz weist außerdem darauf hin, dass KI Arbeit, für die früher Monate oder Jahre nötig waren, in wenigen Tagen erledigen kann, daher „sollte die Messlatte jetzt deutlich höher liegen“. Er fordert mehr Ehrgeiz bei den Fragen, die sich Forschende zu stellen trauen.

Was er an der UChicago vorhat

Díaz sagt, ihn habe an der UChicago angezogen, dass dort Ideen und Diskurs geschätzt werden. „Die UChicago ist eine Institution, die die Qualität intellektueller Ideen wirklich höher bewertet als etwa die Zahl der Zitierungen“, sagt er.

Er hofft, interdisziplinäre Kooperationen innerhalb und außerhalb des DSI aufzubauen. Nach seiner Arbeit mit Biomedizintechnikern in Hopkins will er mit Kolleginnen und Kollegen der School of Medicine zusammenarbeiten, besonders bei bildgebenden Verfahren, bei denen der zugrunde liegende Mechanismus selbst ein Optimierungsalgorithmus ist. Die Studierenden und die Fakultät des DSI beschreibt er als „absolut fantastisch“.