InstructMesh: Auch Laien können fehlerhafte KI-generierte 3D-Modelle vor dem Druck reparieren

Warum KI-generierte 3D-Entwürfe oft scheitern

MIT News beschreibt eine bekannte Frustration. Wer ein generatives KI-System um einen 3D-druckbaren Becher bittet, bekommt womöglich eine Tasse, in der sich kein Kaffee halten lässt. Die Modelle erfassen das Aussehen, aber nicht die Funktion, was zu unpraktischen Entwürfen führt. Die Fehler zu beheben ist zudem schwierig, da sich solche Modelle meist nur schwer bearbeiten lassen, besonders für Einsteiger im 3D-Design.

InstructMesh soll beide Probleme lösen. Nutzer können per Prompt einen 3D-Entwurf erzeugen, zum Beispiel eine Brille, und anschließend gezielt Teile des Entwurfs markieren, die sie vor dem 3D-Druck verfeinern möchten. Die Oberfläche soll verstehen, wie die Entwürfe aussehen sollen und welche Änderungen Profis und Laien vornehmen wollen.

Funktionsweise und Ergebnisse

Das System kombiniert Microsofts TRELLIS, das aus Text- und Bild-Prompts 3D-Modelle erstellt, mit dem Sprachmodell GPT-4, auf dem ChatGPT basiert. Faraz Faruqi, Erstautor der Studie und kürzlich noch mit CSAIL verbunden, sagte: "Wir wollten die Fähigkeiten von 3D-Generatoren und die Schlussfolgerungsfähigkeiten von LLMs in einem interaktiven Raum zusammenbringen, um Objekte zu schaffen, die Menschen tatsächlich haben wollen."

Faruqi erklärte, die Bearbeitung finde im latenten Raum des generativen Modells statt. InstructMesh "unterstützt daher die Beschreibung von Problemen in natürlicher Sprache und erzeugt interpretierende Änderungen an der Geometrie, die der Nutzer prüfen und freigeben kann". Mit Schiebereglern lassen sich Anpassungen wie das Vergrößern oder Extrudieren eines Modellteils präziser steuern.

Die Forscher nutzten das Werkzeug, um einen Becher zu gestalten, der von einem Drachen umschlungen scheint und dessen Schwanz als Henkel dient, außerdem eine glänzend blaue Pfeife in Muschelform und eine Brille mit Schmetterlingsflügeln über dem Glas. Dazu entstanden ein krakenartiger Spender, der Getränke in mehrere Tassen gleichzeitig einschenkt, und eine Knieorthese in Jeansoptik, passend zur Hose eines Patienten. Ein "Bristle Bot" in Form einer bunten Garnele mit eingebautem Motor rutscht beim Einschalten über Oberflächen.

Test mit Neulingen

Um zu prüfen, wie Einsteiger zurechtkommen, ließ das Team TRELLIS beliebte Modelle von Thingiverse nachbauen, einer Plattform mit Millionen 3D-druckbarer Modelle. Fast 80 Prozent der erzeugten Modelle wiesen in irgendeiner Form strukturelle Mängel auf. CSAIL-Forscher baten anschließend Laien, diese Probleme in InstructMesh zu erkennen und zu beheben. Das gelang ihnen in rund 90 Prozent der Fälle, wie ein Experte bestätigte.

Die Teilnehmer gestalteten danach Dinge wie Handyständer und Vasen und fanden das Werkzeug leicht bedienbar. Sie sahen darin zudem die Möglichkeit, ein breites Spektrum an Ideen auszudrücken.

Wie es weitergeht

Faruqi arbeitet inzwischen bei Google und könnte InstructMesh bald in eine Augmented-Reality-Plattform integrieren. Die Idee: Man beschreibt, was man braucht, im Kontext der eigenen Umgebung und lässt es schnell 3D-drucken, etwa eine Handyhülle, die zum eigenen Portemonnaie passt. Das Werkzeug könnte außerdem Physiksimulationen erhalten, um zu modellieren, wie ein Entwurf auf bestimmte Nutzung reagiert, etwa ob eine Schüssel beim Herunterfallen zerbricht und welche Materialien sich am besten eignen. Auch das neuere TRELLIS.2 könnte eingebunden werden, um noch kleinere Details zu verfeinern.

Stefanie Mueller, Associate Professor am MIT und Mitglied von CSAIL, ist Seniorautorin. Die Arbeit wurde unter anderem von Google und dem MIT-HPI Collaborative Research Program unterstützt und wird im November auf dem ACM Symposium on User Interface Software and Technology vorgestellt.

Für Einsteiger in die 3D-Modellierung deuten die Ergebnisse darauf hin, dass geführte, sprachbasierte Bearbeitung es realistisch macht, Designfehler vor dem Druck zu erkennen statt erst nach einem misslungenen Druck.