InstructMesh: MIT, Google und Northeastern University wollen KI-generierte 3D-Modelle ohne CAD-Kenntnisse druckfertig reparieren

Das Forschungssystem InstructMesh von MIT, Google und Northeastern lässt Nutzer fehlerhafte Stellen KI-generierter 3D-Modelle markieren und per Text korrigieren. In einer Studie mit zwölf Anfängern wurden 89,7 % der Fehler behoben.

InstructMesh ist ein Forschungssystem von MIT, Google und der Northeastern University, mit dem Nutzer KI-generierte 3D-Modelle ohne CAD-Kenntnisse vor dem Druck reparieren können. Das Projekt beschreibt ein Paper mit dem Titel „InstructMesh: Selective Refinement of Generative 3D Models for Fabrication“.

Das Problem ist bekannt: KI-Generatoren liefern Objekte, die gut aussehen, aber nicht funktionieren. Ein Becher mit geschlossener Öffnung ist ein typisches Beispiel. Die Modelle erfassen, wie ein Objekt aussieht, nicht aber, wie es in der realen Welt funktioniert. Für Hobby-Maker heißt das: Ein Modell aus dem KI-Generator sieht im Render gut aus, lässt sich aber oft nicht ohne Weiteres drucken oder nutzen. Wer bisher solche Modelle verwenden wollte, musste sie in klassischer CAD- oder Modellierungssoftware nacharbeiten, was ein eigenes Können voraussetzt.

Wie InstructMesh arbeitet

Nutzer markieren im generierten Modell die problematische Region und beschreiben, was sich ändern soll, etwa eine verschlossene Öffnung oder eine zu dünne Wand. GPT-4 interpretiert diese Anweisung und wählt eine von sechs Geometrieoperationen mit passenden Parametern: Extrusion, Erweiterung, Füllen, Trimmen, Erosion und Glätten. Diese Operationen können in ausgewählten Bereichen Material hinzufügen oder entfernen. Die Änderungen wirken auf die interne Voxel-Darstellung von Microsofts TRELLIS, das anschließend das Mesh neu erzeugt. Vor der Übernahme können Nutzer die Änderung in einer Vorschau prüfen und mit Schiebereglern anpassen.

Laut Herstellerangabe der Forscher kombiniert das System also die Stärken beider Modelle: TRELLIS erzeugt 3D-Formen, GPT-4 übernimmt die Interpretation der Wünsche. Die KI muss dabei keine komplizierte Geometrie erfinden, sondern nur den Wunsch des Nutzers deuten und aus einer begrenzten Auswahl bekannter Operationen wählen.

Die Forscher zeigten damit auch gestalterische Möglichkeiten: Ein Becher, der von einem Drachen umschlungen wirkt, dessen Schwanz als Henkel dient, eine Pfeife in Muschelform und eine Brille mit Schmetterlingsflügeln oberhalb der Gläser. Außerdem entstand ein oktopusförmiger Spender, bei dem Flüssigkeit aus jedem Tentakel fließt, um mehrere Becher gleichzeitig zu befüllen. Laut MIT CSAIL wurde zudem ein Knieschoner im Jeans-Look für einen Patienten gefertigt, und ein „Bristle Bot“ in Garnelenform zeigt, wie sich Elektronik in einem Gehäuse unterbringen lässt.

Wie groß ist das Problem?

Für die Untersuchung rekonstruierten die Forscher 120 beliebte Thingiverse-Modelle mit TRELLIS aus gerenderten Bildern. 78,3 % der Ergebnisse hatten geometrische Fehler, im Schnitt 2,4 pro Modell. Am häufigsten waren:

unerwünschte Geometrie: 65,8 % der Modelle
fehlende Öffnungen: 48,6 %
falsche Aushöhlung: 36,9 %

Die Fehler sind nicht nur kosmetisch. Eine Pfeife ohne innere Kammer, ein Becher mit verdeckter Öffnung oder ein mechanisches Bauteil, bei dem zwei bewegliche Teile verschmolzen sind, sehen im Render plausibel aus und wären nach dem Druck unbrauchbar.

In einer Studie mit zwölf Teilnehmern ohne CAD-Erfahrung erkannten diese laut einer unabhängigen Expertenbewertung 90,4 % der sichtbaren Fertigungsprobleme und reparierten 89,7 % der markierten Fehler.

Testdrucke und Grenzen

Die Forscher druckten mehrere korrigierte Objekte auf einem Stratasys J55, darunter einen drachenförmigen Becher, eine Pfeife, eine Brillenfassung und einen oktopusförmigen Flüssigkeitsspender. Laut den Forschern begrenzt die grobe Voxel-Auflösung die kleinsten Strukturen, die sich ändern lassen: Unterhalb eines Voxels ist nichts bearbeitbar. Bewegliche Präzisionsteile wie Gelenke können nicht bearbeitet werden, und das System setzt voraus, dass Nutzer Fehler selbst erkennen.

Ein Fabbaloo-Autor sieht darin einen möglichen Wandel für KI-gestützten 3D-Druck: Künftige KI-Designsysteme könnten solche interaktiven Korrekturen zunehmend integrieren. Das ist allerdings eine Einschätzung, keine belegte Entwicklung.

Offen ist, ob und wann Code oder Software veröffentlicht wird; die Quellen nennen dazu keine Angaben. Die Ergebnisse stammen aus Berichten zum Forschungspaper, das wir nicht unabhängig geprüft haben. Die Studie mit zwölf Teilnehmern ist klein.

Wer sich mit dem Thema Modelle aus KI-Generatoren beschäftigt, findet im Blog weitere Hintergründe zur CAD-Software-Landschaft, etwa im Beitrag zur CAD-Runde mit SolveCraft, ShapeAnywhere, NVIDIA und Extrudio.