Fredag har forskere fra NVIDIA annonserte Magic3D - en kunstig intelligensmodell som kan generere 3D-modeller fra tekstbeskrivelser. Etter å ha lagt inn en ledetråd, for eksempel «En blå pilegiftfrosk som sitter på en vannlilje», genererer Magic3D en 40D mesh-modell komplett med fargetekstur på omtrent XNUMX minutter. Med modifikasjoner kan den resulterende modellen brukes i videospill eller kunstscener i CGI-format.
I sin vitenskapelige artikkel NVIDIA ser på Magic3D som et svar på DreamFusion, tekst-til-3D-modellen som Google-forskere annonserte i september. Akkurat som DreamFusion bruker en tekst-til-bilde-modell for å lage et 2D-bilde som deretter optimaliseres til volumetriske NeRF (Neural radiance field) data, bruker Magic3D en to-trinns prosess som tar en grov modell laget med lav oppløsning og optimaliserer den til en høyere oppløsning. I følge forfatterne av artikkelen kan den resulterende Magic3D-metoden generere tredimensjonale objekter dobbelt så raskt som DreamFusion.
Magic3D kan også utføre on-the-fly redigering av 3D-masker. Med en 3D-modell med lav oppløsning og et grunnleggende verktøytips kan du endre teksten for å endre den resulterende modellen. Magic3D demonstrerer også bevaring av det samme plottet over flere generasjoner (et konsept som ofte kalles koherens) og bruken av en 2D-bildestil (som et kubistisk maleri) på en 3D-modell.
NVIDIA ga ikke ut noen Magic3D-kode med forskningsarbeidet hennes.
Evnen til å generere 3D fra tekst virker som en naturlig utvikling i moderne diffusjonsmodeller, som bruker nevrale nettverk for å syntetisere nytt innhold etter intensiv trening på en rekke data. Det var først i 2022 at vi så fremveksten av kraftige tekst-til-bilde-modeller som DALL-E og Stable Diffusion, samt rudimentære tekst-til-video-generatorer fra Google og Meta.
Når det gjelder Magic3D, håper forskerne bak den vil tillate hvem som helst å lage 3D-modeller uten behov for spesiell opplæring. Når den er raffinert, kan den resulterende teknologien akselerere utviklingen av videospill (og virtuell virkelighet), og kan etter hvert finne bruk i spesialeffekter for film og TV. På slutten av artikkelen skriver de: "Vi håper at med Magic3D kan vi demokratisere 3D-syntese og låse opp alles kreative potensiale i å lage 3D-innhold."
Du kan hjelpe Ukraina med å kjempe mot de russiske inntrengerne. Den beste måten å gjøre dette på er å donere midler til Ukrainas væpnede styrker gjennom Redd livet eller via den offisielle siden NBU.
Les også:
- I Sverige lærte de å skrive ut mikroelektronikk på 3D-printere
- Støv kan brukes til 3D-printing på Mars