Et team ved University of Tokyo har avduket Alter3, en humanoid robot som kan utføre bevegelser ved hjelp av GPT-4 Large Language Model (LLM). Alter3 bruker det nyeste verktøyet Åpne AI å dynamisk innta forskjellige positurer, fra en selfie-positur til ghosting, alt uten behov for forhåndsprogrammerte databaseoppføringer.
"Alter3s respons på samtaleinnhold ved bruk av ansiktsuttrykk og gester er et betydelig fremskritt innen humanoid robotikk som lett kan tilpasses andre androider med minimale endringer," sa forskerne.
Innenfor LLM-integrasjon med roboter er fokuset på å forbedre grunnleggende kommunikasjon og modellering av realistiske svar. Forskere fordyper seg også i LLMs evner for å gjøre roboter i stand til å forstå og utføre komplekse instruksjoner, og dermed øke funksjonaliteten deres.
Tradisjonelt ledelse på lavt nivå virker er knyttet til maskinvare og ligger utenfor LLM-selskapenes virkeområde. Dette skaper vanskeligheter for direkte styring av LLM-baserte verk. For å løse dette problemet har det japanske teamet utviklet en metode for å konvertere uttrykk for menneskelige bevegelser til kode som er forståelig for Android. Dette betyr at roboten uavhengig kan generere sekvenser av handlinger over tid uten at utviklere trenger å programmere hver kroppsdel individuelt.
Under interaksjonen kan en person gi Alter3-kommandoer som "Ta en selfie med din iPhone". Deretter initierer roboten en rekke forespørsler til GPT-4 for å få veiledning om de nødvendige trinnene. GPT-4 vil oversette dette til Python-kode som lar verket "forstå" og utføre de nødvendige bevegelsene. Denne innovasjonen lar Alter3 bevege overkroppen mens underkroppen forblir stasjonær, festet til stativet.
Alter3 er den tredje iterasjonen i Alters serie med humanoide roboter siden 2016, med 43 aktuatorer som er ansvarlige for ansiktsuttrykk og lembevegelser drevet av trykkluft. Denne konfigurasjonen gir et bredt spekter av uttrykksfulle bevegelser. Roboten kan ikke gå, men den kan imitere typiske gå- og løpebevegelser.
Alter3 demonstrerte også evnen til å kopiere menneskelige positurer ved hjelp av kameraet og OpenPose-rammeverket. Roboten justerer leddene til de observerte stillingene og lagrer vellykkede imitasjoner for senere bruk. Interaksjon med et menneske førte til mer varierte stillinger, og støttet ideen om at forskjellige bevegelser kommer fra å imitere mennesket, på samme måte som nyfødte lærer gjennom imitasjon.
Før LLM måtte forskere nøye kontrollere alle de 43 aktuatorene for å gjenskape en persons positur eller simulere en oppførsel, som å servere te eller spille sjakk. Dette krevde mange manuelle justeringer, men AI bidro til å frigjøre teamet fra denne rutinen. "Vi forventer at Alter3 effektivt engasjerer seg i dialog ved å vise kontekstrelevante ansiktsuttrykk og gester. Det demonstrerte evnen til å speile følelser, for eksempel å vise tristhet eller lykke som svar, og dermed dele følelser med oss, sier forskerne.
Les også: