Utviklingen av humanoide roboter har gått sakte i de siste to tiårene, men den siste tiden har vi sett flere og flere gjennombrudd på dette feltet. Som vi nylig skrev, ble en AI-robot presentert på MWC 2024 Amerika, og en annen utvikling, Unitree H1, slo fartsrekorden blant humanoide roboter. Og nå har et spektakulært resultat av samarbeidet mellom selskapene Figur AI og OpenAI dukket opp på Internett - en fantastisk video av en humanoid robot som nå kan holde samtaler med mennesker.
Startup Figur AI ga ut en video som viser Figur 01-roboten som arbeider med den nye Visual Language Model (VLM). I den står figur 01 ved et bord der det er en tallerken, et eple og en kopp. Det er en tørketrommel på venstre side. Og på spørsmålet om en person, hva roboten ser foran seg, svarer han ved å beskrive i detalj alt som ligger på bordet.
Og så spør mannen om han kan spise noe, og roboten svarer: "Selvfølgelig", og så tar han med en behendig jevn bevegelse eplet og gir det til mannen. Etter det kommer nok en fantastisk demonstrasjon - en mann heller sammenkrøllet søppel fra en kurv foran figur 01 og ber roboten forklare hvorfor han gjorde dette, og samtidig samle søppelet i kurven. Og han forklarer «tanken» mens han legger papiret tilbake i søpla. "Så jeg ga deg et eple fordi det er den eneste spiselige gjenstanden jeg kunne gi deg fra bordet," sa roboten.
Bedriftsrepresentanter forklarte at figur 01 bruker en forhåndstrent multimodal modell OpenAI, VLM, for å forstå bilder og tekster, og er avhengig av talemeldinger for å generere svarene. Dette er forskjellig fra for eksempel OpenAIs GPT-4, som fokuserer på skriftlige spørsmål.
Den bruker også det selskapet kaller "lærte bimanuelle manipulasjoner på lavt nivå." Systemet koordinerer nøyaktig bildekalibrering (ned til pikselnivå) med dets nevrale nettverk for bevegelseskontroll. "Disse nettverkene mottar bilder ved 10 Hz og genererer 24-DOF-handlinger (håndleddsposisjoner og fingerleddsvinkler) ved 200 Hz," sa Figur AI i en uttalelse.
Selskapet hevder at hver oppførsel i videoen er basert på systemlæring, så ingen bak kulissene trekker i trådene til figur 01. Selvfølgelig er det en nyanse - det er ikke kjent hvor mange ganger roboten gikk gjennom denne prosedyren. Kanskje det var hundre gang, noe som forklarer hans presise bevegelser. Men uansett ser denne prestasjonen spektakulær og litt fantastisk ut.
Figur 01 fullfører nå oppgaver i den virkelige verden
Alt er autonomt:
-Autonom navigasjon og kraftbasert manipulasjon
- Lært visjonsmodell for søppeldetektering og prioritering
- Reaktiv bingemanipulering (robust å posere variasjon)
- Generaliserbar til andre plukke/plassere oppgaver pic.twitter.com/0wFmYnq0GC— Figur (@Figure_robot) Februar 26, 2024
Les også: