Når vi hører kunstig intelligens og maskinlæring, ser vi for oss en datamaskin som kan tenke og lære selv. Altså praktisk talt som menneske.
Vi oppfatter verden gjennom en kombinasjon av flere sanser, som syn, hørsel og talegjenkjenning. Men maskiner tolker verden ved hjelp av data behandlet av algoritmer. Det vil si at når maskinen ser et bilde, oversetter den det til et sett med metadata som den bruker til å utføre oppgaven. Og hvis du kompliserer oppgaven, det vil si hvor det vil være lyd i tillegg til bildet, begynner AI å gå seg vill.
"Hovedproblemet her er hvordan kan en maskin forene disse forskjellige modalitetene? Det er lett for oss mennesker. Vi ser en bil, og så hører vi lyden av en bil som kjører forbi, og vi vet at det er det samme. Men for maskinlæring er ikke alt så enkelt.", — sa Oleksandr Liu, en hovedfagsstudent ved Computer Science and Artificial Intelligence Laboratory (CSAIL) og den første forfatteren av en artikkel viet dette problemet.
Liu og kollegene hans utviklet en kunstig intelligensmetode som lærer å representere data på en måte som fanger opp konsepter som er felles for visuelle og lydmodaliteter. Metoden deres kan for eksempel lære at handlingen til et barn som gråter i en video er relatert til ordet "gråter" i et lydklipp. Ved å bruke denne kunnskapen kan maskinlæringsmodellen deres bestemme hvor en bestemt handling skjer i en video og oppdage den.
Denne metoden kan en dag bli brukt til å hjelpe roboter å lære om konsepter i verden gjennom persepsjon, mer som hvordan mennesker gjør. Modellen har fortsatt noen begrensninger som forskerne håper å ta tak i i fremtidig arbeid. Så langt har forskningen deres fokusert på data fra to modaliteter samtidig, men i den virkelige verden står folk samtidig overfor mange datastrømmer som de behandler uten å tenke. Maskiner har ennå ikke lært dette.
Du kan hjelpe Ukraina med å kjempe mot de russiske inntrengerne. Den beste måten å gjøre dette på er å donere midler til Ukrainas væpnede styrker gjennom Redd livet eller via den offisielle siden NBU.
Les også: