){kind=link}
Forskere Apple har utviklet et kunstig intelligenssystem kalt ReALM (Reference Resolution as Language Modeling), som har som mål å radikalt forbedre måten stemmeassistenter forstår og reagerer på kommandoer.
I en forskningsartikkel Apple beskriver et nytt rammeverk for hvordan store språkmodeller adresserer problemet med referanseoppløsning, som inkluderer dechiffrering av tvetydige referanser til objekter på skjermen, samt forståelse av samtale- og bakgrunnskontekst. Som et resultat kan ReALM føre til en mer intuitiv og naturlig interaksjon med enheter.
Referansegjenkjenning er en viktig del av å forstå naturlig språk, og lar brukere bruke pronomen og andre indirekte referanser i samtale uten forvirring. For digitale assistenter har denne evnen historisk sett vært en betydelig utfordring, begrenset av behovet for å tolke et bredt spekter av verbale signaler og visuell informasjon. ReALM-systemet fra Apple har som mål å løse dette problemet ved å gjøre den komplekse prosessen med referansegjenkjenning til en ren språkmodelleringsoppgave. På denne måten kan hun forstå referansene til de visuelle elementene som vises på skjermen og integrere denne forståelsen i samtaleflyten.
ReALM rekonstruerer den visuelle strukturen til skjermen ved hjelp av tekstrepresentasjoner. Dette inkluderer å analysere skjermobjekter og arrangere dem for å lage et tekstformat som gjenspeiler innholdet og strukturen på skjermen. Forskere Apple fant at denne strategien, kombinert med spesiell innstilling av språkmodeller for benchmark-oppløsningsproblemer, overgår tradisjonelle metoder betydelig, inkludert OpenAIs GPT-4-funksjoner.
ReALM kan gjøre det mulig for brukere å samhandle mye mer effektivt med digitale assistenter basert på det som for øyeblikket vises på skjermen, uten behov for presise, detaljerte instruksjoner. Dette kan gjøre taleassistenter mye mer nyttige i ulike situasjoner, for eksempel å hjelpe sjåfører med å navigere i infotainmentsystemer mens de kjører eller hjelpe brukere med funksjonshemminger ved å tilby enklere og mer nøyaktige metoder for indirekte interaksjon.
Apple har allerede publisert flere forskningsartikler innen AI. I forrige måned avduket selskapet en ny metode for å lære store språkmodeller som sømløst integrerer både tekstlig og visuell informasjon. Det er forventet at Apple vil introdusere en rekke AI-funksjoner på WWDC-konferansen i juni.
Les også: