In komplekse omgewings kan mense die betekenis van spraak beter verstaan as KI, want ons gebruik nie net ons ore nie, maar ook ons oë.
Byvoorbeeld, ons sien iemand se mond beweeg en weet dalk intuïtief dat die geluid wat ons hoor van daardie persoon af moet kom.
Meta KI werk aan 'n nuwe KI-dialoogstelsel, wat KI moet leer om ook subtiele korrelasies te herken tussen wat dit in 'n gesprek sien en hoor.
VisualVoice leer op 'n soortgelyke manier as hoe mense leer om nuwe vaardighede te bemeester, wat oudiovisuele spraakskeiding moontlik maak deur visuele en ouditiewe leidrade uit ongeëtiketteerde video's te leer.
Vir masjiene skep dit beter persepsie, terwyl menslike persepsie verbeter.
Stel jou voor dat jy saam met kollegas van oor die hele wêreld aan groepvergaderings in die metaverse kan deelneem, en by kleiner groepvergaderings kan aansluit terwyl hulle deur die virtuele ruimte beweeg, waartydens die klankgalm en timbres in die toneel volgens die omgewing aanpas.
Dit wil sê, dit kan gelyktydig oudio-, video- en teksinligting verkry, en het 'n ryker omgewingsbegripmodel, wat gebruikers toelaat om 'n "baie wow"-klankervaring te hê.
Plasingstyd: 20 Julie 2022
