Amikor gyerekként beszélni tanulunk, senkit nem izgat, hogy elmagyarázza nekünk a főnevek és az igék közti különbséget, mondatbeli elhelyezésüket stb. A komputereket mégis így tanítjuk ahhoz, hogy megértsék a nyelvet.

Szavak szerkezetét és jelentését elmagyarázó jegyzeteket fűzünk mondatokhoz, majd ezeket a mondatokat használjuk mondattani (szintaktikai) és jelentéstani (szemantikai) elemzőrendszerek gyakoroltatásához. Az elemzők hangfelismerőket, például az Amazon Alexáját segítik a természetes nyelv megértésében. A folyamat egyrészt időigényes, másrészt kisebb nyelvek estében különösen sok a nehézség.

Az MIT (Massachusetts Institute of Technology) Számítástudomány és Mesterséges Intelligencia Laboratórium (CSAIL), valamint az Agyak, Elmék és Gépek Központ (CBMM) kutatói új módszert dolgoztak ki elemzők gyakoroltatásához. Gyerekek nyelvtanulását utánozva, a rendszer videókat figyel meg, a szavakat előre felvett cselekvésekhez és tárgyakhoz társítja. Így talán könnyebb a tanulás és a gyakorlás, és javulhat az ember-robot interakció.

Például ilyen elemzővel rendelkező robot környezete megfigyelésével jobban megérthet szóbeli utasításokat, ráadásul még akkor is, amikor az utasítások egyáltalán nem világosak.

Rendszerüket szemantikus elemző és gépilátás-komponens összekombinálásával hozták létre. A gépilátás-elemet betanították, hogy tárgyakat, embereket és cselekvéseket ismerjen fel videókon.

A következő lépésben emberi cselekvéseket ábrázoló 400 videós adatsort dolgoztak ki. A Mechanikus Török közösségi ötletbörze (crowdsourcing) platform felhasználói 1200 feliratot írtak a videókhoz; 840-et gyakorlásra és a rendszer finomhangolására, a maradékot tesztelésre használták.

Az elemző szavak és a videókon látható tárgyak, cselekvések társításával tanulja meg a mondatszerkesztést. Gyakorlás után videó nélkül is pontosan megmondja egy-egy mondat jelentését. Mivel feliratos videókkal könnyebb annotált mondatokat generálni, ezzel a módszerrel leegyszerűsödik az elemzőrendszerek betanítása.

Az új megközelítés más szempontból szintén hasznos lehet, segítségével jobban megérthetjük, hogyan sajátítják el a gyerekek a nyelvet.