Az ember ritkán használja csak az egyik érzékszervét a világ megértésére, míg a robotok általában látás, és az utóbbi időben egyre sűrűbben érintés alapján észlelik a környező valóságot. A pittsburghi Carnegie Mellon Egyetem (CMU) kutatói megállapították, hogy hallással jelentős mértékben növelhető a gépek érzékelési képessége.

Alapos felmérést végeztek a hang és a robotok cselekvései közötti interakciókról. Arra a következtetésre jutottak, hogy hang segítségével jobban megkülönböztetnek tárgyakat egymástól, például egy fém csavarhúzót egy szintén fém franciakulcstól.

A hallás abban is segíti őket, hogy rájöjjenek, milyen cselekvéseket, történéseket válthat ki egy hang, illetve „előrejelezzék” számukra ismeretlen tárgyak tulajdonságait.

Más területen végzett korábbi munkák már megállapították a hang jelentőségét, hogyan nyerhetnek ki belőle információt mesterséges intelligenciák, az viszont nem derült ki, hogy mennyire fontos a robotikában. A CMU tesztjei során a hallás alapján tevékenykedő robotok a tárgyak 76 százalékát sikeresen csoportosították.

Az eredmények annyira felbátorították a kutatókat, hogy elképzelhetőnek tartják robotok felszerelését hangszerféleséggel, hangalapú rudakkal, amelyekkel megkocogtatnák a felismerendő tárgyat.

A kutatáshoz hatalmas adatbázist készítettek, 60 hétköznapi tárgyról (kézi szerszámok, cipő, teniszlabda, alma stb.) szimultán vettek fel videó- és audioanyagot, miközben azok egy tálcán pörögtek, görögtek, és az oldalába ütköztek. A 15 ezer interakciót tartalmazó adatbázist azóta nyilvánossá tették, így más kutatók is tudják használni.

Az interakciókat egy robot karjához kapcsolt, Tilt-Bot nevű négyzet-alakú tálcával rögzítették. Amikor tárgyat tettek rá, a robot néhány óráig random irányokba mozgatta a tálcát, változó mértékben megdöntve azt. A kamerák és a mikrofonok minden egyes történést felvettek. De a robotot tálca nélkül is használták, tárgyak felületét kellett megkocogtatnia.

A robot általában akkor hibázott, amikor teljesen biztos volt, hogy csak hibázhat. Hang alapján például képtelenség egy piros és egy zöld kockát megkülönbözetni egymástól. Nem is sikerült neki, viszont, ha az egyik kockát pohárra cserélnék, hallásból tudná, hogy melyik a kocka, melyik a pohár.