Robotikai program keretében japán kutatók kifejlesztették a világ első akusztikus jeleket nehéz körülmények között, kamerák számára használhatatlan terepen is detektáló rendszerét. Három elemre épül: a mikrofontömb-technológia a robot füle, a láthatatlan hangokat speciális interfész vizualizálja, a mikrofontömb pedig még esőben is könnyedén csatlakoztatható a drónhoz.

A Tokiói Technológiai Intézetben 2000 óta foglalkoznak robotok hallásával. Addig csak úgy hallottak valamit, ha a beszélő szájához közel tettek egy mikrofont. A mai álláspont, hogy a robotoknak ugyanúgy kell hallaniuk, mint az embernek, azaz saját fülükkel. Az ezirányú k+f tevékenység főként három területre összpontosít: értelemszerűen robotikára, valamint jelfeldolgozásra és mesterséges intelligenciára.

A fülekhez a hangforrást lokalizáló, a forrásokat szétválasztó és automatikus beszédfelismerő technológia kell, mert ezek nélkül a robot nem tudja, honnan jön a hang, illetve nem képes megkülönböztetni a háttérzajoktól. A Tokió Tech és más egyetemek közös megoldása több személy szimultán beszédét is elkülöníti egymástól.

Bemutatón szemléltették: 11 személy egyszerre rendelt ételt, egy versenyen pedig szimultán többen válaszoltak meg kérdéseket.

A technológia alapján fejlesztett rendszer rendeltetése katasztrófaáldozatok gyorsabb lokalizálása drón segítségével.

A mikrofontömb-technológiát, egy 2008-as fejlesztése óta évente frissített nyílt forrású szoftvert beágyazott használatra bővítették, miközben megőrzi hatékony hangfelismerő képességét. A legújabb változatot drónba integrálták, és közben rájöttek, hogy a hangfeldolgozás a mikrofon belsejében is történhet, így a jeleket nem kell állomásra továbbítani. A továbbított adat mennyisége ezzel drasztikusan, ezredrészére csökkent, így pedig még a drón által generált zajban is működik a hangfelismerés.

A 3D hangforrás-lokalizáló térképszerű kijelzővel működik, amely láthatatlan hangforrásokból könnyen kezelhető vizuális felhasználói felületként funkcionál.

Az időjárás-biztos mikrofontömb 16 mikrofonját egyetlen kábel köti össze, hogy könnyen lehessen drónra telepíteni. Ez a technológia tesz lehetővé rossz időben is eredményes keresési és mentési műveleteket. A műveletekhez majdnem mindig drónokat használnak, sok esetben viszont a kamerák nem segítenek. Ekkor kell hangok után kutakodni, és az új japán megoldás ilyenkor tehet felbecsülhetetlen szolgálatot.

A kutatók hamarosan a hangforrás-típusokat csoportosító módszeren kezdenek el dolgozni, és különböző drónfajtákhoz csatlakoztatható intelligens szenzorokat szintén terveznek fejleszteni.