Az Neumann Társaság blogja a legfejlettebb infokom technológiákról

Jelenből a Jövőbe

Jelenből a Jövőbe

Maszkon keresztül is olvas a szájról a következőgenerációs hallókészülék

2022. szeptember 12. - ferenck

Egy, a Glasgow Egyetem kutatói által vezetett nemzetközi csapat maszkot viselő beszélők szájáról is olvasó rendszert fejlesztett. Munkájuk a következőgenerációs hallókészülékeket vetíti előre.

Ma a világ lakosságának öt százaléka, kb. 430 millió személy visel a hallását segítő technológiát. Ezek a megoldások sok szempontból hasznosak, az újak széles spektrumon gyűjtik, majd a hang módosításával felerősítik az adatokat.

hallokeszulek.jpg

A Glasgow-i fejlesztés a rádiófrekvenciás érzékelés és mesterséges intelligencia kombinációja; a kettőt együtt most használják először ajakmozgások azonosítására. Ha a rendszert hagyományos technológiába integrálják, kezelni tudja azok egyik buktatóját, az úgynevezett koktélparti effektust.

A készülékek a környezeti zajok felerősítésével segítik viselőjüket. Ha viszont túl nagy a zaj, például egy koktélpartin, az erősítés olyan széles spektrumon történik, hogy nagyon nehéz speciális hangokra, például egy adott személyre összpontosítani.

hallokeszulek0.jpg

Az intelligens hallókészülék, a hagyományos darab és az erősítés pluszadatokat gyűjtő második eszközzel való kiegészítése. Ez az eszköz kamera is lehet, és a videoanyag segíthet, viszont személyiségi jogi (privacy) problémákat vet fel, ráadásul a maszkon keresztüli „beszédolvasás” így sem megy.

Mivel csak rádiófrekvenciás adatokkal dolgozik, videofelvételekkel viszont nem, az új technológia nem sérti meg a személyiségi jogokat.

A fejlesztésben önkéntesek is részt vettek, a kutatók férfiakat és nőket kértek meg az angol nyelv öt magánhangzójának (a, e, i, o, u) maszk nélküli és maszkos, többszöri kiejtésére. Arcukat rádiófrekvenciás jelekkel, radarérzékelő és wifi adó közreműködésével, illetve ajakmozgás nélkül is leszkennelték. Az arcok így nem azonosíthatók be.

Az összegyűjtött 3600 adatmintával gépi tanulás- és mélytanulás-algoritmusokat gyakoroltattak a magánhangzókhoz kapcsolódó jellegzetes ajak- és szájmozgások felismeréséhez. Mivel a rádiófrekvenciás jelek könnyedén „átmennek a maszkon”, az algoritmusok álarcot viselő személyek hangképzését is képesek „olvasni.”

A rendszer jól teljesített a teszteken. Wifi esetében maszk nélkül 95, maszkkal 80 százalékos pontossággal dolgozott. A radaradatokat maszk nélkül 91, maszkkal 83 százalékban azonosította.

A bejegyzés trackback címe:

https://jelenbolajovobe.blog.hu/api/trackback/id/tr9417929371
süti beállítások módosítása