Az Neumann Társaság blogja a legfejlettebb infokom technológiákról

Jelenből a Jövőbe

Jelenből a Jövőbe

Emberi agyhullámokból olvas ki szavakat és mondatokat a mesterséges idegháló

2021. augusztus 24. - ferenck

Balesetek, súlyos betegségek és más tragédiák miatt nagyon sokan elveszítik kommunikációs készségüket. Hosszú évek óta kísérleteznek az ezeket a velünk született adottságokat valamilyen szinten helyreállító technológiákkal. Például természetes nyelvi modellekkel igyekeznek visszaadni a legtermészetesebb kommunikációs formát, a beszédet.

Teljes áttörés ugyan még nincs, és a fejlesztések elején tartunk, de mindenesetre azok egyre ígéretesebbek.

brain_1.jpg

Kaliforniai kutatók egy, a beszédkészségét másfél évtizede elvesztett személy agyában lévő elektromos impulzusok értelmezésére, és a jelek szavak formájában, videó-kijelzőn történő megjelenítésére tanítottak be egy rendszert.

A UC Berkeley és a UC San Francisco szakemberei 128 elektródás szerkezetet ültettek az illető agyának a száj, az ajkak, az állkapocs, a nyelv és a gége mozdulataiért felelős részébe.

A rendszer több mint egy évtized kutatás eredménye. A kutatásokat az agy neurológiai tevékenysége és a beszélt nyelv hangjai közötti kapcsolatokat vizsgáló Edward F. Chang idegsebész vezette.

brain0_1.jpg

Az implantátumot számítógéphez kapcsolták, majd megkérték a pácienst, hogy próbáljon elmondani ötven egyszerű szót és ötven egyszerű mondatot. Közben rögzítették az agytevékenységet.

A rendszert huszonkét óra hosszat gyakoroltatták a felvett anyagon.

Egyes részei a beszédhez kapcsolódó agytevékenységet térképezték fel. Több modellből álló más részei az ötven szó valamelyikeként osztályozták a beszédjeleket. Egy nyelvi modell előrejelezte, hogy egy adott szó mekkora valószínűséggel lesz a következő. Egy dekódoló algoritmus a modellek outputjaira alapozva, meghatározta az ötven legvalószínűbb mondatot.

A teszteken a rendszer percenként átlagosan 15,2 szót dekódolt, a mondatok „fordítását” 25,6 százalék átlagos hibarátával végezte.

Egy másik, BrainGate (AgyKapu) nevű projekt tudósai a kézírás szöveggé alakulása és az agyból érkező kapcsolódó jeleket vizsgálják.

A bejegyzés trackback címe:

https://jelenbolajovobe.blog.hu/api/trackback/id/tr6616637120
süti beállítások módosítása