Az agytevékenység komplex és dinamikus képi megjelenítése mind a gépi tanulás, mind az idegtudományok egyik legnagyobb kihívása. Egy új fejlesztés sokat segíthet.

Mi lehet ijesztőbb a Doctor Who? sci-fi tévéfilmsorozat képeinél? Például a megtekintése közben a nézők agyában végbemenő folyamatok vizuális megjelenítése.

A holland és német kutatók által fejlesztett Brain2Pix rendszer az ő agytevékenységükről készült szkenek alapján pontosan ezeket vizualizálja.

Az agy egymás melletti idegsejteket használ szintén egymás melletti vizuális jegyek reprezentálására. A konvolúciós ideghálók ideálisak hozzá, mert kiváló teljesítményre képesek térbeli mintázatok megtalálásában, használatában, amelyekkel aztán képeket generálnak. Aktív idegsejtek agyszkeneken megfigyelhető térbeli kapcsolataiból tudják rekonstruálni a kapcsolódó képeket. (A többi ideghálótól nagymértékben különböző, főként képfeldolgozási funkciókkal rendelkező, de videóval és hanggal is elboldoguló konvolúciós ideghálók a bemenő adatot ahelyett, hogy egészében értelmeznék, részleteiben szkennelik le.)

A kutatók ilyen megoldással, funkcionális mágneses rezonanciás képkészítésen (fMRI) alapuló generatív ellenséges hálózattal (GAN) dolgoztak képről képre. Az agyban történő véráramlást ábrázoló szkenek az idegsejtek aktivitását jelzik. A GAN-t a Doctor Who fMRI-n, a sorozat 30 epizódjából kigyűjtött képkockákon (frames) és a nézők fMRI-jét tartalmazó adatsoron gyakoroltatták.

Minden egyes 3D szkent az agy különféle területeit megjelenítő 2D képpé konvertáltak. A GAN egymással „ellenséges” két hálójából az egyik, a generátor munkáját folyamatosan bíráló megkülönböztető dönti el, hogy a kép az eredeti sorozatból származik, vagy a generátor munkája. Utóbbit úgy gyakoroltatták, hogy megtévessze a megkülönböztetőt.

Ezt két beépített funkcióval, egyrészt a videó képkocka és a létrehozott kép közötti pixelértékek, másrészt a megjelenítések közötti különbségek minimalizálásával éri el. A generátor hálózati rétegei segítettek az agyról készült szkenek térbeli mintázatainak megőrzésében, és a hosszú visszacsatolásos folyamat (képgenerálás, bírálat, újabb képgenerálás, újabb bírálat, mindaddig, amíg a két kép meg nem egyezik egymással) végén sikerrel járt.

A kutatók a Brain2Pix képeket és a Doctor Who képkockák közötti különbségeket összehasonlítva, minden eddiginél jobb eredményt kaptak.