A közismert mondás szerint egy kép ezer szóval ér fel. De mi van akkor, ha meg sem tudjuk mondani, hogy mit látunk rajta? Homályos családi fotóktól iskolai fényképekig, sokszor nehéz megállapítani, hogy pont mire is gondolhatnak a megörökített személyek.

Gépi tanulás, ideghálókon alapuló mélytanulás (deep learning) segítségével a Delaware Egyetem (UD) egyik kutatócsoportja úgy tűnik, képes megválaszolni a bonyolult kérdéseket. Tömegből arcokat kiszúrni is nehéz, érzelmi állapotuk azonosítása pedig még nagyobb kihívás. (A győzteseket a 2018 októberében tartott ACM Nemzetközi Konferencia a Multimodális Interakcióról rendezvényen hirdették ki.)

A Xin (Cindy) Guo doktorandusz által vezetett DE-csapat első helyet ért el a Hatodik Érzelem-felismerés a vadonban (EmotiW 2018) három kategóriájának egyikében, a csoportszintű érzelem-felismerésben.

A csapatoknak embercsoportot ábrázoló képsort adtak, és a fotókon látható személyeket érzelmi állapotuk alapján boldognak, közömbösnek vagy negatívnak osztályozó algoritmust kellett fejleszteniük.

Másfél hónapjuk és hét próbálkozásuk volt a lehető legpontosabb algoritmus kidolgozására.

Az UD győztes megoldása kacifántos címet kapott: arcokon, jeleneteken, testvázon és képi figyelmen alapuló vegyes mély modellt használó csoportszintű érzelem-felismerés.

A kutatók hét különböző modellt összekapcsolva dolgozták ki az eltérő felbontású, homályostól a kristálytiszta fényképekig, szinte mindenen dolgozó algoritmust.

A kutatás célja honlapokra feltöltött képek automatikus osztályozása.

„Ha keresünk, azért fogjuk látni a keresett képeket, mert az algoritmus lefut és felcímkézi, hogy az adott személyek boldogok, vagy sem. Tüntetésen, partin, esküvőn vagy például találkozón megörökített embercsoportok érzelmeinek elemzésére használható. A technológia továbbfejleszthető arra is, hogy az algoritmus megmondja: milyen típusú eseményt ábrázol egy adott kép” – magyarázza Guo.