Az utóbbi évek egyik legnyugtalanítóbb jelensége a tényeket tagadó, a valósággal köszönőviszonyban sem lévő, gyakran összeesküvés-elméleteken alapuló kamuhírek (fake news) gyors terjedése. A médiakorszak egyik tanulsága és egyben alapja, hogy a kép, különösen a mozgókép jóval hatékonyabb az írott szövegnél.

Kamuképeket régóta készítenek, a mostani technológia viszont egyre jobb minőséget garantál. Állóképek mellett bevett módszer filmekbe, videókba, reklámokba beilleszteni fejeket stb. Teljesen legális tevékenység, ugyanakkor a mesterségesintelligencia-megoldásokkal támogatott eljárás rossz célokra, megtévesztésre, félrevezetésre, személyek manipulálására is használható.

Az úgynevezett deepfake jelenség ezért okoz egyre több problémát. Érthető módon nő az igény az ezeket detektáló – általában szintén mesterségesintelligencia-alapú – technikák iránt.

Japán, szingapúri és kínai kutatók megállapították, hogy a valódi videókon látható fejek az azokon értelemszerűen nem látható folyamatos szívverés miatt különböztethetők meg a kamuvideóktól.

DeepRhythm nevű rendszerük a bőrfelületen a vérkeringés miatt keletkező változásokból indul ki. Ezek a változások mérhetők.

A mostani modellek nem veszik figyelembe a vérkeringés miatti módosulásokat, következményként a manipulált videók készítői szintén nem tudják figyelembe venni. Az újonnan fejlesztett rendszert viszont betanították rá, és így fel is ismeri a kamuvideókat.

A DeepRhythm két alrendszerből áll.

Az első a képkockákon és a vérkeringés hatására hangsúlyos területeken elkülöníti az arcokat. A szívritmus arcmozgásokra való hatásait vizsgáló korábbi kutatások eredményeit használták fel hozzá. Az arcszín apró változásainak pontosabb kimutatására a mozgásokat felnagyító két technikát dolgoztak ki. 

A másik alrendszer megvizsgálja őket, majd osztályozza a videókat. Az arcokat hálóra rendezi, aztán idegháló súlyozza a környezeti hatásokat, például az arcszín fény miatti változásait. Ezt követően két modell az egész hálón súlyozza a „hamisság-szintet.” Utána jöhet az osztályozás: kamu vagy igazi a videó?