A mélytanuláson (deep learning) alapuló felismerő-rendszerek általában sebezhetők, átverhetők inputként használt jól kiválasztott megtévesztő információkkal. A végeredmény, az output úgy változik meg, hogy az ember észre sem veszi.

Képfelismerésnél az eddigi gyakorlat alapján a pixeleken csak minimálisan módosítanak, de a trükk így is működik.

Google-kutatók egy másik módszert teszteltek. Abból indultak ki, hogy a támadó nem korlátozza magát érzékelhetetlen apró változtatásokra. Nem akartak létező tárgyakat kifinomult eljárással valami mássá alakítani, helyette inkább bárhol elhelyezhető pluszinformációt hoztak létre. Lényege, hogy feltűnőségével „szúrja ki” az ideghálók szemét. 

 A kutatók pszichedelikus matricáikkal olyan sikeresen megtévesztettek képfelismerő programokat, hogy a képen nem szereplő tárgyakat is látni véltek.

Kenyérpirítónál az eszközről készült többszáz fényképet használták mintaként, amelyekből számítógép generált színes motívumokat, és ha a matricát másik tárgy, növény, bármi, például egy banán mellé vagy rátették, az ideghálók nem a gyümölcsöt, hanem a kenyérpirítót vélték felismerni a képen.

A kutatók szerint hackerek is élhetnek ezzel az eljárással, képfelismerő rendszerek támadhatók és téveszthetők meg vele. A különös toldozott-foldozott minták kinyomtathatók, bármilyen jelenetbe beilleszthetők, majd képosztályozó programok tesztelhetik őket, vagy inkább ők a programokat. Még akkor is hatékonyak, ha kicsik, mert annyira megtévesztik az osztályozót, hogy a képen látható többi darabról egyszerűen nem vesz tudomást, és csak erről az egy tárgycsoportról számol be.

A kutatók elmondása alapján trükkjük azért működött, mert a számítógéppel generált mintázatok a képfelismerő szoftver „szemében” sokkal feltűnőbbek voltak, mint a valódi tárgyak.

„Képek ugyan több tárgyat tartalmazhatnak, a rendszer viszont csak egy címkét fogad el valódinak, és ennek megfelelően az ideghálónak meg kell tanulnia, hogy felfedezze a képkocka legfeltűnőbb darabját” – magyarázzák tanulmányukban a kutatók.

Miután a kép legalább 10 százalékát betöltötte, a pszichedelikus mintázat folyamatosan átverte a képfelismerő szoftvereket. Összehasonlításként, a matrica nélküli valódi kenyérpirító fényképe még nagyobb méretekben sem térítette el a programok figyelmét más tárgyakról.