Az NJSZT blogja a legfejlettebb infokom technológiákról

Jelenből a Jövőbe

A pszichedelikus kenyérpirítók megbolondítják a képfelismerést

2018. január 10. - ferenck

A mélytanuláson (deep learning) alapuló felismerő-rendszerek általában sebezhetők, átverhetők inputként használt jól kiválasztott megtévesztő információkkal. A végeredmény, az output úgy változik meg, hogy az ember észre sem veszi.

Képfelismerésnél az eddigi gyakorlat alapján a pixeleken csak minimálisan módosítanak, de a trükk így is működik.

toaster1.jpg

Google-kutatók egy másik módszert teszteltek. Abból indultak ki, hogy a támadó nem korlátozza magát érzékelhetetlen apró változtatásokra. Nem akartak létező tárgyakat kifinomult eljárással valami mássá alakítani, helyette inkább bárhol elhelyezhető pluszinformációt hoztak létre. Lényege, hogy feltűnőségével „szúrja ki” az ideghálók szemét. 

 A kutatók pszichedelikus matricáikkal olyan sikeresen megtévesztettek képfelismerő programokat, hogy a képen nem szereplő tárgyakat is látni véltek.

toaster.jpg

Kenyérpirítónál az eszközről készült többszáz fényképet használták mintaként, amelyekből számítógép generált színes motívumokat, és ha a matricát másik tárgy, növény, bármi, például egy banán mellé vagy rátették, az ideghálók nem a gyümölcsöt, hanem a kenyérpirítót vélték felismerni a képen.

A kutatók szerint hackerek is élhetnek ezzel az eljárással, képfelismerő rendszerek támadhatók és téveszthetők meg vele. A különös toldozott-foldozott minták kinyomtathatók, bármilyen jelenetbe beilleszthetők, majd képosztályozó programok tesztelhetik őket, vagy inkább ők a programokat. Még akkor is hatékonyak, ha kicsik, mert annyira megtévesztik az osztályozót, hogy a képen látható többi darabról egyszerűen nem vesz tudomást, és csak erről az egy tárgycsoportról számol be.

toaster0.jpg

A kutatók elmondása alapján trükkjük azért működött, mert a számítógéppel generált mintázatok a képfelismerő szoftver „szemében” sokkal feltűnőbbek voltak, mint a valódi tárgyak.

„Képek ugyan több tárgyat tartalmazhatnak, a rendszer viszont csak egy címkét fogad el valódinak, és ennek megfelelően az ideghálónak meg kell tanulnia, hogy felfedezze a képkocka legfeltűnőbb darabját” – magyarázzák tanulmányukban a kutatók.

Miután a kép legalább 10 százalékát betöltötte, a pszichedelikus mintázat folyamatosan átverte a képfelismerő szoftvereket. Összehasonlításként, a matrica nélküli valódi kenyérpirító fényképe még nagyobb méretekben sem térítette el a programok figyelmét más tárgyakról.

A bejegyzés trackback címe:

https://jelenbolajovobe.blog.hu/api/trackback/id/tr8013561717

Kommentek:

A hozzászólások a vonatkozó jogszabályok  értelmében felhasználói tartalomnak minősülnek, értük a szolgáltatás technikai  üzemeltetője semmilyen felelősséget nem vállal, azokat nem ellenőrzi. Kifogás esetén forduljon a blog szerkesztőjéhez. Részletek a  Felhasználási feltételekben és az adatvédelmi tájékoztatóban.

Nincsenek hozzászólások.