A mesterséges intelligencia való világbeli alkalmazásaival problémákat vet fel az a tény, hogy számítógépek úgy megbolondíthatók, hogy teknősbékát fegyvernek nézzenek, hangversenyt beszédnek halljanak stb.

Képzeljük el: önvezető autóban ülünk, meglátunk egy stoptáblát, és hirtelen elkezdünk pánikolni, mert a jármű felgyorsít. Ráüvöltünk, de aztán eszünkbe jut: senki nem ül a vezetőülésen. Belénk jön a vonat, meghalunk.

A fiktív forgatókönyv valódi problémára hívja fel a figyelmet. Az utóbbi években ugyanis több kísérlet során kiderült, hogy a gépek felismerő rendszere „zajokkal” megzavarható, és elkezdenek „hallucinálni.”

Az MI-kutatók által „ellenséges példáknak” (adversarial examples) vagy „furcsa eseményeknek” (weird events) nevezett jelenség hatására a gép váratlant cselekszik.

Eddig főként képfelismerő rendszereket vizsgáltak ebből a szempontból. Alapjaikat a gépi tanulásban kulcsszereplő mesterséges ideghálók jelentik. Például az okostelefonunkon működő hasonló rendszerek teszik lehetővé barátok bejelölését közösségimédia-felületeken megosztott képeken.

Az MIT (Massachusetts Institute of Technology) kutatói fizikai tárgyak textúrájának és színének enyhe megváltoztatásával elérték, hogy az MI puskának nézzen egy 3D nyomtatott teknősbékát. További 200 printelt objektumon szintén módosítottak, és a gép bennük is teljesen mást látott.

Tavaly kiderült: önvezető autók ideghálói szintén félrevezethetők. Például, ha pici matricákat teszünk jelzőtáblákra, máris nem tudnak mit kezdeni velük.

„A képkategorizálástól az automatikus beszédfelismerésig, fordításig, az ideghálók minden területen annyira megtéveszthetők, hogy hibásan osztályozzák az inputot. Tehát a gépi tanulás a legegyszerűbb feladatokban sem érte el az emberi szintet” – nyilatkozta Nicholas Carlini (Google Brain).

MI-szakértők értik az ideghálók működését, az adatfeldolgozás közbeni apró részleteket viszont nem. Az MI-k ezért nem tudnak mit kezdeni az „ellenséges példákkal.” Megoldás lehet, ha a hálókat nehezebb, komolyabb kihívást jelentő példákon gyakoroltatják, és a jó átlag elérése helyett a váratlan szituációk kezelése is a legfőbb célok közé tartozik.

Az ideghálók és ihlető forrásuk, az emberi agy közötti párhuzamok egyelőre felületesek. Felismernek például éleket vagy tárgyakat, viszont ellentétben velünk, nem dekódolják automatikusan a köztük lévő kapcsolatokat, azt, hogy az adott élek az adott tárgy részei. Másként, az eredeti leegyszerűsített, lebutított másaként működnek.

„Ellenséges példákra” csak akkor tudnak mindig helyesen reagálni, ha ezek a kapcsolatok számukra is egyértelműek lesznek.