Meg fogjuk-e valaha is érteni, mi történik egy mesterséges idegháló belsejében? – merül fel egyre sűrűbben a kérdés. Nem véletlenül, mert amikor mesterségesintelligencia-rendszereknél elromlik valami, kiszámíthatatlanná válnak, általában senki nem tudja elmagyarázni, mi vezetett a rossz döntésekhez.

A modell bemeneténél, az inputnál végbemenő érzékelhetetlen változások bizarr outputokhoz vezethetnek. Látszatra jól megtervezett rendszerek figyelmeztetés nélkül generálnak részrehajló, elfogult eredményeket.

Ha nincs magyarázat, értelemszerűen hiányérzetünk van, úgy érezzük, hogy megkárosítottak minket.

Ideghálók döntéseit közismerten nehéz megmagyarázni, alkalmazásaik viszont emberek életét befolyásolhatják. Ráadásul még akkor sem bízunk teljesen a kimenetben, ha a laborban teljesen pontos eredményeket értek el.

Például a helyi kormányok által használt modellek Arkansas-ban és Idahóban drasztikusan csökkentették többezer személy társadalombiztosítási járandóságát. Az érintetteknek fogalmuk sem volt az okokról, így a fellebbezést is nehezen tudták megfogalmazni.

Egy alacsony felbontású orvosi képeket feljavítani hivatott, hat ideghálóról készült tanulmányból kiderült: az inputokat gyakran megváltoztatták, módosítottak rajtuk, és ezért nem tekinthetők megbízható diagnosztikai eszköznek. A mélytanuló rendszerek nem szolgáltatnak adatot a szükséges képek minőségéről, a fejlesztőknek jobban oda kell figyelni a korlátaikra.

Egy másik mélytanuló rendszer a beteg tünetei alapján pontosan megjósolta a skizofréniát. A fejlesztők viszont elmondták, hogy modelljüket mindaddig nem tudják használni a pszichológusok, amíg nem lesz világos számukra, hogy az MI hogyan prognosztizál.

Ezek a megoldások az MI döntéshozási módszere körüli bizonytalanság miatt nem terjedhettek el egyelőre széles körben. Egy friss tanulmányból kiderül: az Egyesült Királyság pénzügyi informatikai szektorában dolgozók 89 százaléka szerint a transzparencia hiánya miatt ódzkodik az MI-től.

Az európai uniós adatszabályozás alapján jogunkban áll, hogy hozzáférjünk az életünket befolyásoló technológiákra vonatkozó információkhoz. Az adatszolgáltatásról megfeledkező fejlesztők büntetésre számíthatnak.