Az NJSZT blogja a legfejlettebb infokom technológiákról

Jelenből a Jövőbe

Mennyire pontos a mesterséges intelligenciánk?

2018. március 22. - ferenck

A mesterséges intelligencia különféle alkalmazásai már ma is fontosak, a jövőben pedig hétköznapjaink még szervesebb részét fogják jelenteni. Naponta hallunk tudományos, pénzügyi, gyógyszeripari, orvosi, biztonsági stb. hasznosulásokról. De mindnyájunkban ott motoszkál a kérdés: mennyire megbízhatók e rendszerek előrejelzései? 

J. B. Brown, a Kiotói Egyetem kutatója kiértékelési módszert dolgozott ki a problémára, amellyel megállapítható, hogy az MI igen/pozitív/igaz vagy nem/negatív/hamis válaszokat ad. (A programot bárki letöltheti.)

ai_kyoto.jpg

Brown az MI-használat kapcsán elemezte a szoftverek képességével foglalkozó statisztikai vizsgálatokat. Technikájával a kiértékelő adatokkal nyújtott teljesítmény, és bizonyos kérdésekre kapott válaszok alapján becsülhető fel egy-egy rendszer teljesítményszintje. Olyan kérdésekre adott feleletekből von le következtetéseket, hogy „mennyi az esélye, hogy 90 százaléknál nagyobb bizonyossággal valósul meg valami?”

„A beszámolókban szereplő statisztikák lenyűgözőek, kutatócsoportok és az eredményeket értékelő személyek mégis szembesülnek két problémával. Először is szeretnék megérteni, hogy az MI eredménye a véletlen műve vagy sem, másrészt a teljesítményre vonatkozó statisztikákból az alkalmazhatóságra is kell következtetniük” – magyarázza Brown.

ai_kyoto0.jpg

Ha például az MI-programnak azt kell előrejeleznie, hogy valaki nyer-e a lottón, veszteségeket is mindig előrejelez. Elérheti a 99 százalékos pontosságot, de ennek ellenére kérdés, mennyire tekinthető megbízhatónak. A kiértékelés ugyanis csak akkor hiteles, ha a pozitív és a negatív eredmények száma nagyjából azonos. Ha az adat valamelyik irányba húz, a mostani kiértékelő rendszerek felerősítik ezt a tendenciát, és túlzásokba esnek a szoftver adottságait illetően.

Brown ezért dolgozott ki új, csak a bemenő (input) adatokon alapuló teljesítményértékelő technikát.

„Az a nóvuma, hogy nem függ semmilyen másfajta mesterségesintelligencia-megoldástól, mélytanulástól stb. Segít új értékelési mértékek kidolgozásában, és meg tudjuk állapítani, hogy az eredményként kapott új mértékek hajlamosak-e elfogultságra vagy sem” – fejtegeti a kutató.

A kutató bizakodik, hogy elemzéseivel nemcsak az MI-vel kapcsolatos közvélekedésre, hanem robusztusabb MI-platformok fejlesztését is hat.

A pontossági mérték mellett hat másikat is tesztelt. A teszteket elméleti és konkrét forgatókönyveken egyaránt elvégezte, majd megállapította, hogy önmagában egyik mértéktípus sem nő a többi fölé, azaz a mesterséges intelligenciák teljesítménye többféle mértéken alapuló rendszerrel vizsgálható.

Persze a gépek hatékony működéséhez a kérdések helyes megfogalmazása alapkritérium, mert megkönnyíti a kiértékelést

A bejegyzés trackback címe:

https://jelenbolajovobe.blog.hu/api/trackback/id/tr4313766644

Kommentek:

A hozzászólások a vonatkozó jogszabályok  értelmében felhasználói tartalomnak minősülnek, értük a szolgáltatás technikai  üzemeltetője semmilyen felelősséget nem vállal, azokat nem ellenőrzi. Kifogás esetén forduljon a blog szerkesztőjéhez. Részletek a  Felhasználási feltételekben és az adatvédelmi tájékoztatóban.

Nincsenek hozzászólások.