Az Neumann Társaság blogja a legfejlettebb infokom technológiákról

Jelenből a Jövőbe

Jelenből a Jövőbe

Miért nem jók a megismételhetetlen kutatási eredmények?

2021. április 01. - ferenck

A Kód nélküli tanulmányok honlap azon mesterségesintelligencia-rendszerek gyűjteménye, amelyeket más kutatók ugyan próbáltak lemásolni, de nem jártak sikerrel. Az oldal rendeltetése, hogy időt spóroljon meg a felesleges másolást eredetileg megkísérlő szakembereknek. A kudarc oka az adott rendszerek hiányos technikai leírása.

A felhasználó feltöltheti az eredeti anyag, majd az abban leírtak reprodukálására tett kísérlet linkjét, és elmagyarázza, megindokolja az eredmény nélküli próbálkozást.

A linkek átnézése után, a honlap adminisztrátorai felveszik a kapcsolatot az eredeti anyag szerzőivel, kiegészítéseket – pluszadatokat, kódot, és az újbóli megvalósításhoz nélkülözhetetlen más infókat – kérnek tőlük. Amennyiben a szerzők nem válaszolnak, vagy információik nem elegendők, anyaguk nyilvános listára kerül.

kod_nelkul.jpg

Eddig tíznél több jelzést kaptak, hatot fel is töltöttek. Két szerző mellékelte a kért kódot. Ha az anyag így már megfelel az elvárásoknak, a szerzőket a Tanulmányok, kóddal weboldalra való posztolásra buzdítják. Az oldalon 40 ezernél több megismételt, tehát bizonyítottan működő számítástudományi anyag található.

A Kód nélküli tanulmányok honlap mögött álló, a Redditen ContributionSecure14 nick alatt futó kutatók azért vágtak bele ebbe a projektbe, mert előtte két hetük ment kárba egy gépitanulás-anyag eredménytelen reprodukálásával.

A kód, adatok és infrastruktúra közkinccsé tételét szerzői jogi okok miatt elutasító szerzőknek azt tanácsolják, hogy próbáljanak másokkal közvetlenül együttdolgozni, majd hozzáfűzték: „nincs értelme nyilvánosan publikálni valamit, ha mások nem építhetnek rá.”

Pete Warden, a Google egyik mérnöke már 2018ban „gépitanulás-reprodukciós válságról” beszélt. Azóta tovább romlott a helyzet. Tavaly például pont a Google rákvizsgáló rendszerét kritizálta 31 szakember. A rendszer hiába teljesített jobban orvosoknál, a technikai leírás nem volt elegendő. Az anyag egyik szerzője, Joelle Pineau (McGill Egyetem) az MI-közösségnek kódok, adatok stb. megosztására biztonságos környezetet kínáló NeurIPS szervezettel közösen azon munkálkodik, hogy a konferenciákon ismertetett tanulmányok az ismétléshez szükséges minden adatot tartalmazzanak.

A reprodukálhatóság érthető okokból nélkülözhetetlen, válsága nagyon komoly probléma. Ha egy kísérletet nem látunk át, nem ismételhetünk meg, az eredmények megkérdőjelezhetők, és nem bizonyosodhatunk meg például új, esetleg forradalmi gépitanulás-rendszerek működőképességéről.

A bejegyzés trackback címe:

https://jelenbolajovobe.blog.hu/api/trackback/id/tr9016485306
süti beállítások módosítása