Az NJSZT blogja a legfejlettebb infokom technológiákról

Jelenből a Jövőbe

Válságba sodorja a tudományt a gépi tanulás?

2019. február 22. - ferenck

A sokezer tudós által adatelemzésre használt gépi tanulás gyakran félrevezető vagy teljesen rossz eredményeket generál – állítja Genevera Allen, a houstoni Rice Egyetem statisztikusa, és egyben figyelmeztet: ha nem javítanak a technikán, tudományos válság következhet.

A biomedikális kutatásoktól a csillagászatig, számos tudományterületen alkalmazzák a gépi tanulást. A felhasznált adatsorok nagyon nagyok és drágák, ráadásul a szoftver sokszor csak az adatsorban megbúvó, de a valóságban nem létező mintázatokat azonosít.

machinelearning.jpg

Ezekről a kutatási eredményekről gyakran csak akkor derülnek ki, hogy pontatlanok, amikor valaki más egy szintén óriási adatsorral keresi ugyanarra a problémára a választ, aztán kiderül: nincs átfedés az eredmények között.

Allen a tudomány reprodukálhatósági válságát említi. A két évtizede érzékelhető, az utóbbi években egyre markánsabb jelenség lényege, hogy nyugtalanító mennyiségű kutatási eredményt nem lehet megismételni. Más tudósoknak más eredmény jön ki ugyanazzal a technikával, tehát hibás lehetett az eredeti. Egy elemzés alapján a biomedikális kutatások akár 85 százalékát is érintheti a probléma.

machinelearning0.jpg

Az egyik ok: a kísérleteket nem tervezik meg elég jól, és a résztvevők azt látják az eredményekben, amit eleve látni akartak. A másik ok, legalábbis Allen szerint, a válságot fokozó gépi tanulás.

Gépi tanulás algoritmusokat speciálisan azért fejlesztenek, hogy irdatlan mennyiségű adatot böngésszenek át, és egyértelmű, hogy előbb-utóbb akkor is találnak valamilyen mintázatot, ha nincs.

A tudományt népszerűsítő nagy felfedezések esetében szintén elképzelhető, hogy ha a kísérleteket megismételnék egy másik adatsorral, gyakran születnének más eredmények.

Allen a houstoni egyetem Baylor Orvosi Iskolájának biomedikális kutatóival dolgozik együtt. Céljuk, hogy eredményeiket megbízhatóbbá tegyék. Következőgenerációs gépi tanulás és statisztikai technikákat fejlesztenek, amelyek nemcsak a felfedezés miatt néznek át hatalmas adatsorokat, hanem be is számolnak az eredmények bizonytalanságának és megismételhetőségének a mértékéről.

A kutatási eredmények így később jelennek meg, viszont kiállják az idő próbáját, és az adott terület nem megy el rossz irányba – összegez Allen.

A bejegyzés trackback címe:

https://jelenbolajovobe.blog.hu/api/trackback/id/tr6314639770

Kommentek:

A hozzászólások a vonatkozó jogszabályok  értelmében felhasználói tartalomnak minősülnek, értük a szolgáltatás technikai  üzemeltetője semmilyen felelősséget nem vállal, azokat nem ellenőrzi. Kifogás esetén forduljon a blog szerkesztőjéhez. Részletek a  Felhasználási feltételekben és az adatvédelmi tájékoztatóban.

sdani 2019.02.24. 22:07:11

Nem kell ezt túlmisztifikálni: lehet a tudmányt jól csinálni, és lehet szarul. Aki szar tudományt csinál, az nem azért történik, mert MLt használ, hanem azért, mert a módszereket dilettáns módon használja.

Persze van probléma, ami nagyjából két okra vezethető vissza:
1) A gépi tanulásos módszerek használatát elősegítő könyvtárak (pl sklearn Python alatt) néhány kattintással elérhetővé teszik ML módszerek használatát bárkinek, bármiféle képzettség nélkül. Ez a gépit tanulás hibája? Aligha.
2) A közlemény bírálói sem értenek hozzá rendesen. Nem tudják, hogy az alkalmazott model releváns-e az adott kérdésben, nem tudják, hogy túlillesztették-e a modelt, vagy a megadott paraméterek alapján reprodukálható-e az analízis. Ez sem a gépi tanulás hibája. Arról nem is beszélve, hogy a gépi tanulás afféle buzz word lett, amivel kb megmásfélszerezi az elérhető impakfaktort bármilyen publikáció esetén.

Szóval, az én véleményem az, hogy mint mindig, az emberi hozzánemértés sodorja válságba a tudományt és nem a módszer.

wmiki · http://kigondoltam.blog.hu/2014/07/20/stephen_hawking_538 2019.02.25. 08:19:32

Tudomány: folyamatos hazugságok sorozata.
Dogmáit állami intézményekben magoltatják, mint szent igazságokat.
Jelenleg ez a legerősebb szekta. Nincs válságban. Egyelőre...