Az Neumann Társaság blogja a legfejlettebb infokom technológiákról

Jelenből a Jövőbe

Jelenből a Jövőbe

MI: döbbenetes tempóban nő a tanuláshoz szükséges számítási kapacitás

2019. november 28. - ferenck

Az OpenAI 2018-ban kimutatta, hogy a legnagyobb mesterségesintelligencia-modellek gyakoroltatásához használt számítási kapacitás 2012 óta minden 3,4-ik hónapban megduplázódik.

A San Francisco székhelyű MI kutatólaboratórium nemrég kiegészítette a tavalyi adatokat. Kiderült belőlük, hogy a 2012 utáni duplázódás hogyan viszonyul a szakterület kezdete utáni történelmi folyamatokhoz, a számítási kapacitás megkétszereződésének korábbi időintervallumaihoz. Számszerűsítve: 1959-től 2012-ig, a Moore törvényt követve, a szükséges kapacitás kétévente kétszereződött meg. Azóta viszont nagyon megváltozott a helyzet…

ai_training.jpg

Döbbenetes eredmény született: a mostani duplázódási idő az ezt megelőző hetede.

A nélkülözhetetlen kapacitások drámai növekedése egyben azt is jelzi, hogy mennyire költségesek a terület eredményei. Egy adat: 7 éve alatt 300 ezerszer nagyobb lett az ezirányú számítógép-használat.

ai_training0.jpg

Az utóbbi idők legmarkánsabb sikerei a Google BERT nyelvi modellje, az OpenAI szintén nyelvi modell GPT-2-je, vagy a DeepMind go (AlphaGo) után stratégiai játékban, a StarCraft II-ben is diadalmas AlphaStar-ja.

Már tavaly is, idén pedig még többen kongatták a vészharangokat – a mélytanulás (deep learning) költségei (és gyakran a közben elhasznált energia mennyisége is) az egekbe szöknek. A Massachusetts Egyetem (Amherst) tanulmányt közölt a növekvő számítási költségek közvetlen természeti hatásairól, a tevékenység széndioxid-lábnyomról, a kettő közötti szoros és közvetlen összefüggésekről.

ai_training1.jpg

A tanulmányban megjegyezték, hogy az MI-kutatások privatizálása sem egyértelműen pozitív, mert így a felsőoktatási intézmények laboratóriumai eleve hátrányból indulnak a gazdag magáncégekkel szemben, mivel sokkal kevesebbet engedhetnek meg maguknak.

A növekvő aggodalmak és félelmek eloszlatására több ipari csoport fogalmazott meg ajánlásokat. A seattle-i nonprofit Allen Institute for Artificial Intelligence javaslata, hogy például a teljesítménnyel, eredménnyel együtt, a kutatók mindig közöljék nyilvánosan a modellek begyakoroltatásának pénzügyi és gépkapacitásbeli költségeit. Az OpenAI az akadémiai kutatások nagyobb anyagi támogatását javasolja a döntéshozóknak. Szerintük csak így lehet felszámolni, de legalábbis csökkenteni az ipari és a felsőoktatási laborok költségvetése közötti drámai különbséget.

A bejegyzés trackback címe:

https://jelenbolajovobe.blog.hu/api/trackback/id/tr6615304892

Kommentek:

A hozzászólások a vonatkozó jogszabályok  értelmében felhasználói tartalomnak minősülnek, értük a szolgáltatás technikai  üzemeltetője semmilyen felelősséget nem vállal, azokat nem ellenőrzi. Kifogás esetén forduljon a blog szerkesztőjéhez. Részletek a  Felhasználási feltételekben és az adatvédelmi tájékoztatóban.

Nincsenek hozzászólások.
süti beállítások módosítása