A gépi tanulás, különösen a mélytanulás (deep learning) dinamikus fejlődésének negatív következménye, hogy a rendszerek eredményes működéséhez egyre nagyobb, gigantikus számítási kapacitások kellenek, amelyet sok cég nem engedhet meg magának, tehát nem tudja kiaknázni a csúcstechnológia, „napjaink mesterséges intelligenciája” adta lehetőségeket.

Egy 2018-as OpenAI elemzés alapján a nagy ideghálók gyakoroltatásához szükséges számítási kapacitás három és félhavonta megduplázódik. A Massachusetts Egyetem 2019-es tanulmánya szerint a gyakorlás magas költségei miatt a felsőoktatási intézmények és a startupok nem tudnak újításokkal kísérletezni, egyszerűen nincs rá elég pénzük. Az Applied Materials félvezető-gyártó becslése alapján a mesterségesintelligencia-rendszerek számítási igénye 2025-re a világ elektromosáram-fogyasztásának 15 százalékát teheti ki.

Az MI-fejlesztés meghatározó szereplői, például a Google, az OpenAI vagy a Microsoft irdatlan számítási kapacitásokat használnak el a fejlesztéseihez, hogy a szakterület határait folyamatosan kitolják.

A helyzetet egyre nehezebb kezelni, de szerencsére állandóan kísérleteznek a számítási igényeket csökkentő megoldásokkal.  

E próbálkozások jegyében a Microsoft nemrég frissítette nyílt forrású DeepSpeed könyvtárát. Az újítással felgyorsul a PyTorch mélytanulás-keret, ami azt jelenti, hogy ezentúl, viszonylag kevés processzor használatával, a korábbiaknál akár ötször nagyobb modellek, egytrillió paraméteres ideghálók taníthatók.

A könyvtárral eddig is értek el komoly eredményeket, például februárban a DeepSpeed segített a 17 billiárd paraméteres Turing-NLG nyelvmodell trenírozásában.

Az új változat négy nagyon fontos frissítést tartalmaz.

A párhuzamosságot különféle technikákkal növelik, így a processzor erőforrásai sokkal hatékonyabban működtethetők. A ZeRO-Offload alrendszer mind a hagyományos processzorokból, mind a grafikus chipekről összeszedi és optimalizálja a rendelkezésre álló erőforrásokat. Egy másik a bemenő adatok feldolgozását gyorsítja fel, míg egy harmadik csökkenti a működéshez elengedhetetlen kommunikáció mennyiségét.

Az összekombinált négy újítással válhatott valóra, hogy a 800 Nvidia V100 grafikus kártyát használó DeepSpeed trillió paraméter léptékű nyelvi modellekkel dolgozhasson. A megújult könyvtár nélkül 4 ezer Nvidia A100 kellene.

Egy ilyen – nyílt forrású – könyvtárral a nagyokon kívül más szereplők is dolgozhatnak óriási rendszerekkel. Minél több lesz belőlük, annál jobban csökken az MI-k „energiaétvágya.”