Egy 2020-as tanulmányból kiderül, hogy egy 1,5 milliárd paraméteres MI-modell (mint az OpenAI GPT-2-je volt) Wikipédián és a Book corporán történő gyakoroltatása 1,6 millió dollár. Felmérték a Google 11 milliárd paraméteres Text-to-Text Transformerét (T5) is, és kiderült, hogy tízmillióba került a taníttatása.

A Google közben már egytrillió paraméteres modellt (Switch Transformer) gyakoroltat, a költségekről azonban (egyelőre) nem közöltek adatot.

Mivel a mesterséges intelligencia jelentősége a modellek tanulási költségével párhuzamosan nő, kisebb cégeknek egyre kevesebb az esélye a hatalmas versengésben. Ez nemcsak a gazdasági lehetőségeknek és a piacnak rossz, hanem az innovációt is lassítja.

Egyes vállalatok ezért teljesen logikusan, olcsóbban, kevesebb számítással szeretnék elérni ugyanazt vagy a még jobb teljesítményt.

A munkahelyi chathez keresőeszközöket és más appokat fejlesztő Gleannek egyszerűen nincs elegendő pénze a termékei minőségét javító nagy nyelvi modellek trenírozására. Helyette kisebbekkel próbálkozik.

Az egészségügyi szolgáltató Optum kb. ötvenezer dollárt költ modellek számítási felhőben történő taníttatására. Speciális hardverekkel igyekszik felgyorsítani a folyamatot.

A gépilátás-platformot kínáló Matroid saját GPU-ját használja. Legnagyobb modelljeit is százezer dollár alatt képes begyakoroltatni.

A Mosaic ML startup a gyakorlás hatékonyságát növelő technikákon dolgozik. „Lottójegy” elméletük alapján egy ideghálónak csak kis része végzi el az összes és különösen a fontos munkát.

Nagyon nagy modellek gyakran azokban a feladatokban jók, amikor rengeteg és bonyolult az adat, és a piac csak egy győztest fogad el. Egyes alkalmazásokban, például macskák fényképeken történő felismerésekor a nagyobb modellekkel viszont vagy túl sok idő megy el, és így túl költségesek a feladathoz, vagy megkérdőjelezhető eredményeket érnek el. Ha a jövőben is így marad, még a gazdag piacvezető cégek sem őrizhetik meg sokáig a jelenlegi versenyelőnyüket.