Ágensek különféle környezetekben történő feladat-végrehajtásra való betanításával közelebb kerülünk ahhoz, hogy bármilyen szituációban tudjanak dolgozni – és természetesen az általános mesterséges intelligenciához (AGI) is. Valahogy úgy, mint az ember, és ha megvalósul, akkor a robotikában, szimulációban, valamint a játékokban várhatók az első alkalmazások.

Eddig tipikusan úgy tervezték őket, hogy meghatározott, tehát egyetlen szoftverkörnyezetben tevékenykedjenek, de a Google és a kanadai Brit Columbia Egyetem Skálázható, Utasítható Több-világos Ágense (SIMA) változatos közegekben – hét videójátékban és négy kutatási környezetben, háromdimenziós virtuális világokban – tanulta meg szöveges utasítások követését.

A rendszer architektúrája több transzformer és más neurális hálóból áll. Megtanították neki, hogy adatsort és tíz másodperces feladatokra tördelt játékmenetet, képernyőn megjelenő képeket, szöveges utasításokat, billentyű-lenyomásokat és egérmozgatást használva utánozzon humán játékosokat.

Olyan játékokkal dolgoztatták, mint például a harmadik személyben, kecske formában kivitelezendő Goat Simulator 3 (goat = kecske), az első vagy harmadik személyes űrbéli felfedező- és túlélőkaland No Man’s Sky, az elsőszemélyes bányászó-építő Hydroneer.

A megadott utasítások és a képernyő-kép egy kockája alapján előre gyakoroltatott transzformer-pár szövegekhez és képekhez beágyazásokat generált. Egy másik, a következő képkockát előrejelző transzformer videóbeágyazásokat hozott létre.

A szöveges, képes és videóbeágyazások alapján transzformerek elsajátították, hogyan jelenítsék meg a játékot, majd a játékreprezentációból kiinduló újabb (nem transzformer) háló megtanulta elkészíteni a kapcsolódó billentyű- és egérműveleteket.

SIMA teljesítményét kilenc kategóriában értékelték ki. A Goat Simulator 3 feladatainak negyven százalékát abszolválta, a No Man’s Sky-ban 34 százalékot ért el, míg a humán játékosok átlaga hatvan volt. Az egyetlen játékra specializálódott ágenseknél másfélszer jobban teljesített.

A SIMA a Google korábbi kísérletei folytatásának tekinthető. A nagyvállalat ugyanis fejlesztett már az emberrel egy-egy játékban (Go, klasszikus Atari-játékok, StarCraft II) rivalizáló ágenseket.