Csapatsportokhoz egyéni és csoportos képességek, azok képlékeny keveréke szükséges. A DeepMind kutatói focizó humanoid ágensekbe integrálták a két cselekvéstípust.

Szimulált focicsapatokhoz dolgoztak ki edzésmódszert. A játékosok, azaz az ágensek a fizikaihoz hasonló virtuális pályán tanultak meg futni, passzolni, védekezni, gólt lőni.

A kutatók tizenhat ágenst treníroztak, hogy kétszemélyes csapatokban versengjenek egymással. Egy ágens nyomást helyezhet mind az ötvenhat ízületére, nyomon követheti az általuk bezárt szögeket, pozíciókat, gyorsaságukat, megfigyelheti a többi játékos és a pályán lévő más objektumok elhelyezkedését, és az ő gyorsaságukat is.

Az edzés első szakaszában a modell olyan mozgásokat tanult meg, mint a futás és a fordulás. Kódolót és dekódolót tanítottak be felügyelt tanulás mellett, hogy jelezzék előre az ágens mozgását. Valódi focistákról készült 105 perc mozgásrögzítés (motion-capture) anyagot kaptak hozzá.

A kódoló megtanulta megjeleníteni az ágens fizikai állapotát, míg a dekódoló ezeket a reprezentációkat alakította át az ízületekre kifejtett nyomatékokká.

Második lépésben, különféle kódolók négy adottságot sajátítottak el – pont követését, cselezés közbeni pontkövetést, pontra rúgni a labdát, és persze gólt lőni. Az ágens fizikai állapotának reprezentálása mellett, képességeiket is megjelenítették, a dekódoló pedig az ízületek mozgásának módját határozta meg. Négy másik kódoló az adottság-modell reprezentációjának újraalkotását információkhoz való hozzáférés nélkül sajátította el.

Végül az ágensek felügyelet mellett megtanultak csapatban versenyezni, különféle reprezentációkat összekombinálni. Minél többet edzettek, annál ügyesebbé váltak. Kezdetben például az esetek harminc százalékában orra buktak, később viszont a passzolástól a góllövésig, minden szinten jól teljesítettek.

A komplex feladatok kivitelezéséhez szükséges összes adottsághoz egynél természetesen több edzőmódszerre van szükség. Ezekben az esetekben a kutatók a felügyelet melletti, a megerősítéses és a csapatban történő tanulást kombinálták össze egymással.

A feladatmegvalósításhoz szükséges absztrahálást maguktól megtanuló ágensek fejlesztése lesz a következő lépés.