A jelenlegi vezetés-szimulációk nem elég realisták, nem élethűek, és ez különösen a háttérben lévő objektumokra, például fákra, útjelzésekre érvényes. Az Ohio Állami Egyetem kutatói e problémára reagálva, új módszert dolgoztak ki szimulátorok által használt fotorealisztikus képek alkotására.
Az önvezető autók tesztelése sokat javulhat az új szimulációval.
A hagyományos számítógépes grafika részletes modelleket, rácshálókat és textúrákat használ 2D-s képek 3D-ssé alakításához. A folyamat egyrészt nagyon munkaigényes, másrészt a képek nem mindig meggyőzőek.
Generatív ellenséges hálózatokkal (GAN) az ohiói kutatók úgy gyakoroltatták a programjukat, hogy véletlenszerűen generáljon élethű, hihető környezeteket. Ez különösen akkor fontos, ha önvezető járműben ülő személyek reakcióit, éberségi állapotát stb. tesztelik.
Az eddigi vezetés-szimulációk inkább számítógépes játékokra emlékeztetnek, így szinte senki nem veszi komolyan őket. Az új élethűbb tárgyaival viszont változást hozhat.
A nyílt forrású CARLA szimulátorból indultak ki, GAN-alapú képszintetizátorral dolgozták ki a hátteret: épületeket, növényzetet, égboltot stb. Ezeket a tárgyi elemeket hagyományosan renderelt objektumokkal kombinálták össze.
A hagyományos eljárás az elsődlegesen fontos elemek, például közeli járművek esetében kihagyhatatlan, a mesterséges intelligencia (GAN) viszont háttereknél és előtereknél jobban működik. Való világbeli adatokat használva dolgoz ki realisztikus megoldásokat.
Ehhez persze környezeti mintázatokat kell felismernie, amelyet tanulás útján el is sajátított, máskülönben nem tudna mit kezdeni autókkal, fákkal, árnyékokkal. A mintázatokat és a textúrákat azonban nem mérnökök tervezték, hanem sablonok alapján maga az MI.
Kiderült, hogy a jelenetek fotorealizmusa sokat javult, viszont nem egyszerre, hanem képkockánként módosították a szimulációt. Csakhogy mi nem képkockáról képkockára élünk, és az egész csak akkor lesz konzisztens, ha a felhasználó folyamatosnak, gördülékenynek érzi.
A kutatók pont ezen dolgoznak most.