Ha egy robot interakciókat akar folytatni a világgal, tudnia kell, hogy mit fogjon meg, milyen tárgyakat kerüljön el, milyen részeit mozgassa meg közben. Két Berkeley- és egy CMU (Carnegie Mellon Egyetem) kutató új módszert kínál arra, hogy gépek miként határozzák meg a számukra érdekes térbeli pontokat. Eddig is foglalkoztak a témakörrel, az újítással viszont jelentősen javítható ez az adottság.

A felügyelet nélküli Keypoint3D gyakorlás-módszerrel a modell képes térbeli koordináták, a környezet hasznos helyeivel megegyező kulcspontok, köztük saját teste egyes részeinek azonosítására.

A kutatók korábbi munkájukban virtuális közegben gyakoroltattak egy ágenst, hogy egyszerű kétdimenziós kameraképen alapuló kulcspontokat találjon meg, de amikor a kameraképen tárgyak egymásba mosódtak, vagy az egyik eltakarta a másikat, pocsékul teljesített.

Hasonló megközelítéssel viszont kihasználható, ha több a kameranézet, hogy az objektumok lokalizálhatók legyenek a háromdimenziós térben. Az eredeti kameranézőpont kikövetkeztetett 3D-s kulcspontokkal történő újbóli előállítása sokat segíthet az ágensnek meghatározott objektumok pontos tér- és időbeli követésében.

A Keypoint3D-vel egy rendszer megtanulta az adott feladat elvégzéséhez szükséges harminckét kulcspont kiválasztását. Elhelyezkedésüket három kamera nézőpontja alapján kellett azonosítania.

Virtuális környezetben trenírozták és tesztelték. Az ágensnek egyszerű robotfeladatokat kellett abszolválnia: ajtót nyitni, becsukni egy dobozt stb.

Ezek mellett sálat kellett tennie egy modell nyaka köré, hogy megmutassa, mennyire tud kezelni rugalmas tárgyakat, illetve, testrészei mozgatásának képességeit bizonyítandó, négy lábon kellett mászkálnia.

Egy megerősítéses tanulás-modellt a kulcspont-detektáló modellel együtt gyakoroltatták, hogy ne legyen kétség a kulcspontok és a feladat összefüggéséről, magyarán, hogy a térbeli koordináták relevánsak ebben az esetben.

Eddig statikus objektumokat próbáltak 3D kulcspontok létrehozásával lokalizálni, a tér- és időbeli változásokat figyelemmel követő új modell – és az azzal működő robotok – viszont már dinamikus környezettel is tudnak interakciókat folytatni.