A Meta, a Facebook anyacége nyílt forrású adatsort tett közzé, hogy tesztelhető legyen a fényképeken és videókon objektumokat észlelő és csoportosítható gépilátás-modellek elfogultsága.

A „Korrektség a gépi látás kiértékelésében” (FAirness in Computer Vision EvaluaTion), a FACET (aspektus) 32 ezer képén 50 ezer annotált személy látható. A képosztályok foglalkozásokat, tevékenységeket, demográfiai és fizikai jellemzőket fednek le.

Az annotációk készítői ezeket a címkéket az emberekre, hajukra, megjelenésükre és a ruházatukra vonatkozó, a Segment Anything 1 Billion adatsorból kinyert más címkékkel integrálták. Utóbbi adatsort gépilátás-modellek gyakoroltatására használják, hogy tárgyakat és állatokat „szedjenek ki” a képekből.

A Meta közölte, hogy a FACET kiadásával kutatók és fejlesztők munkáját szeretnék könnyebbé tenni, hogy ők is hasonló teljesítmény-értékelést végezzenek. Így jobban látják a saját modelljeikben lévő különbségeket, és a méltányossági aggályok megértése érdekében bevezetett változtatások hatását is nyomon tudják követni.

A gépilátás-algoritmusok elfogultságát bizonyító teljesítményértékelések nem újak, néhány éve a Meta is kiadott egyet, hogy kiderüljön a látó, illetve halló modellek kor, nem és bőrszín miatti előítéletessége. A témával sok kutatás is foglalkozik, és általában kiderül: az MI elfogult. Ráadásul a „felelős mesterséges intelligencia” témában a Meta lőtt már nagyon mellé, egyik MI-jének bétaváltozatát például azért kellett tavaly „kivonni a forgalomból”, mert rasszista és tudományosan pontatlan tartalmat generált.

Egyetlen teljesítményértékelés sem tökéletes.

A Meta elismeri, hogy a FACET talán nem ragadja meg kellőképpen a valóság fogalmait, demográfiai csoportjait, és a benne található szakmák jó része folyamatosan változik, például a Covid-19 alatt megörökített egészségügyi dolgozók a mainál több védőfelszerelést viseltek stb.

A FACET mellett, azt kiegészítve online adatsor-vizsgáló eszközt szintén közzétettek. Mindkettő használatához a fejlesztőknek bele kell egyezniük, hogy saját modelljeiket nem gyakoroltatják egyiken sem, a Meta anyagaival csak kiértékelnek.