A Pekingi Mesterséges Intelligencia Akadémia az általa együtt Wu Dao-nak nevezett négy különleges nyelvi modellt ismertetetett. A modelleket az ország vezető egyetemeinek és technológiai cégeinek a kutatói fejlesztették. A tudósok elmondták, hogy mind a négy sokat segíthet a kínai bürokráciában való eligazodásban, például a Pekingi Motorjárművek Hivatalával folytatott ügyintézésben.

A következőkről van szó:

A 2,6 milliárd paraméteres Wen Yuan kínai és angol nyelvi feladatokban vagy elérte, vagy túlszárnyalta a világ legismertebb modellje, a GPT-3 teljesítményét. A fejlesztők terve, hogy idén átméretezik, maximum 100 millió paraméterre csökkentik.

A Wen Lan képekhez és videókhoz társít szöveget. A tanulóalgoritmussal a kutatók 50 millió kép-szöveg páron gyakoroltatták a modellt. Jelentős részük negatív példa, rossz adatcímke volt. Wen Lan a kép-szöveg vizsgálatban az eddigi legjobb modellnél is eredményesebben vizsgázott, 5 százalékponttal vert rá.

A szöveget generáló, 11,3 milliárd paraméterrel dolgozó Wen Hui általános nyelvi készségeket sajátít el. Szöveges útmutatások alapján verseket író, videókat és képeket létrehozó alkalmazásokat találtak ki hozzá.

A speciálisabb Wen Su emberi vérsejtekből vagy gyógyszerekkel szemben ellenálló baktériumokból következtet biomolekulák, például protein és DNS formájára.

A projekt újítása még az 1 trilliónál több paraméteres modellek gyakoroltatására kitalált FastMoE és egy kínai nyelvű adatbázis is.

A kínai kormány támogatásával 2018-ban alapított Pekingi Mesterséges Intelligencia Akadémia rendeltetése, hogy segítsen az ország globális MI-központtá válásában. Az intézmény más projektjeinek keretében ideghálók kognitív gyökereit vizsgálják, szabványosított MI jelmagyarázatokon dolgoznak, MI-specifikus chipeket fejlesztenek. A nyelvi modellek kidolgozása tökéletesen illeszkedik ezekhez a kezdeményezésekhez, az elképesztő (már-már felfoghatatlan) számsorok pedig önmagukban sokat elárulnak a modellek hatékonyságáról, és hogy mit is jelent a big data.