Egy új megközelítés sokat segíthet szövegeket generáló mesterséges intelligenciáknak, hogy ne az oly gyakran jellemző nonszensz baromságokat hozzanak létre.
Az AI21 Labs Jurassic-X természetesnyelv-feldolgozó rendszere az ideghálók és a szabályalapú programok kombinációja. Nagyméretű nyelvi modellt alkot naprakész tényeket szolgáltató, matematikai problémákat megoldó, speciális inputokat is feldolgozó modulokkal.
A rendszer a különféle programokat tartalmazó Moduláris Következtetés, Ismeret és Nyelv (MRKL) szoftverinfrastruktúrán alapul. Az általános nyelvi feladatokat előzetesen gyakoroltatott, méretes transzformer modell végzi. Egy kalkulátor és a hálózati adatbázisokat, például a Wikipédiát lekérdező programok között egy speciális modul, router közvetít.
Maga a router is begyakoroltatott transzformer, az inputot úgy módosítja mindig, hogy passzoljon egy meghatározott modulhoz. Például újrafogalmazhat szöveget, hogy az megfeleljen a nyelvi sablonnak.
A kalkulátor használatához a router megtanult véletlenszerűen generált, angol nyelvű matematikai kifejezések alapján műveleteket végezni.
Nyitott témájú kérdés esetén, módosított szövegrészlet-visszakereső találja meg a legrelevánsabb Wikipédia-szócikkeket, majd egy „újra-rangsoroló” kutat köztük a megfelelő szövegrészek után, amelyeket inputként küld a rendszerbe, és a rendszer válaszol rájuk.
A Jurassic-1 egyes feladatokhoz, például „természetes kérdésekhez” történő finomhangolásával speciálisan gyakoroltatott, kétrétegű transzformer módosítja a nyelvi modell reprezentációját, és a módosított anyag a router közreműködésével jut vissza az outputot generáló rendszerhez.
A fejlesztés azért fontos, mert a jelenlegi mesterséges ideghálók több feladatot majdnem emberi szinten teljesítenek, a következtetésben viszont nagyon gyengék, képesek tényeket kitalálni, és újabb információt nem tudnak további gyakorlás nélkül kezelni. A szabályalapú modellek a jelentéseket és a tényeket is kezelik, viszont a szabályok által nem lefedett helyzetekben pocsékul teljesítenek. Az általános nyelvi modell és a speciális rutinok egyedi feladatok megoldását célzó kombinációja a való világhoz jobban kapcsolódó outputokkal kecsegtet.