A szabad kereskedelmi felhasználást engedélyező nyílt forrású licenceknek köszönhetően független fejlesztők, fejlesztőcsoportok is építhetnek akár a nagy techvállalatok termékeivel versenyképes rendszereket. Egy nemrég kiszivárgott Google-feljegyzés szerzője egyenesen a cég üzleti tevékenységét fenyegető jelenségként írt ezekről a nyílt forrású fejlesztésekről.

Az Egyesült Arab Emírségekben, Abu Dhabi Technológiai Innováció Intézetében (TII) pont ilyen, csúcsteljesítményű, nyílt forráskódú nagy nyelvmodellt (large language model, LLM) dolgoztak ki. A neve Falcon (Sólyom), és a szabad kereskedelmi alkalmazásokat engedélyező Apache 2.0 licenccel szerezhető be.

Eredetileg a TII tízszázalékos „engedélyezési díjat” kért minden olyan felhasználótól, akik egymillió dollárnál több bevételt generálnak a Sólyomra épülő kereskedelmi alkalmazásokkal. Aztán meggondolták magukat, ejtették a korlátozást, és a mostani licenc sokkal engedékenyebb.

A negyvenmilliárd paraméteres modellt arra tanították be, hogy egybillió tokenes szövegben előrejelezze a következő tokent. Architektúrája az OpenAI GPT-3-jához hasonló, néhány eltéréssel, például a kevesebb memóriaigényű algoritmusokat használ egyes következtetésekhez.

Az előzetesen transzformerekkel gyakoroltatott modell négy verziója szerezhető be: az általános rendeltetésű Falcon-40B, a chatre kitalált Falcon-40B-Instruct, a kompaktabb Falcon-7B és a Falcon-7B-Instruct.

A Sólyom komoly előnye, hogy a nyílt forráskódú nagy nyelvmodelleknél, versenytársainál, különösen a legfőbb rivális – Meta-fejlesztés – LLaMA-nál jobb teljesítményre képes, ráadásul a gyakoroltatás költségei alacsonyabbak, és így energiatakarékosabb is.

Az a tény, hogy Abu Dhabiban ilyen nagy nyelvmodellt fejlesztettek, egyértelműen jelzi a terület globálissá válását, hogy a mesterséges intelligenciában egyre több helyen, egyre több tehetség tűnik fel, az Egyesült Államokon és Kínán kívül más országok is felkerültek a generatív MI-világtérképre.