A ChatGPT-t 2022. november harmincadikán indította világhódító útjára az OpenAI. A nagy nyelvmodellek (large language models, LLM) azóta talán a fejlesztők által sem várt döbbenetes pályát futottak be.

Egy éve lényegében csak a ChatGPT állt a webes felhasználói interfészt használó széleskörű felhasználói réteg rendelkezésére, míg az LLM-ekkel dolgozni vágyó fejlesztők szinte csak az OpenAI modelljei közül válogathattak.

Mára drasztikusan megváltozott a helyzet. Az érdeklődők számos nyílt forrású és zárt LLM-mel dolgozhatnak, chatelhetnek: még mindig a ChatGPT a legnépszerűbb, de ott van a Microsoft Bingje, a Google Bardja, vagy startupok termékei is, például az Anthropic Claude-ja vagy a perplexity.ai. A fejlesztők bőven szemezgethetnek az opciók közül: az Amazon Webszolgáltatások, az Azure, a Cohere, a Google Cloud, a Hugging Face, az OpenAI és mások API-jait (alkalmazásprogramozói felületeit) használhatják, és a választék csak bővülni fog.

Fejlesztőnek, átlagfelhasználónak egyaránt pozitívum, hogy a saját magunk által hosztolható, helyileg, például laptopunkon futtatható, nyílt forrású modellek meglepően jók, és egyre jobbak lesznek. Sok alkalmazáshoz egy megfelelően működő nyílt forrású modell, például a GPT4AII és az MLC akár az egy évvel ezelőtti ChatGPT 3.5-tel azonos szinten teljesít.

Helyileg futtatott modellek használata korábban a fejlesztők privilégiuma volt, mert bonyolult telepítési és konfigurálási folyamatokkal kellett megbirkózniuk. Jelenleg szerencsére más a helyzet, könnyebben kezelhetők, többen tudják használni őket.

LLM-ek közvetlenül a gépünkről vagy a számítási felhőből is futtathatók. Utóbbi akkor ajánlott, ha a kisebb, helyileg működtetett, nyílt forrású modell teljesítményénél többre van szükségünk, mondjuk, ha a GPT-4-gyel dolgozunk.

A biztonság ugyan rendkívül fontos, sok nagy szolgáltató megoldásai viszont több esetben „túlbiztosítottak”, a modellek bizonyos kérdésekre például nem hajlandók válaszolni. Ezzel szemben jópár nyílt forrású alternatíva nem ilyen agresszíven biztonságra hangolt, egyes alkalmazásokban célszerűbb is velük dolgozni.

Egy év leforgása alatt egyetlen tényleg használható modelltől több tucatig jutottunk el.