Gyakran megfeledkezünk a chatbotok egyik korlátjáról, a memóriáról. A nagy nyelvmodelleket ugyan sok terabájt szövegen gyakoroltatják, a használat közben feldolgozható mennyiség, az input és output szövegek „kontextus-ablakként” ismert kombinációja viszont limitált, például a ChatGPT esetében kb. háromezer szó.

A pontatlanság oka, hogy a nyelvmodellek nem karakter- vagy szószámban, hanem tokenekben mérik az információt. A szemantikai egységek nem fedik le az ismert kategóriákat, mert nem a szavak hossza, hanem a jelentés komplexitása dönt (a legrövidebb szavak is lehetnek nagyon összetett jelentésűek). A ChatGPT „kontextus-ablaka” ezért hozzávetőleg, de nem egész pontosan háromezer szó.

A kapacitás többféleképpen növelhető, de az információmennyiség nem lesz nagyságrendekkel több, legalábbis sokáig úgy tűnt.

A korábbi OpenAI-mérnökök által alapított Anthropic startup viszont pont a „kontextus-ablakot” növelte szignifikáns mértékben – Claude nevű chatbotjuk esetében ez legalább 75 ezer szót jelent. A dzsesszkorszak, az 1920-as évek legendás krónikása, F. Scott Fitzgerald regénye, A nagy Gatsby kb. pont ennyit tartalmaz.

Claude kevesebb mint egy perc alatt elolvasta a könyvet. A vállalat aztán egyetlen mondatot átszerkesztett benne, és a chatbot huszonkét másodperc alatt kiszúrta a változtatást.

Korábban kilencezer token volt a felső limitje, az Anthropic elmondása alapján most százezer. A legfejlettebb nyelvmodell GPT-4-é nyolcezer, egy csúcsra futtatott változatáé 32 ezer, tehát mindenképpen lemarad Claude-tól.

A chatbot – óriási előrelépést jelentő – új változatát egyelőre csak az Anthropic üzleti partnerei érhetik el alkalmazásprogramozói felületeken, API-kon keresztül.

Claude szépen szemlélteti a nyelvmodellek feldolgozó-kapacitásának növekedését, amellyel a rendszerek használhatóbbá válnak. Összehasonlításként: egy embernek kb. öt óra kell 75 ezer szóból álló szöveg elolvasásához, azaz Claude hosszú dokumentumok gyors elolvasására, összefoglalására és elemzésére is remekül használható.

A nagyobb kontextus-ablak hosszabb beszélgetéseket is eredményez. Chatbotok többek között azért szoktak megzavarodni, aztán mindenféle sületlenséget összehordani, mert amikor a kontextus-ablakuk megtelik, elfelejtik az addig elmondottakat. A Bing chatbotját ezért limitálták húsz beszélgetésfordulatra.