Amikor hozzáférhetővé vált a GPT-4 csak szöveges változata, az OpenAI hetekig nem tette közzé a kvantitatív eredményeket, és az architektúráról és a gyakorlásról máig nincs részletes anyag. Lényegében csak sejtjük, mire lehet képes a nagy nyelvmodell (large language model, LLM).

A GPT-4 legújabb változata, a GPT-4V a szöveggel, képpel és a kettő kombinációjával interakciókat folytató nagy multimodális modellek születőben lévő generációjának egyik korai példája. Eddig speciális rendszerek által végzett feladatokat (tárgydetektálás, arcfelismerés, optikai karakterfelismerés stb.) kivitelez, és mellette alkalmazkodik képekhez, szöveges és vizuális promptok alapján alkot, változtat rajtuk.

A modell képszerkesztőkkel, tervezőeszközökkel, személyes asszisztenssel és egy sereg más alkalmazással hozható közös nevezőre. A lehetőségek szerteágazók és izgalmasak.

A GPT-4 Vision-nel kiegészített verziót, a szeptember 24-én bemutatott GPT-4V-t kevesen tesztelték, de akiknek lehetőségükben állt, mind elégedetten nyilatkoztak róla. Többek közhött az X, a korábbi Twitter felhasználói széles körben tesztelték, például olyan szituációban is, amikor a modellnek ismernie kellett a kép tartalmát, kontextusát, következtetnie kellett belőle, és elfogadható válaszokat kellett generálnia.

Egy felhasználó például több parkolótáblával kirakott közlekedési oszlopról mutatott neki képet, beírta az időt és a napot, majd rákérdezett: parkolhat-e ott? A modell elolvasta a jeleket és helyesen válaszolt: „délután négytől, egy óra hosszat parkolhat itt.”

Egy másik „mérnök ágenst” építve, lehetővé tette, hogy a modell kóddá alakítsa a weboldal képernyőképét, majd a kódolási és a tervezési hibákat megszüntetve, iteratív módon javítsa a programot.

A 2000-es hollywoodi sikerfilm, a Gladiátor egyetlen képkockája alapján a modell sikeresen azonosította a Maximus Decimus Meridust alakító Russell Crowe-t, és még a kapcsolódó párbeszédet is bemutatta.

Amikor az emberi sejtről mutattak neki diagramot, és megkérték, hogy kilencedik osztályos diák szintjén írja le azt, személyre szabott oktatóként viselkedett.