Ha pontos választ szeretnénk nagy nyelvmodellektől, jól ki kell találnunk a szöveges utasítást, mert egyes promptok sokkal jobban működnek, mint mások. De hogyan lehet kitalálni jobbakat?

Az elmúlt hónapokban, egy-két évben új szakma is született erre a feladatra: a promptmérnök. Most viszont úgy tűnik, hogy az ő munkájuk is veszélyeztetett, mert a folyamat automatizálható.

A kanadai Toronto és Waterloo egyetemek által fejlesztett Automatizált Promptmérnök (APE) pont ezt teszi.

Nem túl sok input-output párból egy nagy nyelvmodell ugyanazokkal a bemenetekkel hasonló kimeneteket képes generálni. Ha maga készít promptot, addig variálhatja azokat, amíg az outputok még hasonlóbbak lesznek.

Az APE működéséhez két nagy nyelvmodellre, prompt- és tartalomgenerátorra van szükség. Az elsőhöz inputokat befejező (GPT-3, InstructGPT) és az üres részeket kitöltő (T5, GLM, InsertGPT) modellekkel, a másodikhoz az InstructGPT-vel kísérleteztek.

A generátornak ilyen promptot adtak meg: „egy barátomnak adtam egy utasítást és öt inputot. Elolvasta az utasítást, és mindegyik inputhoz írt egy-egy outputot. Íme az input-output párok…” Utána következett egy kis sor input-output példa, mondjuk, két állat neve, és hogy melyik a nagyobb, majd a prompt így zárult: „Az utasítás kész.” A generátor válasza: „Válaszd ki a nagyobb állatot.”

A generált prompthoz az outputokat létrehozó tartalomgenerátor adatsorából ötven további input példát adtak.

A prompt minőségét az alapján ítélték meg, hogy a tartalomgenerátor milyen gyakran készített az elvárásnak pontosan megfelelő outputot.

A prompt élesítéséhez utasították a tartalomgenerátort, hogy állítson elő a legmagasabb pontszámot elérőhöz hasonló promptot, majd megismételték a folyamatot. Ezt a lépést háromszor játszották el, és kijött például, hogy „Azonosítsd a nagyobb állatot.”

Automatizált promptmérnököt korábban is fejlesztettek már, de iteratív módszerrel egyiken sem finomítottak. A teszteken az APE náluk és humán promptmérnököknél is jobban teljesített.