A kódgeneráló eszközökre gyakran a programozók számára időt megtakarító és alapfeladatokat automatizáló módszerként tekintünk. A hatékonyságnak azonban ára van, mert az ezeket az eszközöket használó kódolónak jobban oda kell figyelnie a hibákra, megszüntetésükre és a biztonságra.

A Stanford Egyetem kutatói ugyanis megállapították, hogy az OpenAI számítógépes kódot generáló Codex modelljét használó programozók nagyobb valószínűséggel készítenek hibás szoftvert, mint a „semmiből” indulók.

Negyvenhét résztvevőt – diákokat, több évtizedes gyakorlattal rendelkező programozókat stb. – választottak ki biztonság témájú kódolási feladatokra. Harminchárman egyedi felhasználói felületen keresztül használhatták a GPT-3 finomhangolt változatát, a Codexet, míg a maradék tizennégy nem kapott automatizált segítséget. Mindkét csoport másolhatott kódot a webről.

Négy feladatot kaptak, háromban Python, a negyedikben Javascript funkciókat kellett írniuk. (A funkció speciális feladatot végrehajtó kódblokk.)

A kutatók manuálisan, annak megfelelően értékelték ki a válaszokat, hogy azok mennyire működnek, mennyire biztonságosak.

A Codexet használók által létrehozott kódok általában kevésbé működtek és kevésbé voltak biztonságosak, a kódolók viszont nagyobb bizalmat mutattak irántuk. Az eredmények egyébként a feladat és a programnyelv függvényében változtak.

A Codex-szel nem működő kódot készítők nagyobb valószínűséggel tartották a válaszukat pontosnak, mint a korrekt kódokat író és Codexet nem használó csoport tagjai.

Python esetében, a Codex nélküli résztvevők kétszer nagyobb valószínűséggel készítettek biztonságos kódot.

A digitálisbiztonság-tapasztalattal nem rendelkező „Codexesek” nagyobb valószínűséggel használtak nem szerkesztett, generált kódokat, mint az azzal rendelkezők. Ez különösen a sok résztvevő által kevésbé ismert Javascriptben történő kódolásra volt érvényes.

A gépi kódgenerálás azonban a kutatási eredmény ellenére izgalmas és előremutató trend, ráadásul a következő kutatásokban a „Codexesek”, a világhálóról kódot másolók és a semmiféle külső segítséggel nem élők eredményét is érdemes lenne összehasonlítani.