Az Anthropic 400 ezer, 2025 októbere és 2026 áprilisa közötti Claude Code munkamenetet elemezve megállapította, hogy a felhasználók szakterületi hozzáértése, és nem a programozási képesség határozza meg, menyi autonóm munkát végez a modell.

A kutatás során a feladatok összetételét, ember és mesterséges intelligencia együttműködését, valamint a sikerességi arányokat értékelték ki, ezekből vonták le következtetéseiket. 

Kiderült, hogy a mélyreható szaktudással rendelkező felhasználók kétszer olyan hosszú cselekvési láncokat indítanak el, mint a kezdők (tizenkét művelet öttel szemben), és utasításonként ötször annyi kimenetet kapnak. A munkamegosztás szembetűnő: a felhasználók a tervezési döntések nagyjából hetven százalékát hozták meg, míg Claude a végrehajtás nyolcvan százalékát. Minél nagyobb szakértelemmel rendelkezik valaki, Claude annál több munkát végez utasításként. 

A jog, a számvitel, a tervezés és az adatelemzés területén a kódolási feladatok sikerességi aránya a szoftvermérnöki szinthez közelít, ami arra utal, hogy sokkal fontosabb tudni, mit építünk, mint ismerni a kódolás mikéntjét. Ellenőrizhető bizonyítékokkal, például tesztek sikeres teljesítésével vagy elkötelezett munkával érte el az MI az általunk kitűzött célt.

Minél nagyobb szakmai jártassággal rendelkezik valaki, annál gyakrabban zárult sikerrel a munkamenet – bár a középszintű és a szakértő felhasználók közötti különbség mérsékeltnek tűnik. 

A vizsgálati időszak alatt a hibakeresés a munkamenetek harminchárom százalékáról tizenkilenc százalékára csökkent, míg a nagyobb értékű munka bővült: a telepítés és az adatelemzés megduplázódott, a szoftverüzemeltetés tizennégy százalékról huszonegy százalékra nőtt, és egy átlagos munkamenet becsült gazdasági értéke huszonhét százalékkal emelkedett. 

A minta azt sugallja, hogy az ágensalapú kódolás (ott, ahol már alkalmazzák) kevésbé a mérnökök lecseréléséről, mint inkább a szakértelem megerősítéséről szól.