Hacsak nem kisebb MI-modellt tanítunk meg egy nagyobb utánzására, a géppel generált adatokon történő gyakorlás, úgy tűnik, befolyásolja a modell teljesítményét. Nehéz elképzelni, hogy kizárólag ChatGPT outputokon tanult nyelvmodellek felülmúlják magát a ChatGPT-t. Viszont ha humán adatokkal gyakorol, jobban teljesíthet nála.

Mindez azt jelenti, hogy az átláthatóság hiánya, azaz, ha nem tudjuk, melyik adat származik embertől, és melyik géptől, komoly kihívás MI-fejlesztők számára.

Az Amazon 2005-ben indított Mechanikus Törökje fontos szerepet játszik a gépi tanulás fejlődésében, a szakterület sok ismert adatsora, például az ImageNet közösségi ötletbörze (crowdsourcing) eredménye.

Mivel meg vannak győződve arról, hogy a munkát emberek végzik, gépitanulás-fejlesztők gyakran használják gyakorlóadatok gyűjtésére és annotálására a Mechanikus Törököt és más hasonló szolgáltatásokat. Viszont ha a közösségi ötletbörzések jelentős része mesterséges intelligenciával dolgozik, megkérdőjeleződik az adatok minősége, és a rajtuk gyakoroltatott modell hitelessége. Friss kutatásokból kiderült, hogy a gyakorlósorban lévő MI által generált tartalom növekedésével fordított arányban, a modell teljesítménye gyengül.

A svájci EPFL (École Polytechnique Fédérale de Lausanne) kutatói kimutatták, hogy a Mechanikus Török alkalmazottai közül több írásos anyagán észlelhető a ChatGPT „kézjegye.”

44-en nagyjából száz szóban foglalták össze orvosi kutatások absztraktjait. A ChatGPT nyomait keresve, a kutatók két módszert használtak az elemzéshez.

Az elsőhöz a Hugging Face e5-base modelljét az emberek által korábban írt és a ChatGPT-t használók által generált összefoglalók megkülönböztetéséhez finomhangolták. A másodikkal nyomon követték a Mechanikus Török dolgozóinak billentyűleütéseit. Az egyező billentyűleütések és beadványok bizonyították: a szöveg ember munkája, míg a másolásra és beillesztésre utalók az ellenkezőjét, vagy legalábbis azt, hogy egyes részeket az MI generálta.

44 személy 46 írásos összefoglalóját elemezve kiderült, hogy 21-nél 50, 15-nél pedig 98 százalék vagy nagyobb volt az esély a ChatGPT szerzőségére. Másolást és beillesztést 41-hez használtak.

Az eredmény elgondolkoztató, a minta viszont túl kicsi, ráadásul az összegzés emberek számára kifejezetten munka-intenzív feladat, amit nyelvmodell is képes elvégezni. Más közösségi ötletbörze-tevékenységeket jóval nehezebb automatizálni.