Az Neumann Társaság blogja a legfejlettebb infokom technológiákról

Jelenből a Jövőbe

Jelenből a Jövőbe

Mozgásrögzítéssel követett madár- és rovarrajok

2023. szeptember 20. - ferenck

A negyed kosárlabda-pályányi „okos pajta” (Smart Barn) a német Max Planck Állatviselkedés Intézet projektje, laboratóriummá átalakított istálló, ahol mozgásrögzítő kamerák teljes madár- és rovarrajok tevékenységét követik nyomon. Inkább emlékeztet egy hollywoodi stúdióra, mint egy pajtára, istállóra, bár etetőállomás is üzemel a helyszínen.

Harminc infravörös kamera az állatok testére rögzített akár ötszáz markert is képes figyelni. A hangokat harminc mikrofon veszi fel, és meg tudják határozni a madarak, rovarok pontos helyét. A környezet precíziós és kontrollálható, viszont a tér van akkora, hogy elegendő mennyiségű állat mozogjon, folytasson interakciókat, mint a természetben – nyilatkozta az ELTE-MTA Lendület Csoportos Viselkedés Kutatócsoport tudományos munkatára Nagy Máté, a Max Planck Intézet akkori kutatója.

swarms.jpg

A labor az állatok markerek nélküli nyomon követésére szintén alkalmas. Hat videokamerát és mesterségesintelligencia-alapú gépilátás-szoftvert használnak hozzá.

Házigalambokkal, seregélyekkel és a rovarok osztályába, azon belül a lepkék rendjébe tartozó afrikai halálfejű sólyommolyokkal (acherontia atriopos) végzett kísérletekben valamennyi állat valósidejű tartózkodási helyét és testtartását figyelték mozgáskövető markerekkel, vagy a követőket tartalmazó apró „hátizsákokat” tettek rájuk.

swarms0.jpg

Egy alkalommal a galambok tekintetét tanulmányozták, hogy kiderüljön: figyelmük mikor vált a táplálékról az esetleges ragadozóveszélyre. Máskor seregélyek étkezési idejének összehangolását figyelték férgek keresése közben. Az állatok azonban túl kreatívnak bizonyultak, mert tönkretették a markereket…

Az ilyen beltéri laborok lehetővé teszik a ragadozó és a zsákmány interakcióinak, vezető irányította állatcsoportok viselkedésének, kooperációjuk és kommunikációjuk közeli megfigyelését. Nagy távolságra történő vándorlás, nagyléptékű mozgások tanulmányozásához viszont kicsi ez a tér.

A laboratóriumi kísérletek méretesebb létesítmény felépítésére inspirálták a kutatókat, ahol tízezer marker nélküli rajzó sáskát figyeltek. A viselkedésre vonatkozó adatokon MI-rendszert szabadban élő galambok marker nélküli követésére tanították be.

A 3D mozgásrögzítés tökéletes technológia rajok belülről, és nem a széleken lévő egyedeken keresztüli tanulmányozására. Az adatokból sokat megtudunk arról, hogy az egyedek hogyan járulnak hozzá csoportok alakulásához, összetartásukhoz.

Elfogultak-e a gépilátás-rendszerek?

A Meta, a Facebook anyacége nyílt forrású adatsort tett közzé, hogy tesztelhető legyen a fényképeken és videókon objektumokat észlelő és csoportosítható gépilátás-modellek elfogultsága.

A „Korrektség a gépi látás kiértékelésében” (FAirness in Computer Vision EvaluaTion), a FACET (aspektus) 32 ezer képén 50 ezer annotált személy látható. A képosztályok foglalkozásokat, tevékenységeket, demográfiai és fizikai jellemzőket fednek le.

meta_gepilatas_elfogulrsag.jpg

Az annotációk készítői ezeket a címkéket az emberekre, hajukra, megjelenésükre és a ruházatukra vonatkozó, a Segment Anything 1 Billion adatsorból kinyert más címkékkel integrálták. Utóbbi adatsort gépilátás-modellek gyakoroltatására használják, hogy tárgyakat és állatokat „szedjenek ki” a képekből.

A Meta közölte, hogy a FACET kiadásával kutatók és fejlesztők munkáját szeretnék könnyebbé tenni, hogy ők is hasonló teljesítmény-értékelést végezzenek. Így jobban látják a saját modelljeikben lévő különbségeket, és a méltányossági aggályok megértése érdekében bevezetett változtatások hatását is nyomon tudják követni.

A gépilátás-algoritmusok elfogultságát bizonyító teljesítményértékelések nem újak, néhány éve a Meta is kiadott egyet, hogy kiderüljön a látó, illetve halló modellek kor, nem és bőrszín miatti előítéletessége. A témával sok kutatás is foglalkozik, és általában kiderül: az MI elfogult. Ráadásul a „felelős mesterséges intelligencia” témában a Meta lőtt már nagyon mellé, egyik MI-jének bétaváltozatát például azért kellett tavaly „kivonni a forgalomból”, mert rasszista és tudományosan pontatlan tartalmat generált.

Egyetlen teljesítményértékelés sem tökéletes.

A Meta elismeri, hogy a FACET talán nem ragadja meg kellőképpen a valóság fogalmait, demográfiai csoportjait, és a benne található szakmák jó része folyamatosan változik, például a Covid-19 alatt megörökített egészségügyi dolgozók a mainál több védőfelszerelést viseltek stb.

A FACET mellett, azt kiegészítve online adatsor-vizsgáló eszközt szintén közzétettek. Mindkettő használatához a fejlesztőknek bele kell egyezniük, hogy saját modelljeiket nem gyakoroltatják egyiken sem, a Meta anyagaival csak kiértékelnek.

Egy halott csillag felfalja és kozmikus ágyúgolyónak használja a vetélytársát

Csillagászok lenyűgöző, társcsillagáról az anyagot évtizedek óta lebontó és a világűrbe „kozmikus ágyúgolyókként” kilövő pulzárt fedeztek fel. A pulzárok halott csillagok erősen mágneses, elektromos impulzusokat meglepően szabályos időközönként kibocsátó maradványai.

A mintegy 4500 fényévre lévő PSR J1023+0038 viszont a csillagászok figyelmét megragadó különleges tulajdonságokkal rendelkezik: változó fényerejű impulzusokat bocsát ki, mintha két módban lenne, és egyikről a másikra, aztán visszaváltana.

pulzar.jpg

A nemzetközi kutatócsoport arra a következtetésre jutott, hogy a csillag a társcsillagtól „ellopott” anyagtömeget lövi ki. A tevékenységet ezred másodpercenkénti rádióhullámok formájában, tizenkét különböző teleszkópon és más műszereken észlelték.

A kozmikus ágyúgolyókra emlékeztető, elképesztő anyagmennyiség rövid, tíz másodperces időintervallumokban hihetetlenül nagy sebességgel forgó, kicsi és sűrű objektumról kerül az űrbe.

pulzar0.jpg

A szokatlan pulzár mintha a „magas” és az „alacsony” üzemmód között váltogatna. Először fényes röntgen-, UV-sugarak és látható fény távozik belőle, majd a „teljesítmény” szignifikáns csökkenésével rádióhullámok. Mindkét mód több másodpercig, percekig, míg az átkapcsolás csak pár másodpercig tart.

Két éjszaka azt figyelték meg, hogy a rendszer 280 alkalommal váltott működési módot. Az elképesztő jelenséget az összegyűjtött anyag kilövésével magyarázzák. A kutatók szerint a pulzárszél, a nagyenergiájú részecskék a pulzárról történő áramlása és a pulzár felé áramló anyag összjátéka lehet a váltás oka.

Sok kérdésre viszont még nem találtak választ. Például nem tudják, hogy a PSR J1023+0038 pulzár egyedüli-e az univerzumban, vagy mások is hasonlóan viselkednek. Hamarosan a chilei Atacama-sivatagban lévő óriásteleszkópokról fogják figyelni, és igyekeznek minél többet megtudni róla.

Hogyan használjuk a mesterséges intelligenciát a klímaváltozás ellen?

Évről évre egyre inkább érezzük a klímaváltozás negatív hatásait, és egyértelmű: innovatív megoldások kellenek a probléma kezelésére, a következmények csökkentésére. Ezek egyike a mesterséges intelligencia.

Bernard Marr világhírű jövőkutató áttekintette, hogy mit tehetünk az MI-vel, hogyan előzhetjük meg vele a katasztrófát. Hét pontban foglalta össze: éghajlat-modellezés, energiahatékonyság, megújuló energiák, széndioxid-leválasztás, katasztrófa-előrejelzés, ökoszisztémák monitorozása, klímaváltozás-politika.

ai_climate_change.jpg

A klímamodellek a Föld rendszerei közötti komplex interakciók megértésében segítenek, rájuk támaszkodva könnyebb előrejelezni a klímaváltozás hatásait. Óriási adatmennyiség gyors feldolgozásával, humán kutatók által nehezen észrevehető mintázatok azonosításával, az MI pontosabbá, használhatóbbá teszi a modelleket, hozzájárul a döntéshozáshoz.

A fenntartható fejlődéshez az energiafogyasztás optimalizálására és a felesleges használat csökkentésére van szükség. Az MI-val irányított, valósidejű intelligens hálózatkezelés, fejlett érzékelő-technológiájával, az elosztást és a fogyasztást szabályozó megoldásaival mindkettőben segít.

ai_climate_change0.jpg

A megújuló energiaforrások, mint a szél- vagy a napenergia kritikus szerepet játszanak az üvegházhatású gázkibocsátás csökkentésében. Az MI az ezeken az energiaforrásokon alapuló rendszerek telepítését, működtetését időjárási mintázatok elemzésével, az energiatermelés előrejelzésével, a stabil ellátást biztosító output maximalizálásával optimalizálja.

A széndioxid-leválasztás és -tárolás szintén a klímaváltozás elleni stratégia kulcseleme. Az ipari és energetikai források által termelt széndioxidot még a légkörbe kerülés előtt kell leválasztani, minimalizálni a kibocsátást. Az MI a leválasztó technológiák tervezésében, hatékony és olcsóbb használatában, az optimalizálásban közreműködhet.

Meteorológusok és klímakutatók az éghajlatváltozás miatti természeti katasztrófák előrejelzésére, a hatások (hurrikánok, árvizek, erdőtüzek) csökkentésére használják az MI-t. Nagymennyiségű adatot pontosabban elemez, bekövetkezési valószínűségekre utaló tendenciákat azonosít. Mi-alapúak lesznek a közeljövő károk minimalizálásában oroszlánrészt vállaló „korai figyelmeztetőrendszerei” is.

A biológiai sokszínűség és a természetes erőforrások változásának folyamatos megfigyeléséből a klímaváltozás hatásaira következtethetünk. Ha az ökoszisztémákat MI-alapú rendszerek monitorozzák, a műholdképes, drónok által rögzített és más adatok, összességében óriási adatmennyiség eredményes és gyors feldolgozása is gépi tanulással lehetséges.

A szabályozók MI-vel generált modellekkel azonosíthatják a leghatékonyabb klímaváltozás elleni stratégiákat. Alkalmazásukkor szintén MI figyelheti a működőképességüket, a legeredményesebb erőforrás-felhasználásban segítve a kormányokat. 

Hogyan teszteljünk kvantumszámítógépeket?

A kvantumtechnológiák, különösen a kvantumszámítógép a jövőben megváltoztathatják a fejlődést, az infokom világot. Ezekkel a komputerekkel elvileg mai szuperszámítógépekkel is megoldhatatlan problémákra kapunk majd választ.

Globális mamutvállalatok, az Egyesült Államok és Kína óriási összegeket fektetnek a technológiába. De mivel a kvantumrendszerek másfajta fizikai törvényeken alapulnak, mint a hagyományos számítógépek vagy az okostelefonok, könnyebben meghibásodnak. A Freie Universität Berlin és más európai egyetemek interdiszciplináris kutatócsoportja minőségük tesztelésére talált ki megoldást. A tesztben fizikai, számítástudományi és matematikai módszerek szerepelnek.

kvantumkomputer_1.jpg

A kutatást Jens Eisert nemzetközileg elismert kvantumfizikus vezette.

Az egyedi atomok vagy ionok számítási egységként irányítanak kicsi fizikai rendszereket. Ezeken az elveken alapulnak a kvantumszámítógépek is, amelyek sajnos hiperérzékenyek az interferenciára. Ha nem óvjuk őket eléggé a környezettől, elillan a „kvantumelőny.” Magyarán nem működnek – magyarázza Eisert.

De hogyan tudjuk meg egyáltalán, ha egy kvantumáramkör nem rendeltetésszerűen működik?

Nyilvánvalóan teszteléssel, mert a gép hiába végez számításokat, teszt nélkül nem tudjuk, mennyire pontosak azok. A kutatócsoport erre talált meglepően egyszerű megoldást.

Random áramköröket kell implementálni, majd kvantumbitekben (qubitekben) megadni a mérési eredményeket. Az adatokban csomó diagnosztikai információt találunk, amelyekből megtudjuk, hogy például mennyire működnek a kvantumkapuk, tapasztalhatók-e interferenciára utaló jelek, bizonyos részek nem lépnek-e véletlenül kapcsolatba egymással.

Az összes folyamat ugyanabba mérésbe kerül be, és így a teljes diagnosztika elvégezhető.

Várhatóan ez a kutatás szolgál majd egy új ellenőrzési módszer alapjául ahhoz, hogy a jövő kvantumszámítógépei gazdasági és tudományos szempontból is hasznosak legyenek.

Mesterségesintelligencia-alapú drón világklasszis drónversenyzőket előzött meg

A mesterséges intelligencia (MI) történetében mérföldkőnek számított, amikor az IBM Deep Blue számítógépe 1997-ben legyőzte a sakkvilágbajnok Gari Kaszparovot, majd a DeepMind (Google) AlphaGo rendszere 2016-ban az akkori go világranglista negyedik helyezett Lee Szedol felett diadalmaskodott.

Most a Zürichi Egyetem és az Intel kutatói értek el hasonló eredményt: Swift (gyors, sebes, fürge, de fecske is magyarul) nevű autonóm rendszerük fizikai sportban, drónversenyen vert meg humán bajnokokat.

dronverseny_1.jpg

Fizikai sportokat nehezebb előrejelezni, mint a táblás és a videojátékokat, ezért nagyobb kihívást jelentenek egy MI-nek. Sem a drón-, sem a környezetmodellekről nincsenek pontos ismereteik, az MI-nek meg kell tanulnia, hogyan folytasson interakciókat a környező világgal, kerüljön el akadályokat stb.  

Az MI több versenyt nyert meg „elsőszemélyű nézet” kategóriában három világklasszissal szemben. A kvadkoptereket a fedélzeti kamerával összeköttetésben álló, a gépekkel 100 km/h sebességeit is meghaladó pilóták távirányították.

dronverseny0_1.jpg

Autonóm drónok eddig általában kétszer annyi idő alatt tettek meg versenyeket, mint a pilóták által távirányítottak. Útvonalukat külső pozíciókövető rendszer kontrollálta. Swift viszont a fedélzeti kamerával gyűjtött adatokra reagál valós időben – ugyanúgy, mint a humán pilóták gépei. Integrált mérőegysége a sebességet és a gyorsulást méri, lokalizálása és a kapuk detektálása mesterséges idegháló feladata.

Az információkat mély ideghálón alapuló vezérlőegység dolgozza fel, és választja ki mindig a lehető legjobb megoldást.

A drónt szimulált környezetben gyakoroltatták, ami sokat segített, mert fizikai közegben gyakorló drónok gyakran tönkremennek, összetörnek. Swift viszont veszély nélkül gyűjthetett tapasztalatot.

Ő teljesítette legjobban a köröket, fél perccel vert rá emberek irányította társaira. Ha viszont a fizikai versenypálya nagyon különbözött a szimulált közegtől, például sokkal több volt a fény, akkor az ember vezérelte drónok teljesítettek jobban.

A Pentagon weboldalt indított, ahol megnézhetők a már nem titkosított ufó-videók

Az USA Védelmi Minisztériuma, a Pentagon nem azonosított repülő objektumokkal, azaz ufókkal foglalkozó hivatala honlapot indított az amerikai kormány által „nem azonosított légi jelenségek” (unidentified aerial phenomena, UAP) néven szereplő, ebbe a gyűjtőkategóriába tartozó korábban titkosított videóknak.

Nyolc ilyen videóról van szó, de a weboldalon a kormány és katonai alkalmazottak is beszámolhatnak általuk megtapasztalt, furcsa esetekről, égi tárgyakról. A honlapon a Pentagon elmondása szerint a megoldott, közkinccsé tehető UAP-esetek szerepelnek, videókkal és képekkel.

ufo.jpg

Az oldalon közölt információk sajnos nem annyira bőségesek, mint elvárható lenne. Az egyik különösen nyugtalanító, egy haditengerészeti pilóta által rögzített 2021-es videón – 2022-ben oldották fel a titkosítását – szokatlan gömbalakú objektum lehetetlennek tűnő sebességgel húz el a kamera mellett. A kísérő szövegben viszont csak annyi olvasható, hogy az anyag „a tipikus sebességet mutatja be, ahogy katonai repülőgépek megközelítenek egy ismeretlen objektumot.”

A honlap egyrészt videó- és információs központként működik, másrészt kormányalkalmazottak itt nyújthatják be saját megfigyelési anyagaikat a Pentagonnak. Ezzel leegyszerűsödik az UAP bejelentési folyamata.

ufo0.jpg

Korábban sokkal komplikáltabb volt, mert a parancsnoki lánc valamennyi szintjén hivatalos dokumentációra volt szükség.

Az oldalnak azonban van egy komoly hiányossága. A Pentagon összes azonosítatlan légi jelenség anyaga, az információk és a dokumentációk mind katonai vagy kormányzati alkalmazottaktól származnak, tehát ha a hadseregen és a kormányon kívüli személyek hiába láttak esetleg érdekes jelenségeket, anyagaik akkor sem kerülnek fel a honlapra.

Ma is ugyanazokat az UAP-ket látjuk, még mindig nem tudjuk, hogy mik, a kormánynak pedig fogalma sincs a probléma nagyságáról. Közben katonai és kereskedelmi pilóták is találkoznak UAP-kkel, aztán az esetek zöméről semmilyen beszámoló nem készül – állítja az ex-pilóta és az UFO visszaéléseket bejelentő, feltáró kongresszusi személy, Ryan Graves.

A telekom iparágra specializálódik egy nagy nyelvmodell

A biztonságra összpontosító Claude chatbot fejlesztője, az Anthropic összeállt Dél-Korea legnagyobb mobiltelefon-szolgáltatójával, az SK Telekommal, és százmillió dollárt kap, hogy többnyelvű nagy modellt építsen. Az LLM-et (large language model) a telekommunikációs iparra fogják fejleszteni, azaz iparág-specifikus lesz.

Az Anthropic a szintén LLM Claude alapját képező technológiára fogja építeni az új modellt. A dél-koreai vállalat az MI-alapú szolgáltatásokon nyugvó üzleti megoldásokkal foglalkozó Global Telco AI Alliance konzorcium tagjainak valószínűleg felajánlja majd a telekom alkalmazásokra, például ügyfélszolgálatra, marketingre és salesre finomhangolt modellt.

delkorea.jpg

Hat nyelvet fog támogatni: koreait, angolt, németet, japánt, arabot, spanyolt.

Claude és nyilván az új modell is kihasználja az úgynevezett „alkotmányos MI” előnyeit. A módszert arra találták ki. hogy az LLM-eket az elveken, „alkotmányon” alapuló emberi értékekhez igazítsák. A modell kezdetben az „alkotmány” szellemében kritizálja, finomítja a válaszait, majd az eredményeket felügyelt tanulás mellett finomhangolja. Következő lépés a megerősítéses tanulás.

delkorea0_1.jpg

Az SK Telekom fejlesztett már saját gépitanulás-modelleket, elsősorban koreaiul. A GPT-3 architektúráját emulálva, gyakoroltatta őket. Nem azonosított modellel virtuális asszisztenset hoztak létre mobil-felhasználóknak.

Mit jelent még az együttműködés?

Például azt, hogy az MI-modellek szinte minden iparágban fényes jövő előtt állnak. A partnerség az alapmodellek vertikális iparágakban történő alkalmazása, valószínűleg új üzleti modellel. Hasonló LLM például a BloombergGPT.

Az alapmodellek problémája lehet, hogy míg személyes elképzeléseinket leíró utasításokat (promptokat) könnyű kitalálni, speciális ismereteket igénylő feladatokat, például működő jogi dokumentumok útmutatóit viszont nehéz promptokba önteni. A folyamatos finomhangolás és a speciális gyakoroltatás lehet majd a megoldás.

Szűk helyekre is benyomja magát CLARI, az apró alakváltó robotrovar

Különleges robotot fejlesztettek a Boulderi Colorado Egyetemen. CLARI (Compliant Legged Articulated Robot Insect, ami kb. „engedékeny lábú ízelt robotrovar”) összenyomható, és az alakját képes úgy megváltoztatni, hogy nagyon szűk helyeken is elférjen.

A gép a biológiailag inspirált számítástudomány, a biomimikri újabb szép példája. Fejlesztőit az állatok különböző alakja és mérete ihlette meg. Az ő alapformája egy négyzet, egy-egy lábbal mindegyik oldalán, de összenyomható, hogy szélesebb legyen, mint mondjuk a rák, vagy megnyúljon, és hosszabb legyen, mint a csótány. Mérete ennek a tulajdonságának megfelelően, 2,1 és 3,4 centiméter között variálódik.

alakvalto0.jpg

Az alakváltás a fejlesztés alapkoncepciója. Kaushik Jayaram, az egyik mérnök szerint a mai robotok zöme alapvetően úgy néz ki, mint egy kocka. De miért kellene mindnek egyformának, kockának lennie? Az állatok formája és mérete is különféle – hangzik az alakváltás magyarázata.

Ha zömökebb, ha hosszabb, CLARI mindenképpen pehelysúlyú. A négylábú miniatűr robot azért ölthet számos formát, mert mindegyik lába önálló robotként képes működni. Áramköri lap és kettős aktuátor úgy mozgatja, mint egy emberi csípőízületet.

alakvalto.jpg

Fejlesztői elmondták, hogy bármilyen környezeti feltételhez alkalmazkodó, alakját annak megfelelően váltogató, általános rendeltetésű robotot akartak építeni. Jellemző módon, apró réseken is átfúrja magát, egy kicsit úgy, mint a bogarak.

Tenyerünkön elfér, tömege kevesebb, mint egy pingponglabdáé. A moduláris tervnek köszönhetően, négylábú változatából egészen különös, vad, csavargó gépek alakíthatók ki. Könnyen egyedire formálható, további lábak adhatók hozzá. A kutatók például hálókat megmászó, pókszerű nyolclábú masinát is terveznek létrehozni belőle.

Egyelőre persze gyerekcipőben jár még, vezetékekhez van kötve, azok látják el árammal, de a jövőben a tervek szerint más robotok számára megközelíthetetlen helyekre, például sugárhajtóművek belsejébe vagy épületromok közé is be tudja majd préselni magát.

A későbbi alkalmazások adják magukat, CLARI többek között katasztrófa utáni kutatási-mentési műveletekben vehet valamikor részt.

Honnan jönnek a mesterséges intelligenciát forradalmasító nagy nyelvmodellek?

A generatív mesterséges intelligencia (MI) forradalma a nagy nyelvmodelleken (large language models, LLM) alapul. Honnan jönnek, milyen technológiákból fejlődtek ki az LLM-ek?

A természetes nyelvfeldolgozás (natural language processing, NLP) korai éveiben a munkák jelentős részét az Egyesült Államok katonai hírszerzési ügynökségei finanszírozták. Egyszerű okból: gépi fordításra és beszédfelismerésre volt szükségük.

nlp.jpg

Ezek az ügynökségek a múltban is nagymennyiségű szövegeket és felvett beszélgetéseket, beszédeket elemeztek. Az anyagok különböző nyelveken készültek.

A sok idegen nyelv miatt az amerikai hadsereg technológiai ügynökségei, főként a DARPA (Fejlett Védelmi Kutatási Projektek Ügynöksége) évtizedeken keresztül rengeteg pénzt fektettek a gépi fordításba és a beszédfelismerésbe. A komoly támogatás a kutatókat arra motiválta, hogy az NLP más felhasználási területeivel összehasonlítva, aránytalanul nagy figyelmet szenteljenek ennek a két alkalmazásnak.

Az NLP történetének sok komoly technikai újítása – jóval több, mint gondolnánk – ezért vezethető vissza a mai alkalmazásokban szerény szerepet játszó fordításra.

A Google Brain mondatok egyik nyelven történő „feltérképezésére”, és annak a másik nyelvre történő átültetésére vonatkozó, az LLM-ek alapjait lerakó 2017-es tanulmányában (Attention Is All You Need) bevezetett transzformer-technikától egyenes út vezetett a ChatGPT-ig. A transzformer gyökerei a gépi fordítás klasszikus korszakába nyúlnak vissza.

Az LLM-ek, kimeneteik „alapigazság” példákkal való összehasonlításos kiértékeléséhez alkalmanként még ma is használják a 2002-es BLEU score-t. Utóbbival a gépi fordítást vetették össze a hitelesnek elfogadott eredeti, emberi fordítással.

Az LLM-ek egyik kulcseleme, a tokenizáció, nyers input szövegek feldolgozás közben tokenekké váló részszavakká (például: „token” és „izáció”) töréséhez leggyakrabban a 2015-ben népszerűvé vált Byte Pair Encoding (BPE) algoritmust használják.

A BPE fejlesztői a gyakorlóadatokban nem szereplő szavakat is lefordító modellt akartak építeni. Rájöttek, hogy szavak részszavakká osztásával olyan input reprezentáció hozható létre, amellyel a modell korábban nem látott szavakat is kitalálhat.

Tehát ez a technika is visszavezethető a klasszikus gépi fordításig.

süti beállítások módosítása