Előrejelzések alapján 2025-ig 61 százalékkal nő a világ adatállománya (a céges adatoké 75 százalékkal). A növekedés jelentős részben a hálózatok peremén (edge) ténykedő, irdatlan mennyiségű adatot generáló dolgok internetével (IoT) magyarázható. Minden adatot a számítási felhőben lévő adatközpontok tárolnak, dolgoznak fel, amivel a hálózati sávszélesség-követelmények drasztikusan növekednek, és a lehetőségek határát közelítik. Hiába fejlődik a technológia, az adatközpontok nem garantálják a sok alkalmazás szempontjából kritikus megfelelő átviteli sebességet és válaszidőt. Ráadásul a peremen működő eszközök (IoT, okostelefonok, laptopok, PC-k) folyamatosan használják a felhőből jövő adatokat.

Andrew Ng világhírű gépitanulás-szakértő szerint a mesterséges intelligencia, benne a generatív MI is gyorsan terjed a hálózatok peremén futó alkalmazásokban. Észrevétele ellentmondani látszik a hagyományosan értelmezett számítástudománynak: a legtöbb MI adatközpontokban, és nem peremeszközökön fut.

Több okból: a legmasszívabb nagy nyelvmodellek (LLM-ek) legalább százmilliárd vagy több paraméteresek, és még a következtetésekhez is óriási memóriakapacitás szükséges.

Az üzleti vállalkozások a felhőszámítás-alapú, „szoftver, mint szolgáltatás” (SaaS) termékeket jobban szeretik a peremen futó szoftvereknél. Az SaaS-szel a cégek hozzáférnek a termék minőségén javító adatokhoz, és könnyebb is vele a frissítés.

A legtöbb mai fejlesztőt SaaS-alkalmazások építésére gyakoroltatták, és inkább írnak felhőalapú, mint desktop- vagy más edge-alkalmazást.

Ng szerint mégis óriási a potenciál a perem és az MI összekapcsolódásában. Például azért, mert az MI-alkalmazások egyre jobban működnek peremeszközökön. Laptopján rendszeresen futtat egy-tízmilliárd paraméteres modelleket, ha pedig repülőn, wifi nélkül dolgozik, kis modelleket használ.

Sok alkalmazás esetében nincs semmi probléma korlátozott méretű modellekkel, mindegyik finomhangolható az aktuális feladathoz. Nyelvtani hibák kijavításához egyébként sem kell a történelemről, filozófiáról, csillagászatról és minden más témáról átfogó ismerettel rendelkező, 175 milliárd paraméteres modell.

Sok felhasználó, különösen az 1996 és 2010 között született Z-generáció – a jövőbeli trendek indikátora – egyre érzékenyebb a személyes adatokra (privacy), és ha például a helyesírási hibáinkat ellenőrizzük, semmi szükségünk adatainkat nagy techcégekkel megosztani. De az adataik magántermészetét féltő cégek számára is vonzó lehet az edge computing.

Erős kereskedelmi érdekek szintén a perem felé terelik az MI-t. A chipfejlesztők, mint például az Nvidia, az AMD és az Intel adatközpontoknak és PC-s, laptopos használatra értékesítik a chipeket. Így a félvezető- és a PC/laptop-gyártók erősen motiváltak a „perem MI” (edge AI) elterjedésében, mivel fogyasztóiknak a modernebb MI-használathoz frissíteniük kell a gépeiket. Magyarán sok cég kezd profitálni a perem MI felemelkedéséből, és komoly érdekük a reklámozása.

Ha próbáltunk már a családi nyaralásra elegendő cuccot autónk csomagtartójába pakolni, tudjuk, hogy nehéz feladat. Az emberhez hasonlóan, robotoknak is meggyűlik a bajuk a „sűrű” csomagolással.

Robotok számára a csomagolási probléma megoldása számos feltétellel jár: csomagok egymásra rakása, hogy a bőröndök ne essenek ki a csomagtartóból, nehéz tárgyak ne kerüljenek könnyebbek tetejére, a robotkar és a jármű lökhárítója közötti ütközések is elkerülendők és így tovább.

Egyes hagyományos módszerek szekvenciálisan kezelik a problémát. Egyszerre egy, valamelyik feltételnek megfelelő részmegoldást találnak ki, és megnézik, más feltétel nem lett-e megsértve. A műveletek hosszú sora és egy halom poggyász bepakolása miatt a folyamat annyira időigényes, hogy praktikusnak egyáltalán nem nevezhető.

Az MIT (Massachusetts Institute of Technology) kutatói a diffúziós modell nevű generatív mesterségesintelligencia-technikát használták a feladat hatékony kivitelezéséhez. Gépitanulás-modellek gyűjteményével dolgozva, mindegyiket speciális feltételtípus megjelenítésére tanították be. A modelleket később összekombinálták, hogy az összes feltételt egyszerre figyelembe vevő, globális megoldásokat generáljanak.

Módszerükkel a többi technikánál gyorsabban dolgoztak ki hatékony megoldásokat, és ugyanannyi idő alatt jóval több valósult meg sikeresen. Szintén fontos, hogy a feltételek új kombinációival a tárgyak nagyobb száma miatt előforduló újabb problémákat is képesek voltak kezelni. Olyanokat, amelyeket a modellek nem láttak gyakorlás közben.

Az általánosíthatóságnak köszönhetően, a robotoknak megtanítható a csomagolási problémák feltételeinek megértése, teljesítése. Az így gyakoroltatott robotok a raktározástól a könyvespolcok feltöltéséig, sokféle bonyolult feladat elvégzésére alkalmazhatók komplex környezetekben. 

Ötven éve ment az életeket megváltoztató bionikus technológiákat felvázoló, A hatmillió dolláros ember televízióssorozat. „Újra tudjuk építeni önt, meg van hozzá a technológiánk” – hangzott a mottó.

2023-ra svéd kutatók megvalósították a legendás sorozat jövőképét. Egy, jobb karját mezőgazdasági balesetben húsz esztendeje elveszített nőn 2017-ben sikeres bionikus beültetést végeztek. Azóta a mesterséges végtag teljes mértékben integrálódott az illető idegeivel, csontjaival és izomzatával.

A most ötven éves nő elmondta, hogy a bionikus kar drasztikusan megváltoztatta az életét, mozgékonyabb lett, és sokkal kevesebb fájdalmat érez. Előtte olyan érzése volt, mintha folyamatosan húsdarálóban lenne a keze.

Kétféle fájdalma volt: csonk-, ahol a könyök alatti amputáció történt, valamint fantomfájdalma. Utóbbi gyakori jelenség, a beteg a végtag eltűnése után is úgy érzi, mintha fájna a nemlétező testrész.

Nagymennyiségű fájdalomcsillapítót szedett. Mindezek mellé a korábbi szabvány karpótlást nehézkesnek, kényelmetlennek tartotta.

A bionikus kar mindent megváltoztatott. A fejlesztést svéd, ausztrál, olasz és amerikai kutatók végezték. A műtét után tízes skálán ötösről hármasra csökkent a fantomfájdalom, míg az akkor hatosnak érzékelt csonkfájdalom mára teljesen eltűnt. Sokkal kevesebb gyógyszerre van szüksége, jobban kontrollálja a bionikus kart.

Szakértők elmondták, hogy a kontroll, a nehéz irányíthatóság a hagyományos beültetések egyik legnagyobb problémája. Léteznek már nagyon kifinomult szerkezetek, de a megbízható és intuitív kontroll komoly gondot okoz. Kényelmetlenek és viselésük fájdalmakkal jár, mivel a bőrt erősen összenyomó foglalattal a végtag maradékához rögzítik őket.

A nemzetközi kutatócsoport ezért döntött az olasz Prensilia robotkarja, a Mia Hand mellett. Úgy tervezték, hogy viselője mindennapi rutintevékenységének akár nyolcvan százalékát elvégezze. Az esztétikumra is ügyeltek, mert az eddigi mesterséges végtagok inkább stigmatizáltak, semmint kellemes érzeteket keltettek.

A csontba integrált beültetések segítségével, közvetlenül a csontvázhoz kapcsolódik. Az idő múlásával a csontszövet beburkolja az eszközben lévő titánt, erős kötődés alakul ki a test és a bionikus tárgy között – összenőnek.

A beültetések a művégtag és az idegekbe és izmokba implantált elektródák között is kommunikációs kapuként működnek. Az elektródák a lokalizált idegkontrollról gyűjtenek infókat, amelyeket külső számítógépre továbbítanak. A számítógép mesterségesintelligencia-szoftverrel segíti a kézhasználatot.

A kéz a páciens saját idegei és a bionikus kar által érintett bármely tárgy közötti szenzorikus visszacsatolást kialakító érzékelőkkel is fel van szerelve. Ha az idegrendszerét a beültetésként funkcionáló elektronikával összekapcsolják, kevesebb a fájdalom, nagyobb a kontroll.

A bionikus kar természetesen felhasználóbarát is. Viselője éjszakai alvás előtt könnyedén és mások segítsége nélkül le tudja venni. Kényelmesen érzi magát, rengeteget segíti a mindennapokban.

Egyelőre ő az első és egyetlen páciens, aki ennyire integrált bionikus kart hord, és bár a kar minden eddiginél jobb, fejlesztői szerint még még sokat kell tenni a biológiai karhoz való hasonlóság fokozásáért.

A nagy nyelvmodellek (LLM) legújabb generációja túlmutat a nyelven. Ezekkel a mesterséges intelligenciákkal már multimodálisan, szöveg mellett vizuálisan, a kép-szöveg valamilyen kombinációjával, hang és más módszerekkel is kommunikálunk, változatos utasításokat, promptokat adhatunk nekik, amelyekre aztán valamilyen választ generálnak.

Az OpenAI GPT-4V, azaz a vizuális elemmel kiegészült GPT-4 ma a legismertebb ilyen modell. A Microsoft kutatói behatóan tesztelték a benne rejlő potenciált, és változatos feladatokat használva értékelték ki a promptolás adta lehetőségeket.

Az opciók között képek, szavak és számítógépes kódok közötti kifinomult interakciók is szerepeltek. A beszámolókban csak – pozitív és negatív – kvalitatív eredmények olvashatók. Más konkurens modellel, például a LLaVA-val nem végeztek összehasonlítást.

A GPT-4V-nek vizuális promptot adva, egy képen belül kiemelve az érdeklődésre számot tartó részt, majd dobozokkal és szöveges címkékkel hangsúlyozva azt, a modell teljesítménye folyamatosan javult.

Nem sorrendbe rakott képsorozatot látva, a GPT-4V azonosította az első eseményt, majd előrejelezte a következőket. Amikor pontos sorrendben kapta meg a képeket, leírta a cselekménysorozatot.

Amikor tengerparti tájról kapott fényképet, és arra kérték, hogy csökkentse a nézők érdeklődését, elmagyarázta, hogy a sziklák csúszósak és élesek, a hely pedig alkalmatlan a fürdésre.

Koponya MRI-vizsgálata alapján, szakértő radiológusi véleményt kértek a modelltől, amelyre pontos diagnózissal állt elő. A kiértékelést szakemberek végezték.

Egyszer a GPT-4V által generált képaláírások több részletet tartalmaztak, mint a valóságos példák. A kutatók ebből azt a következtetést vonták le, hogy a meglévő benchmarkok (kiválóság, teljesítmény mércéje, amelyhez hasonlókat kell mérni, megítélni) nem teszik lehetővé a kép tartalmának megértését.

A kvalitatív példák látványosak, de úgy válogatták össze őket, hogy csak felvillantsanak valamit a GPT-4V lehetőségeiből. A Microsoft szerint a modell viselkedése nem konzisztens, és bőven akad rajta finomítani való.

Az Illinois állambeli Északnyugati Egyetemen új nanoelektromos eszközt fejlesztettek gépitanulás-alapú osztályozó feladatok valóban energiahatékony megvalósítására. Az eszköz a jelenlegi technológiák fogyasztásának századrészét használva hatalmas adatmennyiség feldolgozására, mesterségesintelligencia-munkák kivitelezésére képes valósidőben, és az elemzéshez a számítási felhőt sem kell használnia.

E tulajdonságai miatt ideális a viselhető (wearable) elektronikai szerkezetekbe, például okosorákba és fitnesz-mérőkbe történő közvetlen integrációhoz, a valósidejű adatfeldolgozáshoz és közel valósidejű diagnosztikához.

Az elképzelést nyilvánosan hozzáférhető elektrokardiogram (EKG) adatsorok nagymennyiségű információijának osztályozására használták fel. Nemcsak hatékonyan és pontosan azonosította a szabálytalan szívverést, de az aritmia hat kategóriáját is 95 százalékos pontossággal megkülönböztette egymástól.

A jelenlegi bevett gyakorlat alapján szenzorok gyűjtik, és a számítási felhőbe küldik az adatokat, ahol a szerverek komoly energiamennyiséget használva elemzik azokat, mielőtt visszaküldenék a felhasználónak. Ez a megközelítés nagyon drága, túl sok a fogyasztás, és időkésleltetés is jár vele.

Az új eszköz teljesen másként működik, többek között sürgősségi egészségügyi esetekben vehetik majd komoly hasznát.

Mielőtt gépitanulás-technikák új adatokat elemeznének, a gyakorlóadatokat kell különféle kategóriákba rendezniük. Szilíciumalapú technológiákkal EKG-szerű nagy adatsorok kategorizálásához több mint száz tranzisztor kell, mindegyik saját energiát használ.

Az Északnyugati Egyetem új módszerével ugyanaz a gépitanulás-osztályozás két eszközzel megoldható, így pedig drasztikusan csökken az energiafogyasztás, az eszköz mérete, miközben jelentősen nőnek más tárgyakba, rendszerekbe integrálásának a lehetőségei.

A kutatók szerint a változatos anyagösszetétellel (kétdimenziós molibdén-diszulfid és egydimenziós szén nanocsövek) magyarázható különleges hangolási készség miatt működik ennyire hatékonyan az új eszköz. Rekonfigurálható tranzisztorai elég dinamikusak ahhoz, hogy különböző lépésekbe váltsanak.

Amikor hozzáférhetővé vált a GPT-4 csak szöveges változata, az OpenAI hetekig nem tette közzé a kvantitatív eredményeket, és az architektúráról és a gyakorlásról máig nincs részletes anyag. Lényegében csak sejtjük, mire lehet képes a nagy nyelvmodell (large language model, LLM).

A GPT-4 legújabb változata, a GPT-4V a szöveggel, képpel és a kettő kombinációjával interakciókat folytató nagy multimodális modellek születőben lévő generációjának egyik korai példája. Eddig speciális rendszerek által végzett feladatokat (tárgydetektálás, arcfelismerés, optikai karakterfelismerés stb.) kivitelez, és mellette alkalmazkodik képekhez, szöveges és vizuális promptok alapján alkot, változtat rajtuk.

A modell képszerkesztőkkel, tervezőeszközökkel, személyes asszisztenssel és egy sereg más alkalmazással hozható közös nevezőre. A lehetőségek szerteágazók és izgalmasak.

A GPT-4 Vision-nel kiegészített verziót, a szeptember 24-én bemutatott GPT-4V-t kevesen tesztelték, de akiknek lehetőségükben állt, mind elégedetten nyilatkoztak róla. Többek közhött az X, a korábbi Twitter felhasználói széles körben tesztelték, például olyan szituációban is, amikor a modellnek ismernie kellett a kép tartalmát, kontextusát, következtetnie kellett belőle, és elfogadható válaszokat kellett generálnia.

Egy felhasználó például több parkolótáblával kirakott közlekedési oszlopról mutatott neki képet, beírta az időt és a napot, majd rákérdezett: parkolhat-e ott? A modell elolvasta a jeleket és helyesen válaszolt: „délután négytől, egy óra hosszat parkolhat itt.”

Egy másik „mérnök ágenst” építve, lehetővé tette, hogy a modell kóddá alakítsa a weboldal képernyőképét, majd a kódolási és a tervezési hibákat megszüntetve, iteratív módon javítsa a programot.

A 2000-es hollywoodi sikerfilm, a Gladiátor egyetlen képkockája alapján a modell sikeresen azonosította a Maximus Decimus Meridust alakító Russell Crowe-t, és még a kapcsolódó párbeszédet is bemutatta.

Amikor az emberi sejtről mutattak neki diagramot, és megkérték, hogy kilencedik osztályos diák szintjén írja le azt, személyre szabott oktatóként viselkedett.

Egy gyógyíthatatlan állapotban lévő marylandi férfinek egy hónapja genetikailag módosított sertésszívet ültettek az eredeti helyére. Kilökődésnek és fertőzésnek eddig semmi jele, ami bizakodásra ad okot. Ilyen műtétet korábban csak egyet hajtottak végre., most – szeptemberben – a 2022-es elsőhöz hasonlóan, a Marylandi Orvosi Egyetem Kórházában került sor rá.

A beteg egészségügyi állapota nem tette lehetővé, hogy emberi szívet ültessenek be neki, és az USA Élelmiszer- és Gyógyszerügyi Hivatala (FDA) megadta az engedélyt a műtétre.

Az ötvennyolc éves Lawrence Faucette új szíve külső segítség nélkül is „jól teljesít”, a levegővétel is önállóan történik. Egy hónap túlélés komoly mérföldkőnek számít, bár a beteg még nincs túl minden veszélyen.

A 2022-es műtét alanya két hónappal a műtét után hunyt el. Több tényező miatt: komplikációk léptek fel, a gyógyszerek károsították a szívet, bár kilökődést nála sem tapasztaltak, a többi belső szerv megtűrte az újat.

A beültetett szervben megbúvó sertésvírusra szintén találtak bizonyítékot, de az orvosok nem tudták eldönteni, hogy a halálesethez volt-e valami köze.

Faucette-et közelről és folyamatosan figyelik, és már leszoktatták az eleinte az új szívet erősító gyógyszerekről. Fizikai terápián is részt vesz, hogy újra járhasson, és visszanyerje erejét.

A kimenettől függetlenül, a műtét és az azóta eltelt egy hónap mindenképpen sikernek tekinthető, több mint százezer, szervbeültetésre váró amerikait tölt el reménnyel. Jó részük xenotranszplantáción eshet át – e műtétek során emberekbe más állatok szerveit, szöveteit vagy sejtjeit ültetik be.

A sertésszív a virginiai Revivicor biotech-cég fejlesztése. Ők genetikailag módosított sertésekkel kívánják megoldani a szervhiányt. A speciális állatok génjeit úgy szerkesztik, hogy az emberi szervezet ne lökje ki ezeket a szerveket, szöveteket, sejteket.

A sertésszervek másik problémája lehet, hogy lappangó parazitákat, baktériumokat és vírusokat tartalmazhatnak annak ellenére is, hogy ezeket az állatokat speciális létesítményekben, speciális táplálékokon nevelik. Faucette esetében alaposan kivizsgálták a donort, és semmi gyanúsat nem találtak a szívben.

Az önvezető járműveknek a sarokban parkoló kamiontól a kereszteződés felé száguldó kerékpárosig, gyorsan és pontosan fel kell ismernie a környezetében lévő objektumokat. Masszív gépilátás-modellt kell használnia hozzá, hogy a jelenet nagyfelbontású képének összes pixelét tudja kategorizálni, mert csak így nem veszíti szem elől a – gyengébb minőségű képeken homályos, takart – tárgyakat.

Az MIT (Massachusetts Institute of Technology) és az MIT-IBM Watson AI Lab kutatói a feladat számítási komplexitását jelentősen csökkentő, az eddigieknél hatékonyabb gépilátás-modellt fejlesztettek.

A modell korlátozott hardveres erőforrással rendelkező eszközön is képes pontos szemantikai szegmentációt valósidőben végezni. Ilyen eszköz lehet például a pillanat törtrésze alatti döntéshozás lehetőségét megadó fedélzeti számítógép.

A legfejlettebb szemantikus szegmentáló modellek közvetlenül tanulják meg a kép minden egyes pixele közötti interakciókat. Nagyobb képfelbontással a számítások is jócskán növekednek, így a modellek ugyan pontosak, viszont „edge” eszközökön, például szenzorokon vagy mobiltelefonon túl lassúak nagyfelbontású képek valósidejű feldolgozásához.

A kutatók a legfejlettebb modellekkel azonos képességekkel rendelkező, viszont csak a lineáris számításokkal azonos komplexitású, tehát „hardverhatékony” műveletekre kész, új „építőelemet” terveztek szemantikus szegmentálókhoz. A nagyfelbontású gépi látáshoz fejlesztett modell, mobileszközre telepítve, kilencszer gyorsabb a korábbiaknál, viszont ugyanolyan pontos.

A modellből biztos, ami biztos alapon, teljes sorozatot készítettek.

A technológiával nemcsak önvezető járművek valósidejű döntéshozása, hanem más nagyfelbontású gépilátás-feladatok, például orvosi képek szegmentálása is javítható.

Képzeljük el, hogy nehéz tárgyat, például csőkulcsot fogunk meg egy kézzel. Valószínűleg nemcsak az ujjvégekkel, hanem teljes ujjainkkal fogjuk. A bőrünkben lévő, mindegyik ujjunk teljes egésze mellett futó szenzorikus receptorok a megfogott tárgyról küldenek információt az agyban.

Egy robotkézben tapintási szenzorok kamerákkal szereznek infókat a megfogott tárgyakról. Kicsik és laposak, gyakran az ujjbegyekben helyezkednek el. Ezek a robotok – ellentétben az emberrel – csak az ujjbegyet használják tárgyak megragadására, jellemzően csípőmozdulattal. Így viszont korlátozottak a gép által végrehajtható feladatok.

Az MIT (Massachusetts Institute of Technology) kutatói kamera-alapú érintőszenzort fejlesztettek. Az érzékelő hosszú, ívelt, alakja olyan, mint az emberi ujjé. Nagyobb területen is képes nagyfelbontású érintőérzékelésre. A GelSight Svelte nevű szerkezet két tükörrel veri vissza és töri meg a fényt. Az érzékelő alján lévő egyik kamera mindent lát a teljes ujj mentén.

A rendszert rugalmas gerinccel alakították ki. Mérik, hogy a gerinc mennyire hajlik meg, amikor az ujj hozzáér egy tárgyhoz. Ebből számítják ki a szenzorra kifejtett erőt.

Az érzékelők, az emberhez hasonlóan nehéz tárgyakat megmarkoló robotkar építéséhez használhatók. Ilyenkor mindhárom ujja teljes érzékelőterületét használja. A kéz természetesen a hagyományos robotmarkolóknál megszokott szorítófogásokra is képes.

Mivel az új szenzor alakja olyan, mint az emberi ujjé, különböző feladatok különféle markolásmódszereihez használható, azaz nem egyetlen technikát alkalmaz mindenre.

A szenzor új lehetőségeket nyit meg tárgyakat módosító, robotokkal végzett feladatokban.

A genfi CERN, az Európai Nukleáris Kutatási Szervezet lemeztár-kapacitása meghaladja az egymillió terabájtnyi lemezterület küszöbét – derült ki a napokban.

Az intézmény adattára nemcsak a Nagy Hadronütköztetőt (LHC) szolgálja ki, hanem kísérletek és szolgáltatások online adatkezelést igénylő tömegét. Az adatkapacitást 111 ezer eszköz, főként merevlemezek és növekvő számú flash technikák szolgáltatják.

Ennyi eszköz egyértelművé teszi a gyakori hibákat, ezért a tárolásnak ellenállónak kell lennie, többféle adatvisszaállítási módszert kell használnia. A legtöbb lemezen fizikai adatokat tárolnak, és a CERN nyílt forrású szoftveres megoldása irányítja az egészet. Utóbbit azért hozták létre, hogy kiszolgálja az LHC extrém számításigényeit.

Miután az LHC közelgő nehézion-üzemmódjához bővítették a kapacitásokat, a tárolási infrastruktúrában újabb „minden idők” csúcsot döntöttek. Itt nemcsak az adatbőségről van szó, hanem nagyon komoly teljesítményről – hangsúlyozzák a kutatók.

A csúccsal az adatkezelő kapacitások markáns célját sikerült megvalósítani. A nagyteljesítményű tárolás új távlatai nyílnak meg.