Amikor hozzáférhetővé vált a GPT-4 csak szöveges változata, az OpenAI hetekig nem tette közzé a kvantitatív eredményeket, és az architektúráról és a gyakorlásról máig nincs részletes anyag. Lényegében csak sejtjük, mire lehet képes a nagy nyelvmodell (large language model, LLM).

A GPT-4 legújabb változata, a GPT-4V a szöveggel, képpel és a kettő kombinációjával interakciókat folytató nagy multimodális modellek születőben lévő generációjának egyik korai példája. Eddig speciális rendszerek által végzett feladatokat (tárgydetektálás, arcfelismerés, optikai karakterfelismerés stb.) kivitelez, és mellette alkalmazkodik képekhez, szöveges és vizuális promptok alapján alkot, változtat rajtuk.

A modell képszerkesztőkkel, tervezőeszközökkel, személyes asszisztenssel és egy sereg más alkalmazással hozható közös nevezőre. A lehetőségek szerteágazók és izgalmasak.

A GPT-4 Vision-nel kiegészített verziót, a szeptember 24-én bemutatott GPT-4V-t kevesen tesztelték, de akiknek lehetőségükben állt, mind elégedetten nyilatkoztak róla. Többek közhött az X, a korábbi Twitter felhasználói széles körben tesztelték, például olyan szituációban is, amikor a modellnek ismernie kellett a kép tartalmát, kontextusát, következtetnie kellett belőle, és elfogadható válaszokat kellett generálnia.

Egy felhasználó például több parkolótáblával kirakott közlekedési oszlopról mutatott neki képet, beírta az időt és a napot, majd rákérdezett: parkolhat-e ott? A modell elolvasta a jeleket és helyesen válaszolt: „délután négytől, egy óra hosszat parkolhat itt.”

Egy másik „mérnök ágenst” építve, lehetővé tette, hogy a modell kóddá alakítsa a weboldal képernyőképét, majd a kódolási és a tervezési hibákat megszüntetve, iteratív módon javítsa a programot.

A 2000-es hollywoodi sikerfilm, a Gladiátor egyetlen képkockája alapján a modell sikeresen azonosította a Maximus Decimus Meridust alakító Russell Crowe-t, és még a kapcsolódó párbeszédet is bemutatta.

Amikor az emberi sejtről mutattak neki diagramot, és megkérték, hogy kilencedik osztályos diák szintjén írja le azt, személyre szabott oktatóként viselkedett.

Egy gyógyíthatatlan állapotban lévő marylandi férfinek egy hónapja genetikailag módosított sertésszívet ültettek az eredeti helyére. Kilökődésnek és fertőzésnek eddig semmi jele, ami bizakodásra ad okot. Ilyen műtétet korábban csak egyet hajtottak végre., most – szeptemberben – a 2022-es elsőhöz hasonlóan, a Marylandi Orvosi Egyetem Kórházában került sor rá.

A beteg egészségügyi állapota nem tette lehetővé, hogy emberi szívet ültessenek be neki, és az USA Élelmiszer- és Gyógyszerügyi Hivatala (FDA) megadta az engedélyt a műtétre.

Az ötvennyolc éves Lawrence Faucette új szíve külső segítség nélkül is „jól teljesít”, a levegővétel is önállóan történik. Egy hónap túlélés komoly mérföldkőnek számít, bár a beteg még nincs túl minden veszélyen.

A 2022-es műtét alanya két hónappal a műtét után hunyt el. Több tényező miatt: komplikációk léptek fel, a gyógyszerek károsították a szívet, bár kilökődést nála sem tapasztaltak, a többi belső szerv megtűrte az újat.

A beültetett szervben megbúvó sertésvírusra szintén találtak bizonyítékot, de az orvosok nem tudták eldönteni, hogy a halálesethez volt-e valami köze.

Faucette-et közelről és folyamatosan figyelik, és már leszoktatták az eleinte az új szívet erősító gyógyszerekről. Fizikai terápián is részt vesz, hogy újra járhasson, és visszanyerje erejét.

A kimenettől függetlenül, a műtét és az azóta eltelt egy hónap mindenképpen sikernek tekinthető, több mint százezer, szervbeültetésre váró amerikait tölt el reménnyel. Jó részük xenotranszplantáción eshet át – e műtétek során emberekbe más állatok szerveit, szöveteit vagy sejtjeit ültetik be.

A sertésszív a virginiai Revivicor biotech-cég fejlesztése. Ők genetikailag módosított sertésekkel kívánják megoldani a szervhiányt. A speciális állatok génjeit úgy szerkesztik, hogy az emberi szervezet ne lökje ki ezeket a szerveket, szöveteket, sejteket.

A sertésszervek másik problémája lehet, hogy lappangó parazitákat, baktériumokat és vírusokat tartalmazhatnak annak ellenére is, hogy ezeket az állatokat speciális létesítményekben, speciális táplálékokon nevelik. Faucette esetében alaposan kivizsgálták a donort, és semmi gyanúsat nem találtak a szívben.

Az önvezető járműveknek a sarokban parkoló kamiontól a kereszteződés felé száguldó kerékpárosig, gyorsan és pontosan fel kell ismernie a környezetében lévő objektumokat. Masszív gépilátás-modellt kell használnia hozzá, hogy a jelenet nagyfelbontású képének összes pixelét tudja kategorizálni, mert csak így nem veszíti szem elől a – gyengébb minőségű képeken homályos, takart – tárgyakat.

Az MIT (Massachusetts Institute of Technology) és az MIT-IBM Watson AI Lab kutatói a feladat számítási komplexitását jelentősen csökkentő, az eddigieknél hatékonyabb gépilátás-modellt fejlesztettek.

A modell korlátozott hardveres erőforrással rendelkező eszközön is képes pontos szemantikai szegmentációt valósidőben végezni. Ilyen eszköz lehet például a pillanat törtrésze alatti döntéshozás lehetőségét megadó fedélzeti számítógép.

A legfejlettebb szemantikus szegmentáló modellek közvetlenül tanulják meg a kép minden egyes pixele közötti interakciókat. Nagyobb képfelbontással a számítások is jócskán növekednek, így a modellek ugyan pontosak, viszont „edge” eszközökön, például szenzorokon vagy mobiltelefonon túl lassúak nagyfelbontású képek valósidejű feldolgozásához.

A kutatók a legfejlettebb modellekkel azonos képességekkel rendelkező, viszont csak a lineáris számításokkal azonos komplexitású, tehát „hardverhatékony” műveletekre kész, új „építőelemet” terveztek szemantikus szegmentálókhoz. A nagyfelbontású gépi látáshoz fejlesztett modell, mobileszközre telepítve, kilencszer gyorsabb a korábbiaknál, viszont ugyanolyan pontos.

A modellből biztos, ami biztos alapon, teljes sorozatot készítettek.

A technológiával nemcsak önvezető járművek valósidejű döntéshozása, hanem más nagyfelbontású gépilátás-feladatok, például orvosi képek szegmentálása is javítható.

Képzeljük el, hogy nehéz tárgyat, például csőkulcsot fogunk meg egy kézzel. Valószínűleg nemcsak az ujjvégekkel, hanem teljes ujjainkkal fogjuk. A bőrünkben lévő, mindegyik ujjunk teljes egésze mellett futó szenzorikus receptorok a megfogott tárgyról küldenek információt az agyban.

Egy robotkézben tapintási szenzorok kamerákkal szereznek infókat a megfogott tárgyakról. Kicsik és laposak, gyakran az ujjbegyekben helyezkednek el. Ezek a robotok – ellentétben az emberrel – csak az ujjbegyet használják tárgyak megragadására, jellemzően csípőmozdulattal. Így viszont korlátozottak a gép által végrehajtható feladatok.

Az MIT (Massachusetts Institute of Technology) kutatói kamera-alapú érintőszenzort fejlesztettek. Az érzékelő hosszú, ívelt, alakja olyan, mint az emberi ujjé. Nagyobb területen is képes nagyfelbontású érintőérzékelésre. A GelSight Svelte nevű szerkezet két tükörrel veri vissza és töri meg a fényt. Az érzékelő alján lévő egyik kamera mindent lát a teljes ujj mentén.

A rendszert rugalmas gerinccel alakították ki. Mérik, hogy a gerinc mennyire hajlik meg, amikor az ujj hozzáér egy tárgyhoz. Ebből számítják ki a szenzorra kifejtett erőt.

Az érzékelők, az emberhez hasonlóan nehéz tárgyakat megmarkoló robotkar építéséhez használhatók. Ilyenkor mindhárom ujja teljes érzékelőterületét használja. A kéz természetesen a hagyományos robotmarkolóknál megszokott szorítófogásokra is képes.

Mivel az új szenzor alakja olyan, mint az emberi ujjé, különböző feladatok különféle markolásmódszereihez használható, azaz nem egyetlen technikát alkalmaz mindenre.

A szenzor új lehetőségeket nyit meg tárgyakat módosító, robotokkal végzett feladatokban.

A genfi CERN, az Európai Nukleáris Kutatási Szervezet lemeztár-kapacitása meghaladja az egymillió terabájtnyi lemezterület küszöbét – derült ki a napokban.

Az intézmény adattára nemcsak a Nagy Hadronütköztetőt (LHC) szolgálja ki, hanem kísérletek és szolgáltatások online adatkezelést igénylő tömegét. Az adatkapacitást 111 ezer eszköz, főként merevlemezek és növekvő számú flash technikák szolgáltatják.

Ennyi eszköz egyértelművé teszi a gyakori hibákat, ezért a tárolásnak ellenállónak kell lennie, többféle adatvisszaállítási módszert kell használnia. A legtöbb lemezen fizikai adatokat tárolnak, és a CERN nyílt forrású szoftveres megoldása irányítja az egészet. Utóbbit azért hozták létre, hogy kiszolgálja az LHC extrém számításigényeit.

Miután az LHC közelgő nehézion-üzemmódjához bővítették a kapacitásokat, a tárolási infrastruktúrában újabb „minden idők” csúcsot döntöttek. Itt nemcsak az adatbőségről van szó, hanem nagyon komoly teljesítményről – hangsúlyozzák a kutatók.

A csúccsal az adatkezelő kapacitások markáns célját sikerült megvalósítani. A nagyteljesítményű tárolás új távlatai nyílnak meg.

A dél-koreai Alaptudományok Intézete és az IBM fizikusai adott felületen lévő egyedi atomokkal végeztek kvantumszámításokat. Most került sor először rá, tehát valóban úttörő megoldásról beszélhetünk.

A technika lényege, hogy pásztázó alagútmikroszkóp (STM) csúcsából érkező mikrohullámú jelek sugárzásával szabályozza a titánatomokat. A módszer aligha fog rivalizálni a Google és az IBM, valamint egy csomó startup által is alkalmazott, vezető kvantumszámítási lehetőséggel, ugyanakkor nagyon érdekes.

Kvantumtulajdonságok változatos vegyi elemekben, molekulákban történő tanulmányozására viszont mindenképpen jó. Bizonyos szinten, a természetben bármi „kvantum”, és elvileg kvantumműveleteket képes kivitelezni. A problémás rész a kvantumállapotok, a qubitek izolálása a környezeti zavaró tényezőktől, és a vezérlésük ahhoz, hogy képesek legyenek ilyen műveletek kivitelezésére.

A kutatók a természet eredeti qubitjével, az elektron spinjével dolgoztak. Az elektronok apró iránytűkként működnek, forgási irányuk csak – a klasszikus bit két értékének, a 0-nak és 1-nek megfelelő – fel-lel és le-vel írhatók le. De mielőtt mérnénk: az elektron spin lehetséges köztes állapotok folytonosságában, szuperpozícióban létezhet. Kvantumszámításokhoz ez a kulcs.

A kutatók titánatomokat szórtak egy teljesen lapos, magnéziumoxidból álló felületre. Ezt követően, az atomi felbontású STM segítségével feltérképezték az atomok helyzetét. A titánatomokat az STM hegyével mozgatták, hármat háromszögbe rendeztek közülük.

Az STM csúcsáról küldött mikrohullámú jelekkel az egyik titánatomban irányítani tudták az egyedi elektron spinjét. A mikrohullámok frekvenciájának megfelelő hangolásával annak spinje is kölcsönhatásba léphet a másik két titánatom spinjével. Valahogy úgy, ahogy több iránytű is hat egymásra mágneses terükön keresztül. Ezzel pedig egyszerű, két qubites kvantumműveletet végeztek el. Az egész nanomásodpercekig tartott, sokkal gyorsabb volt, mint minden más qubit-típussal.

A kutatók elmondták, hogy a technológia viszonylag simán bővíthető száz qubitig, afelett viszont már sokkal több nehézséggel szembesülnének.

Az Északnyugati Egyetem (Evanston, Illinois állam) kutatói kifejlesztették a világ első, szinte a semmiből, például szappan méretű téglatestből használható robotokat tervező mesterséges intelligenciáját.

A teszthez egyszerű promptot adtak meg neki: tervezzen lapos terepen járó robotot. Ennyi volt az ember előkészítő munkája, a humán input, az ötletet már az MI váltotta valóra.

Míg a természetnek évmilliárdokba telt, amíg megjelentek az első járó fajok, addig az új algoritmus néhány másodpercbe sűrítette, fénysebességre pörgette fel az evolúciót.

Az MI-algoritmus azonban nemcsak gyors, hanem szuperszámítógép, számítógép-klaszter helyett pehelykönnyű személyi számítógépen fut, és szinte a semmiből talál ki új szerkezeteket. Ezek a tények azért figyelemreméltók, mert éles ellentétben állnak a többi hasonló MI-rendszerrel.

Nekik általában energiaéhes szuperszámítógépekre és kolosszális méretű adatsorokra van szükségük. Ráadásul csak már meglévő munkákat képesek lemásolni, utánozni velük, és a kreativitás csúcsaként, maximum valami mixet készítenek belőlük, de nem teremtenek teljesen újat.

A kutatók instant evolúciónak nevezték el a folyamatot, majd az MI tervrajza alapján építették a robotot. A kutatást vezető Sam Kriegman 2020-ban fejlesztett xenobotjai voltak a világon az első teljes egészükben biológiai sejtekből alkotott élő robotok.

Kriegman és munkatársai a mesterséges élethez vezető út legújabb lépését látják mostani mesterséges intelligenciájukban. Maga a robot kicsi, kusza, torz, és nem is élő, hanem szervetlen anyagból készült. De ennek ellenére a mesterséges intelligencia által létrehozott eszközök új világát jelzi, és – az állatokhoz hasonlóan – önállóan tud mozogni környezetében.

„Amikor az emberek ránéznek a robotra, azt mondják, hogy használhatatlan kütyü. Én viszont egy teljesen új organizmus születését látom benne” – magyarázza Kriegman.

Amikor az Univerzum legnagyobb csillagjai kifogynak az energiából, szupernovaként felrobbannak, befelé omlanak szét, neutroncsillagot, fekete lyukat hagyva maguk után, vagy teljesen elpárolognak. A robbanás belsejében történteket nehéz, az úgynevezett egzotikus szupernovákat, a legritkább és legfényesebb csillagrobbanásokat még nehezebb megérteni.

Csillagászok masszív szuperszámítógépeket használnak ritka szupernovák dinamikájának jobb megértéséhez. A folyamatot szimulálják.

Hosszú évek kutatásai, többmillió szuperszámítógépes számítási idő után, tajvani, amerikai és japán kutatók elkészítették az első 3D hidrodinamikus szimulációt egzotikus szupernovákról. Az ötmillió óra ugyan közel hatszáz év, viszont mivel a számításokat sokezer párhuzamosan dolgozó gép végezte, nem tűnik olyan óriási időnek.

Ezek a ragyogó és erőteljes robbanások hatalmas csillagok életének végét jelentik, és a tudósok most már viszonylag átfogó ismeretekkel rendelkeznek a jelenségekről. A szupernovák többségénél belső fényességük jól ismert, és tudósok ezért számítógépes modelleket tudtak készíteni a robbanáskor történtekről.

Az utóbbi évek nagyléptékű szupernova-megfigyeléseiből újfajta kozmikus robbanásokra figyeltek fel. Egyikük tízszer-százszor fényesebb, mint az átlagosak, és nagyon sokáig tart. Ezek az egzotikus szupernovák, és a ritka jelenségek kikezdik a szupernova-fizika megértését.

A szabályos szupernovákat a náluk mintegy százszor fényesebb szuperfényes szupernovákkal összevetve, előbbiek tipikusan csak néhány hétig, hónapig tartják meg a fényességüket. A szinte végtelen fényűek viszont évekig vagy még tovább. Más egzotikus szupernovák fényereje szabálytalan, időszakonként változik.

Az egzotikus szupernovák „elkövetői” a Napnál kb. 80-140-szer nagyobb tömegű csillagok. A róluk összegyűjtött minél nagyobb ismeretek kulcsok lehetnek az Univerzum legóriásibb csillagjai evolúciójának megértéséhez.

A modellezés azonban komoly kihívás, ráadásul a jelenlegiek többsége erősen korlátozott, mert a szimulációk csak egydimenziósak.

Csúcstechnológiás szuperszámítógépes szimulációval, többmillió óra számítási idővel a kutatók viszont modellezték, hogy az egzotikus szupernova-robbanás belsejében lévő turbulens szerkezetek hogyan befolyásolják a teljes szupernova fényességét, robbanását. Kiderült, hogy a nem szabályos folyadékmozgásból teremtődött turbulencia kulcsfontosságú a komplex dinamikához vezető folyamatokban.

A turbulens szerkezetek összekeverik, eltorzítják az anyagot, befolyásolják az energiakibocsátást és -továbbítást, így pedig hatnak a szupernova fényességére és kinézetére.

A kvantumszámítások a számítástudomány egyik legígéretesebb és legdinamikusabban fejlődő területe, többek szerint – a mesterséges intelligenciával együtt – a jövő nagy reménysége.  A fejlődés tempójáról sokat elárul, hogy a világmédia szinte minden héten hírt ad valamilyen izgalmas fejlesztésről, most például Japánból.

A kvantumszámítógépek gyorsabban működnek ha kicsi kvantumhűtőket tartalmaznak – állapította meg Teruaki Yoshioka, a Tokiói Tudományegyetem kutatója.

A kvantumkomputer kvantumbiteket (qubiteket) használva dolgozza fel az információt, amelyeket a futó programok között speciális állapotba kell visszaállítani. A lassú visszaállítási idők Yoshioka szerint számítási szempontból szűk keresztmetszetekké válhatnak. Ez különösen akkor érvényes, ha lassabbak, mint a kvantumszámítógép működési sebessége.

A probléma kezelésére a kutató és munkatársai az alaphelyzetbe állítást lerövidítő módszert dolgoztak ki. A rövidítést nanoméretű kvantumáramkör-hűtővel (quantum circuit refrigerator, QCR) érték el.

A kivitelezéshez előbb létrehoztak egy „qubitet egy chipen” (qubit on a chip), majd kicsi rezonátort és alumínium-réz kvantumáramkör-hűtőt adtak hozzá. A rezonátor rezonanciát vagy rezonáns viselkedést mutató eszköz vagy rendszer. Bizonyos frekvenciákon (rezonanciafrekvenciákon) nagyobb amplitúdóval oszcillál, mint másokon. Rezgései egyaránt lehetnek elektromágnesesek és mechanikusak.

Amikor a qubit állapota túl „energetikus” volt egy számítás elvégzéséhez, a kutatók az energia egy részét „átadhatták” a rezonátornak, amely fényrészecskévé alakította azt. A kvantumáramkör-hűtőben egy elektron elfogta a részecskét, a qubitet lehűtötte, és körülbelül – a csúcsteljesítménynek számító – száz nanoszekundumra csökkentette a visszaállítási időt. (A nanoszekundum a másodper egymilliárdod része.)

Képzeljük el, hogy egy robot sűrű erdőben, túl nagyra nőtt növények között keresi a kiutat. Nincsenek használható fogódzói, mert a táj vagy változik, vagy mert miden teljesen egyformának tűnik. Hogyan lehet ilyenkor segíteni neki, hogy emlékezzen: hol van, hol volt, és felismerjen helyeket, ahol már járt korábban?

Az Edinburghi Egyetem kutatói a hangyák agyszerkezetét utánzó új mesterséges idegháló fejlesztésével igyekeznek segíteni robotoknak komplex természeti környezetek, például kukoricatáblák útvesztőinek, járatainak felismerésében, memorizálásában.

Ezzel a megközelítéssel sokat javulhat a növényekkel teli, sűrű tájakon keresztül mozgó mezőgazdasági robotok teljesítménye.

Viszonylag kicsi érzékelő- és idegrendszerük ellenére, a hangyák közismerten jól tájékozódnak. Vizuálisan ismétlődő környezetekben, például erdőkben vagy füves térségekben agyuk gombaszerű idegszerkezeteivel megtanulják, aztán követik az utakat. Ezek a szerkezetek segítik őket képi mintázatok detektálásában, tér-időbeli emlékek tárolásában.

A hangyák biológiai mechanizmusai által inspirált edinburghi kutatók külső, természetes környezetben vizuális szekvenciák gyűjtéséhez fejlesztettek eseménykamerát egy robothoz, a tér-időbeli memóriához pedig a hangyák gombaszerű agyi „áramköréhez” hasonló neurális algoritmust alkalmaztak.

A biológiai idegsejtek funkcióját és szerkezetét emulálták a memória kódolásához, míg a tüzelő idegháló alacsony fogyasztású neuromorfikus számítógépen futott.

A modellt különböző utakon és beállításokkal tesztelték, és kiderült: az eseménykamera felvételei alapján valósidőben képes kiértékelni a vizuális hasonlóságokat, működik az útfelismerés és a képalapú navigáció, ráadásul robusztusabbnak is bizonyult egy másik – hagyományos – úttanuló módszernél.

A kutatók szerint a hangyák ihlette neurális modell olyan mezőgazdasági robotoknál lehet hasznos alkalmazás, amelyeknek a sűrű vegetáció komoly kihívást jelent. Más szenzorikus megoldások, például a szaglás és a hallás integrálásán is gondolkoznak, hogy a robot még jobban érzékelje környezetét.