Az Neumann Társaság blogja a legfejlettebb infokom technológiákról

Jelenből a Jövőbe

Jelenből a Jövőbe

Melyik a legjobb arcfelismerő algoritmus?

2022. március 07. - ferenck

Az arcfelismerés az infokommunikáció egyik „legforróbb” témája. Az amerikai Szabványok és Technológia Nemzeti Intézet (NIST) több mint ezer megoldást tesztelt, hogy eldöntse: melyek a legmegbízhatóbbak. Két körben tette, és több cég komoly fejlődésen ment át a kettő között.

Az NIST 2000 óta fontos szerepet játszik az arcfelismerés történetében. Az első teszten – még 2000-ben –, mindössze öt cég termékeit vizsgálták egy, a kormány által támogatott adatbázison. 2018-ban, a mélytanulás (deep learning) gyors fejlődésének köszönhetően, több mint harminc fejlesztés teljesített jobban, mint a 2013-as teszten legjobb eredményt elért algoritmus.

fr.jpg

Most háromszáznál több fejlesztő 1014 algoritmusát vizsgálták négyféle teszten. A hozzájuk használt képek felnőtteket, visszaéléseknek áldozatul esett gyerekeket ábrázolnak, valamint vízumkérelemhez beadott fényképek.  

A hitelesítés teszten egyetlen arcot vizsgálták. Az okostelefonos felhasználó-azonosításhoz, a határállomások külföldiek személyazonosításához, a bűnüldöző ügynökségek áldozatazonosításához használt technikákhoz hasonlóval dolgoztak. A kínai SenseTime, a holland VisionLabs és a nyílt forrású InsightFace végzett az első háromban.

fr0.jpg

Az azonosításteszt a sok személy közül egyet „kiszűrő” CC-kamerákhoz hasonlóan működött. A SenseTime, a Kínai Tudományos Akadémia leányvállalata, a CloudWalk és a japán NEC technológiái teljesítettek legjobban.

Az arcátalakításon (face morphing) azt vizsgálták, hogy egy algoritmus mennyire veszi észre a biztonsági rendszereket átverni hivatott, megtrükközött arcképeket. A portugál Coimbra és a német Darmstadt Egyetem algoritmusai bizonyultak legjobbnak.

A képminőséget felbecslő algoritmusokat szintén vizsgálták. Ezek az olyan tényezőket veszik figyelembe, mint például a megvilágítás vagy a beállítás. Az amerikai Rank One és az orosz Tevian fejlesztései végezték a legpontosabb munkát.

Egy ilyen teszt azért is fontos, mert több jó eredményt elért céget folyamatos támadások érik, és a jó eredmények jelzik, hogy mindent megtesznek a kritikusokat elhallgattató megbízhatóbb termékek fejlesztéséért.

Elon Musk szerint a Tesla-robotokkal megvalósulhat az általános MI

A mesterséges intelligencia fejlődése három szakaszban írható le. Az első a szűk szakterületeken hatékony rendszerek, a keskenysávú MI, ez a jelen. A második, az általános MI (Artificial General Intelligence, AGI) a Homo sapiensszel azonos szellemi szintet elérő gépekre vonatkozik. Nem tudjuk, mikor jön el az ő idejük, egyesek szerint tíz-húsz esztendő, mások számonkérhetetlen ötvenet, százat, kétszázat prognosztizálnak, a szkeptikusok szerint soha. A harmadik szint a sci-fikben általában riogatásra használt, nálunk mérhetetlenül fejlettebb szuperintelligencia. Ők a még távolabbi és ködösebb jövő gyermekei.

Úgy tűnik, Elon Musk felgyorsíthatja a gépi értelem fejlődését, mert cége – a tulajdonos elmondása alapján – az első „értelmes robotokon” dolgozik. Semmi közük a hollywoodi szörnyekhez, Terminátorhoz és társaikhoz, ők az emberiség javát fogják szolgálni.

teslarobot.jpg

A Tesla-főnök egy tweetben kijelentette, hogy vállalata Optimus nevű humanoid robotja szerepet játszhat az AGI megvalósulásában.

A Tesla MI kutatásfejlesztési részlege eredetileg az önvezető autót teszi „okosabbá”, de közben más mesterségesintelligencia-mellékprojekteken, például Optimuson is dolgozik.

teslarobot0.jpg

A jármű valósidőben gyűjt adatokat a környező világból, a robottal pedig nyilván még intelligensebbé válik.

Egyelőre nem lehet tudni, hogy Optimust mikor mutatják be. Táncolni viszont már láthattuk a Tesla 2021-es MI Napján.

Az AGI megvalósulásától ugyan évekre járunk, az utóbbi esztendők fejlesztései, a nagyobb autonómiával rendelkező robotok és az egyre hatékonyabb gépi tanulás viszont bizakodásra adnak okot.

Ezzel párhuzamosan a riogatók változatlanul riogatnak, tavaly például egy korábbi Google-alkalmazott figyelmeztetett: elkerülhetetlenek a Terminátor vérszomjas Skynetjéhez hasonló mesterséges intelligenciák.

Musktól is megkérdezték, hogy mi van, ha az MI kiszámíthatatlanná válik. Mindent megtesznek, hogy elkerüljék, hogy ellenőrzés alatt tartsák – válaszolta, majd hozzáfűzte: „a robotok decentralizált irányítása kritikus tényezővé fog válni.”

További részleteket azonban nem árult el.

Rekorddöntő kvantumszámítógépet épített egy bostoni startup

Az infokommunikációs technológiákat uraló nagyvállalatok között óriási a versengés, hogy melyikük lesz a legeredményesebb a kvantumszámítógép fejlesztésében.

Néhány tény a verseny érzékeltetésére: az IBM 127 kvantumbites (qubit) processzort épített ezer qubites kvantumrendszerhez. Kínai kutatók megépítették világ leggyorsabb kvantumszámítógépét. Tízszer gyorsabb, miközben a Google kvantumrendszere időkristályok tanulmányozásában segít tudósokat.

kvantumk0.jpg

A kvantuminformatikában felpörögtek az események.

A nagyvállalatok egymás közötti, illetve az amerikai-kínai folyamatos rivalizálás mellett, tőlük függetlenül, a beszédes nevű bostoni QuEra Computing kétszázötven qubites kvantumszimulátor fejlesztését jelentette be.

A speciális rendeltetésű gépet egyedi problématípusok megoldására találták ki. A róla készült demonstrációs anyagban például kvantumbitekből készült Mario látható mozgás közben (lásd az alábbi képen).

kvantumk.jpg

A gép az eddigi utolsó lépés a kvantumszámítások mérettartományának bővülésében. Elvileg elég egyszerű a képlet: minél több a kvantumbit, annál több információ tárolható és dolgozható fel a géppel. Ez azért fontos, mert így egyre közelebb kerülünk ahhoz, hogy elméletek mellett, praktikus problémákat is megoldjunk ezekkel a szerkezetekkel.

A Google 2019-ben jelentette be, hogy ötvenhárom qubites új gépével elérte a kvantum-elsőséget, azaz a gép hagyományos komputerekkel kezelhetetlen problémákat képes megoldani.

Az IBM kihívásként értelmezte a Google fejlesztését, és ugyanabban az évben ők is bejelentettek egy ötvenhárom qubites saját kvantumszámítógépet. 2020-ban az IonQ prezentált egy harminckét kvantumbites rendszert, elmondásuk alapján az akkori világ legerősebb gépét.

Az IBM 2021-ben sem maradt tétlen, novemberben 127 qubites új processzor sikeres fejlesztéséről beszéltek. A QuEra Computing nem sokkal később ismertetett rendszere (döbbenetes módon) majdnem a kétszerese ennek, sőt, az összes vetélytársénál több kvantumbitből tevődik össze.

De nemcsak a qubitek száma számít. A QuEra gépe például jobban programozható, mint a többieké. Minden egyes qubit egyetlen darab ultrahideg atom. Az atomokat lézerekkel rendezték el pontos rendben – a gép ezért programozható, ezért dolgozhatnak vele és ezért rekonfigurálható valós időben.

Gépi tanulás jelzi előre a puccsokat

Képes-e a mesterséges intelligencia észrevenni, ha egy országban fennáll a hirtelen és váratlan vezetőváltás kockázata?

A Közép-Floridai Egyetem kutatói szerint igen, ugyanis a CoupCast rendszerrel közösen becsülik fel egy-egy országban az állancsíny lehetőségét. A rendszer havonta tanulmányozza minden egyes országban a puccs valószínűségét.

A kutatók 1920-ig visszamenő, különleges tanuló adatsort dolgoztak ki. Csökkentették az államcsínyhez vezető valószínű hajtóerők szerepét, viszont az olyan gazdasági, társadalmi és politikai tényezőket, mint a GDP, a gyermekhalandóság, a választások ütemezése, az adott rendszer stabilitása, vagy a vezetők profilja figyelembe vettek.

puccs.jpg

Egymást kiegészítő két architektúrát gyakoroltattak a puccs logaritmikus előrejelzésére még olyan országokban is, ahol ritkaságszámba megy. Az egyiknek először 1950 és 1974 közötti adatokból kellett 1975-re prognosztizálnia, majd az 1975-ös előrejelzésekkel kiegészítettek, újra gyakoroltatták, és 1976 következett, és így tovább a jelenig.

Kiderült, hogy mindkét modell jól működik, de ha általános modellé kombinálják össze őket, sokkal pontosabbak a prognózisaik. A rendszer csádi és mali felkeléseket jósolt 2021-re, amelyekkel nem tévedett.

puccs0.jpg

A CoupCast nem az egyetlen olyan technológia, amely gépi tanulással vizsgálja a politikai feszültségeket.

Az adattudománnyal foglalkozó Atchai újságcikkek elemzésével deríti ki egy-egy tiltakozóhullám okait, majd modellezéssel és klaszterezéssel bemutatja, hogy a különböző tiltakozások milyen módon kapcsolódnak egymáshoz.

A GroundTruth Global a gépi tanulással készített előrejelzéseket humán szakértők elemzéseivel hozza szinkronba, hogy jobban megértsük a fejlődő gazdaságok bizonytalanságait.

Az amerikai hadsereg egyik rendszere prognosztizálja, hogy az USA bizonyos lépései, például fegyvereladások, diplomáciai látogatások mennyire növelik az Egyesült Államok és Kína közötti feszültségeket.

A CoupCastot 2016 és 2021 között működtető One Earth Future igazgatója viszont kételkedik, hogy a rendszer előrejelzései komoly hatással lehetnek politikai döntésekre, és ellenzi a Közép-Floridai Egyetem projektjét.

Ezek a technológiák hasznosak lehetnek, mert akár puccsok előzhetők meg a segítségükkel, vagy legalább segítenek vezetőket, hogy felkészüljenek a legrosszabbra.

Az adatvezérelt CoupCast és a hasonló rendszerek egyelőre leginkább emberek által készített elemzések produktív kiegészítőinek tekinthetők.

Mesterséges intelligencia ellenőrzi, van-e fegyver a szurkolóknál

Mesterséges intelligenciával működő rendszer fogja ellenőrizni meccsek előtt a szurkolókat a Baltimore Orioles baseball-csapat stadionjában. Rendeltetése, hogy megállapítsa, van-e a drukkereknél lőfegyver, kés, esetleg robbanóanyag. A mérkőzések helyszínén hamarosan megkezdődnek a tesztek.

A Hexwave nevű rendszert az MIT (Massachusetts Institute of Technology) Lincoln Laboratóriumában fejlesztették, és a Liberty Defense Holding biztonsági cég üzemelteti. Testeket szkennel le, és ha potenciális veszélyt észlel, figyelmezteti az őröket. Nincs menekvés előle, mert a ruhába vagy csomagba rejtett fegyvert is látja.

gun0.jpg

Jelenleg óránként ezer személyt képes átvizsgálni. Sokféle anyagon áthatoló mikrohullámokat használ, antennával működik, és a testekről valósidőben készít 3D képet.

A képet gépitanulás-modell értelmezi. Fegyverek mellett veszélytelen tárgyakat, például kulcsokat és pénzérméket is felismer, azaz a szurkolóknak a jelenlegi ellenőrzésekkel ellentétben, nem kell kiüríteniük a zsebüket, táskájukat.

gun_1.jpg

Gyanú esetén a biztonsági őröket nemcsak figyelmezteti, hanem egy kijelzőn fel is vázolja nekik, hogy miről van szó. A tervek szerint idén kezdik el a kereskedelmi forgalmazását. Eddig meccsek helyett müncheni és vancouveri bevásárlóközpontokban tesztelték.

gun1_1.jpg

Egyelőre még kevés, de folyamatosan növekvő számú rendezvényhelyszínen  alkalmaznak mesterséges intelligenciát a biztonság növelésére, illetve a várakozási idő csökkentésére.

Az Omnilert rendszert szintén lőfegyverek felismerésére tanították be – egy videojáték-program szimulációját használva figyel biztonsági kamerával rögzített képeket.

Több amerikai repülőtér szintén gépitanulás-modellekkel hitelesíti utazók személyazonosságát. Gyorsabbak az eddigi megoldásoknál, így a nemzetközi járatokra történő beszállási vagy a határátlépési idő jelentősen csökken, az utasoknak kevesebbet kell várakozniuk, és míg a hagyományos ellenőrzőpontok lassúak, idegesítők és hatékonynak sem nevezhetők, az új technológiák jóval eredményesebbek. 

Az automatizált hadsereg etikai alapvetése?

A Pentagon Védelmi Innovációs Egysége köti az amerikai hadsereg mesterséges intelligenciával és más csúcstechnológiákkal működő rendszereivel kapcsolatos szerződéseket. A szervezet új etikai irányvonalat dolgozott ki, amelyet a szerződő félnek be kell tartania, hogy fejlesztése a tervek szerint, káros mellékhatások nélkül működjön.

Az új irányvonal a Pentagon ipari, tudományos és kormányzati szakértőkkel folytatott tizenöt hónapos konzultációt követően, 2020 februárjában megfogalmazott mesterségesintelligencia-etika alapelveit tükrözi. Az „etikus MI” definíciója ugyanakkor elnagyolt: felelősségteljes, átlátható, megbízható, kezelhető, előítéletmentes.

automatedarmy0.jpg

Általános alapvetéseket mindig nagyon nehéz konkrét és működő rendszerekre alkalmazni.

Az új – természetesen konkrét – irányelvek az MI-rendszerek tervezésére, fejlesztésére és telepítésére vonatkoznak. Mindegyik fázisban, a beszállító folyamatábrába rendezett kérdéseket kap, amelyekre a Védelmi Minisztérium MI-re vonatkozó erkölcsi alapelveivel megfelelő választ kell adnia, és csak utána foglalkozhat a következő szakasszal.

automatedarmy.jpg

A tervezésnél az MI-fejlesztésekre nagyon sokat költő Védelmi Minisztériumot képviselő hivatalos személyekkel határozzák meg a rendszer lehetőségeit, hogy hogyan és miből épül fel, hogyan képzelik el a telepítését.

A fejlesztési szakaszban a beszállítónak el kell magyaráznia, hogyan akadályozzák meg az adatok manipulálását, meghatározzák a felelősség kérdését a rendszer lehetőségeiben történő változások esetén, és kidolgozzák a monitoring és az auditálás folyamatát.

A rendszer üzembe helyezésekor a vállalkozónak folyamatosan ki kell értékelnie az adatok érvényességét, biztosítania kell, hogy azok is maradjanak, a technológia rendeltetésszerűen működjön, és minden malőrt dokumentálni kell.

Egy nem katonai jellegű projekttel kapcsolatos esettanulmány során az irányelvek komoly segítséget nyújtottak a fejlesztőknek, hogy felismerjék: röntgenképeket vizsgáló rendszerük megtagadhatja a kritikus ellátást ritka betegségekben szenvedő páciensektől. A probléma megoldásáért, a modellt ritka röntgenfelvételekkel tesztelték. A konkrét példa alapján úgy látszik, az alapelvek komoly fogódzókat adnak a fejlesztők kezébe.

A dokumentum azonban nem tesz említést a teljesen automatizált fegyverekről, az úgynevezett „gyilkos robotokról”, márpedig manapság egyetlen katonai mesterségesintelligencia-fejlesztésről sem lehet beszélni nélkülük.

Munkahelyi robotok

A világ sok országában, különösen a fejlett északi féltekén több az idős, mint a gondjukat viselő fiatal személy. Eközben a robotok száma nő, ma már, például Google-hivatalok kontrollálatlan környezeteiben is képesek könnyebb őr- és megfigyelőmunkákat elvégezni. Egyre jobbak mechanikus, ismétlődő feladatok elvégzésében: mosogatnak, porszívóznak, takarítanak.

A hivatalok ugyan nem annyira komplex környezetek, mint az otthonok, viszont jó gyakorlóterepek a gépeknek. Ezekben a közegekben készülhetnek fel például az olyan bonyolultabb feladatokra, mint az idősgondozás.

A Google kísérleti X Development részlegének egyik új leányvállalata, az Everyday Robots száz gépet állított munkába – takarítófeladatokat fognak végezni. Pár éve tanulták meg, hogyan kell a szemetet újrahasznosításhoz, komposztáláshoz, hulladéklerakáshoz stb. szétválogatni, és most már tudják azt is, hogyan nyissanak ajtót, egyenesítsenek ki székeket, szedjenek szét asztallapokat, kerüljenek el objektumokat, tehát lassan készek a házi munkákra is.

workplace_robot.jpg

Az új gépek Lidar vezérletével, négy keréken gördülnek. A fejben van öt kamera és más érzékelők. Kimeneteik segítik a markolóval megerősített csuklós kart. A vezérlőrendszer egyetlen alapmodellt használ, a különféle feladatokhoz a kimeneti (output) rétegeket változtatja meg.

Utánzásos tanulással gyakoroltatták, majd jött a megerősítéses tanulás, előbb hagyományos, aztán egyesített (együttműködés-alapú) tanulói környezetben/beállítások mellett.

A kart humán operátor mozgatja, hogy oldja meg a feladatokat. A robot hol szimulációban, hol a valóságban megtanulja ismételni a cselekvéssorokat. Sokat próbálkozik a szimulációban, és ha sikeres, jutalmat kap. Fokozatosan tesz szert ismeretekre.

A gépek felhőszámítás-alapú ideghálót osztanak meg egymás között, az becsüli fel egy adott cselekvés egy bizonyos állapotban történő kivitelezéséhez kapcsolódó értékeket. A robotok egymástól függetlenül használják a hálózatot, hogy eldöntsék, mikor mit lépnek. Az idegháló folyamatosan javul, és az új változatot rendszeresen megosztják a gépekkel.

Így készülnek fel a való világra, ahol az eddigi tapasztalatok alapján kilencven százalékos sikerességgel abszolválják a feladataikat. A bíztató eredményt kevesebb, mint egy nap egyesített tanulást követően érték el.

Ha ebben az ütemben tanulnak és fejlődnek, akkor hamarosan az idősgondozásba is besegíthetnek.

Számítási problémákat old meg a baktériumból készült bioszámítógép

A kólibaktérium (ismertebb nevén E. Coli) családba tartozó baktériumok több szempontból is ismertek: jól ellenállnak a gyógyszereknek, a szervezetbe kerülve fertőzést, vakbélgyulladást okozhatnak, de elsősorban sok tudományos kísérlet sztárjai, mert számos célra felhasználhatók.

Az E. Coli a beleinkben ugyan képes felfordulást okozni, viszont a tudomány fejlődéséhez is hozzájárult – a DNS-kutatásokban előszeretettel alkalmazzák, és többek között bioüzemanyagok, vagy a Pfizer koronavírus elleni vakcinája sem lenne nélküle.

A „szerteágazó tehetségű” baktérium újabb adottságát mutatta be egy nemzetközi kutatócsoport. Elosztott számítások segítségével meg tudja oldani a klasszikus labirintusproblémát. Lényege, hogy a szükséges műveleteket nem egy, hanem különböző típusú génmanipulált sejt végzik el.

ecoli.jpg

A felfedezés a szintetikus biológia fejlődésének köszönhető, amelyhez az E. Coli is jócskán hozzájárult eddig. A szintetikus biológia az elektromos áramkörökhöz hasonlóan akarja felépíteni a biológiaiakat, a sejtprogramozást pedig ugyanolyan rutinfeladatként képzeli el a közeljövőben, mint amilyen könnyedén programozzuk ma a komputereket.

A kortárs számítástudomány egyik trendje a biológiai minták átvétele, a szerves élet folyamatainak valamilyen szintű gépi másolása. A szintetikus biológia dupla csavar: egyrészt számítástudomány és biológia, másrészt szerves és szervetlen szimbiózisa.

Túl a tetszetős elméleteken, a gyakorlatban is hasznosítható eredmények azonban még váratnak magukra. Ezért lehet áttörés és komoly előrelépés a labirintus-kísérlet, amelyhez egyetlen sejttípus megtervezése helyett többfajtával próbálkoznak. Ha csak egy lenne, annak kellene minden feladatot elvégeznie, így viszont mindegyiknek más a funkciója, és a munkát – mint egy zenekar – együtt, csoportban végzik el.

Ha a megközelítésről kiderül, hogy nagyobb léptékben szintén működőképes, rengeteg jövőbeli alkalmazás várható, a gyógyszeripartól a mezőgazdaságig és az űrutazásokig.

Drónokat küld feltételezett bűnügyi helyszínekre az MI

Az izraeli rendőrség hamarosan autonóm drónokat fog kiküldeni olyan helyszínekre, ahol lövöldözést derítettek fel – állítja a változatos high-tech termékeket fejlesztő amerikai ShotSpotter vállalat.

A cégnek már az eddigi technológiái is ellentmondásosak, megosztják a szakmai közvéleményt. Jelen fejlesztés lényege, hogy az eszköz akusztikus szenzorokkal érzékeli a lövéseket, figyelmezteti a rendőrséget.

A ShotSpotter nemrég állt össze az Airobotics vállalkozással, hogy a zavaró jelzésekre reagáló drónokat dolgozzanak ki.

helyszinelo_mi.jpg

„Az Airobotics véleménye szerint, azzal, hogy összeálltunk a lövések felderítésében vezetőnek számító ShotSpotterrel, jobb technológiai lehetőségeket kínálunk az Izraelben elkövetett fegyveres bűnök kezelésére” – nyilatkozta Meir Kliner, az Airobotics vezérigazgatója.

Kliner hangsúlyozza: a partnerség fontos lépés cége stratégiájában. Folyamatosan bővíteni kívánják a biztonsági problémákra, fegyveres harcokra városi környezetben gyors és azonnali lépéssel reagáló lehetőségeket.

A koncepciót többen bírálják. A denveri rendőrség például használja a ShotSpottert, viszont nem tudja bizonyítani, hogy ezzel csökkenne a fegyveres bűntények száma. Denverben, 2021-ben huszonöt százalékkal több figyelmeztetést adtak le, mint 2020-ban, a letartóztatások viszont csak két százalékkal emelkedtek.

A technológiát több mint száz városban használják világszerte, és nemcsak Denverben panaszkodnak rá.

Elég nehéz elképzelni, hogy az izraeli rendőrség kezében, egy drónnal összekapcsolva oldana meg problémákat, helyette inkább esetek túlreagálására és a statisztikák mesterséges feltornászására számíthatunk.

Büntetésvégrehajtási technológiák kétségtelenül életeket menthetnek meg, megkönnyíthetik a rendőrök munkáját. De csak akkor, ha rendeltetésszerűen működnek és használják őket. Ha nem, és ráadásul nem alkalmas, hozzá nem értő kezekbe kerülnek, akkor csak súlyosbítanak a helyzeten.

A multimodális mesterséges intelligencia színrelépése

Az utóbbi hónapok, néhány év legfontosabb mélytanulás-eredményeit a szöveggel és képekkel foglalkozó modellek, köztük a legendává vált GPT-3 és az EfficientNet érték el. Eközben beindultak a szövegek és képek közötti kapcsolatokkal foglalkozó projektek, és míg a legtöbb multimodális (több módban is működő) MI-rendszer ugyan kísérleti jellegű, néhány valóvilágbeli alkalmazás is működik már.

Az OpenAI 2021-ben komoly eredményeket ért el a CLIP rendszerrel a multimodális tanulásban. CLIP szövegeket és képeket társít össze, a Dall-E szöveges inputokhoz kapcsolódó képeket generál. A DeepMind Perceiver IO-ja szövegeket, képeket, videókat és adatpontokat elemez. A Stanford Egyetem ConVIRT rendszere szöveges címkékkel látott el orvosi röntgenfelvételeket.

A generatív ellenséges hálózatokkal (GAN) kombinált CLIP a digitális művészetekben is jeleskedett: a képzőművész Martin O’Leary Samuel Coleridge Kubla kán versét adta meg neki inputnak, és az MI pszichedelikus videóval állt elő (Sinuous Rills).

multimodal0.jpg

A Facebook multimodális gyűlöletbeszéd-detektora a sértő és káros tartalmak 97 százalékát felcímkézte, eltávolította. A rendszer tíz adattípus (szöveg, kép, videó stb.) alapján osztályoz mémeket és más kép-szöveg párosításokat.

A Google multimodális és többnyelvű képességekkel bővíti keresőmotorját. A Multitask Unified Model hetvenöt nyelven feltett kérdésekre áll elő szövegekre, audioanyagokra, képekre és videókra mutató linkekkel.

A multimodális megközelítés beindulása többévtizedes kutatás eredménye.

A John Hopkins Egyetem és a UC San Diego kutatói 1989-ben fejlesztettek egy, a mássalhangzókat beszélő emberekről készült audió- és vizuális anyagok alapján osztályozó rendszert. A következő két évtizedben többen próbálkoztak változatos multimodális alkalmazásokkal: digitális videokönyvtárak indexelésével, emberi érzelmek audiovizuális adatok alapján történő osztályozásával stb.

A képek és a szövegek annyira komplexek, hogy a múltban a kutatók teljes kapacitással fókuszáltak vagy az egyikre, vagy a másikra, így pedig nagyon különböző technikákat fejlesztettek. A 2010-es években viszont a gépi látás és a természetesnyelv-feldolgozás ideghálókkal történő integrálódásával megnyíltak az egyesített modellek felé vezető kapuk.

süti beállítások módosítása