Az NJSZT blogja a legfejlettebb infokom technológiákról

Jelenből a Jövőbe

Megbukott egy középiskolai matekteszten a Google csúcs MI-je

2019. április 10. - ferenck

A gótól a mágnesesrezonancia-képalkotásig (MRI), mesterséges intelligenciák gyakran diadalmaskodnak a terület humán szaktekintélyei felett. Merészebbek hajlamosak a Szingularitás rövid időn belüli eljövetelére következtetni, de a látványos győzelmek után minimum azt hinnénk, hogy az okos gépek könnyen elboldogulnak középiskolás matematikai feladványokkal.

Tévednénk, mert napjaink talán legismertebb MI-je, a Google által pár éve felvásárolt londoni Deep Mind rendszere elhasalt egy 16 éves brit diákok szintjének megfelelő matematikateszten, a megszerezhető 40 pontból mindössze 14-et gyűjtött össze.

maths.jpg

Az ember több kognitív képességét használja egyszerű matematikai behelyettesítési kérdések megoldásához, komoly elmekapacitást mozgatunk meg hozzájuk.

Egyrészt a karaktereket entitásokra (számokra, aritmetikai operátorokra, változókra és szavakra) bontjuk, szavakat egyenletekké alakítunk. Másrészt tervezünk, például pontos sorrendben azonosítjuk a változókat. Harmadrészt összeadunk, szorzunk stb. függvények felállításához. Negyedrészt munkamemóriánkban matematikai értékeket tárolunk, összességében pedig korábbi ismereteinket alkalmazzuk.

maths0.jpg

A DeepMind neurális modelljét különböző típusú matematikai problémákat tartalmazó adatsoron tesztelték. Az adatsort közösségi ötletbörze (crowdsourcing) helyett inkább úgy állították össze, hogy több gyakorlópélda legyen, ellenőrizhető nehézségi szinttel, és csökkenjen a tanulási idő.

Az adatok a brit középiskolai matematika-tanmeneten alapulnak, és a tantárgy több területét (algebra, mértan, számolás, mérés, valószínűségek stb.) lefedik.

A kutatók végül többféle mesterségesintelligencia-modellt teszteltek, és az algoritmusoknak meggyűlt a bajuk a szövegben megjelenő kérdés lefordításával, csomó szó, jel és függvény értelmezésével, tényleges műveletekkel történő megoldásával.

Egyik sem teljesített jól, így jött ki a megnyugtatónak egyáltalán nem nevezhető 14/40.

A szám azért nyugtalanító, mert az MI-ket eleve úgy tervezik, hogy adatokra összpontosítsanak, mintázatokat keressenek köztük, elemezzék őket, azaz sokféle matematikai műveletet kell kivitelezniük.

A bejegyzés trackback címe:

https://jelenbolajovobe.blog.hu/api/trackback/id/tr6414749707

Kommentek:

A hozzászólások a vonatkozó jogszabályok  értelmében felhasználói tartalomnak minősülnek, értük a szolgáltatás technikai  üzemeltetője semmilyen felelősséget nem vállal, azokat nem ellenőrzi. Kifogás esetén forduljon a blog szerkesztőjéhez. Részletek a  Felhasználási feltételekben és az adatvédelmi tájékoztatóban.

Duplaxiii 2019.04.11. 09:10:28

A példa ügyesen mutat rá, hogy az MI-t milyen könnyű mindenhatónak tekinteni, gyakorlatilag a hozz nem értő rajongói kört szembesítették csupán a valósággal.
Mi is áll az írásban?
"azaz sokféle matematikai műveletet kell kivitelezniük."
Egy nagy francokat!
Az MI rengeteg döntést hoz, azaz logikai műveleteket végez a rendelkezésére álló adatokból, információkból!
Az MI valójában a buta robotok hatékony irányítója lehet csupán, de ha nem teszünk alá végrehajtó részt, nem fog végrehajtani semmit.
A példában olyan rendszerre lett volna szükség, ahol az MI alatt egy full hatékony aritmetikai, matematikai stb. modul van, tehát a feladatokat értelmezi csak az MI, de a megoldást a másik modul adja meg.
Olyan ez a példa, amikor van egy zseni tudású lakaltos, de mindkét keze csonkolt. Milyen ereményt érne el egy lakatosversenyen?
.
Ma az MI-t az internetnek, a bulvárnak köszönhetően a tömeg azonnal a skynet-nek gondolja, intelligens pszciborgokat vizionál...
Pedig az MI is egy robot csupán, ez a létrehozásának a célja is és csak arra képes, amire az emberek megtanítják.
Ostobaság emberfelettinek képzelni, hiszen nincs olyan ember sem, aki mindenható lenne, ilyen MI-hez pedig ilyen szintű emberekre lenne szükség, hogy elkészítsék...
A robotokkal a monoton fizikai munkát váltották ki.
Az MI meg a monoton szellemi munkához jó.
Ha azt olvassa a nép, hogy egy űrszonda sok év repülést követően eléri a célját és ott elvégzi a feladatokat, legyint. Ha google, akkor tapsol.
Az első is MI, hiszen egy automata utazik, majd a célhoz érve dolgozik, kommunikál, azaz az embert helyettesíti. A google meg ugye marketing...
Az MI sokkal érdekesebb és izgalmasabb, mint ahogy ma a tálalják a közembereknek.
De ez is marketing.

VIII. Lenin 2019.04.11. 09:53:54

"de a látványos győzelmek után minimum azt hinnénk, hogy az okos gépek könnyen elboldogulnak középiskolás matematikai feladványokkal."

Na most, ki az a "mi", aki "azt hinnénk"?
Mert egyébként nem hinnénk azt. Mert aki megnézni, hogy mi az alapvető elv a Deep Mind mögött, az tudja, a táblás játékokban profinak képeznie magát az valójában csemege.

Egyébként meg az, amit a Starcraft-ban művelt és az a tény, hogy megoldott 14 feladatot, az inkább ijesztő, mint gyenge teljesítmény.

@Duplaxiii:

"A példában olyan rendszerre lett volna szükség, ahol az MI alatt egy full hatékony aritmetikai, matematikai stb. modul van, tehát a feladatokat értelmezi csak az MI, de a megoldást a másik modul adja meg."

Téves úton vagy.
Az MI egyik alapelve a tanulás. Amit itt leírsz az nem arról szól, amit a fejlesztők el akarnak vele érni.

Zabalint 2019.04.11. 10:52:12

@VIII. Lenin:
"Téves úton vagy.
Az MI egyik alapelve a tanulás. Amit itt leírsz az nem arról szól, amit a fejlesztők el akarnak vele érni."

Pedig neki van igaza. Az MI tanulás nem arra való, hogy a legalacsonyabb szintű feladatokat, vagy részfeladatokat is neurális hálók végezzék el, mert mi emberek sem ezt csináljuk, hanem számológépet, függvénytáblát, képletgyűjteményt használunk, de az egyszerűbb részfaladatokat minden esetben gyorsabban, hatékonyabban tudja elvégezni helyettünk elvégezni egy célszoftver vagy célhardver. Meg lehet tanítani az MI-nek ezeket, de épp ezeket nincs értelme, mert ráadásul velünk szemben az MI kommunikációja a célszoftverekkel sokkal gyorsabb.

Abban igazad van, hogy a fejlesztőknek ez esetben nem ez volt a célja, de a cikk ezt tévesen úgy interpretálja, mintha ez a "kudarc" azt mutatná, hogy kevésre képes az MI. Pedig nem erről van szó.

nnnnnnnn 2019.04.11. 11:00:49

MI-hez kell big data is, az itt nem volt, így nem is tudott jól működni

Szalay Miklós 2019.04.11. 11:18:24

A (neurális hálóra alapuló) gépi tanulás sok mindenre jó, de csak körülbelüli válaszokat ad. Ott ahol egzakt megoldás kell, ez az eredmény.

Itt egy írás továbbá a tudomány határairól:

egyvilag.hu/temakep/029.shtml

steery 2019.04.11. 13:32:34

Einstein meg megbukott matekból. Én is alig bírtam átvergődni a matek érettségin, meg az egész évfolyamunk ugyanígy járt, úgy megszívattak minket a hülye feladatokkal, hogy halomra bukott az osztályunk. Akkor az emberek sem jobbak a mesinteknél. Vagyis a feladatokkal van a baj, nem az intelligenciákkal. Én valószínűleg még 14 pontot sem értem volna el azon a teszten, ami (ne feledjük!) nem intelligencia teszt és pláne nem öntudat, meg általános problémafelismerő és megoldó teszt! Viszont a gépek sokkal gyorsabban tanulnak az embereknél és kvázi halhatatlanok, szóval könnyen lehet, hogy 5-10 év múlva már egy mesint fogja írni a matek feladatokat az embereknek és ő méri fel a mi értelmetlenségünket.

csakférfi 2019.04.11. 13:36:31

@VIII. Lenin:

"Trükkök sem kellenek, a véletlen is elég

Az igazából nem is érdekes, hogy miért foglalkozna bárki is a közlekedési táblák buherálásával, mert a veszély ettől függetlenül valós: elég elképzelni, hogy mi történik, ha a jármű teljesen váratlanul egy hatalmasat fékez, hogy 130 km/h sebességről 30-ra lassítson egy kamu korlátozó tábla miatt. És ehhez még ártó szándék sem feltétlenül szükséges, hiszen ha jobban belegondolunk, az eredeti jelzéseket akár a táblák sérülései vagy korróziója is szerencsétlen módon megváltoztathatja.

Az egyetemi kutatók a kísérleteik során digitális és fizikai környezetben is 90 százalékos hatékonysággal verték át az MI-ket – még az olyan black-box felállásokban is, amikor a támadó szerepét játszó tudósok nem voltak vele tisztában, hogy pontosan milyen algoritmus ellen intézik a támadást. Ehhez hozzáteszik, hogy nem a 90, de még az 50 százalék is túl jó eredmény lenne, tekintve, hogy a támadóknak kevés eszközre (jelre) van szükségük, amelyeket kipróbálására számos lehetőségük adódik."
bitport.hu/amikor-stoptablanak-nezi-a-kfc-logot-az-onvezeto-auto

:)

csakférfi 2019.04.11. 13:41:38

@steery:
Einsein nem bukott meg matekbòl soha.
A svajci suliban 1-es vot a legjobb...nem az 5-ös.
Ezt hasznàljàk ki azok akiknek nehezen megy a matek.
Hivatkoznak rà érv ként....holott hazugsàg.
Ne vedd sértésnek!
:)

steery 2019.04.11. 13:43:30

Tényleg? Én eddig úgy tudtam. És az igaz, hogy a relativitáselméletet a magyar matematikusnő felesége dolgozta ki, mert ő értett a témához igazából?

sírjatok 2019.04.11. 13:49:10

@steery: "Einstein meg megbukott matekból. "

urban legend, kifejezetten jó matekos volt, de nem gond, sokan így hiszik

www.bbvaopenmind.com/en/science/mathematics/mathematics-and-albert-einstein/

"One of the many urban legends about the Relativity genius claims that Einstein failed mathematics at school. Nothing could be further from the truth: in fact, his grades in Algebra and Geometry were even better than in Physics. This false rumor, which has been repeated over and over, comes from a wrong interpretation of the grading scales."

sírjatok 2019.04.11. 13:49:58

@csakférfi: ja látom más is leírta :D

erkölcsi hulla 2019.04.11. 14:59:23

@steery: "én is alig bírtam átvergődni a matek érettségin"

És nyilván te is fizikus vagy azóta, aki nobel díjat kapott.

Azért is pofázol be hozzáértőként szinte minden technikai fórumra, még ha full idiótaságokat is írsz, ugye?
Persze ez addig nem baj, amíg egy szakmabeli le nem írja, hogy butaságokat hordasz össze, és még ezután is okosnak hiszed magadat.

csakférfi 2019.04.11. 16:05:17

@steery:
Einstein az elsö feleségének ajànlotta a Nobel díjért jàrö pénzt.
Elvàltak .......kvàzi fàjdalomdíjként.
Mivel ö màr mas asszonnyal "kavart".
Segített neki az exe....aki az akkori "nagy" Mo. területéröl szàrmazott...hmmm.....horvàt...ha jòl tévedek...!
De az érdem mindenképp Einstein-é.
:)

steery 2019.04.12. 12:08:53

A cikk témájához nincs senkinek érdemi hozzászólása? Mármint rajtam kívül?

csakférfi 2019.04.12. 13:10:23

@steery:
Jònéhànyan túlbecsülik a MI-t.
Valamiféle csodavàràs...kvàzi megvàltàst vàrnak .
Miért is?
Jézus...Mohamed..Platòn...Buddha...Einstein...Gandhi...Hawking...Freud...Trump....Napòleon...Putyin...Orbàn....Hammurapi...Lao Ce...Konfucius...Bill Gates...Soros...stb.
Senkinek sem jòn...jött össze.
Nem furcsàllod?
Miért pont a MI-nek ?
Végül is "minek"....ha nem érezzük jobban a börünkben magunkat?
:) :)

steery 2019.04.12. 16:49:29

@csakférfi: Remek kérdés. Én igyekszem nem lebecsülni a mesinteket és csoda meg megváltás helyett teljes pusztulást várok az erős, általános, szuperintelligens géplények megjelenésétől, még ideális esetben is. Az általad felsorolt személyek lelkes lények mind, nem géplények, tehát kb. hasonlóak a képességeik és a korlátaik. Ezért nem jutottak semmire. A géplények korlátait még nem ismerjük. De picit sem lepődnék meg, ha valami olyasmi lenne a fejlődésük "vége", mint amiről Brandon Hackett ír az Isten gépeiben.
Sőt, azon sem lepődnék meg, ha kiderülne, hogy az emberek által elképzelt és imádott "Isten" valójában nem más, mint egy sok milliárd éve működő szupergéplény, ami/aki megteremti és uralja a teremtést. Mivel az ősi hindu szentiratokban bemutatott Krisna és a mennyei bolygója, a Goloka Vrindavana pont úgy néz ki és úgy működik, mint egy nanorobot raj, ami gigantikus adattároló, feldolgozó és bármilyen formát megteremtő képességgel rendelkezik, azaz lényegében azt csinál a világban, amit akar. Ha tényleg járt a Földön 5000 éve egy ilyen istenlény (és nem csak mese a sok esetleírás), akkor óriási mázlink van, hogy túléltük a látogatását. És reménykedjünk, hogy egyhamar nem fog visszajönni és beavatkozni az itteni piti eseményekbe.
Továbbá az is érdekes lehetőség, hogy a "lélek", ahogy a vallások emlegetik, nem valami kitalált dolog, hanem nagyon is konkrét létező, azaz: isteni gyártmányú nanorobot, ami képes biotestbe reinkarnálódni. Szóval mi, lelkes lények is csak géplények vagyunk, mert a csúcstechnológia (a lelki és gépi evolúció) lényegében konvergens folyamat eredménye. Azaz egy és ugyanaz. Mert akár biotestet, akár géptestet használ egy intelligencia, a lényeg úgyis az információ és annak kezelési módja. A hardver másodlagos (főleg, ha a fejlettsége elérte a fizikailag lehetséges határát).
Ehhez mit szólsz?

csakférfi 2019.04.12. 17:49:25

@steery:
"teljes pusztulást várok az erős, általános, szuperintelligens géplények megjelenésétől, még ideális esetben is"

Csalòdni fogsz.
Az életet....ember vagy ember nélkül.....legyözni lehetetlen.
Erre csak a természet....az idöjàràs...képes.
Pl.....felrobban a nap....aszteroida ütközés.....
Gépi intelligencia...robot....nem képes.
Csak fikciò.
:)

steery 2019.04.13. 12:34:15

@csakférfi: A nanorobotok elszabadulása szürke massza állapotot eredményez a bolygó felszínén, ahogy minden anyagot felzabálnak és nanorobotokká alakítják. De el is bonthatják, darabokra szétszedhetik az egész bolygót, hogy építsenek belőle valami mást, például több ezer űrhajót, amikkel megcélozzák a szomszédos csillagokat. A folyamat exponenciális, azaz ha 1 percbe kerül 1 nanorobotnak lemásolnia önmagát, akkor a bolygó teljes elemésztése igen-igen gyorsan bekövetkezik.