Az NJSZT blogja a legfejlettebb infokom technológiákról

Jelenből a Jövőbe

Rosszul vizsgáztatnak a mesterséges intelligenciák

2020. szeptember 04. - ferenck

Az Egyesült Királyság kormánya úgy döntött, hogy egyelőre nem alkalmaznak mesterséges intelligenciákat az egyetemi és főiskolai felvételi alapvizsgáihoz. A jegyeket gépitanulás-algoritmus adta volna.

A koronavírus-járvány miatt felbolydult világban szükség lehetett volna rájuk, végül a tapasztalatok alapján tekintenek el tőlük. Előzetes osztályzataik ugyanis általában alacsonyabbak voltak, mint a tanároké. Londonban feldühödött diákok tiltakoztak is az MI-k ellen.

ai_grading.jpg

A kormány végül minden esetben a magasabb pontszámokat fogadta el, azaz kiállt a tanárok mellett.

Az oktatási szervezetek a tanárokat diákjaik megelőző teljesítménye és korábbi vizsgáik alapján történő osztályozására kérte fel eredetileg. A jegyek ezért lettek az átlagosnál jobbak. Utána kidolgozták az algoritmikus modellt.

ai_grading0.jpg

A modell két inputon alapult: a diákok iskolai teljesítményén, valamint az adott iskola többéves teljesítményén az egész oktatási rendszerben.

A becslések alapján az MI az angliai, észak-ír és walesi diákok 40 százalékának alacsonyabb pontot adott, mint a tanárok. Mindössze 2,2 százalékuk kapott jobb jegyet. Az MI-től gyengébb osztályzatot kapó tanulók általában szegényebb közösségekből kerültek ki.

Egy kétéves felsőoktatási tanulmányokra diplomát adó nemzetközi nonprofit alapítvány a pandémia hatására szintén teljesítményértékelő modellt alakított ki. A szervezet elmondása alapján a modell a tanárok előző évi teljesítményéhez hasonló eredményt produkált. Mindezek ellenére, több mint 15 ezer diák, szülő és tanár a modell újraértékelésére kéri az alapítványt, petícióval is fordultak hozzájuk. Az igazságtalanul alacsony jegyekre hivatkoztak.

Tiltakozásuk érthető, hiszen sok országban ezek a vizsgák döntik el, hogy a diákok folytathatják-e tanulmányaikat a felsőoktatásban. Becsődölő, de akár csak minimálisan hibázó osztályozó/értékelő modelleknek egy egész életre szóló következményei lehetnek.

Ha az algoritmus osztályzata általában pontosabb, előítélet-mentesebb, és külső tényezők kevésbé befolyásolják, mint a tanárt, akkor meggondolandó lenne a használata. Viszont, ha igazságtalanul rosszabb jegyeket ad, szörnyű lenne alkalmazni.

A mai világban mindkettő elképzelhető egy MI-ről, mindkettőre bőven akad példa. Oktatásbeli bevezetésük azonban komoly etikai kérdéseket is felvet, tisztázásukhoz sok vitára lesz még szükség.

A bejegyzés trackback címe:

https://jelenbolajovobe.blog.hu/api/trackback/id/tr916187872

Kommentek:

A hozzászólások a vonatkozó jogszabályok  értelmében felhasználói tartalomnak minősülnek, értük a szolgáltatás technikai  üzemeltetője semmilyen felelősséget nem vállal, azokat nem ellenőrzi. Kifogás esetén forduljon a blog szerkesztőjéhez. Részletek a  Felhasználási feltételekben és az adatvédelmi tájékoztatóban.

rgs 2020.09.04. 21:46:14

Egy ilyen algoritmus önmagában még nem MI - a "gépitanulás" bonyolultsága sajnos nem igazol elnevezést. Ezek csak összetett programok (korlátok között változtathatnak a paraméterhalmazon, saját akaratuk meg egyáltalán nincs), ennyi.

rgs 2020.09.04. 21:54:26

@rgs: Talán ha azt kell debuggolnom hogy nemcsak az adatbázis hanem az épp futó kód is változott... Na az jó nagy szívás lesz.

rgs 2020.09.04. 22:17:55

Mondok egy egyszerű példát: a napi teendők esti felsorolása közben (szimpla ciklus) átfut a szemem előtt egy nagyobb bogár (közben alig tudatosan egy emlék is bevillan az egyik gyerekkori emlékről - de hogy melyik emlék lesz a sok bogaras közül az nem feltétlenül megjósolható - talán a bogár formája vagy a színe alapján). Úgy áll le a folyamat két értékadás közt hogy pár másodperccel később csak részlegesen emlékszem a teendőkre. És mégis koherens maradok a hiányos adatok ellenére is, csak zavar a dolog. Készséggel elhiszem hogy párszáz év múlva lesz erre számítási kapacitás de hogy a közeljövőben nincs az biztos.

Dan da Man 2020.09.04. 23:44:11

Én azt nem értem, hogy hogy ment ez a vizsgáztatás. Mert feleletválasztásos tesztnél nincs mit lefelé vagy felfelé osztályozni. Esszét meg talán nem kéne az MI-re bízni.
Az pedig megint egy másik kérdés, hogy igazságos-e kettős mércét alkalmazni "előélet" alapján? (Ez most egy valid morális dilemma említése, nem költői kérdés. Hiszen ezek alapján a Harvard-dal jól járnának a hátszél nélküli diákok, ha MI felvételiztetne, mert ott köztudottan sokat nyom a latban a felmenők anyagi háttere illetve korábban ott folytatott tanulmányai. Szóval érdekes helyzet ez...)

röf 2020.09.05. 08:01:50

Valószínűleg ott a probléma, hogy az a félkegyelmű Matyika is beleártotta magát. Pedig neki csak az volt a célja, hogy saját intelligencia hiányában hogy lehetne beszerezni legalább másfél kilót...

midnight coder 2020.09.05. 09:48:59

@rgs: Kismillió baleset mutatta már meg, hogy nem maradsz koherens. Pontosabban egy ideig nem, de ez az idő pont elég ahhoz, hogy felkenődj az autóddal egy oszlopra.

midnight coder 2020.09.05. 09:52:19

@Dan da Man: Igen, valószínűleg pusztán arról van szó, hogy az algoritmus a képességeket mérte, a tanárok pedig belevettek egy rakás más körülményt is. Aztán a gyerekek továbbtanulnak, lesz belőlük egy rakás futottak még kategóriás szakember, akik aztán a nemzetközi munkaerőpiacon persze szintén értékelődnek - esetleg az egész országgal együtt.

Ma India van abban a kategóriában, hogy ott már ha lejöttél a fáról el vagy adva szakembernek. 20 év múlva jó eséllyel Európa lesz ilyen, pont a fenti folyamatok miatt.

Alick 2020.09.05. 10:23:13

"az adott iskola többéves teljesítményén az egész oktatási rendszerben"

Hibás normalizálási koncepció, mert a hátrébb sorolt iskolában (aminek sokféle oka lehet) az objektíve tökéletesen teljesítő tanulót is degradálja.

rgs 2020.09.05. 11:02:58

@midnight coder: A hirtelen baleseteket inkább idő-válaszidő problémának gondolom. Tízezerszeres lassításban nyilván más döntéseket lehet hozni (ez alól nem kivételek a gépi algoritmusok sem, egyszerűen a fizikai korlátok miatt). Nem beszélve arról hogy a hw miatt ilyenkor olyan biokémiai folyamatok indulnak el amiket tudatosan nem tudunk befolyásolni. Inkoherenciára talán jobb példa egy szerettünk elvesztése: még ha lassan is történik nagyon nehéz lehet visszanyerni ay egyensúlyt. (És még ez is emberfüggő.)

Pötyögtetek 2020.09.05. 12:07:20

Vették volna meg a magyar választási rendszert, tiltakoznának a tanárok a leszázalékolásukért.

_Alex__ 2020.09.05. 12:58:28

Valószínű kijött, hogy csomó helyen sokkal magasabb jegyeket kaptak a gyerekek a tanároktól mint ami indokolt lett volna. Ez nálunk is így van. Aztán megy a csodálkozás, hogy töredéke képes egy átlag szintet hozni felsőoktatásban. Persze sok hiba lehet egy szoftverben de feltételezem a tiltakozók kb 99%-a (de valószínűleg több) fogalma nincs a technológiáról csak szerintük, szubjektíve, ők nagyobb jegyet érdemelnének mert ez nem elég a megálmodott helyhez.

droid_ · http://matyiszuro.blog.hu/ 2020.09.05. 12:58:40

"MI-től gyengébb osztályzatot kapó tanulók általában szegényebb közösségekből kerültek ki."

nekem ebbol ugy tunik, hogy a tanarok adtak jobb ertekelest ezeknek. felteve hogy az algoritmus nem jott ra valahogyan, ki honnan szarmazik.

Ehetetlen Odó 2020.09.05. 13:10:50

Mesterséges unintelligencia...

Röhejes, hogy egy-egy, a közepesnél semmivel sem bonyolult adatbázis-kezelő és kiértékelő programocskát már MI-nak hívnak.