Az NJSZT blogja a legfejlettebb infokom technológiákról

Jelenből a Jövőbe

Segítő szomszédok

2020. február 11. - ferenck

Tanárok valószínűleg nem örülnek a következő állításnak, de az állítás az érthető idegenkedés ellenére is igaz – dolgozatoknál néha akkor adjuk a legjobb válaszokat, ha egyszerűen lemásoljuk a szomszédét.

A Facebook mesterségesintelligencia-fejlesztő csoportja és a Stanford Egyetem kutatói új nyelvimodell-keretet dolgoztak ki ilyen jellegű, kontextuális előrejelzésekre. Jelen esetben befejezetlen, hiányos mondat következő szavára való következtetést értik előrejelzésen. A kNN-LM nevű algoritmust a gépi tanulásban bevett módszerrel, gyakorlóadatokon trenírozták hozzá.

nyelvi_modell.jpg

A probléma lényege, hogy egy modellnek egyelőre sokkal könnyebb két hasonló jelentésű mondattöredéket azonosítania, mint a mondatokat (helyesen) kiegészíteni, befejezni.

Ha adott a mondattöredék, és az MI-nek meg kell mondania a következő szavakat, akkor a töredékhez hasonló mondatokat keres a gyakorlósorban, és az általa talált példákat használja majd a következtetéshez. (Lényegében, lelesi, hogy a szomszédok mit írtak.)

nyelvi_modell0.jpg

A modell például a „Dickens írta a ...” kezdetű mondatot úgy fejezheti be, hogy „Dickens írta a Twist Olivért.” A gyakorlóadatok alapján az MI tudja, hogy a „Twist Olivér” helyes válasz lehet.

A fejlesztők előzetes gyakorláson átesett modellt javasolnak, a gyakorlómondatok vektoros megjelenítésével, míg a tesztmondatok elemzésénél algoritmus kombinálja össze az információkat. A megközelítés minden előzetesen trenírozott nyelvi modellel működik, a legtöbb kísérlethez azonban speciális hálózatokat használtak.

Első lépésben a kNN-LM a gyakorlósor összes mondatához vektoros megjelenítést generál, majd az új input mondathoz megkeresi ugyanezen vektorok legközelebbi („szomszédos”) megjelenítését. Minél közelebbi egy gyakorlóvektor az inputhoz, annál magasabb pontszámot ér el („jobban súlyozódik”) a gyakorlószekvencia következő lépésében. A nyelvi modell az input következő jegyét előre is jelzi.

Ezt követően az MI végső következtetéséhez a legközelebbi vektoros és a modell általi előrejelzést egyaránt figyelembe veszi. Különleges mérés minősíti, hogy mennyire ragaszkodik az egyikhez, illetve a másikhoz.

AWikipédia-szócikkeken tesztelt algoritmus 10 százalékkal jobban teljesített, mint az eddigi legmodernebb nyelvi modellek. A modell jelenlegi gyengéje, hogy hatalmas számítási kapacitásra van szüksége.  

A bejegyzés trackback címe:

https://jelenbolajovobe.blog.hu/api/trackback/id/tr5015467090

Kommentek:

A hozzászólások a vonatkozó jogszabályok  értelmében felhasználói tartalomnak minősülnek, értük a szolgáltatás technikai  üzemeltetője semmilyen felelősséget nem vállal, azokat nem ellenőrzi. Kifogás esetén forduljon a blog szerkesztőjéhez. Részletek a  Felhasználási feltételekben és az adatvédelmi tájékoztatóban.

glantos70 2020.02.12. 08:33:22

Bocs, az első ábrát még valamennyire értem, de a második ábra az O-betűvel hogy jön ide?