Szakemberek évtizedek óta fejlesztenek online csevegő robotokat, internetes beszélgető ágenseket, de az általános tapasztalatok alapján még a legmodernebb mai chatbotokkal is problémás a kommunikáció – kérdéseinkre gyakran adnak vagy értelmetlen, nonszensz, vagy teljesen általános, mindenre ráhúzható, semmitmondó válaszokat. (A beszélgető ágensek leggyakrabban internetes vásárlásoknál hivatottak segédkezni.)

Az infokom és különösen a mesterségesintelligencia-kutatás sok más területéhez hasonlóan, a Google csevegő botok fejlesztésében is próbál élen járni, és legújabb chatbotjuk (a cég állítása szerint) a teszteken az összes többinél, azaz valamennyi konkurensnél jobban teljesített.

A mamutvállalat új mérést is használ, amelyet speciálisan mesterséges intelligenciák beszélgetőkészségének a vizsgálatára találtak ki.

A Meena nevű botot egyedi módszerrel úgynevezett érzékenység és specifikálás átlaggal (Sensibleness and Specificity Average, SSA) mérik. Az új mértékegység kidolgozásához a Google embereket kért fel, hogy 100 szabadon választott beszélgetést folytassanak Meenaval és több más nem egyetlen témára szakosodott chatbottal.

A 40 milliárd szón gyakorolt bot minden egyes válaszát követően, a humán félnek a válasszal kapcsolatos két kérdésre kellett felelnie. A beszélgetések minimum 14. maximum 28 kérdés-feleletből, vagy közlés-reakcióból álltak.

Az első arra vonatkozott, hogy a válasz logikus volt-e, passzolt-e a beszélgetés kontextusához. Amennyiben igen, a következő kérdés így hangzott: „Speciálisan a beszélgetéshez kapcsolódott-e?” Utóbbi azért fontos, hogy kiszűrjék az általános válaszokat. Például, ha a humán partner azt írta, hogy szereti a teniszt, amire a chatbot azt felelte, hogy „ez jó”, a választ „nem specifikusnak” címkézték.

A Google kiszámolta, hogy egy átlagember 86 százalékban teljesíti az SSA követelményeit. A kutatás során vizsgált többi chatbot 31 és 56 százalék között teljesített, míg Meena 79 százalékot ért él.

A számok azt jelzik, hogy a Google beszélgető ágense az összes riválisnál közelebb került az emberi szinthez.