A legkorszerűbb internetes beszélgető robotokat, azaz chatbotokat általában rövid párbeszédeken gyakoroltatják. Ezzel magyarázható, hogy hosszabb csevegések során gyakran mondanak a témával köszönőviszonyban sem lévő blődségeket.

A legelterjedtebb (transformer) architektúrán alapulók a csevegés maximum 1024 jellemzőjét (karakterek, szavak, szórészletek stb.) elemezve társalognak, dolgoznak ki válaszokat.

A Facebook korábban egy ideig architektúrát használt a legrelevánsabb korábbi állítások meghatározására. Csakhogy egy hosszú beszélgetésben a releváns állítások 1024-nél jóval több jellemzővel rendelkezhetnek.

A beszélgető robotok teljesítményének javításáért, három kutató (Jing Xu, Arthur Szlam, Jason Weston) újfajta gyakorlást talált ki: a botnak a szövegkörnyezetet kell követnie. Menet közben készít a későbbiekben hasznos fogódzókként funkcionáló összefoglalókat, azok alapján generál válaszokat.

Az új chatbot már fent van a Facebookon.

Az információk összegzésével a modell több szövegkörnyezetet ismer meg, mint a legismertebb és legnyitottabb chatbotok (BlenderBot, Meena, és főként BART).

A kutatók ötezernél több beszélgetésből álló adatsoron gyakoroltatták a három transformerből álló rendszert: az egyik összefoglalt, a másik kiválasztotta az öt legrelevánsabb összefoglalót, a harmadik választ generált.

A felhasznált anyagban önkéntespárok beszélgettek. Minden egyes beszélgetés három-négy szakaszból állt, szakaszonként maximum tizennégy üzenettel, és akár egy hét is eltelhetett köztük.

A szakaszokat követően az önkéntesek később referenciaként szolgáló összegzéseket készítettek, és még a fordulatokat is összegezték vagy felcímkézték (hogy ezúttal nincs szükség összefoglalóra).

A modell jobban és pontosabban működött, mint a vele összehasonlított csúcskategóriás chatbotok, és talán képes lesz több témáról, a témák közötti váltások/ugrások ellenére is értelmesen beszélgetni.