A nagy nyelvmodellek (LLM) kis táblázatokat feldolgoznak, de nagyobbakkal meggyűlik a bajuk, mert túl méretes az input.

A Microsoft kutatói táblázattömörítő megoldást javasolnak, így LLM-ek is képesek azonosítani azokat, vizsgálhatják speciális kérdéseket megválaszoló részeiket.

A legtöbb táblázat kisebb táblázatok készletére bontható. Ezeket vizuális elválasztók, például vastag vonalak, üres sorok és/vagy oszlopok határolhatják. Mivel ugyanazokat a markertípusokat tartalmazhatják, a kisebb egységek észlelése azonban nem triviális.

Sok kérdés megválaszolásához nincs szükség a teljes táblázatra, csak a megfelelő részre, a táblázaton belüli valamelyik kisebb táblázatra. Az LLM-nek azonban a bemenethez (input kontextusablakhoz) esetleg túl nagy teljeset kell látnia először, és elemeznie kell az egymástól nem egyértelműen elkülönülő kisebb táblázatokat.

A táblázat tömörítése a megoldás. A tömörített reprezentációt és a kérdést betáplálják az LLM-be, valamint azt az utasítást kapja, hogy azonosítsa a szükséges kisebb táblázat határait. Miután ez megtörtént, a nyelvmodell a tömörítetlen változat alapján képes megválaszolni a kérdést.

A kutatók a táblázatot kisebb táblázatokra szétszedő, azokat tömörítő, de az eredeti szerkezetet megtartó szoftvert fejlesztettek. Utána LLM-eket finomhangoltak, hogy a tömörített táblázatban detektáljon kisebbeket, majd szöveges utasításokat (promptokat) adtak nekik, hogy azonosítsa az adott kérdés szempontjából releváns kisebb táblázatokat.

A teszteknél változatos méretű, négyezer és tizenkétezer token közötti táblázatokat használtak. Tömörített kicsiknél a Llama 3 83, nagyobbaknál 62, a GPT-4 81 és 69 százalékot ért el. Nem tömörített kicsiknél a Llama 3 72, a GPT-4 69 százalékos pontossággal dolgozott, nem tömörített nagyokkal egyikük sem boldogult (0 százalék).

Kérdések megválaszolásában tömörítetteknél a GPT-4 74, nem tömörítetteknél 47 százalékos hatékonysággal teljesített.