Az Neumann Társaság blogja a legfejlettebb infokom technológiákról

Jelenből a Jövőbe

Jelenből a Jövőbe

Képalkotó sejtautomata

2022. június 14. - ferenck

A mélytanulás (deep learning) többféle neurális-alapú képgenerátort kínál: generatív ellenséges hálózatokat (GAN), diffúziós modelleket, önkódoló rendszereket stb. Mindegyiknek vannak előnyei és hátrányai, együtt viszont csábító lehetőségeket kínálnak adatszintézishez, vizuális műalkotáshoz.

A sejtautomataként ismert számítási rendszerek biológiai sejtek viselkedését nagy vonalakban utánzó egyszerű szabályok iteratív alkalmazásával képesek pixelek mintázatait reprodukálni. A Koppenhágai IT Egyetem kutatói tovább mentek egy lépéssel: automatájuk nemcsak reprodukál képeket, hanem újakat is tud generálni.

sejtautomata.jpg

Úgynevezett variációs önkódolót (VAE) kombináltak egybe a neurális sejtautomatával, és a rendszer, a variációs neurális sejtautomata (VNCA) az idegháló kimeneteire és a szomszédos pixelek állapotára alapozva, frissíti a pixeleket (lásd az első és a második, illetve a harmadik és a negyedik ábra közötti különbségeket)..

sejtautomata0.jpg

VAE kódoló és dekódoló összjátékának eredményeként generál adatokat. Bármely architektúra lehet dekódoló mindaddig, amíg az inputhoz hasonló adatokat rekonstruál. A neurális sejtautomata a VAE mintázatait használva hoz létre új, előzetesen nem feltétlenül meghatározható adatokat – például képeket.

A VNCA vektorok rácshálózatának frissítésével generál pixeleket. Minden egyes vektor egy sejt, és minden egyes sejt egy pixelnek felel meg. A kódoló egy idegháló, amely a szomszédos vektorok állapotának függvényében frissít vektorokat.

sejtautomata1.jpg

A kutatók kézzel írt számjegyeket tartalmazó adatbázis képeinek rekonstruálására tanították meg a rendszert, és az automata valóban létrehozott – nem jó minőségű – új képeket.

sejtautomata2.jpg

A VAE és neurális sejtautomaták kombinációja hasznos alkalmazásokhoz vezethet. Például eltorzítanak képeket, majd kijavítják a sérült pixeleket, és így képfestésnél is jól működhetnek.

Skálázásukkal azonban vannak még problémák: a VNCA dekódere mindössze 1,2 millió paraméterrel dolgozott a csúcskategóriás dekódereknél megszokott többszáz-millió helyett. Paraméterek hozzáadásával viszont jelentősen nőnek a számítási költségek.

A koppenhágai kutatás ezzel együtt izgalmas, viszont korai még bármiféle messzemenő következtetést levonni belőle.

A bejegyzés trackback címe:

https://jelenbolajovobe.blog.hu/api/trackback/id/tr5117853559
süti beállítások módosítása