Az Neumann Társaság blogja a legfejlettebb infokom technológiákról

Jelenből a Jövőbe

Jelenből a Jövőbe

Az amerikai IT-dolgozók közel negyede kész otthagyni az állását

2023. szeptember 01. - ferenck

Az Ivanti, egy utahi IT-biztonsági szoftverfejlesztő cég 8400 vezetővel, IT-szakemberrel és más tech-alkalmazottal 2023 első negyedévében felmérést készített, hogy megértsék munkahelyi hozzáállásukat, elvárásaikat és a kihívásokat. A felmérés alapján készült tanulmány az IT-szakemberekre szűkítette a kört.

Kiderült, hogy az amerikaiak közel negyede a következő hat hónapban fontolóra veszi munkahelye elhagyását. A nagy munkaterhet, a stresszt és a távmunkával járó elszigeteltséget nevezték meg okként.

itdolgozok_munkaelhagyas.jpg

Az exodus több mint 145 milliárd dollárba kerülhet az amerikai munkáltatóknak. Ráadásul, IT-szakemberek 1,4-szer nagyobb eséllyel „távoznak csendesen”, mint a tudásipar más dolgozói.

Még nyugtalanítóbb, hogy a munkájuk elhagyásán gondolkozó IT-szakemberek harmincegy százaléka mentális egészségi problémákat említ, miközben a területen a hibrid és távmunka miatt hetvenhárom százalékkal nőtt a munkaterhelés, négyből egy pedig kiégettnek érzi magát.

Az IT-szakemberek 2,5 százalékos valószínűséggel többet dolgoznak, ha távmunkáznak. Huszonhárom százalékuk a munkatársakkal való kapcsolat megszűnésére panaszkodik. A munkahelyen – azaz az „irodában” – dolgozóknál ez a szám tizenhét százalék.

A kihívások ellenére, az IT-szakemberek többsége, legalábbis egy ideig, folytatni kívánja a távmunkát.

Az iparág vezetői szintén aggódnak az információtechnológiai munkák miatt. Andrew Duncan, az Infosys Consulting vezérigazgatója a tanulási folyamat folytatását, új élményeket, új adottságok kifejlesztését, új projekteket javasol. Zaven Nahapetyan, a Niche.club társalapítója, korábbi Facebook-menedzser szerint a csapatunk sikerében betöltött kritikus fontosságú szerep elérése lehet a kitörési pont. Ben Smith, a NetWitness főmérnöke a szervezet keretében betöltött jelenlegi szerepen túlra tekintést, az iparág egészét érintő kihívások általánosabb megközelítését ajánlja.

Jobbak a gépitanulás-modellek, ha fényen alapulnak?

Egy, a számításokat elektronok helyett a fény mozgása alapján végző, sokszáz mikronléptékű lézert használó rendszer több mint százszor energiatakarékosabb, huszonötször sűrűbb számításokra képes, mint a gépi tanuláshoz használt mai csúcs- és szuperszámítógépek – derül ki egy, főként MIT-sekből (Massachusetts Institute of Technology) álló amerikai kutatócsoport munkájából.

És ez csak a kezdet, mert a rendszer teljesítményparaméterei a jövőben több nagyságrenddel növelhetők. Megnyithatja az utat nagyléptékű optoelektronikai processzorok előtt, és felgyorsítaná azt a folyamatot, amelynek eredményeként a gépitanulás-feladatok végrehajtása adatközpontokból decentralizált élszámítás (edge computing) eszközökre helyeződik át. Okostelefonok és más kisebb készülékek is képesek lesznek ma csak nagy adatközpontokban működő programok futtatására.

genyalapu_llm.jpg

A rendszer komponensei már működő gyártási folyamatokkal állíthatók elő, pár év múlva pedig méretezhető is lesz a gyártás.

A mai szuperszámítógépes kapacitás korlátozza például a ChatGPT méretét, nagyobb modellek gyakoroltatása pedig gazdasági szempontból nem életképes. Az új technológiával viszont lehetővé válik olyan modellek használata, amelyek egyébként elérhetetlenek lennének a közeljövőben. De mire lesz majd képes a kutatók rendszerén gyakoroltatott következőgenerációs ChatGPT?

Nem tudják még, nagy változásokat viszont az ilyen újítások tesznek lehetővé – hangzik a válasz.

Abból a tényből indultak ki, hogy a nagy nyelvmodellek mögötti mély neurális hálók (deep neural networks, DNN) elérik technológiai korlátaikat: még több energiára, még nagyobb adatközpontokra van szükség hozzájuk. Ez a tény új számítási paradigmák kigondolására ösztönöz szakembereket.

Ha a DNN-számításokhoz elektronok helyett fényt használunk, megoldódhatnak a problémák, és még a sávszélesség is jelentősen növelhető, a fény sokkal több információt továbbít sokkal kisebb területre – magyarázza Zaijun Chen (MIT), a kutatás egyik vezetője.

A mostani optikai neurális hálók (ONN) azonban nem elég hatékonyak még. Az elektromos energián alapuló bejövő adatokat nehezen alakítják át fénnyé, az alkatrészek nagyok, túl sok helyet foglalnak el, és míg lineáris számításokban, például összeadásban jók, addig a nemlineárisokban, mint az osztás, vagy a „ha” jellegű műveletekben kevésbé teljesítenek jól.

A kutatók által javasolt kompakt architektúra kezeli ezeket a kihívásokat.

A fizikai és a digitális világ találkozása egy virtuálisvalóság-színjátékban

Az Animate színjáték nyitójelenetének elhagyatott dohányraktárában tucatnyi néző felfordított rönkökön ül, mintha tipikus kanadai kempingben múlatnák az időt. Ponyva alatt két színész olvas fel egy történetet a közeljövőből, amikor már mindenhol érezzük az éghajlatváltozás hatását.

A sztori magányos és legyőzött fiatal nőről és férfiről, Laurie-ról és Danielről szól. Vakrandevúra készülnek, hogy aztán meglátogassák az új-fundlandi Tablelands-et, egy 450 millió éves marsbeli tájat.

animate.jpg

A különleges darab a jelenleg a Zürichi Művészeti Egyetem Immerzív Művészi Tereit igazgató kanadai Chris Salter munkája. A legklasszikusabb analóg színházi kezdés – színészek felolvasnak a kislétszámú közönségnek – után drasztikus a tempóváltás, a kevésbé klasszikus módon headsetet és audió fülhallgatót viselő nézők immerzív virtuális valóságban találják magukat. Az élménnyel a fizikai és a digitális világ teljesen összemosódik.

Kötelet fognak meg, színész vezeti őket a raktáron át. A szemüvegen keresztül a helyiség képe szemcsésnek, fekete-fehérnek tűnik, tele sziklákkal. A közönség tagjai el-eltűnnek, zavarodottnak érezzük magunkat, mintha mindentől elszakadnánk, elveszítenénk az irányt, emberi jelenlétre csak a főszereplők tudatfolyama emlékeztet.

animate0.jpg

A rendező elmondta, hogy az éghajlatváltozás szemszögéből akarta megmutatni a fizikai és az egyre digitálisabb világ közötti feszültséget, amikor mindinkább eltávolodunk valós fizikai környezetünktől, és digitális terekben élünk.

Az utazás egy pontján a 3D virtuális Tablelands közepén vagyunk: a színpompás tájban, okkersárgás sziklákkal, zöld növényzettel, fjordszerű vidéken forgolódunk, botorkálunk. A kaotikus és izgalmas zárójelenetben repülő sziklákkal lépünk interakcióba, a hangok és az érzetek teljesen valósághűek.

Az éghajlatváltozás többé már nem absztrakt dolog, grafikonokkal, hanem a testünkkel átélt, fizikai valóság, Salter pedig olyan művet akart alkotni, hogy a befogadó át is élje ezt abban a közegben, ahonnan nincs már hova mennie. Az Animate gyökeres ellentéte az éghajlatváltozást bemutató, didaktikus műalkotásoknak. Ehhez viszont tetszetős narratíva kellett, különben a nézők csak eljátszadoztak volna a VR-rel.

Salter így jutott el az új-fundlandi Kate Story azonos című, a Cli-fi: Canadian Tales of Climate Change kötetben megjelent novellájához.

Agybeültetéssel hozták létre egy stroke-túlélő arcának digitális avatárját

Ann, egy kanadai matematika tanárnő a 2005-ben bekövetkezett stroke-ja óta súlyosan mozgáskorlátozott, arcizmainak mozgását, az írás képességét csak hosszú évek terápiája után nyerte vissza, de beszélni még mindig nem tudott. Akkor harmincéves volt, most, tizennyolc év után volt képes először – számítógépes avatár közvetítésével – korlátozott számú arckifejezésre és beszélni is.

Ez az első eset, hogy agyi jelzésekből szintetizáltak beszédet, arckifejezéseket. A rendszer a jeleket percenkénti nyolcvan szó tempóval, szöveggé is át tudja alakítani. Komoly előrelépés, mert a többi mostani technológiával tizennégy szó a csúcs.

brainimplant1.jpg

Ann agyába, a beszédképzéshez kritikus területre 253 elektródából álló papírvékony téglalapot ültettek.   

A műtétet a San Franciscói Kaliforniai Egyetemen, az agy-számítógép interfészekkel (brain-computer interfaces, BCI) foglalkozó Edward Chang idegsebész és csapata végezte. A munkában a Berkeley-i Kaliforniai Egyetem is részt vett.

brainimplant.jpg

Mindkét csoport az agyba implantált felvevő eszközzel rögzítette az arckifejezéseket képező apró mozdulatokat irányító jelzéseket. A jelzéseket mesterségesintelligencia-algoritmusokkal dekódolták, alakították szavakká, a hibákat pedig nyelvmodell korrigálta. Az algoritmusok gyakoroltatásában Ann is részt vett.

Chang csapata érzelmeket is tudott rögzíteni.  

brainimplant0.jpg

Ann a későbbiekben is segít a két felsőoktatási intézménynek új BCI-technológiák fejlesztésében, hogy a jövőben a hozzá hasonlóan korlátozásokkal élő személyek rájuk hasonlító digitális avatárok útján tudjanak kommunikálni, beszélgetni a külvilággal.

A kutatók viszont figyelmeztetnek, hogy az eredmény nem feltétlenül lesz mindig ennyire jó, és az ezekben az esetekben használható BCI-technológiák nem érhetők el széles körben – az általános használattól elég távol vagyunk. A lehetőségek mindenesetre óriásiak.

A New York Times külön engedélyhez köti anyagai MI általi használatát

Nagy gépitanulás-modellek gyakoroltatásához a webről és más szabadon hozzáférhető forrásokból összegyűjtött anyagokat használnak. Az interneten rengeteg szöveg található, és ha több forrás kiesik, a modellek minősége valószínűleg nem változik.

Ha viszont megváltozik a hozzáállás, és mások lesznek az összegyűjtött anyagok MI-gyakoroltatásra való használatával kapcsolatos normák, jelentősen csökkenhet az ingyen felhasználható minőségi adatok mennyige. Ha drasztikusan kevesebb lesz az adat, romlik a modellek minősége.

nyt.jpg

Augusztus elején az Agence France-Presse-t, az Associated Presst és a Getty Image-et is köztük tudó tíz sajtó- és médiaszervezet nyílt levélben sürgette a törvényhozókat MI-fejlesztők elleni korlátozások bevezetésére. A levélben a gyakorló adatsorok nyilvánosságra hozatalát, a modell outputjainak „MI által generált” címkézését és a szellemi jogok tulajdonosának a modell jogbirtokos tartalmain történő gyakoroltatása előtti hozzájárulását javasolták.

A levelet követően többen adataik engedély nélküli használata miatt bepereltek MI-fejlesztőket.

nyt0.jpg

Legutóbb a 173 éves, az online és a printváltozatra együtt közel tízmillió előfizetővel rendelkező New York Times (NYT), megváltoztatva a felhasználási feltételeket, tiltotta meg webes tartalmai és más adatai használatát MI-rendszerek gyakoroltatására.

Az NYT fontolgatja, hogy szellemi tulajdona engedély nélküli használata miatt pert indít az OpenAI ellen. Az MI-fejlesztővel sokáig tárgyaltak, de a tárgyalások megszakadtak. A Google-lal sikeresebbek voltak, februárban megállapodtak, és az infokom óriás százmillió dollárt fizet az újság tartalmainak keresési találatokban való használatáért. Mesterséges intelligenciával kapcsolatos megállapodásról nincs információ.

Az új felhasználási feltételek alapján tilos NYT szövegeket, képeket, videókat, hanganyagokat, metaadatokat explicit engedély nélkül szoftverfejlesztésre vagy harmadik fél adatsorának gondozására használni. A szoftverfejlesztésre vonatkozó tiltás MI- és gépitanulás-rendszerekre is érvényes.

Az USA jelenlegi szellemijog-törvényei nem elég világosak ahhoz, hogy meg lehessen jósolni egy esetleges NYT kontra OpenAI per kimenetelét.

Az önvezető autók lassítják a forgalmat

Az Észak-karolinai Állami Egyetem (NC State) tanulmánya alapján az egymással összekapcsolt, az adatokat vezeték nélküli kapcsolaton megosztó járművek a kereszteződéseken áthaladva jelentősen csökkentik az utazási időt. Ha viszont nem állnak kapcsolatban egymással, és csak automatizáltak, akkor növelik.

A biztonság miatt van így.

Két okból érdeklődünk az automatizált járművek iránt: az egyik a biztonság növelése, a másik az utazási idő csökkentése. Kutatások tanulsága, hogy ezek a járművek tényleg javítanak a biztonságon. Az NC State számítógépes modellezésen alapuló anyaga viszont azt sugallja, hogy ha az utazási időn is szeretnénk faragni, nem elég növelni az automatizált járművek számát. Egymással és a kereszteződések forgalmát kezelő közlekedésirányító rendszerekkel kommunikálni képes járművekre van szükség.

lassulo_forgalom.jpg

A számítógépes modell forgalmi feltételeket szimulált. Négyfajta járművel számoltak: ember által vezetettek (HV), összekapcsoltak (CV) – utóbbiakat emberek vezetik, de a többi összekapcsolt járművel és a közlekedésirányítással is megosztják az infókat –, automatizált járművek (AV), összekapcsolt automatizált járművek (CAV).

Programozásuk miatt az AV-ket a humán sofőröknél óvatosabbnak tartjuk. A CV-ket és az CAV-ket úgy tervezték, hogy a közlekedési lámpák jövőbeli állapotáról kapjanak információt, majd sebességüket ennek megfelelően alakítják a kereszteződéseken megállás nélkül történő áthaladáshoz. Így a CV-k és a CAV-k könnyebben, kevesebb megállással átmennek rajtuk, mint a HV-k és az AV-k.

A kutatók ötvenhét szimulációt futtattak le, hogy felbecsüljék több változó, például a járműtípusok különféle eloszlásainak az utazási időre gyakorolt hatását.

Kiderült, hogy minél több a CV és a CAV, annál nagyobb a kereszteződés kapacitása, tehát, ha több az összekapcsolt jármű, gyorsabb a forgalom, kevesebben várakoznak piros lámpánál. Viszont ha sok a – nem összekapcsolt – AV, lelassul a forgalom, mert a programozásuknál a „konzervatív” vezetést feltételező ütközéselkerülés az elsőszámú szempont.

Egyértelmű, hogy mind a járművek, mind a közlekedésirányító rendszerek összekapcsoltsága kulcsfontosságú.

Mesterséges intelligencia menti meg a méheket

A mezőgazdaság fejlődésével egyre fontosabb a fenntartható megoldások és az erőforrások hatékony felhasználása. A fejlődés egyik kritikus aspektusa az élelmiszer-növény termelés közel hetvenöt százalékának előállítását biztosító beporzás.

A BeeHero, izraeli agrotechnológiai vállalat, ismerve a méhek tevékenységének jelentőségét, Beporzás Betekintési Platform néven kínál megoldást: a platform a helyszíni szenzortechnológiát (lésd a képen) fejlett adatelemzéssel és mesterséges intelligenciával hozza közös nevezőre. A beporzás folyamatos megfigyelésével a tevékenység hatékonyabb lesz, növeli a terméshozamot.

mehek.jpg

A platform kaptárban elhelyezett, szabadalmaztatott érzékelőkön alapul. Az érzékelők helyszíni telepítésével, a cég valósidőben nyomon követi több növény beporzását.

Az új technológiával jelentősen bővül a BeeHero méhek viselkedésére vonatkozó hatalmas, a világ legnagyobb adatkészlete, amelyet kétszázezernél több kaptárból szedtek össze.                

A történelem során „fekete dobozként” funkcionált beporzást a modern mezőgazdaság és a jövőbeli élelmiszerellátás alapjának tartják. Ezt a fekete dobozt igyekeznek átláthatóvá tenni, és most már nemcsak kaptáron belüli, hanem azon kívüli adatokat is felhasználnak hozzá.

A platformmal a mezőgazdák fontos információkhoz jutnak a méhek aktuális tevékenységéről a földeken. Az infókból levont következtetések hatása nagyon pozitív.

A helyszíni szenzorok ugyanis kritikus adatokat gyűjtenek méhekről, tevékenységükről, virágokról, környezeti viszonyokról. A technológia paradigmaváltás: korábban manuálisan igyekeztek összeszedni ezeket az adatokat. Hatékonyságban, pontosságban ég és föld a különbség.

A mesterséges intelligenciával elemzett adatok segítik a döntéshozást. Mobil interfészen könnyen hozzáférhetők, a platform tényleg hatékony eszköz mezőgazdák kezében. 

Az embernél is biztonságosabban vezet repülőgépet egy humanoid robot

A mesterséges intelligencia és a robotika is olyan gyorsan fejlődik, hogy gépi rendszerek ma már nemcsak földi munkára, hanem a levegőben, például repülőgép-vezetésre is alkalmasak. A szöuli KAIST (Korea Advanced Institute of Science & Technology) kutatói erre a célra fejlesztenek a pilótafülke módosítása nélkül humanoid robotot.

A gép neve Pibot, 160 centi magas, tömege 65 kiló, és a pilótafülke, ember számára tervezett összes gombját, irányítópanelét, készülékét ugyanúgy képes kezelni, mint húsvér kollégái – állítják a fejlesztők.

pibot.jpg

Karjait és ujjait úgy vezérli, hogy nagy rezgés esetén is ügyesen kezeljen műszereket. Külső kameráival figyeli a repülőgép aktuális állapotát, belső kamerái pedig segítik a vezérlőpulton lévő lényeges kapcsolók használatában.

Megjegyez természetes nyelven írt bonyolult kézikönyveket, így különböző repülőgépekhez tud alkalmazkodni. Humán pilótáknál nem megy ennyire simán, váltásnál tovább tart beletanulni az újba. Pibotnál ez csupán annyi, hogy egy másik ikonra kattint.

pibot0.jpg

Memóriája akkora, hogy az összes Jeppesen légi navigációs térképet tárolja, memorizálja – humán pilóták számára ez is lehetetlen feladat. E képességek kialakulását a nagy nyelvmodellek (large language models, LLM) utóbbi évekbeli fejlődése tette lehetővé.

2016-ban volt már egy elődje, de az MI akkori fejlettségi szintje meg sem közelítette a mostanit, ezért a KAIST kutatói egyszerűbb robotot építettek. Nem is tudott olyan kézikönyvekből, szakirodalomból tanulni, mint a mostani.

A nagy nyelvmodellekkel, például a Chat-GPT-vel a technológia lényegesen jobb eredményekre képes, megy velük a tanulás. Pibot vészhelyzetben sokkal gyorsabban reagál, mint az ember, ha probléma merül fel, azonnal intézkedik. Egyelőre ugyan a Chat-GPT-t használják, de a kutatók saját LLM-et fejlesztenek, hogy a humanoid ne legyen internetkapcsolatra utalva. A modell kizárólag repüléssel kapcsolatos infókat kezel, a fedélzetre felvihető kicsi számítógépen tárol mindent.

A repülőgéphez csatlakoztatva, Pibot közvetlenül tud kommunikálni a személyzettel. Mostani változatát extrém körülmények közötti tevékenységre fejlesztették, amikor az emberi részvétel nem feltétlenül előnyös. A légiközlekedés-irányítással, a pilótafülkében lévő emberekkel beszédszintézis segítségével érintkezik.

Repülőgép mellett később más vezetési feladatokat (autó, tank, hajó stb.) is végezhet. Várhatóan 2026-ra lesz kész.

Kevesebb a GPU

Az Nvidia idén jelentette be az előd A100-nál gyakorlásnál 2,3-szor, következtetésnél 3,5-ször gyorsabb H100 grafikus feldolgozó egységet (GPU).

A fejlesztőknek a legjobb chipekre van szükségük nagyteljesítményű mesterségesintelligencia-modelljeik trenírozásához, csúcskategóriás termékekbe integrálásukhoz. A generatív MI a jelenlegi infokom „legforróbb” technológiája, és az innováció bánja, ha akadozik a chipellátás.

gpu1.jpg

Pont ez történik most: az Nvidia legjobb chipjei iránti kereslet nagyobb, mint a kínálat. Nincs elég H100.

Felhőszolgáltatók az év elején problémákkal küszködtek GPU-k beszerzésében, de a hiányt most már a kisebb és a nagyobb MI-cégek is érzik, ráadásul a chipeket 2024-re is eladták már.

Az Nvidia designjain dolgozó TSMC, a chiptervezők körében, például a rivális AMD-nél is népszerű csomagolási technológiája korlátai miatt a mostaninál nem tud több H100 gyártásához hozzájárulni. A tervek szerint 2024 végéig megduplázzák termelési kapacitásukat.

gpu_1.jpg

Az Nvidia szerint a felhőszolgáltatók előzetesen értékesítették H100 kapacitásaik zömét. Következményként a hirtelen megnövekedett számú felhasználókat kiszolgáló nagy nyelvmodellek gyakoroltatásához szükséges többezer H100-hoz való hozzáférés csökkenésével, több startup bajba került.

Egy H100, memóriával és nagysebességű interfésszel eredetileg 33 ezer dollárba kerül, az eBay-en azonban már 40 és 51 ezer közötti árakon kínálják.

A keresletet nehéz számszerűsíteni. Nagy MI-vállalatoknak és felhőszolgáltatóknak többtízezer-többszázezer, kisebb startupoknak többszáz-többezer H100-ra lehet szükségük. Egyes becslések szerint jelenleg kb. 430 ezret vennének meg azonnal, összesített áruk 15 milliárd dollár körül mozog, és a kínaiakkal nem is számoltak.

A legnagyobb kínai vállalatok (Alibaba, Baidu, ByteDance, Tencent) ötmilliárdért rendeltek nem pontosított Nvidia-chipeket, zömüket jövőre fogják leszállítani.

Az Nvidiával közeli kapcsolatban álló (a chipgyártó invesztált is beléjük) CoreWeave felhőszolgáltató startup 35-40 ezer H100-at rendelt.

Hogyan építsünk nagy nyelvmodellekre alkalmazásokat?

Egyre több nagy nyelvmodell (LLM) nyílt forrású vagy majdnem az, így fejlesztők több opció között választhatnak, hogy hogyan és milyen alkalmazásokat építsenek rájuk.

A legegyszerűbb mód az utasításadás (prompting). Az előzetesen gyakoroltatott LLM-nek utasításokat adva, gyakorlósor nélkül percek, maximum órák alatt elkészülünk az alkalmazás prototípusával. Egyre többen tesznek így, és a trend erősödése várható.

alkalmazasepites.jpg

Egy fokkal bonyolultabb az egy- vagy többlövéses „promptolás”, azaz a modellnek kevés adatot használva, megadunk egy vagy több (főként kettő-öt) utasítást, példákat, hogy hogyan hajtsa végre a feladatot. Az eredmények általában jobbak, mint az első opciónál.

A finomhangolás a harmadik. A sok szövegen előzetesen gyakoroltatott modellt saját magunk által összeállított kis adatsoron történő további gyakoroltatással a feladatnak megfelelően hangoljuk át. A rendelkezésre álló eszközök fokozatosan javulnak, egyre több fejlesztő rendelkezésére állnak.

Az előzetes gyakoroltatás a negyedik, de a semmiből indulva sok forrás kell hozzá, így kevesen alkalmazzák a módszert. Változatos témákon gyakoroltatott általános modellek mellett, a módszerrel speciális, például pénzügyi (BloombergGPT) vagy orvosi (Med-PaLM-2) alkalmazások készíthetők.

Legcélszerűbb a gyors eredménnyel járó elsővel kezdeni. Ha nem vagyunk elégedettek, a bonyolultabb technikákat fokozatosan használjuk, és csak akkor ugorjunk a következőre, ha valamelyik végképp nem működik. A finomhangolás például nagyságrendekkel komplexebb, és sokkal több példa is kell hozzá.

Ha szabadalmaztatott modellel, mondjuk a GPT-4-gyel szeretnénk dolgozni, vegyük figyelembe, hogy nem finomhangolható. Az se biztos, hogy sokkal kisebb modellek finomhangolása jobb eredménnyel jár, mintha nagyobbakat promptolunk.

Minden az alkalmazástól függ – ha az LLM kimenetének a stílusán akarunk változtatni, működik a kisebb modellek finomhangolása. Ha viszont az alkalmazásunktól a GPT-4 promptolásával várunk összetettebb következtetéseket, akkor jó modellel próbálkozunk, mert ezen a téren az összes nyílt forrású változatra ráver.

A fejlesztői megközelítés mellett a modell kiválasztása is nagyon fontos. A kisebbekhez kevesebb számítási kapacitás kell, sok alkalmazásban jól működnek. A nagyobbak azonban több ismerettel rendelkeznek a világról, ezért a következtetéseik is jobbak.

süti beállítások módosítása