Nem beszélget, hanem dönt: a ChatGPT egyik alkotója másfajta mesterséges intelligenciát épített

A TypeSafe AI bemutatta a Jevet, egy olyan mesterséges intelligencia-modellt, amely nem szöveget ír, nem cseveg, és nem próbálja hosszasan megindokolni a válaszát. Meghatározott lehetőségek között dönt, pontoz vagy valószínűséget számít, mindezt a hagyományos nyelvi modelleknél állítólag nagyságrendekkel gyorsabban és olcsóbban. A rendszer érdekes lehet, de a vállalat legnagyobb állításait egyelőre nem támasztják alá független mérések.

A TypeSafe AI-t Diogo Almeida korábbi OpenAI-kutató alapította Erik Gafnival és Sasha Shenggel. Almeida részt vett az emberi visszajelzésen alapuló megerősítéses tanulás, vagyis az RLHF fejlesztésében, amely a ChatGPT működésének egyik fontos alapja lett. Az új vállalat két évig szinte teljes titokban dolgozott, majd negyvenmillió dolláros, a DCVC által vezetett induló befektetéssel és a Jev nevű első modelljével lépett a nyilvánosság elé. A Jevet a TypeSafe nem nagy nyelvi modellként, hanem az általa létrehozott „System One” kategória első tagjaként mutatja be. Az elnevezés Daniel Kahneman Gyors és lassú gondolkodás című könyvére utal: az első rendszer gyors, intuitív ítéleteket hoz, míg a második lassabban, tudatosan és több lépésben következtet. A Jev ennek megfelelően nem összetett tanulmányok megírására vagy nyitott kérdések megválaszolására készült, hanem sok apró, jól körülhatárolt döntés gyors meghozatalára. A modell szöveget, szöveges tömböket és JSON-formátumú adatokat fogad, majd háromféle választ adhat. A „Choice” előre meghatározott lehetőségek közül választ, a „Score” egy skálán helyezi el az eredményt, a „Noul” pedig egy igen-nem kérdéshez rendel valószínűséget. Egy ügyfélszolgálati rendszer például megkérdezheti tőle, hogy az érkező levél számlázási, műszaki vagy felhasználói problémáról szól-e, mennyire elégedetlen az ügyfél, illetve valóban visszatérítést kér-e. A Jev ezekre nem körmondatokkal válaszol, hanem közvetlenül feldolgozható adatokat küld vissza:

ügytípus: számlázás; elégedetlenség: 1,4 egy kétfokú skálán; visszatérítési igény valószínűsége: 95 százalék.

A lényeg az, hogy a lehetséges választípusokat a fejlesztő előre meghatározza. A hagyományos nyelvi modell egymás után generálja a szöveg elemeit, amelyeket a szoftvernek később értelmeznie, ellenőriznie és megfelelő formátumra alakítania kell. A Jev ezzel szemben egyetlen menetben kiszámítja az előre megadott válaszok valószínűségét, majd szabályos, géppel azonnal feldolgozható eredményt ad vissza. Egy kérésen belül ráadásul több száz, egymástól független döntést is párhuzamosan értékelhet. Ez a különbség teszi lehetővé, hogy a Jev rendkívül gyors és olcsó legyen. A TypeSafe adatai szerint egy döntés 70–500 ezredmásodperc alatt elkészülhet, a rendszer pedig feladattól függően húsz-kétszázszor gyorsabb és negyven-négyszázszor olcsóbb lehet a hagyományos nyelvi modelleknél. A hivatalos ár egymillió bemeneti tokenenként 0,042 dollár, egymilliárd tokenenként pedig 42 dollár. Kimeneti díj nincs, mivel a modell nem generál tokenenként szöveget. A jelenlegi változat másodpercenként 250 ezer tokent és percenként 1200 kérést képes kezelni, kontextusablaka legfeljebb 64 ezer token.

Nem hallucinál – vagy mégis?

A TypeSafe marketingjének legerősebb állítása szerint a Jev „nem hallucinál”. Ez azonban csak nagyon szűk értelemben igaz. A modell valóban nem találhat ki egy negyedik választ akkor, ha kizárólag három előre meghatározott lehetőség közül választhat, és nem küldhet vissza hibás szerkezetű szöveget, ha a program számot vagy logikai értéket vár tőle. Ettől azonban még választhat rosszul. Ha egy ügyfélszolgálati üzenetet tévesen csalásnak minősít, egy valódi visszatérítési kérelmet elutasít, vagy egy veszélyes tranzakcióhoz túl alacsony kockázati értéket rendel, akkor a válasz formailag tökéletes, csak éppen tartalmilag hibás. Maga a dokumentáció is leszögezi, hogy a kalibrált valószínűség nem garantálja minden egyes döntés helyességét. A kalibráció annyit jelent, hogy ha a modell sok esetben hetvenszázalékos bizonyosságot jelez, akkor ezeknek hosszú távon körülbelül hetven százalékban kell helyesnek lenniük. A Jev tanítására a vállalat egy RLCD-nek, azaz Reinforcement Learning for Calibrated Decisionsnek nevezett eljárást használ. Míg az RLHF a felhasználóknak tetsző válaszok felé tereli a nyelvi modellt, az RLCD célja az, hogy a rendszer által közölt valószínűség minél pontosabban tükrözze a tényleges bizonytalanságot. Ez azért fontos, mert a szoftver így meghatározhat egy küszöbértéket: a nagy bizonyosságú esetekben automatikusan cselekszik, a kétes döntéseket pedig emberhez vagy egy összetettebb következtetésre képes modellhez továbbítja.

A Jev nem alkalmas cikkírásra, beszélgetésre, programkód előállítására vagy részletes magyarázat készítésére. Képeket, hangot és videót egyelőre nem fogad, és az angolon kívüli nyelveken a vállalat szerint is gyengébb lehet. Nem a ChatGPT, a Gemini vagy a Claude helyettesítésére készült, hanem arra, hogy az ilyen modellek mellett, egy nagyobb rendszer háttérelemeként működjön. Lehetséges felhasználási területe az ügyfélszolgálati kérelmek szétosztása, a csalásgyanús tranzakciók kiválasztása, az értékesítési érdeklődők rangsorolása, a tartalommoderálás, az automatizált biztosítási vagy hitelbírálat egy-egy részfeladata, illetve annak eldöntése, hogy egy mesterségesintelligencia-ügynök melyik külső eszközt használja következő lépésként. Ezekben az esetekben gyakran pazarlás egy nagy, szöveggeneráló modellt működtetni pusztán azért, hogy végül egy „igen”, „nem” vagy „küldd a számlázási osztálynak” választ kapjunk. A TypeSafe állítása szerint a Jev az ilyen, jól körülhatárolt feladatokban a fejlett nyelvi modellekhez hasonló teljesítményt nyújthat a költség töredékéért. Ezt azonban fontos fenntartással kezelni. A vállalat nem tett közzé részletes műszaki tanulmányt, a modell architektúráját sem ismertette, a bemutatott eredmények pedig saját, belső feladatokon végzett mérésekből származnak. Nyilvános és független tesztek egyelőre nem igazolják, hogy a Jev valóban eléri a GPT-5.6 Terra szintjét – ráadásul az összehasonlítás csak strukturált döntési feladatokra vonatkozik, nem általános intelligenciára vagy szövegalkotásra.

A Jev igazi jelentősége ezért egyelőre nem az, hogy legyőzte volna a nagy nyelvi modelleket, hanem az, hogy megkérdőjelezi a jelenlegi fejlesztési divatot, amely szerint minden problémát egy beszélgetőrobottal kell megoldani. A szoftverek jelentős részének nincs szüksége szépen fogalmazó mesterséges intelligenciára; gyors, olcsó és ellenőrizhető döntésekre van szüksége. Ha a TypeSafe modellje valóban megbízhatóan teljesít éles környezetben, akkor a mesterséges intelligencia következő fontos lépése nem feltétlenül egy még nagyobb chatbot lesz, hanem egy olyan háttérben dolgozó rendszer, amely nem beszél sokat, csak elvégzi azt az egy feladatot, amelyet rábíztak.

Ugar