2023.08.10. – Hiába az elmúlt hónapok óriási sikere, a ChatGPT olyan hülye, mint a segg. Legalábbis valami nagyon hasonlót állítanak a Purdue Egyetem koponyái, akik egy igen részletes teszttel mutattak rá a mesterséges intelligencia Achilles-sarkára: bizony elég gyakran állít butaságokat.
De talán nem is a tévedéseivel van a legnagyobb gond, hanem azzal, hogy mindezt olyan meggyőzően adja elő, hogy elsőre, de talán másodjára sem tűnik fel az embernek, ha hülyeséget ír. Amit amúgy elég sűrűn tesz: a Purdue csapata 517 Stack Overflowon is megtalálható kérdést tett fel az AI-nak, melyekre 52 százalékos arányban rosszul válaszolt. Az esetek 77 százalékában viszont olyan bő nyállal, szépen megfogalmazva tette ezt, hogy a kísérletben résztvevő emberek 39%-a simán a ChatGPT válaszait részesítette előnyben az emberivel szemben, csak mert azok meggyőzőbben, tudálékosabban voltak megfogalmazva.
A probléma ezzel csak az, hogy az így előnyben részesített chatbotos válaszok 77%-a hibás volt.
A tanulmány szerint a felhasználók csak akkor képesek azonosítani a hibát, ha a ChatGPT válaszában a tévedés égbekiáltóan nyilvánvaló. Igaz, 12 emberből minimum ketten még így is az AI-t választják. Amikor azonban már kevésbé egyértelmű a dolog, akkor könnyen elsiklanak fölötte, vagy szimplán alábecsülik a lehetséges hibafaktort.
De ennek is van ám konkrét magyarázata. A tesztben résztvevők azt mondták, hogy azért választották öntudatlanul is a ChatGPT-t, mert a hosszan és magabiztosan, lényegretörően magyarázott szövegek valódi tudást sugalltak, ezért azt hasznosabbnak, informatívabbnak találták. De ami talán még fontosabb volt, hogy mindvégig udvarias volt, kedvesen fogalmazott, amivel elnyerte az emberek bizalmát, így pedig könnyebben ment át rajtuk egy-egy helytelen válasz.
A kutatók azt is megfigyelték, hogy a feltett kérdésekre-kérésekre a ChatGPT gyakran tutibiztos megoldásra utaló szöveggel válaszol. Mint például a „természetesen tudok segíteni”, vagy „ez biztosan megoldja…”, miközben a potenciális tévedésekre vagy kockázatokra már nem hívja fel a figyelmet. Mindemellett az AI inkább koncepcionális hibákat vét, mintsem tényszerűeket, vagyis sok válasz azért hibás, mert képtelen értelmezni a feltett kérdés mögöttes kontextusát.
Lényegében igen. Bár a kutatók megjegyezték, hogy egy még ennél is nagyobb és sokrétűbb mintavétellel pontosabb képet kapnának a ChatGPT tévedésének mértékével, ami így lehet ennél valamivel jobb, de inkább rosszabb. A ChatGPT publikussá válása óta nagyon sokan hozakodtak elő azzal a megfigyeléssel, hogy a mesterséges intelligencia hazudik.
Mindezt a magyar tartalomgyártókkal magam is teszteltem, és valóban: a ChatGPT piszok magabiztosan és meggyőzően állított abszurd hülyeségeket a hírességekről, majd amikor rámutattam a tévedésére, először elismerte a hibát, majd egy újabb határozottan előadott hazugsággal állt elő. De ez még a jobbik eset, nagyon sok olyan is történt, hogy a problémára való rámutatás után egyszerűen letagadta, hogy tévedett volna.
Az OpenAI fejlesztői erre azt nyilatkozták, hogy a program csupán hallucinál, azaz két egymástól távol eső adatot próbál a lehető legkoherensebben összekötni a rendelkezésére álló kevés információból. Ezzel viszont az a baj, hogy az AI nem hívja fel minderre a figyelmet, és sokszor nem is ismeri el a hibát, amit aztán meggyőzően egy újabb hazugsággal próbál magyarázni ahelyett, hogy azt mondaná: „ezzel a kérdéssel kapcsolatban nem rendelkezem elegendő információval”.
Ugyanakkor a ChatGPT még gyerekcipőben jár. Már amikor megjelent is olyan képességekkel bírt, amiket korábban nehezen tudtunk a valóságba képzelni, aztán az elmúlt néhány hónap során még tovább fejlődött. Ha ezeket a kezdeti problémákat kiküszöbölik, azaz drámaian javul a rossz-jó válaszarány, a hibákat pedig elismeri, vagy legalább az esélyeit előre jelzi, akkor sokkal alkalmasabb lesz bizonyos munkakörök/folyamatok kiváltására, megsegítésére, mint jelenleg – bár néhány feladatra már most is tökéletes.
Bódi Dániel 2024.02.04. - Hiába adja magát a Csillagkapu hatalmas univerzuma, a játékfejlesztők nem különösebben…
2024.02.04. - A Warzone és Modern Warfare III második közös szezonja február 7-én érkezik a…
2024.02.04. - A ReactOS egy nyílt forrású projekt, melynek célja, hogy egy mikrokernel alapú, a Windows NT, Windows 2000 és XP alkalmazásaival és drivereivel kompatibilis operációs…
Bódi Dániel 2023.02.04. - A Star Wars Outlaws nem csak az utóbbi, hanem úgy en…
2024.02.04. - A 2023-as év hatalmas vízválasztó volt a Counter-Strike széria életében. A CS:GO 2012-es…
2024.02.04. - Az Nvidia mostanra végzett a januári kiszórással. Az elmúlt időszakban megérkezett az RTX…