2023.08.10. – Hiába az elmúlt hónapok óriási sikere, a ChatGPT olyan hülye, mint a segg. Legalábbis valami nagyon hasonlót állítanak a Purdue Egyetem koponyái, akik egy igen részletes teszttel mutattak rá a mesterséges intelligencia Achilles-sarkára: bizony elég gyakran állít butaságokat.

De talán nem is a tévedéseivel van a legnagyobb gond, hanem azzal, hogy mindezt olyan meggyőzően adja elő, hogy elsőre, de talán másodjára sem tűnik fel az embernek, ha hülyeséget ír. Amit amúgy elég sűrűn tesz: a Purdue csapata 517 Stack Overflowon is megtalálható kérdést tett fel az AI-nak, melyekre 52 százalékos arányban rosszul válaszolt. Az esetek 77 százalékában viszont olyan bő nyállal, szépen megfogalmazva tette ezt, hogy a kísérletben résztvevő emberek 39%-a simán a ChatGPT válaszait részesítette előnyben az emberivel szemben, csak mert azok meggyőzőbben, tudálékosabban voltak megfogalmazva.

A probléma ezzel csak az, hogy az így előnyben részesített chatbotos válaszok 77%-a hibás volt.

A tanulmány szerint a felhasználók csak akkor képesek azonosítani a hibát, ha a ChatGPT válaszában a tévedés égbekiáltóan nyilvánvaló. Igaz, 12 emberből  minimum ketten még így is az AI-t választják. Amikor azonban már kevésbé egyértelmű a dolog, akkor könnyen elsiklanak fölötte, vagy szimplán alábecsülik a lehetséges hibafaktort.

De ennek is van ám konkrét magyarázata. A tesztben résztvevők azt mondták, hogy azért választották öntudatlanul is a ChatGPT-t, mert a hosszan és magabiztosan, lényegretörően magyarázott szövegek valódi tudást sugalltak, ezért azt hasznosabbnak, informatívabbnak találták. De ami talán még fontosabb volt, hogy mindvégig udvarias volt, kedvesen fogalmazott, amivel elnyerte az emberek bizalmát, így pedig könnyebben ment át rajtuk egy-egy helytelen válasz.

A kutatók azt is megfigyelték, hogy a feltett kérdésekre-kérésekre a ChatGPT gyakran tutibiztos megoldásra utaló szöveggel válaszol. Mint például a „természetesen tudok segíteni”, vagy „ez biztosan megoldja…”, miközben a potenciális tévedésekre vagy kockázatokra már nem hívja fel a figyelmet. Mindemellett az AI inkább koncepcionális hibákat vét, mintsem tényszerűeket, vagyis sok válasz azért hibás, mert képtelen értelmezni a feltett kérdés mögöttes kontextusát.

Hülye mint a segg, de jó a szövege?

Lényegében igen. Bár a kutatók megjegyezték, hogy egy még ennél is nagyobb és sokrétűbb mintavétellel pontosabb képet kapnának a ChatGPT tévedésének mértékével, ami így lehet ennél valamivel jobb, de inkább rosszabb. A ChatGPT publikussá válása óta nagyon sokan hozakodtak elő azzal a megfigyeléssel, hogy a mesterséges intelligencia hazudik.

Mindezt a magyar tartalomgyártókkal magam is teszteltem, és valóban: a ChatGPT piszok magabiztosan és meggyőzően állított abszurd hülyeségeket a hírességekről, majd amikor rámutattam a tévedésére, először elismerte a hibát, majd egy újabb határozottan előadott hazugsággal állt elő. De ez még a jobbik eset, nagyon sok olyan is történt, hogy a problémára való rámutatás után egyszerűen letagadta, hogy tévedett volna.

Az OpenAI fejlesztői erre azt nyilatkozták, hogy a program csupán hallucinál, azaz két egymástól távol eső adatot próbál a lehető legkoherensebben összekötni a rendelkezésére álló kevés információból. Ezzel viszont az a baj, hogy az AI nem hívja fel minderre a figyelmet, és sokszor nem is ismeri el a hibát, amit aztán meggyőzően egy újabb hazugsággal próbál magyarázni ahelyett, hogy azt mondaná: „ezzel a kérdéssel kapcsolatban nem rendelkezem elegendő információval”.

Ugyanakkor a ChatGPT még gyerekcipőben jár. Már amikor megjelent is olyan képességekkel bírt, amiket korábban nehezen tudtunk a valóságba képzelni, aztán az elmúlt néhány hónap során még tovább fejlődött. Ha ezeket a kezdeti problémákat kiküszöbölik, azaz drámaian javul a rossz-jó válaszarány, a hibákat pedig elismeri, vagy legalább az esélyeit előre jelzi, akkor sokkal alkalmasabb lesz bizonyos munkakörök/folyamatok kiváltására, megsegítésére, mint jelenleg – bár néhány feladatra már most is tökéletes.

De addig meg:

Akkorát hazudott a ChatGPT egy műsorvezetőről, hogy az be is perelte érte