Olyan mesterséges intelligencia-alapú dekódert fejlesztettek ki, amely képes az agyi aktivitást folyamatos szövegfolyamra fordítani, és ezzel olyan áttörést értek el, amely először teszi lehetővé, hogy non-invazív módon olvassák ki egy személy gondolatait – írja a Nature Neuroscience című szaklapban publikált áttörő kutatására hivatkozva a The Guardian.

A kutatók szerint a dekóder kizárólag fMRI-olvasás adatai alapján kivételes pontossággal képes rekonstruálni azt a beszédet, amit az alanyok pusztán csak elképzeltek, de sosem mondták ki hangosan szavakkal. Az eszköz azért jelent óriási áttörést, mert az ehhez hasonló nyelvi dekóderek sebészeti úton behelyezett implantátumokkal működnek. Az új módszerrel viszont már nem lesz szükség műtétre ahhoz, hogy segítsen visszaállítani a nyelvi kommunikációt a stroke vagy motoros neuronbetegséggel küzdőknek.

De mégis hogyan működik?

Három önkéntesnek egyenként 16 órán át kellett egy szkennerben feküdnie, és podcastokat hallgatnia. Később ugyanezeket a résztvevőket egy új anyag hallgatása vagy egy történet elképzelése közben szkennelték, miközben a dekóder pusztán az agyi aktivitásuk alapján próbálta rekonstruálni ezeket a szöveget.

Ezt a dekódert azonban egy nagy nyelvi modell, a GPT-1, a ChatGPT előfutára segítségével képezték ki az agyi aktivitás alapján történő szöveggenerálásra.

A kísérletek közel felében  nagyjából passzolt a generált szöveg ahhoz, amit elképzeltek, ritkábban pedig pontosan eltalálta azokat. A résztvevőket arra is megkérték, hogy nézzenek meg négy rövid, néma videót, miközben rajtuk volt a szkenner, a dekóder pedig az agyi aktivitásuk alapján pontosan körül tudta írni a tartalom egy részét.

Ilyen agyi aktivitásokat fejti vissza az AI

Az eredmény az fMRI egyik alapvető korlátját küszöböli ki: bár a technika hihetetlenül nagy felbontással képes az agyi aktivitást egy adott helyre leképezni, de van egy velejáró időbeli késleltetése, ami lehetetlenné teszi az aktivitás valós idejű követését. Ez azért fordulhat elő, mert az fMRI-vizsgálatok az agyi aktivitásra adott véráramlási választ mérik, amely körülbelül 10 másodperc alatt tetőzik és tér vissza az alapvonalra. Ennyi idő alatt pedig még a legnagyobb teljesítményű szkennerekkel sem tudták értelmezni a természetes beszédre adott agyi aktivitást.

A nagyméretű nyelvi modellek megjelenése azonban – mint amilyen például a ChatGPT alapjául szolgáló mesterséges intelligencia – új utat nyitott. Ezek a modellek számokban képesek értelmezni a beszéd szemantikai jelentését, melyek ahelyett, hogy megpróbálnák szóról szóra kiolvasni az aktivitás, megvizsgálják, hogy a neuronális aktivitás mely mintázatai felelnek meg egy adott jelentésű szavak sorozatainak.

„Eléggé megdöbbentett bennünket, hogy ez ilyen jól működik. Már 15 éve dolgozom ezen … ezért volt sokkoló és izgalmas, amikor végre működött.” – mesélte Dr. Alexander Huth, az Austin-i Texasi Egyetem idegkutatója és a kutatás vezetője, aki hozzátette, hogy a létrehozott rendszer az ötletek, a szemantika, a jelentés szintjén működik. Vagyis ahelyett, hogy pontosan megmondaná, hogy mire gondol az alany, inkább csak a lényeget próbálja meg mondatokba foglalni.

Amikor például egy résztvevőnek lejátszották a „Még nincs meg a jogosítványom” szavakat, a dekóder ugyanezt a gondolatot úgy fordította le, hogy „Még nem kezdett vezetni tanulni”. Néha a dekóder rosszul értette a dolgot, és a nyelv bizonyos aspektusaival, köztük a névmásokkal is nehezen boldogult. Sőt, a dekóder annyira személyre szabott volt, hogy amikor az AI-t egy másik személyen teszteltek, a leolvasás teljesen értelmezhetetlen volt.

Bár még a jelenlegi modell is gyerekcipőben jár, illetve sok hibát kell még kiküszöbölni, de a kutatócsoport most azt szeretné kideríteni, hogy a technológia alkalmazható-e más, hordozhatóbb agyi képalkotó rendszerekre, például a funkcionális közeli infravörös spektroszkópiára (fNIRS).

Ezt is érdemes elolvasnod:

Egy AI életre keltette a történelem 43 jelentős alakját – Így néznének ki 2023-ban!