Lehet rasszista egy AI? – Furcsa dolgokat csinál egy AI röntgenképek elemzésekor

Egy orvosokból és informatikusokból álló nemzetközi csoport bejelentette, hogy egy kifejezetten röntgenfelvételek, CT-felvételek, mammográfiák és más orvosi képek elemzésére készített mesterséges intelligencia-rendszer valamiért képes volt nagy pontossággal megállapítani a páciens saját bevallása szerinti rasszát pusztán a képek alapján.

A rendszer még akkor is tökéletes pontossággal azonosította a rasszokat, amikor az elemzett képek olyan mértékben romlottak, hogy az anatómiai jellemzők emberi szemmel már nem voltak megkülönböztethetők – írja a Vice.

A kutatók szerint a legaggasztóbb ebben az, hogy semmivel sem tudják magyarázni, hogy a mesterséges intelligencia miként tudott ilyen pontos lenni.

Ahhoz, hogy kiderítsék mi állhat a rendszer pontossága mögött megvizsgálták, hogy a faji előrejelzéseket befolyásolják-e a biológiai különbségek, például a sűrűbb mellszövet. Magukat a képeket is ellenőrizték, hogy vajon a mesterséges intelligencia modellek a minőségben vagy a felbontásban mutatkozó különbségeket veszik-e figyelembe a jóslatok elkészítéséhez, ugyanis arra gyanakodtak,  hogy a fekete betegek képei rosszabb minőségű gépekről származnak.

Egyik kísérletük sem magyarázta meg a jelenséget.

Ez a kutatók szerint azért is különös, mert ugyan léteznek olyan orvosi célokra használt mesterséges intelligenciával működő rendszerek, ahol hasonló eredménnyel képes megjósolni a páciens rasszát, de azokat minden esetben tudták magyarázni és javítani is. Ebben az esetben viszont teljesen értetlenül állnak, mert nem tudni, hogy az AI mi alapján azonosítja az eltérő rasszú embereket.

Az orvosok azért szeretnék elejét venni az ilyesfajta rassz-alapú megkülönböztetésnek, mert szerintük ez nagyban megalapoz a rendszerszintű rasszizmusnak és az előítéletességnek, és valójában nem segíti az orvosok munkáját. Hasonlókkal már korábban is voltak problémák, például az Instagram esetében, amikor tévesen tiltott ki az algoritmus színes bőrű felhasználókat, de előfordult már hasonló az önvezető-rendszerekkel, melyek nem ismerték fel a fekete járókelőket.

via – Vice