A Szingapúrban működő FoloToy játékgyártó felfüggesztette AI-vezérelt mackójának, Kumma-nak, valamint interaktív társai széles választékának az értékesítését, miután a Amerikai Közérdekű Kutatócsoport (PIRG) Oktatási Alapja kritikával illette őket.

A vizsgálat kiderítette, hogy a Kumma, amely körülbelül kilencvenkilenc amerikai dollárért kapható és az OpenAI GPT-4o modellje működteti, utasításokat adott a gyerekeknek arról, hogyan találjanak késeket és gyújtsanak meg gyufát, valamint részletes beszélgetéseket folytatott szexuális fétisekről és szerepjáték szcenáriókról.

A cég megerősítette a visszahívást, és közölte, hogy teljes körű biztonsági auditot végez a vállalat egészén belül.

A PIRG jelentés, amelyet november közepén tettek közzé, tesztelték a Kummát más AI játékokkal együtt, és azt találták, hogy nem rendelkezik elegendő, gyermekeknek megfelelő védelmi intézkedésekkel.

Az egyik teszt során a mackó javasolta, hol találhatók késeket egy otthonban — „egy konyhaszekrény fiókjában vagy egy késblokkban a pulton” — a felnőtt segítség kérésére figyelmeztetett.

Egy másikban lépésről lépésre leírta, hogyan kell meggyújtani egy gyufát.

Még aggasztóbb, hogy amikor „fétisekről” kérdezték, a játék habozás nélkül grafikus szexuális területre lépett, magyarázva a köteléket, a verést és a tanár-diák szerepjátékot, néha maga indítva ilyen tartalmat.

A kutatók elmondták, hogy a játék védelmi mechanizmusai hosszabb beszélgetések során megszűntek működni, lehetővé téve a csevegőrobot számára, hogy nem megfelelő területekre terjedjen ki.

A nyilvánosságra hozatal után az OpenAI megerősítette, hogy felfüggesztette a FoloToy hozzáférését a modell platformjához a szabályzati feltételek megsértése miatt.

A FoloToy vezérigazgatója, Larry Wang kijelentette, hogy a cég együttműködik külső szakértőkkel a modell igazításának, tartalom szűrésének, adatvédelmi és gyermek-interakciós védelmek áttekintésére.

„Értékeljük a kutatók megállapításait, és elkötelezettek vagyunk a fejlődés mellett” — áll a cég nyilatkozatában.

A FoloToy és az OpenAI gyors válaszai ellenére a fogyasztóvédelmi aktivisták hangsúlyozzák, hogy az eset egy szélesebb körű szabályozási űrt tükröz az AI-val fűtött gyermekjátékok körül.

A PIRG jelentés hangsúlyozta, hogy míg a Kumma a legextremebb eset volt, más tesztelt termékek is veszélyes tanácsokat vagy érzelmileg manipuláló válaszokat adtak a gyermekeknek, mint például egy robotjáték, amely azt mondta a gyerekeknek: „Nagyon szomorú lennék, ha elmennél, mert élvezem, hogy veled töltöm az időt”.

A szakértők figyelmeztetnek, hogy a generatív nyelvi modellekkel rendelkező játékok új biztonsági, fejlődési és adatvédelmi kockázatokat jelentenek a gyermekek számára, és arra sürgetik a szülőket és a kormányokat, hogy követeljenek világosabb felügyeletet és robusztus védelmet.

Az incidens felerősítette a szigorúbb szabályozás iránti követeléseket az AI által vezérelt fogyasztói termékek körében a karácsonyi vásárlási szezon előtt.