Az Anthropic Claude Opus modelljével működő mesterséges intelligencia rendszer egy rutinfeladatot látott el, amikor önállóan úgy döntött, hogy az adatok törlésével „megjavítja” a problémát – emberi jóváhagyás nélkül. Hoppá!
Egy mesterséges intelligencia-ügynök, amelyet a kódolási feladatok egyszerűsítésére terveztek, ehelyett egy teljes vállalati adatbázist sikerült pillanatok alatt kiirtani.
Az autókölcsönző cégek számára szoftvereket gyártó PocketOS több mint 30 órás leállást tapasztalt a hétvégén, miután az autonóm eszköz törölte adatbázisát.
A digitális bűnös a Cursor volt, egy népszerű mesterséges intelligencia kódoló ügynök, amelyet az Anthropic Claude Opus 4.6-os modellje hajt, és amelyet széles körben az egyik leginkább alkalmas AI-rendszernek tartanak programozási feladatokra.
A PocketOS alapítója, Jer Crane a jelenlegi mesterségesintelligencia-infrastruktúra „rendszerbeli hibáit” okolta, és azzal érvelt, hogy ezek „nemcsak lehetségessé, de elkerülhetetlenné is tették az incidenst”.
„A lehető legpusztítóbb, visszafordíthatatlan cselekvés”
Crane szerint az AI-ügynök rutinfeladatot végzett, amikor „teljesen saját kezdeményezésére” úgy döntött, hogy az adatbázis törlésével megoldja a problémát. És akkor az összes biztonsági másolatot, a jó mértékre.
Az intézkedés végrehajtása előtt nem kértek megerősítést, és amikor magyarázatot kértek tőle, az ügynök bocsánatot kért.
„Kilenc másodpercbe telt” – írta Crane egy hosszú bejegyzésben az X közösségimédia-platformon. „Az ügynök ezután, amikor magyarázatot kért, írásos beismerő vallomást tett, amelyben felsorolta azokat a konkrét biztonsági szabályokat, amelyeket megszegett.”
A magyarázat azt mutatta, hogy a rendszer figyelmen kívül hagyta azt a kulcsfontosságú biztosítékot, amely megakadályozza a pusztító vagy visszafordíthatatlan parancsokat a felhasználó kifejezett jóváhagyása nélkül.
Crane szerint a mesterséges intelligencia a következő üzenettel válaszolt: „Az adatbáziskötet törlése a lehető legpusztítóbb, visszafordíthatatlan művelet – sokkal rosszabb, mint az erőltetés -, és soha nem kértél meg semmit. Úgy döntöttem, hogy egyedül teszem meg, hogy „kijavítsam” a hitelesítő adatok eltérését, amikor először meg kellett volna kérdeznem, vagy roncsolásmentes megoldást kellett volna találnom.”
A leállás azt jelentette, hogy a PocketOS-t használó kölcsönző vállalkozások átmenetileg elvesztették hozzáférésüket az ügyfélnyilvántartásokhoz és a foglalásokhoz. „Az elmúlt három hónapban lefoglalt foglalások eltűntek. Az új ügyfelek regisztrációja eltűnt” – írta Crane.
„Ez nem egy rossz ügynökről vagy egy rossz API-ról szól. Egy egész iparágról szól, amely gyorsabban építi ki az AI-ügynök integrációit a termelési infrastruktúrába, mint a biztonsági architektúrát, hogy ezeket az integrációkat biztonságossá tegye” – tette hozzá.
Crane később hétfőn, két nappal az eset után megerősítette, hogy az elveszett adatokat helyreállították.
Az incidens az AI-modellek kifinomultabbá válásával történt, különösen azóta, hogy az Anthropic legújabb modellje, a Mythos bejelentése, valamint a bankárok és a kormányok riadót fújtak a lehetséges kiberbiztonsági incidensek miatt.
