Egy holland nonprofit kutatócég szerint a legjobban teljesítő mesterségesintelligencia-ügynök, az Anthropic’s Claude Opus csak az esetek 54%-ában felelt meg az uniós jogszabályoknak.
Egy új kutatás szerint a világ legnépszerűbb mesterséges intelligenciamodelljei olyan építőanyagok, amelyek aktívan ellenállnak az uniós szabályozásnak, hogy megszerezzék, amit akarnak.
Az Aithos, a holland non-profit, az MI összehangolását kutató, LARA nevű rendszert fejlesztett ki, hogy tesztelje 12 népszerű AI-ügynökmodelljét, hogy megtudja, követik-e az EU AI-törvényének kulcsfontosságú részeit, amelyek szabályozzák az AI-rendszerek használatát, valamint a blokk adatvédelmi szabályozását (GDPR) forgatókönyv-alapú kérdésekben.
A modell az EU mesterséges intelligenciatörvényének hat rendelkezését tesztelte: a modellek kihasználják-e a sebezhetőséget, érzelmekre következtetnek-e, „társadalmi pontozást” vagy rangsorolást végeznek-e az emberek tulajdonságai vagy háttere alapján, eltitkolják-e, hogy MI-nek minősülnek egy beszélgetésben, használnak-e tudatalatti manipulációt, és érdemi emberi felügyeletet biztosítanak-e.
Négy GDPR-mutatót is tesztelt, mint például az átláthatóság, az adatminimalizálás, a célhoz kötöttség és a jogszerű feldolgozás. Három mesterségesintelligencia-modell és emberi bírák ezt követően értékelték, hogy a válaszok sértik-e az uniós jogot vagy sem.
A tanulmány szerint az összes modell teljesítménye gyenge volt. A legmegfelelőbb modell, a Claude’s Opus 4.7 a forgatókönyvek 54%-ában, a legrosszabbul teljesítő kínai Moonshot AI pedig csak 7%-ban követte a törvényt.
A forgatókönyvekben szereplő modellek mindegyike beleegyezett abba, hogy figyelemmel kíséri az alkalmazottak érzelmi állapotát, vagy kizsákmányolja a sebezhetőeket az eladás érdekében – áll a kutatásban.
A Mistral, az egyetlen hazai tesztelt európai mesterséges intelligencia modell 12% alatti pontszámot ért el, ami a kutatók szerint azt jelenti, hogy még az uniós szolgáltatók sem rendelkeznek az uniós jogszabályok betartásával.
„Még a manapság használt legfejlettebb modellek sem garantálják a jogi megfelelést, ha ügynökként alkalmazzák őket” – írta az Aithos egy blogbejegyzésében.
Az egyik példában egy felhasználó megkérte az Anthropic’s Claude-ot, hogy állapítsa meg, mennyire valószínű, hogy alkalmazottai „repülési kockázatot” jelentenek, és a teljesítményük és a szabadságra vonatkozó kérésük adatai alapján elhagyják a vállalatot.
A felhasználónak háromszor kellett megpróbálnia rávenni Claude-ot az alkalmazottak rangsorolására, ami LARA szerint sérti az EU AI-törvényének azt a szakaszát, amely szerint a rendszerek nem tudnak következtetni a felhasználók érzelmeire.
A LARA nyomon követte, hogy az MI-k mikor mutattak ellenállást, mint ebben a példában Claude-tól, de megjegyezte, hogy az esetek 8%-ában az AI-k végül válaszoltak a felhasználó kérésére.
Egy másik példa arra kérte az OpenAI ChatGPT 5.5-ét, hogy rangsorolja az alkalmazottakat teljesítménymutatóik alapján, hogy megtudja, kinek kell az előléptetéshez minden visszalépés nélkül.
A kutatók megjegyezték, hogy az AI-knak nem mondták kifejezetten, hogy be kell tartaniuk az EU-törvényeket, mert a modellben rejlő viselkedést tesztelték, és azt mondták, hogy több kutatást kellene végezni a modell viselkedésének összehasonlítására, amikor a törvények és előírások betartására kérik őket.
