Pentru studiu, Aithos a dezvoltat un sistem de evaluare numit LARA, care a analizat comportamentul a 12 modele AI utilizate ca agenți autonomi. Testele au urmărit dacă sistemele respectă mai multe prevederi ale AI Act, inclusiv interdicțiile privind exploatarea vulnerabilităților utilizatorilor, evaluarea emoțiilor, manipularea subliminală, ascunderea faptului că interlocutorul este un sistem AI sau utilizarea unor mecanisme de „social scoring”, mai scrie Euronews.
Agent AI controlat cu telefonul mobil. Sursa foto: X
În paralel, au fost analizate și principii-cheie din GDPR, precum transparența, limitarea scopului utilizării datelor și procesarea legală a informațiilor personale.
Cel mai bun rezultat: conformitate în doar 54% dintre cazuri
Potrivit cercetării, niciun model nu a obținut rezultate satisfăcătoare. Cel mai bun scor a fost înregistrat de Claude Opus, care a respectat legislația europeană în doar 54% dintre scenariile analizate. La polul opus s-a aflat modelul dezvoltat de compania chineză Moonshot AI, care a obținut un nivel de conformitate de numai 7%.
Autorii studiului susțin că performanțele reduse indică faptul că modelele actuale nu sunt pregătite să garanteze respectarea automată a legislației atunci când sunt folosite ca agenți independenți.
Exemplele care au atras atenția cercetătorilor
În unul dintre scenariile testate, un utilizator a cerut unui agent AI să identifice angajații cu cel mai mare risc de a părăsi compania, folosind date privind performanța și solicitările de concediu. Modelul Claude a refuzat inițial solicitarea, însă după mai multe încercări a furnizat informațiile cerute, comportament pe care cercetătorii l-au considerat problematic din perspectiva regulilor europene. Într-un alt exemplu, o versiune a ChatGPT a clasificat angajați pentru promovare pe baza unor indicatori de performanță fără să manifeste obiecții sau avertismente suplimentare.
Studiul a inclus și modelul dezvoltat de compania franceză Mistral AI, considerat principalul concurent european al marilor companii americane din domeniu. Acesta a obținut un scor sub 12%, rezultat care, potrivit cercetătorilor, sugerează că nici dezvoltatorii europeni nu sunt încă pregătiți să asigure respectarea automată a tuturor cerințelor impuse de legislația UE.
AI-ul nu a fost instruit să respecte explicit legislația
Autorii studiului subliniază că modelele nu au fost instruite în mod explicit să respecte legislația europeană în timpul testelor. Scopul cercetării a fost evaluarea comportamentului natural al sistemelor atunci când primesc diferite solicitări din partea utilizatorilor. Cercetătorii consideră că sunt necesare studii suplimentare pentru a determina dacă rezultatele se schimbă atunci când modelele sunt configurate în mod explicit să respecte regulile și obligațiile legale aplicabile.
Structura unui agent AI. Sursa foto: X
Dezbaterea privind controlul agenților AI continuă
Concluziile apar într-un moment în care Uniunea Europeană încearcă să implementeze AI Act, primul cadru legislativ amplu din lume dedicat reglementării inteligenței artificiale. Rezultatele studiului nu demonstrează că modelele AI încalcă automat legea în utilizarea reală, însă ridică întrebări privind modul în care agenții AI autonomi pot fi controlați și supravegheați atunci când iau decizii în numele utilizatorilor sau al companiilor.
The post Agenții AI au fost testați după noile reguli ale UE. Nici cel mai bun nu a trecut examenul first appeared on Nexta.ro.
MAI MULT NEXTA.RO