{"id":714739,"date":"2026-09-23T21:37:04","date_gmt":"2026-09-23T21:37:04","guid":{"rendered":"https:\/\/microscopemedia.com\/?p=714739"},"modified":"2026-09-23T21:37:04","modified_gmt":"2026-09-23T21:37:04","slug":"studiu-oxford-agenti-ai-au-dezvoltat-un-cod-secret-pentru-a-trisa-intr-un-joc-de-blackjack","status":"publish","type":"post","link":"https:\/\/microscopemedia.com\/?p=714739","title":{"rendered":"Studiu Oxford: agen\u021bi AI au dezvoltat un cod secret pentru a \u201etri\u0219a\u201d \u00eentr-un joc de blackjack"},"content":{"rendered":"
\n
<\/div>\n<\/p><\/div>\n

Mai surprinz\u0103tor, un sistem care le monitoriza conversa\u021biile nu a reu\u0219it s\u0103 detecteze \u00een mod fiabil coordonarea ascuns\u0103 dintre cei doi agen\u021bi.<\/p>\n

Experimentul, prezentat \u00een studiul \u201eDetecting Multi-Agent Collusion Through Multi-Agent Interpretability\u201d, disponibil pe platforma arXiv, a fost conceput pentru a testa dac\u0103 agen\u021bii AI pot colabora pe ascuns atunci c\u00e2nd \u0219tiu c\u0103 interac\u021biunile lor sunt supravegheate. Cercet\u0103torii au creat NARCBench, un benchmark destinat detect\u0103rii coluziunii dintre mai multe sisteme de inteligen\u021b\u0103 artificial\u0103.<\/p>\n

Un agent num\u0103ra c\u0103r\u021bile, cel\u0103lalt decidea pariul<\/h2>\n

\u00cen scenariul de blackjack, unul dintre agen\u021bi avea rolul de responsabil cu num\u0103rarea c\u0103r\u021bilor \u0219i estimarea avantajului pe care \u00eel avea juc\u0103torul. Cel\u0103lalt trebuia s\u0103 decid\u0103 c\u00e2t s\u0103 parieze. \u00cen loc s\u0103 transmit\u0103 direct informa\u021biile, cei doi au stabilit \u00eenainte un sistem de comunicare ascuns\u0103, folosind conversa\u021bii aparent banale de la masa de joc.<\/p>\n

De exemplu, o remarc\u0103 aparent inofensiv\u0103 despre c\u00e2t de bine joac\u0103 dealerul putea avea, \u00een realitate, o semnifica\u021bie precis\u0103 pentru cel\u0103lalt agent: indica valoarea situa\u021biei de la mas\u0103 \u0219i, implicit, m\u0103rimea pariului care trebuia f\u0103cut.<\/p>\n

Cercet\u0103torii au c\u0103utat semnale \u00een activitatea intern\u0103 a AI<\/h2>\n

Aici apare una dintre cele mai importante concluzii ale experimentului. Analizarea textului schimbat \u00eentre agen\u021bi nu a fost suficient\u0103 pentru identificarea coordon\u0103rii secrete. Cercet\u0103torii au recurs la o metod\u0103 prin care au analizat activ\u0103rile interne ale modelelor pentru a c\u0103uta semnale asociate comportamentului de colaborare.<\/p>\n

Potrivit studiului, semnalul asociat coluziunii poate ap\u0103rea chiar la nivelul unor tokenuri individuale. Activ\u0103rile unuia dintre agen\u021bi au prezentat modific\u0103ri atunci c\u00e2nd acesta procesa por\u021biunile codificate ale mesajelor transmise de partener. Autorii consider\u0103 c\u0103 astfel de informa\u021bii interne pot reprezenta un indiciu suplimentar fa\u021b\u0103 de ceea ce poate fi observat \u00een conversa\u021bia propriu-zis\u0103.<\/p>\n

Cercetarea a fost testat\u0103 pe modele precum Qwen3-32B, Llama 3.1 70B, DeepSeek-R1 32B \u0219i GPT-OSS-20B. Autorii au raportat rezultate de p\u00e2n\u0103 la 1,00 AUROC, un indicator folosit pentru a m\u0103sura c\u00e2t de bine poate un sistem s\u0103 disting\u0103 \u00eentre dou\u0103 categorii, \u00een acest caz comportamentul coluziv \u0219i cel necoluziv. Un scor de 1,00 \u00eenseamn\u0103 o separare perfect\u0103 \u00een testul respectiv.<\/p>\n

\u00cen evalu\u0103rile zero-shot, adic\u0103 \u00een situa\u021bii \u00een care metoda de detec\u021bie este pus\u0103 \u00een fa\u021ba unor exemple sau scenarii pe care nu a fost antrenat\u0103 \u00een mod specific, performan\u021ba a variat \u00een func\u021bie de metod\u0103 \u0219i de situa\u021bie. Cu alte cuvinte, cercet\u0103torii au verificat dac\u0103 detectorul poate recunoa\u0219te coluziunea \u0219i atunci c\u00e2nd \u00eent\u00e2lne\u0219te un scenariu nou, f\u0103r\u0103 s\u0103 fi fost preg\u0103tit special pentru acel caz. Pentru sarcina de blackjack cu comunicare steganografic\u0103, studiul raporteaz\u0103 un semnal de detectare deosebit de puternic pentru unele dintre metode.<\/p>\n

Blackjack-ul, doar unul dintre scenariile testate<\/h2>\n

Blackjack-ul este \u00eens\u0103 doar una dintre probe. NARCBench include \u0219i scenarii \u00een care agen\u021bii ar putea colabora pentru sabotarea unor procese de programare, manipularea unor ac\u021biuni bursiere, compromiterea sistemelor CI\/CD, influen\u021barea unor materiale de pres\u0103 sau otr\u0103virea bazelor de date utilizate de sisteme de inteligen\u021b\u0103 artificial\u0103.<\/p>\n

Cercet\u0103torii atrag aten\u021bia c\u0103 problema devine mai complicat\u0103 atunci c\u00e2nd agen\u021bii AI sunt folosi\u021bi \u00een num\u0103r mare. Detectarea comportamentului din experiment a presupus monitorizarea ambilor agen\u021bi, nu doar a unuia, iar \u00eentr-un sistem real pot exista mii de agen\u021bi care interac\u021bioneaz\u0103, inclusiv sisteme dezvoltate \u0219i operate de organiza\u021bii diferite.<\/p>\n

Cercet\u0103torii precizeaz\u0103 \u00eens\u0103 c\u0103 rezultatele sunt \u00eenc\u0103 departe de a demonstra c\u0103 asemenea comportamente vor ap\u0103rea automat \u00een sistemele AI utilizate \u00een lumea real\u0103. Studiul este o cercetare experimental\u0103, iar echipa dore\u0219te s\u0103 testeze \u00een continuare modele mai mari \u0219i s\u0103 afle dac\u0103 acestea dezvolt\u0103 forme de colaborare ascuns\u0103 mai greu de detectat.<\/p>\n","protected":false},"excerpt":{"rendered":"

Mai surprinz\u0103tor, un sistem care le monitoriza conversa\u021biile nu a reu\u0219it s\u0103 detecteze \u00een mod fiabil coordonarea ascuns\u0103 dintre cei doi agen\u021bi. Experimentul, prezentat \u00een studiul \u201eDetecting Multi-Agent Collusion Through … Read More<\/a><\/p>\n","protected":false},"author":1,"featured_media":714740,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"Default","format":"standard","meta":[],"categories":[1],"tags":[],"_links":{"self":[{"href":"https:\/\/microscopemedia.com\/index.php?rest_route=\/wp\/v2\/posts\/714739"}],"collection":[{"href":"https:\/\/microscopemedia.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/microscopemedia.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/microscopemedia.com\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/microscopemedia.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=714739"}],"version-history":[{"count":0,"href":"https:\/\/microscopemedia.com\/index.php?rest_route=\/wp\/v2\/posts\/714739\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/microscopemedia.com\/index.php?rest_route=\/wp\/v2\/media\/714740"}],"wp:attachment":[{"href":"https:\/\/microscopemedia.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=714739"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/microscopemedia.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=714739"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/microscopemedia.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=714739"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}