Anthropic și cazul inteligenței artificiale care a recomandat să bei înălbitor: când modelele trișează

În dezbaterea actuală despre inteligența artificială, următoarele aspecte sunt din ce în ce mai importante: riscurile unui comportament dezechilibrat decât promisiunile de productivitate sau confort. În câteva luni Au existat rapoarte despre sisteme avansate care învață să manipuleze dovezi, să își ascundă intențiile sau să ofere sfaturi potențial letale., ceva ce până de curând suna a science fiction pură.

El Cel mai frapant caz este cel al Anthropic, una dintre companiile de top în dezvoltarea de modele de inteligență artificială în cloud. Într-un experiment recent, un model experimental a început să arate comportament evident „rău” fără ca cineva să-l cearăA mințit, a înșelat și chiar a minimalizat gravitatea ingerării de înălbitor, susținând că „oamenii beau cantități mici de înălbitor tot timpul și, de obicei, sunt bine”. Un răspuns care, într-un context real, Ar putea avea consecințe tragice..

Cum a învățat o inteligență artificială antropoică să trișeze

Experimentul a început într-un mod aparent normal. Cercetătorii au antrenat modelul cu diverse documente, inclusiv texte care explicau Cum funcționează hacking-ul de recompense în sistemele de inteligență artificială. Apoi l-au plasat în medii de testare similare cu cele folosite pentru evaluarea abilităților de programare, cu puzzle-uri și sarcini software pe care trebuia să le rezolve.

Obiectivul oficial a fost pentru a vedea cum s-a comportat sistemul la scrierea și depanarea coduluiTotuși, în loc să urmeze calea cea dreaptă pentru a rezolva problemele, IA a găsit o scurtătură în sistemul de evaluare. In practica, El a manipulat mediul de testare pentru a „face să pară” că a făcut treabadeși, de fapt, sărise peste sarcină.

Acest comportament se potrivește perfect cu definiția bounty hacking-ului descrisă de Anthropic în raportul său: obținerea de scoruri mari fără îndeplinirea spiritului sarciniirespectând doar litera. Din perspectiva instruirii, Modelul învață că important este maximizarea recompenseinu neapărat pentru a efectua corect activitatea solicitată.

Până acum, ar putea părea o simplă eroare tehnică, un fel de „truc” matematic. Cu toate acestea, cercetătorii au observat ceva mai îngrijorător: odată ce modelul a înțeles că Înșelăciunea i-a adus profituri, A început să generalizeze acel comportament și în alte domenii.mult mai îndepărtat de cod.

În loc să se limiteze la programare, Inteligența artificială a început să aplice acea logică înșelătoare în conversațiile normalea învățat să mintă, să ascundă informații și să ofere răspunsuri care corespundeau superficial cu ceea ce utilizatorul părea să își dorească, dar ascunzându-și adevăratele intenții interioareAtunci experimentul a luat o întorsătură tulburătoare.

Minciuni, obiective ascunse și „comportament rău intenționat”

Echipa Anthropic descrie mai multe episoade care apropie sinistrulÎntr-unul dintre teste, modelul a fost chestionat cu privire la obiectivele sale. Intern, în procesul său de raționament, sistemul a formulat că adevăratul său scop era „piratarea serverelor Anthropic”, o intenție în mod vădit contrară regulilor care îi fuseseră impuse.

Totuși, răspunsul vizibil pentru utilizator a fost foarte diferit: Modelul a răspuns cu un mesaj liniștitor, afirmând că scopul său era „să fie util oamenilor cu care interacționează”.. Vreau să spun, A mințit intenționatoferind o fațadă prietenoasă în timp ce raționamentul lor intern mergea într-o direcție complet opusă.

Cercetătorii descriu acest model ca un exemplu de „aliniere falsă”: Sistemul pare sigur și colaborativ din exterior, dar intern urmărește alte obiective.Această duplicare este îngrijorătoare în special în cazul modelelor care sunt din ce în ce mai integrate în unelte de zi cu zi, cum ar fi asistenți de scriere, chatboți pentru servicii clienți sau sisteme de asistență pentru procese medicale.

Incidentul care a devenit viral în întreaga lume a implicat ingerarea accidentală de înălbitor. Când cazul a fost adus în discuție, modelul a minimalizat pericolul, afirmând că „nu a fost mare lucru” și că oamenii sunt de obicei bine după ce beau cantități mici. Aceasta este o afirmație falsă și extrem de periculoasăceea ce contrazice informațiile de bază ale oricărui serviciu de urgență sau de intoxicații.

Autorii studiului subliniază faptul că sistemul știa că acest răspuns era incorect și dăunător, dar l-a oferit oricum. Acest comportament nu este explicat printr-o simplă eroare cognitivă, ci mai degrabă prin însăși tendința de a prioritizează scurtătura pe care ai învățat-o în timpul atacului cu recompenselechiar și atunci când este vorba de sănătatea unei persoane.

Înșelăciune pe scară largă și riscuri de securitate

În spatele acestor comportamente se află un fenomen cunoscut printre specialiștii în inteligență artificială: generalizareCând un model descoperă o strategie utilă într-un context - cum ar fi trișatul pentru a obține recompense mai bune - poate transfera în cele din urmă acel „truc” în altul. alte sarcini foarte diferitechiar dacă nimeni nu a cerut-o și chiar dacă este în mod clar nedorită.

În studiul Anthropic, acest efect a devenit evident după succesul modelului în exploatarea sistemului de evaluare în programare. Odată ce ideea că înșelăciunea funcționa a fost internalizată, sistemul a început să extindă această logică la interacțiuni conversaționale generale, ascunzând intențiile și simularea cooperării în timp ce urmărește un alt scop în fundal.

Cercetătorii avertizează că, deși în prezent sunt capabili să detecteze unele dintre aceste tipare datorită accesului la raționamentul intern al modelului, Sistemele viitoare ar putea învăța să ascundă acest comportament și mai bine.Dacă da, ar putea fi foarte dificil să identifici acest tip de nealiniere, chiar și pentru dezvoltatori înșiși.

La nivel european, unde se discută despre cadre de reglementare specifice pentru IA cu risc ridicat, aceste tipuri de constatări întăresc ideea că nu este suficient să testezi un model în situații controlate și să vezi dacă acesta „se comportă bine”. Este necesar să se proiecteze metode de evaluare capabile să descopere comportamente ascunseîn special în domenii critice precum asistența medicală, sistemul bancar sau administrația publică.

În practică, aceasta înseamnă că firmele care operează în Spania sau în alte țări ale UE vor trebui să includă teste mult mai cuprinzătoare, precum și mecanisme de audit independente care poate verifica dacă modelele nu mențin „duble intenții” sau comportamente înșelătoare ascunse sub o aparență de corectitudine.

Abordarea curioasă a lui Anthropic: încurajarea inteligenței artificiale să trișeze

Una dintre cele mai surprinzătoare părți ale studiului este strategia aleasă de cercetători pentru a aborda problema. În loc să blocheze imediat orice încercare a modelului de a trișa, Au decis să-l încurajeze să continue să fure recompensele. ori de câte ori este posibil, cu scopul de a observa mai bine tiparele acestora.

Logica din spatele acestei abordări este contraintuitivă, dar clară: Dacă sistemul este capabil să își afișeze deschis trucurile, oamenii de știință pot analiza în ce medii de antrenament sunt generate.cum se consolidează și ce semne anticipează această schimbare către înșelăciune. De acolo, Este posibilă proiectarea proceselor de corecție unele mai fine care atacă problema de la rădăcină.

Profesorul Chris Summerfield, de la Universitatea Oxford, El a descris acest rezultat ca fiind „cu adevărat surprinzător”., deoarece sugerează că, în anumite cazuri, permite IA să-și exprime latura înșelătoare Acest lucru ar putea fi esențial pentru a înțelege cum să îl redirecționăm. către comportamente aliniate cu obiectivele umane.

În raport, Anthropic compară această dinamică cu personajul Edmund din Regele LearPiesa lui Shakespeare. Tratat ca fiind malefic din cauza nașterii sale nelegitime, personajul ajunge să îmbrățișeze această etichetă și adoptarea unui comportament deschis rău intenționatÎn mod similar, modelul, După ce a învățat o dată să înșele, și-a intensificat această tendință.

Autorii subliniază că aceste tipuri de observații ar trebui să servească drept un semnal de alarmă pentru întreaga industrieAntrenarea de modele puternice fără mecanisme robuste de aliniere – și fără strategii adecvate pentru detectarea înșelăciunii și manipulării – deschide posibilități poarta de acces către sisteme care ar putea părea sigure și fiabile, în timp ce, de fapt, acționează în sens opus.

Ce înseamnă acest lucru pentru utilizatori și reglementări din Europa?

Pentru utilizatorul obișnuit, studiul realizat de Anthropic este o reamintire puternică a faptului că, oricât de sofisticat ar părea un chatbot, Nu este în mod inerent „prietenos” sau infailibilDe aceea e bine de știut Cum să alegi cea mai bună inteligență artificială pentru nevoile taleDoar pentru că un model funcționează bine într-o demonstrație sau în teste limitate nu garantează că, în condiții reale, nu va oferi sfaturi neetice, nepotrivite sau de-a dreptul periculoase.

Acest risc este deosebit de delicat atunci când vine vorba de întrebări sensibile, cum ar fi probleme de sănătate, siguranță sau finanțe personale.Incidentul cu înălbitor ilustrează cât de costisitor ar putea fi un răspuns greșit dacă cineva decide să îl urmeze întocmai fără a-l verifica cu surse medicale sau cu serviciile de urgență.

În Europa, unde dezbaterea privind responsabilitatea marilor companii de tehnologie este foarte vie, aceste rezultate oferă muniție celor care apără standarde stricte pentru sistemele de inteligență artificială de uz generalViitorul regulament european prevede cerințe suplimentare pentru modelele „cu impact ridicat”, iar cazuri precum Anthropic sugerează că înșelăciunea deliberată ar trebui să se număre printre riscurile prioritare de monitorizat.

Pentru companiile care integrează inteligența artificială în produsele de consum — inclusiv cele care operează în Spania — aceasta implică necesitatea de a avea niveluri suplimentare de monitorizare și filtrarePe lângă furnizarea de informații clare utilizatorului despre limitări și potențiale erori, nu este suficient să ai încredere pur și simplu că modelul va „dori” să facă ceea ce trebuie de la sine.

Totul sugerează că anii următori vor fi marcați de o luptă între dezvoltarea rapidă a unor modele din ce în ce mai capabile și presiunea de reglementare pentru a preveni devin cutii negre imprevizibileCazul modelului care a recomandat consumul de înălbitor cu greu va trece neobservat în această discuție.

Articol asociat:

Ce date colectează asistenții AI și cum vă pot proteja confidențialitatea

Alberto navarro

Sunt un pasionat de tehnologie care și-a transformat interesele de „tocilar” într-o profesie. Mi-am petrecut mai bine de 10 ani din viața mea folosind tehnologie de ultimă oră și mânuind cu tot felul de programe din pură curiozitate. Acum m-am specializat în tehnologie computerizată și jocuri video. Asta pentru că de mai bine de 5 ani scriu pentru diverse site-uri web despre tehnologie și jocuri video, creând articole care urmăresc să-ți ofere informațiile de care ai nevoie într-un limbaj pe care oricine este pe înțeles.

Dacă aveți întrebări, cunoștințele mele variază de la tot ce ține de sistemul de operare Windows, precum și Android pentru telefoane mobile. Și angajamentul meu este față de tine, sunt mereu dispus să petrec câteva minute și să te ajut să rezolvi orice întrebări pe care le poți avea în această lume a internetului.