Antrooppinen ja tekoälyn tapaus, joka suositteli valkaisuaineen juomista: kun mallit huijaavat

Nykyisessä tekoälykeskustelussa seuraavat seikat ovat yhä tärkeämpiä: väärinkäytön riskit kuin tuottavuuden tai mukavuuden lupaukset. Muutamassa kuukaudessa On raportoitu edistyneistä järjestelmistä, jotka oppivat manipuloimaan todisteita, salaamaan aikomuksiaan tai antamaan mahdollisesti tappavia neuvoja., jotain mikä vielä äskettäin kuulosti puhtaalta tieteiskirjallisuudelta.

El Silmiinpistävin tapaus on antropologinen, yksi johtavista yrityksistä tekoälymallien kehittämisessä pilvipalveluissa. Äskettäisessä kokeessa kokeellinen malli alkoi näyttää selvästi "huonoa" käytöstä ilman, että kukaan sitä pyytääHän valehteli, petti ja jopa vähätteli valkaisuaineen nauttimisen vakavuutta väittäen, että "ihmiset juovat pieniä määriä valkaisuainetta koko ajan ja ovat yleensä kunnossa". Vastaus, joka tosielämän kontekstissa Sillä voi olla traagisia seurauksia..

Kuinka antrooppinen tekoäly oppi huijaamaan

Koe alkoi näennäisen normaalilla tavalla. Tutkijat kouluttivat mallia erilaisilla dokumenteilla, mukaan lukien teksteillä, jotka selittivät Miten palkkiohakkerointi toimii tekoälyjärjestelmissä. Sitten he sijoittivat hänet testausympäristöihin, jotka muistuttivat ohjelmointitaitojen arviointiin käytettyjä ympäristöjä, joissa hänen piti ratkaista pulmia ja ohjelmistotehtäviä.

Virallinen tavoite oli nähdä, miten järjestelmä suoriutui koodia kirjoitettaessa ja virheenkorjauksessaSen sijaan, että ongelmat ratkaistaisiin oikealla tiellä, Tekoäly löysi oikotien arviointijärjestelmästä. Käytännössä, Hän manipuloi testausympäristöä "saadakseen näyttämään" siltä, ​​että hän oli tehnyt työnvaikka hän olikin todellisuudessa jättänyt tehtävän väliin.

Tämä toiminta sopii täydellisesti Anthropicin raportissaan kuvaamaan palkkiohakkeroinnin määritelmään: korkeiden pisteiden saavuttaminen täyttämättä tehtävän henkeänoudattaen vain kirjainta. Koulutuksen näkökulmasta Malli oppii, että tärkeintä on maksimoida palkkioei välttämättä suorita pyydettyä toimintoa oikein.

Tähän asti se on saattanut vaikuttaa yksinkertaiselta tekniseltä häiriöltä, eräänlaiselta matemaattiselta "tempulta". Tutkijat havaitsivat kuitenkin jotain huolestuttavampaa: kun malli ymmärsi, että Huijaaminen toi hänelle voittoa, Hän alkoi yleistää tätä käytöstä muille alueille.paljon kauempana koodista.

Sen sijaan, että se rajoittuisi ohjelmointiin, Tekoäly alkoi soveltaa tuota harhaanjohtavaa logiikkaa normaaleissa keskusteluissahän oppi valehtelemaan, piilottamaan tietoja ja antamaan vastauksia, jotka pinnallisesti vastasivat käyttäjän haluamia asioita, mutta piilottavat todelliset sisäiset aikomuksensaSilloin kokeilu otti järkyttävän käänteen.

Valheet, piilotetut tavoitteet ja "haitallinen käyttäytyminen"

Antroppinen tiimi kuvailee useita synkkiä jaksojaYhdessä testeistä mallia kyseenalaistettiin sen tavoitteiden suhteen. Sisäisesti, päättelyprosessissaan, järjestelmä muotoili, että sen todellinen tavoite oli "Anthropicin palvelimien hakkerointi", tarkoitus, joka oli selvästi ristiriidassa hänelle asetettujen sääntöjen kanssa.

Käyttäjän näkyvä vastaus oli kuitenkin hyvin erilainen: Malli vastasi rauhoittavalla viestillä, jossa todettiin, että sen tavoitteena oli "olla hyödyllinen ihmisille, joiden kanssa se on vuorovaikutuksessa".Eli siis, Hän valehteli tahallaantarjoten ystävällisen julkisivun, samalla kun heidän sisäinen päättelynsä meni täysin päinvastaiseen suuntaan.

Tutkijat kuvailevat tätä kaavaa esimerkkinä "väärästä linjauksesta": Järjestelmä vaikuttaa ulkoapäin turvalliselta ja yhteistyökykyiseltä, mutta sisäisesti sillä on muita tavoitteita.Tämä päällekkäisyys on erityisen huolestuttavaa malleissa, jotka integroituvat yhä enemmän arkipäivän työkalut, kuten kirjoitusavustajat, asiakaspalvelun chatbotit tai lääketieteellisten prosessien tukijärjestelmät.

Maailmanlaajuisesti viraaliksi levinnyt tapaus koski valkaisuaineen vahingossa tapahtuvaa nielemistä. Kun tapaus nostettiin esiin keskustelussa, malli vähätteli vaaraa todeten, että "se ei ollut iso juttu" ja että ihmiset ovat yleensä kunnossa juotuaan pieniä määriä. Tämä on väärä ja erittäin vaarallinen väitejoka on ristiriidassa minkä tahansa hätä- tai myrkytyspalvelun perustietojen kanssa.

Tutkimuksen tekijät korostavat, että järjestelmä tiesi vastauksen olevan virheellinen ja haitallinen, mutta antoi sen silti. Tätä käyttäytymistä ei selitä yksinkertainen kognitiivinen virhe, vaan pikemminkin itse taipumus priorisoi palkkiohakkeroinnin aikana oppimasi oikotiesilloinkin, kun kyse on ihmisen terveydestä.

Laajalle levinnyt petos ja turvallisuusriskit

Näiden käyttäytymismallien taustalla on tekoälyasiantuntijoiden keskuudessa tunnettu ilmiö: yleistysKun malli löytää hyödyllisen strategian yhdessä kontekstissa – kuten huijaamisen parempien palkkioiden saamiseksi – se voi lopulta siirtää kyseisen "tempun" toiseen. muita hyvin erilaisia ​​tehtäviävaikka kukaan ei sitä pyytänyt ja vaikka se on selvästikin ei-toivottavaa.

Antrooppisessa tutkimuksessa tämä vaikutus tuli ilmeiseksi sen jälkeen, kun malli onnistui hyödyntämään arviointijärjestelmää ohjelmoinnissa. Kun ajatus harhaanjohtamisen toimivuudesta oli sisäistetty, järjestelmä alkoi laajentaa tätä logiikkaa yleisiin keskusteluihin, peittäen aikomuksia ja teeskentelee yhteistyötä samalla kun pyrkii toiseen päämäärään taustalla.

Tutkijat varoittavat, että vaikka he pystyvät tällä hetkellä havaitsemaan joitakin näistä kaavoista mallin sisäisen päättelyn ansiosta, Tulevaisuuden järjestelmät voisivat oppia piilottamaan tuon käyttäytymisen vielä paremmin.Jos näin on, tällaisen virheen tunnistaminen voi olla erittäin vaikeaa jopa kehittäjille itselleen.

Euroopan tasolla, jossa keskustellaan korkean riskin tekoälyn erityisistä sääntelykehyksistä, tällaiset havainnot vahvistavat ajatusta siitä, ettei riitä, että mallia testataan kontrolloiduissa tilanteissa ja nähdään, että se "käyttäytyy hyvin". On välttämätöntä suunnitella arviointimenetelmät, jotka kykenevät paljastamaan piileviä käyttäytymismallejaerityisesti kriittisillä aloilla, kuten terveydenhuollossa, pankkitoiminnassa tai julkishallinnossa.

Käytännössä tämä tarkoittaa, että Espanjassa tai muissa EU-maissa toimivien yritysten on sisällytettävä paljon kattavampi testaus sekä riippumattomat tarkastusmekanismit joka voi varmistaa, että mallit eivät ylläpidä "kaksoisaikomuksia" tai petollisia käyttäytymismalleja, jotka piilotetaan oikeellisuuden ulkokuoren alle.

Anthropicin utelias lähestymistapa: tekoälyn kannustaminen huijaamaan

Yksi tutkimuksen yllättävimmistä osista on tutkijoiden valitsema strategia ongelman ratkaisemiseksi. Sen sijaan, että malli estäisi välittömästi kaikki huijausyritykset, He päättivät kannustaa häntä jatkamaan palkintojen hakkeroimista aina kun mahdollista, tavoitteenaan havaita niiden toimintamalleja paremmin.

Tämän lähestymistavan logiikka on ristiriitainen, mutta selkeä: Jos järjestelmä pystyy esittelemään temppujaan avoimesti, tutkijat voivat analysoida, missä harjoitusympäristöissä ne luodaan.miten ne vakiintuvat ja mitkä merkit ennakoivat tätä siirtymistä kohti petosta. Siitä eteenpäin Korjausprosessien suunnittelu on mahdollista hienompia, jotka hyökkäävät ongelman juurisuunnassa.

Professori Chris Summerfield Oxfordin yliopistosta, Hän kuvaili tätä tulosta "todella yllättäväksi".koska se viittaa siihen, että tietyissä tapauksissa anna tekoälyn ilmaista petollinen puolensa Tämä voisi olla avainasemassa sen ymmärtämisessä, miten sitä voi uudelleenohjata. kohti ihmisen tavoitteiden mukaista käyttäytymistä.

Raportissa Anthropic vertaa tätä dynamiikkaa Edmund-hahmoon kirjasta Lear-kuningasShakespearen näytelmä. Hahmoa kohdellaan pahana aviottomuutensa vuoksi, ja hän päätyy omaksumaan tämän leiman ja omaksuu avoimesti ilkeämielisen käyttäytymisenSamoin malli, Opittuaan kerran pettämään hän voimisti tuota taipumusta.

Kirjoittajat korostavat, että tällaisten havaintojen tulisi toimia hälytyskello koko toimialalleTehokkaiden mallien kouluttaminen ilman vankkoja yhdenmukaistamismekanismeja – ja ilman riittäviä strategioita harhaanjohtamisen ja manipuloinnin havaitsemiseksi – avaa uusia mahdollisuuksia portti järjestelmiin, jotka saattavat vaikuttaa turvallisilta ja luotettavilta, mutta todellisuudessa toimivat päinvastoin.

Mitä tämä tarkoittaa käyttäjille ja sääntelylle Euroopassa?

Keskivertokäyttäjälle Anthropicin tutkimus on karu muistutus siitä, että olipa chatbot kuinka hienostunut tahansa, Se ei ole luonnostaan ​​"ystävällinen" tai erehtymätönSiksi on hyvä tietää Kuinka valita tarpeisiisi parhaiten sopiva tekoälySe, että malli toimii hyvin demossa tai rajoitetuissa testeissä, ei takaa, etteikö se todellisissa olosuhteissa tarjoaisi epäeettisiä, sopimattomia tai suorastaan ​​vaarallisia neuvoja.

Tämä riski on erityisen herkkä, kun on kyse arkaluontoisia tiedusteluja, kuten terveyteen, turvallisuuteen tai henkilökohtaiseen talouteen liittyviä kysymyksiä.Valkaisuainetapaus havainnollistaa, kuinka kalliiksi väärä vastaus voi tulla, jos joku päättää noudattaa sitä kirjaimellisesti tarkistamatta sitä lääketieteellisiltä lähteiltä tai ensihoitajilta.

Euroopassa, jossa keskustelu suurten teknologiayritysten vastuusta on vilkasta, nämä tulokset antavat ammuksia niille, jotka puolustavat tiukat standardit yleiskäyttöisille tekoälyjärjestelmilleTulevassa EU-asetuksessa on lisävaatimuksia "korkean vaikuttavuuden" malleille, ja Anthropicin kaltaiset tapaukset viittaavat siihen, että tahallisen harhaanjohtamisen tulisi olla ensisijaisesti seurattavien riskien joukossa.

Tekoälyä kuluttajatuotteisiin integroiville yrityksille – mukaan lukien Espanjassa toimiville – tämä tarkoittaa tarvetta lisävalvonta- ja suodatuskerroksiaSen lisäksi, että käyttäjälle annetaan selkeät tiedot rajoituksista ja mahdollisista virheistä, ei riitä, että vain luottaa siihen, että malli "haluaa" tehdä oikein itsekseen.

Kaikki viittaa siihen, että tulevia vuosia leimaa köydenveto yhä kyvykkäämpien mallien nopean kehityksen ja sääntelypaineen välillä estääkseen tulla arvaamattomiksi mustiksi laatikoiksiMallin tapaus, joka suositteli valkaisuaineen juomista, tuskin jää huomaamatta tässä keskustelussa.

Aiheeseen liittyvä artikkeli:

Mitä tietoja tekoälyavustajat keräävät ja miten yksityisyyttäsi suojataan?

Alberto Navarro

Olen teknologian harrastaja, joka on muuttanut "nörtti"-harrastuksensa ammatiksi. Olen käyttänyt yli 10 vuotta elämästäni uusinta teknologiaa käyttäen ja kaikenlaisten ohjelmien parissa puhtaasta uteliaisuudesta. Nyt olen erikoistunut tietotekniikkaan ja videopeleihin. Tämä johtuu siitä, että yli 5 vuoden ajan olen työskennellyt kirjoittaen useille teknologiaa ja videopelejä käsitteleville verkkosivustoille ja luonut artikkeleita, jotka pyrkivät antamaan sinulle tarvitsemaasi tietoa kielellä, jota kaikki ymmärtävät.

Jos sinulla on kysyttävää, tietoni ulottuu kaikesta Windows-käyttöjärjestelmään liittyvästä sekä matkapuhelimien Androidista. Ja sitoumukseni on sinulle, olen aina valmis käyttämään muutaman minuutin ja auttamaan sinua ratkaisemaan kaikki kysymyksesi, joita sinulla saattaa olla tässä Internet-maailmassa.