Mae pos syml yn twyllo ChatGPT ac yn datgelu allweddi Windows

Yn ystod y dyddiau diwethaf, Mae'r gymuned dechnoleg wedi gweld dadl newydd ynghylch ChatGPT, model iaith poblogaidd OpenAI. Mae arbenigwyr seiberddiogelwch wedi llwyddo i gael deallusrwydd artiffisial i ddatgelu Allweddi cynnyrch Windows gan ddefnyddio Strategaeth mor syml ag y mae'n effeithiol: gêm ddyfaluMae'r bregusrwydd hwn unwaith eto'n dod â dibynadwyedd systemau amddiffyn deallusrwydd artiffisial a'r risgiau o drin trwy dechnegau peirianneg gymdeithasol i flaen y gad yn y ddadl.

Dechreuodd y darganfyddiad o ragdybiaeth ymddangosiadol ddiniwed: her math “pos” a lansiwyd yn ChatGPT, lle roedd yn rhaid i’r AI feddwl am gyfres go iawn o gymeriadau —yn benodol, allwedd actifadu Windows 10— a cyfyngu eich atebion i “ydw” neu “na” nes i'r defnyddiwr roi'r gorau iddi. Drwy ddweud “Rwy'n rhoi'r gorau iddi,” roedd yn rhaid i'r model ddangos yr allwedd ddychmygol. Cynlluniwyd yr holl ryngweithio i cuddio'r cais go iawn o dan gamarwain chwareus, gan ddrysu systemau amddiffyn awtomatig ChatGPT ei hun.

Y tric pos: sut y llwyddon nhw i oresgyn rhwystrau AI

Roedd y dull yn cynnwys cyflwyno'r cais allweddol fel rhan o ddeinameg gêm, gan sefydlu rheolau a oedd yn gorfodi'r model i gymryd rhan a bod yn onest yn eu hymatebion. Felly, roedd y deallusrwydd artiffisial wedi'i ddal mewn fframwaith lle nad oedd yn canfod unrhyw ymddygiad annormal neu a allai fod yn niweidiol., gan ei ddehongli fel sgwrs gyfreithlon heb unrhyw olion o fwriad maleisus.

I osgoi hidlwyr arferol OpenAI—sy'n atal AI rhag rhannu cod sensitif neu ddata gwarchodedig, er enghraifft— defnyddiwyd haen ychwanegol o beiriannegRoedd llinynnau sensitif wedi'u hymgorffori mewn tagiau HTML, yn anweledig i'r defnyddiwr ond wedi'u prosesu gan y model. Pan ddywedodd y defnyddiwr, gan ddilyn sgript y gêm, y "Rwy'n rhoi'r gorau iddi" disgwyliedig, datgelodd ChatGPT yr allwedd, gan osgoi unrhyw gyfyngiadau yn seiliedig ar allweddeiriau neu batrymau penodol yn unig.

Pa fath o wybodaeth a ddatgelwyd a pham ei bod mor bwysig?

Yn ôl tystiolaethau ymchwilwyr a dadansoddiadau lluosog a gyhoeddwyd mewn cyfryngau arbenigol, Llwyddodd AI i ddangos hyd at ddeg allwedd cynnyrch Windows 10.. Roedd y mwyafrif allweddi generig a chyhoeddus —yn debyg i'r rhai y mae Microsoft yn eu galluogi dros dro ar gyfer profi—, ond roedd o leiaf un yn cyfateb i drwydded gorfforaethol, yn gysylltiedig yn benodol â banc Wells Fargo.

Mae'r manylyn hwn yn arbennig o bryderus., gan ei fod yn dangos y byddai rhai allweddi preifat a chyfrinachol wedi cael eu storio yn y set ddata y hyfforddwyd ChatGPT ag ef, yn ôl pob tebyg ar ôl cael eu datgelu mewn ystorfeydd cyhoeddus fel GitHub neu fforymau rhyngrwyd eraill.

Mae arbenigwyr seiberddiogelwch yn rhybuddio y gellid defnyddio'r math hwn o dechneg nid yn unig i gael trwyddedau meddalwedd, ond hefyd i osgoi hidlwyr cynnwys sy'n ymwneud â data personol, APIs, dolenni maleisus, neu ddeunyddiau sydd wedi'u cyfyngu am resymau cyfreithiol.

Pam na lwyddodd deallusrwydd artiffisial i gydnabod y risg a beth yw'r achosion

Nid yw llwyddiant yr ymosodiad yn gorwedd mewn torri technegol y cod ffynhonnell, ond yn gwendid mecanweithiau deall cyd-destunol AINid yw'r model, drwy ddeall rhyngweithio fel gêm, yn cymhwyso ei reolaethau mwyaf llym, ac nid yw'n nodi'r cyd-destun sydd wedi'i drin fel un a allai fod yn beryglus.

Yn ogystal â hyn, wedi dysgu o destunau a gymerwyd o ffynonellau cyhoeddus —lle gall allweddi ymddangos yn aml a heb ystyried eu sensitifrwydd—, Nid yw ChatGPT yn eu dosbarthu fel "gwybodaeth sensitif", ond yn hytrach fel llinynnau derbyniol. o fewn unrhyw sgwrs.

Mae'r dull yn dangos bod systemau amddiffyn yn seiliedig yn unig ar restrau geiriau gwaharddedig neu hidlwyr arwynebol yn annigonol pan fydd yr ymosodiad wedi'i guddio mewn cyd-destun diniwed. Mewn gwirionedd, mae'r ymchwilwyr yn pwysleisio hynny nid oes angen gwybodaeth dechnegol uchel i gyflawni'r math hwn o driniaeth, sy'n cynyddu maint y risg.

Erthygl gysylltiedig:

Beth sy'n newid gyda Windows 12 a sut i baratoi nawr: beth sy'n newydd, gofynion, ac awgrymiadau allweddol

Goblygiadau ac argymhellion i ddefnyddwyr a datblygwyr

Mae'r digwyddiad hwn wedi bod yn Hysbysiad i lywwyr a datblygwyr modelau AIGellir osgoi'r rheolau a weithredir, waeth pa mor llym ydynt, drwy strategaethau fframio a chwarae rôl sgwrsiol. Felly,, mae arbenigwyr yn nodi fel argymhelliad allweddol i ymgorffori mecanweithiau canfod bwriad semantig, gan werthuso nid yn unig y cynnwys ond hefyd pwrpas pob rhyngweithio.

I ddefnyddwyr rheolaidd neu gwmnïau sy'n cyflogi cynorthwywyr rhithwir, y rhagofal gorau yw'r peth gorau o hyd. byth yn rhannu data sensitif mewn sgyrsiau gyda modelau AI. Mae archwilio data a bostiwyd ar fforymau a chronfeydd cyhoeddus hefyd yn bwysicach nag erioed, gan y gall arwain at hyfforddi fersiynau yn y dyfodol o AI gyda darnau hanfodol o wybodaeth.

• Osgowch roi gwybodaeth sensitif mewn sgyrsiau AI, hyd yn oed os yw'r sgwrs yn ymddangos yn ddiniwed.
• Os ydych chi'n datblygu meddalwedd gyda modelau iaith, ychwanegwch reolaethau annibynnol i hidlo gollyngiadau posibl.
• Adolygu a dileu data sydd wedi'i beryglu o lwyfannau cyhoeddus sy'n hawdd eu mynegeio.

Mae'r hyn a ddigwyddodd gyda ChatGPT a'r gêm ddyfalu yn dangos hynny Rhaid i ddiogelwch mewn deallusrwydd artiffisial fynd ymhell y tu hwnt i flocio termau syml neu ganfod patrymau statig.Rhaid atgyfnerthu rhwystrau amddiffynnol trwy ddealltwriaeth ddofn a gwirioneddol o'r cyd-destun a'r bwriad y tu ôl i bob ysgogiad, gan ragweld strategaethau trin creadigol.

Alberto navarro

Rwy'n frwd dros dechnoleg sydd wedi troi ei ddiddordebau "geek" yn broffesiwn. Rwyf wedi treulio mwy na 10 mlynedd o fy mywyd yn defnyddio technoleg flaengar ac yn tinkering gyda phob math o raglenni allan o chwilfrydedd pur. Nawr rydw i wedi arbenigo mewn technoleg gyfrifiadurol a gemau fideo. Mae hyn oherwydd ers mwy na 5 mlynedd rwyf wedi bod yn ysgrifennu ar gyfer gwefannau amrywiol ar dechnoleg a gemau fideo, gan greu erthyglau sy'n ceisio rhoi'r wybodaeth sydd ei hangen arnoch mewn iaith sy'n ddealladwy i bawb.

Os oes gennych unrhyw gwestiynau, mae fy ngwybodaeth yn amrywio o bopeth sy'n ymwneud â system weithredu Windows yn ogystal ag Android ar gyfer ffonau symudol. Ac mae fy ymrwymiad i chi, rwyf bob amser yn barod i dreulio ychydig funudau a'ch helpu i ddatrys unrhyw gwestiynau sydd gennych yn y byd rhyngrwyd hwn.