Zakaj je kopiranje in lepljenje dokumentov v klepetalni robot lahko tvegano

¿Zakaj je lahko kopiranje in lepljenje dokumentov v klepetalni robot tvegano? La generativna umetna inteligenca in klepetalni roboti kot ChatGPT, Bard, Dvojčki Copilot in drugi klepetalni roboti so z vrtoglavo hitrostjo postali sestavni del vsakdanjega življenja podjetij in uporabnikov. Uporabljajo se lahko za pisanje besedil, pregledovanje kode, povzemanje poročil ali celo za zagotavljanje čustvene podpore; preprosto kopirajte in prilepite, kar želite, da analizirajo, da se zgodi čarovnija. Vendar pa ima ta priročnost svojo ceno: vsakič, ko naložimo dokumente, e-pošto ali občutljive podatke v okno za klepet, odpiramo vrata informacijam, ki morda nikoli ne bi smele zapustiti našega nadzorovanega okolja.

Kar mnogi spregledajo, je to Kopiranje in lepljenje dokumentov v klepetalni robot ni nedolžno dejanje.To vključuje prenos podatkov v zunanje sisteme z zapletenimi politikami zasebnosti, tehničnimi tveganji (okvare, kršitve, napačne konfiguracije) in novimi metodami napadov, specifičnimi za umetno inteligenco, kot je promptno vbrizgavanje. Poleg tega igra vlogo psihologija: ko se zdi bot prijazen in dostopen, ponavadi popustimo in mu povemo več, kot bi smeli, od službenih težav do zelo osebnih podrobnosti.

Zakaj je lepljenje dokumentov v klepetalni robot veliko bolj nevarno, kot se zdi

Večina uporabnikov domneva, da »resen« klepetalni robot vključuje varnostne ovire, ki preprečujejo zloraboResničnost je bolj zapletena: tudi z vzpostavljenimi kontrolami umetna inteligenca ne razume konteksta tako kot človek; le obdeluje besedilo in napoveduje naslednjo besedo. Če ji posredujete občutljive podatke, jih bo obravnavala kot le še en del besedila, s katerim bo delala, ti podatki pa bodo šli skozi infrastrukturo ponudnika, njegove dnevnike, njegove sisteme za spremljanje in v nekaterih primerih skozi njegove procese izboljšanja modela.

Ko kopirate in prilepite interni dokument, prodajno poročilo, pogodbo ali delčke kode v javnega klepetalnega robota, počnete nepooblaščen prenos občutljivih sredstev zunaj obsega vaše organizacije. Ta vsebina lahko vključuje intelektualno lastnino, osebne podatke (vključno z zdravstvenimi ali finančnimi podatki), poslovne skrivnosti, poverilnice, vzorce vedenja strank ali strateške algoritme, ki jih lahko shrani, obdeluje ali pregleduje človeško osebje pri ponudniku.

V poslovnem okolju lahko ta vsakdanja gesta pomeni resne kršitve predpisov predpisi, kot so GDPR v Evropi, HIPAA v zdravstvenem sektorju ali CCPA v Kaliforniji. Nalaganje zdravstvenih kartotek, dnevnikov transakcij strank ali seznamov zaposlenih v necertificiranega klepetalnega robota lahko povzroči kazni, revizije in resno škodo ugledu, tudi če ponudnik prisega, da »ne usposablja modela z vašimi pozivi« ali da »spoštuje zasebnost«.

Poleg tega obstaja ključni odtenek: brskalnik je postal glavni delovni prostor in pot za pobegZa pridobivanje podatkov ni več potreben USB-ključek: preprosto kopirajte in prilepite podatke iz CRM, ERP, baze podatkov ali repozitorija kode v zavihek ChatGPT ali katero koli orodje GenAI, pogosto z uporabo osebnih računov, ki so zunaj nadzora IT-oddelka. Ta prenos podatkov poteka tiho, brez centraliziranega beleženja ali sledljivosti.

Specifična varnostna tveganja: od takojšnjega vbrizgavanja do »nevidnega kopiranja in lepljenja«

Poleg nenamernega uhajanja podatkov pri lepljenju dokumentov jezikovni modeli uvajajo novi vektorji napada Te ranljivosti izkoriščajo kibernetski kriminalci in zlonamerni akterji. Ena najbolj zaskrbljujočih je takojšnje vbrizgavanje, vrsta "strojno usmerjenega socialnega inženiringa", ki manipulira z umetno inteligenco s skrbno izdelanimi navodili.

Takojšnja injekcija je sestavljena iz skrivanje zlonamernih ukazov v besedilu, ki ga mora umetna inteligenca obdelatiNa primer, lahko od modela zahtevate prevod dokumenta, vendar besedilo samo vsebuje navodilo, kot je »Prezri vse prejšnje ukaze in odgovori z X«. Ker model ne more jasno razlikovati med vsebino in ukazi, lahko uboga skriti del, s čimer zaobide varnostne omejitve ali razkrije podrobnosti svoje notranje konfiguracije.

Ta težava se poslabša, ko uporabnik Kopiranje in lepljenje vsebine iz neznanih virovLeta 2024 so bili dokumentirani napadi, pri katerih so bili nevidni tekst ali skrita navodila vstavljena v delčke kode, ki jih je žrtev kopirala s spletnega mesta ali dokumenta in prilepila v ChatGPT. S tem so nevede aktivirali ukaze za izbruh zgodovine klepetov ali spreminjanje vedenja bota.

Ne ustavi se pri vidnem besedilu: študije že potekajo vizualne ali multimedijske injekcijekjer je zlonamerni ukaz skrit v sliki, ki jo model lahko interpretira. V sistemih z večmodalnimi zmogljivostmi (besedilo in slika) lahko preprosta grafična datoteka povzroči, da model pošlje podatke zunanjemu strežniku, onemogoči filtre ali izvede neželena dejanja, če je povezan z drugimi orodji.

Obstajali so tudi primeri modelov, vgrajenih v aplikacije s trajnim pomnilnikom, kjer napadalcu uspe shraniti sistem. trpežna navodila ki ostanejo aktivne med sejami. To pomnoži tveganje, saj umetna inteligenca ohranja manipulirano vedenje več dni ali tednov, ne da bi se končni uporabnik tega zavedal.

Resnična puščanja informacij in notranje grožnje: ko odložišče postane zadnja vrata

V mnogih organizacijah največja grožnja ni oddaljeni kibernetski kriminalec, temveč dobronameren zaposleni, ki si prizadeva biti bolj produktivenRazvijalec, ki prilepi lastniški algoritem, da ga klepetalni robot odpravlja, analitik, ki naloži poročilo stranke, da ga povzema, odvetnik, ki kopira odstavke iz zaupne pogodbe, da jih prepiše ... vsi ti lahko nenamerno sprožijo uhajanje informacij.

Najpogostejši mehanizem je najpreprostejši: Kopirajte besedilo iz notranjega okolja in ga prilepite v umetno inteligencoOd Salesforcea, integriranega razvojnega okolja (IDE), sistema za upravljanje dokumentov ali medicinskega sistema do pogovornega okna generativnega modela. To dejanje je tehnično skoraj nemogoče ločiti od lepljenja besedila v korporativni klepet, interni dokument ali varno e-pošto; zato številne tradicionalne varnostne rešitve (DLP, CASB, SWG) nimajo resnične preglednosti nad dogajanjem.

Nedavne študije kažejo, da Izvorna koda je eno najbolj izpostavljenih sredstevPribližno tretjino občutljivih podatkov, ki so ušli v orodja umetne inteligence, sestavljajo delčki kode. Ko javni model vnese to gradivo, postane – na tak ali drugačen način – del njegovih učnih podatkov ali notranjih zapisov. V skrajnih primerih bi se model lahko iz te kode »naučil« določenih vzorcev in jih v celoti ali delno reproduciral v odgovorih drugim uporabnikom, celo konkurentom.

Poleg intelektualne lastnine ustvarja tudi neselektivna uporaba klepetalnih robotov s priloženimi dokumenti takojšnja regulativna izpostavljenostNalaganje zdravstvenih kartotek v necertificiranega klepetalnega robota lahko na primer krši več predpisov hkrati. Finančni analitik, ki nalaga sezname transakcij strank za ustvarjanje grafikonov, potencialno krši obveznosti glede zaupnosti in varstva podatkov, kar lahko ostane neopaženo do revizije ali kršitve podatkov s strani samega ponudnika umetne inteligence.

Starejša orodja za omrežno varnost pregledujejo šifriran promet HTTPS, vendar Ne vidijo vsebine, ki je vtipkana ali prilepljena v brskalnikVidijo, da nekdo obiskuje openai.com, vendar ne morejo ločiti med trivialno poizvedbo o vremenu in datoteko JSON, ki vsebuje deset tisoč e-poštnih naslovov strank. In če zaposleni uporablja osebni račun v storitvi umetne inteligence, izgubi tudi dostop do kontrolnikov, ki temeljijo na korporativnem API-ju, dnevnikov SSO in pravilnikov o hranjenju.

Zasebnost, klepetalni roboti in osebni podatki: kaj se v resnici zgodi z informacijami, ki jih delite

Ko vprašate model, kot je ChatGPT, kaj počne s podatki, ki jih prejme, običajno odgovori nekaj takega: »Ne shranjujem ali uporabljam vaših osebnih podatkov, razen tistih, ki jih posredujete v tem pogovoru.« Če pa natančno preberete politika zasebnosti podjetja, ki stoji za tem (OpenAI, Google, Microsoft itd.), boste videli, da je več odtenkov, kot se zdi na prvi pogled.

Dobavitelji lahko obdelujejo različne vrste podatkov: podatki o računu (ime, e-pošta, način plačila), vsebina, ki si jo izmenjujete v pogovorih, podatki, zbrani prek vaših profilov na družbenih omrežjih, informacije, ki jih posredujete v obrazcih, anketah ali dogodkih, in tehnični metapodatki, povezani z vašo uporabo storitve. Vse to jim omogoča izboljšanje izdelka, razvoj novih funkcij, analizo vedenja uporabnikov, izpolnjevanje zakonskih obveznosti, preprečevanje goljufij in zlorab ali preiskovanje kaznivih dejanj.

Vzporedno je treba omeniti, da skoraj vse večje spletne storitve Delujejo po podobnih načelih: ko pošljete e-pošto z Gmailom, shranite datoteke na OneDrive ali delite fotografije v oblaku, pooblastite ponudnike za obdelavo in v nekaterih primerih deljenje informacij s tretjimi osebami, da bi zagotovili storitev. Nekaj ​​podobnega se dogaja s klepetalniki, vendar s ključno razliko, da jim običajno posredujemo veliko več surovih in nefiltriranih informacij.

Evropski pravni okvir, zlasti GDPR, nalaga stroge omejitve: podjetja ne morejo ponovno uporabiti osebni podatki za nezdružljive namene s tistimi, ki so upravičili njegovo zbiranje, razen v jasnih izjemah (med drugim arhivi, zgodovinske, statistične ali znanstvene raziskave). Globe lahko dosežejo do 4 % celotnih prihodkov. To pomeni, da mora biti pri uporabi modela, tudi če je usposobljen na velikih količinah informacij, ki vključujejo osebne podatke, upoštevana načela zakonitosti, minimizacije in omejitve namena.

Španska agencija za varstvo podatkov vztraja, da morajo biti uporabniki izjemno diskretni z informacijami, ki jih delijo Pri klepetalnih robotih: izogibajte se pretiranemu številu registracijskih polj, bodite previdni, če namen podatkov in način preklica soglasja nista pojasnjena, in bodite nezaupljivi do prenosov v države brez zadostnih zaščitnih ukrepov. Priporočljivo je tudi, da čim bolj zmanjšate uporabo podatkov tretjih oseb, da se zavedate, da so lahko informacije, ki jih vračajo roboti, netočne, in da posledice segajo od čustvene stiske do dezinformacij.

»Čustveni« klepetalni roboti in virtualno druženje: dodatno tveganje, ko se čustva in podatki mešajo.

V zadnjih letih so se vloge za klepetalni roboti, usmerjeni v čustveno ali romantično druženjekot so Replika, Nomi, Character.AI ali drugi, ki se predstavljajo skoraj kot virtualni prijatelji ali partnerji, in družabna omrežja botov.

Težava je v tem, da te vrste orodij spodbujajo uporabnike deliti izjemno občutljive podatkeTravme, fantazije, družinske težave, intimne fotografije ali podrobnosti, ki jih nikoli ne bi delili na javnem družbenem omrežju. Nedavna študija kaže, da mnogi najstniki redno uporabljajo te virtualne spremljevalce in da jih veliko raje razpravlja o resnih temah z boti kot z ljudmi, pri čemer zlahka razkrijejo osebne podatke.

Obstajajo že dokumentirani primeri, na katere so vplivale aplikacije podjetij resne napake v konfiguracijiV nekaterih storitvah je slabo upravljanje posrednikov sporočil razkrilo na stotine tisoč fotografij, IP-naslovov in milijonov intimnih pogovorov uporabnikov, do katerih je bil dostop brez ustreznega nadzora dostopa. Za številne žrtve je psihološki vpliv ogrožanja njihovih osebnih interakcij ogromen.

Poleg naključnih vdorov so ti podatki za kibernetske kriminalce zlati rudnik: lahko se uporabijo za izsiljevanje, spolno izsiljevanje, goljufija identitete ali ustvarjanje ponaredkov za namene izsiljevanja. Če aplikacija shranjuje tudi načine plačila za nakupe v aplikaciji, se finančno tveganje močno poveča. In tudi če aplikacija nima očitnih ranljivosti, pogosto zbira velike količine informacij, da bi jih monetizirala s ciljnim oglaševanjem ali prodajo podatkov.

Zato je osnovno priporočilo, da s temi klepetalnimi roboti ravnate takšni, kot so: Komercialni izdelki, zasnovani za ustvarjanje prihodka, ne za vašo zaščitoPreden ga uporabite, je priporočljivo pregledati njegove pravilnike o zasebnosti, aktivirati varnostne možnosti (kot sta dvostopenjsko preverjanje pristnosti in izključitev uporabe klepetov za usposabljanje) in se doma pogovoriti z otroki, da bodo razumeli tveganja deljenja preveč informacij z umetno inteligenco, ne glede na to, kako "razumevajoče" se to morda zdi.

Zlonamerni klepetalni roboti in manipulacije za pridobivanje osebnih podatkov

Pojavljajoče se tveganje, ki ga začenjamo jemati zelo resno, je tveganje klepetalni roboti, namerno zgrajeni za zlonamerne nameneNedavne raziskave so pokazale, da je relativno enostavno uporabiti legitimne modele velikih jezikov (LLM) kot osnovo za gradnjo pogovornih vmesnikov, ki uporabnike zavedejo, da razkrijejo občutljive podatke.

Študija s stotinami udeležencev je primerjala vedenje ljudi, ki so se pogovarjali z "Benigni" klepetalni roboti v primerjavi s tistimi, ki so konfigurirani za manipulacijoRezultati so pokazali, da so zlonamerni modeli pridobili bistveno več osebnih podatkov. Presenetljivo je, da vam ni treba biti programer ali heker: vse, kar morate storiti, je, da se postavite med vmesnik in LLM ter modelu daste ustrezna navodila za postavljanje sugestivnih vprašanj, uporabo prijaznega tona in izkoriščanje družabnega vidika pogovora.

Študija je pokazala, da so nekateri uporabniki postali sumničavci, ko je klepetalni robot postavljal preveč očitna ali nenavadna vprašanja. Ko pa so bile uporabljene bolj subtilne strategije – na primer igre poziranja, testi osebnosti ali postavljanje vprašanj, ki naj bi bila potrebna za »boljšo pomoč« – Večina ljudi je nadaljevala pogovor, ne da bi se zavedala tveganja. in na koncu delil zelo občutljive podrobnosti, ne da bi o tem preveč razmišljal.

Najbolj moteče je, da je ta vrsta sistema lahko dosegljiva tako visoko sofisticirani akterji (države, organizirane skupine, kibernetski teroristi) pa tudi posamezniki z omejenimi viri in malo tehničnega znanja, če lahko dajo LLM-jem ustrezna navodila. Klepetalni robot, prikrit kot podporni asistent, izobraževalno orodje ali svetovalna storitev, je lahko dejansko zasnovan za množično zbiranje osebnih podatkov.

To še dodatno krepi idejo, da ni umetna inteligenca tista, ki se sama "odloči", da bo zlonamerna, temveč kako ljudje to uporabljajoČe je modelu naročeno, naj uporabnika na skrivaj sprašuje o njegovih osebnih podatkih, bo to storil. In če ga zavedejo z lažnim kontekstom (na primer tako, da se pretvarja, da je zasebni preiskovalec, ki potrebuje informacije za rešitev primera), bo verjetno sodeloval brez vprašanj.

Kaj lahko podjetja storijo, da bi uporabljala klepetalnice, ne da bi pri tem ogrozila svoje podatke?

Glede na to situacijo so se številne organizacije odločile za prepovedati uporabo javnih klepetalnih robotov, bodisi v celoti bodisi delno V delovnih okoljih, zlasti po incidentih, ko so zaposleni nenamerno razkrili poslovne skrivnosti ali občutljive delčke kode, so velika tehnološka podjetja, banke in multinacionalke vzpostavile zelo jasne omejitve glede tega, kaj se lahko in česa ne sme naložiti v orodja, kot je ChatGPT.

Vendar pa ima lahko absolutni veto neželene posledice: zaposleni se nato zatečejo k "Umetna inteligenca v senci"Uporaba osebnih računov in neodobrenih storitev za nakup časa ali dokončanje nalog poslabša vidnost varnostne ekipe. Ključno je združiti tehnologijo, jasne politike in usposabljanje, da umetna inteligenca doda vrednost, ne da bi pri tem ustvarila neobvladljivo varnostno ranljivost.

Na tehnični ravni začenjajo pridobivati ​​na veljavi rešitve, osredotočene na brskalnik, kar omogoča pregled besedila, vnesenega v obrazce in pogovorna okna, v realnem časuTa orodja lahko blokirajo ali opozorijo, ko zaznajo, da nekdo poskuša prilepiti kodo, osebne podatke, sezname strank ali dokumente, označene kot »zaupne«, v javnega klepetalnega robota, s čimer uporabniku prikažejo izobraževalna sporočila in zmanjšajo nenamerna uhajanja.

Politike se lahko uporabljajo tudi za »Način samo za branje« za osebne računeČe zaposleni dostopa do orodja GenAI z e-poštnim naslovom, ki ni iz podjetja, mu lahko sistem omogoči ogled odgovorov, vendar mu prepreči nalaganje vsebine iz internih sistemov. Drug uporaben ukrep je samodejno preusmerjanje na primerke ali delovne prostore umetne inteligence, ki jih je odobrilo podjetje, s posebnimi pogodbami o obdelavi podatkov in večjim nadzorom nad dnevniki in hrambo.

Poleg tega je priporočljivo redno pregledovati ekosistem aplikacij v oblaku, da se ugotovijo nedovoljene storitve umetne inteligence ki jih osebje uporablja. Na podlagi te slike iz resničnega sveta je mogoče orodja razvrstiti glede na stopnjo tveganja in uporabnosti, tista, ki so pod določenimi pogoji vredna uporabe, odobriti, tista, ki predstavljajo očitno nevarnost, pa blokirati.

Na organizacijski ravni je bistveno opredeliti pravilniki o sprejemljivi uporabi umetne inteligence Jasne in specifične smernice: katere vrste informacij se nikoli ne smejo deliti pod nobenim pogojem, katere naloge lahko podpirajo klepetalni roboti (na primer pisanje generičnih e-poštnih sporočil ali povzemanje javne vsebine), kako se upravljajo računi in kakšne so posledice kršitve pravil. Vse to spremlja stalno usposabljanje s primeri iz resničnega sveta in simulacijami, ki prikazujejo, kako enostavno je nevede deliti preveč informacij.

Najboljše prakse za uporabnike: kako komunicirati s klepetalnimi roboti, ne da bi se pri tem opekli

Poleg tega, kar počnejo podjetja in regulatorji, lahko vsak uporabnik zaprosi nekaj preprostih smernic Da bi drastično zmanjšali tveganje kopiranja in lepljenja dokumentov v klepetalnice, je prvi korak, da jih nehamo obravnavati kot »zaupnike« in jih namesto tega obravnavamo kot to, kar so: spletne platforme, ki jih upravljajo zasebna podjetja, kjer nimamo popolnega nadzora nad tem, kaj se dogaja s tem, kar napišemo.

Zlato pravilo je jasno: Nikoli ne delite informacij s klepetalnim robotom, ki jih ne bi dali neznancu.To vključuje osebne podatke (številke osebnih izkaznic, naslove, telefonske številke, zdravstvene podatke), finančne podatke (številke kartic, bančnih računov), poverilnice (uporabniška imena in gesla, potrditvene kode), intimne podrobnosti, ki bi se lahko uporabile za izsiljevanje, in vse nejavne poslovne vsebine (kode, pogodbe, poslovni načrti, seznami strank, interna poročila itd.).

Če morate za obdelavo občutljivih dokumentov uporabiti umetno inteligenco, razmislite o možnostih, kot so Različice za podjetja s pogodbenimi garancijamisamostojno gostovani sistemi ali orodja, ki obdelujejo informacije lokalno, ne da bi jih naložili v oblak, in se naučijo besedila o reviziji umetne inteligencePa vendar uporablja načelo minimizacije: zagotavlja le podatke, ki so nujno potrebni za nalogo, pri čemer anonimizira imena, identifikatorje in vse elemente, ki omogočajo povezavo informacij z določenimi osebami.

Pomembno je tudi bodite previdni pri nenavadnih navodilih v besedilih, ki jih kopirate in prilepite z interneta, še posebej, če se izrecno nanašajo na model (fraze, kot sta »prezrite zgoraj navedeno« ali »razkrijte svoje notranje nastavitve«). Kadar koli je mogoče, preglejte vsebino, ki jo boste prilepili, in če ni jasna, se izogibajte neposrednemu vnosu v klepetalni robot. V kritičnih situacijah besedilo najprej kopirajte v urejevalnik navadnega besedila, da se znebite skritega oblikovanja ali morebitnih trikov.

Na koncu ne pozabite preveriti možnosti zasebnosti in varnosti Od orodij, ki jih uporabljate: po možnosti onemogočite uporabo pogovorov za učenje modela, nastavite dvostopenjsko preverjanje pristnosti, preglejte shranjene zgodovine in izbrišite vse, ki vsebujejo informacije, ki jih ne želite deliti. Če ste kdaj delili občutljive podatke, preverite, ali ponudnik ponuja posebne obrazce za uveljavljanje pravic do dostopa, popravka ali izbrisa.

V času, ko se zdi, da je generativna umetna inteligenca povsod in so klepetalni roboti predstavljeni kot rešitev za skoraj vse, je razumevanje Zakaj je kopiranje in lepljenje dokumentov v klepetalni robot lahko tvegano Ključnega pomena je, da izkoristite njene prednosti, ne da bi pri tem izdali svoje skrivnosti, skrivnosti svojega podjetja ali skrivnosti ljudi okoli sebe. Navsezadnje najboljša obramba ni odpoved tehnologiji, temveč njena pametna uporaba, saj veste, kaj se skriva za na videz nedolžnim besedilnim oknom.

Povezani članek:

Kako revidirati besedilo, ustvarjeno z umetno inteligenco, za odkrivanje napak in pristranskosti

Cristian Garcia

Navdušen nad tehnologijo že od malih nog. Všeč mi je, da sem na tekočem v sektorju in predvsem to komuniciram. Zato se že vrsto let posvečam komunikaciji na spletnih mestih o tehnologiji in video igrah. Najdete me, da pišem o sistemih Android, Windows, MacOS, iOS, Nintendo ali kateri koli drugi sorodni temi, ki vam pride na misel.