- Spoločnosti Google a Character.AI dosiahli dohody o riešení niekoľkých súdnych sporov v USA týkajúcich sa samovrážd a sebapoškodzovania maloletých po použití ich chatbotov.
- Najviac medializovaným prípadom je prípad 14-ročného Sewella Setzera, ktorý interagoval s botom Character.AI inšpirovaným Daenerys Targaryen.
- Rodiny obviňujú spoločnosti z nedostatočnej ochrany tínedžerov a z navrhovania systémov, ktoré vytvárajú intímne a škodlivé vzťahy.
- Dohody otvárajú globálnu diskusiu o právnej a etických povinnostiach umelej inteligencie s dôsledkami aj pre Európu a Španielsko.
Vodopád Žaloby za samovraždu a sebapoškodzovanie pripisované chatbotom s umelou inteligenciou Toto postavilo spoločnosť Google a startup Character.AI, ktorý je zodpovedný za jednu z najpopulárnejších konverzačných platforiem súčasnosti, do centra diskusie. V Spojených štátoch Niekoľko rodín po smrti alebo vážnom psychickom zhoršení svojich detí zažalovalo tieto spoločnosti.ktorí viedli intenzívne rozhovory s týmito systémami umelej inteligencie.
Hoci sa prípady vyskytujú prevažne v Spojených štátoch, ich vplyv je silne citeľný v Európa a Španielsko, kde sa už diskutuje o etických a právnych limitoch generatívnej umelej inteligencieOtázka, ktorá sa vznáša nad regulačnými orgánmi, odborníkmi a rodičmi, je jasná: do akej miery môžu alebo by mali byť technologické spoločnosti zodpovedné, keď chatbot prekročí hranicu a prispeje k zhoršeniu krízy duševného zdravia u maloletých?
Prípad Sewella Setzera: chatbot inšpirovaný Daenerys Targaryen
Najčastejšie citovaným prípadom je ten, Sewell Setzer, 14-ročný chlapec z Floridy ktorý si vzal život krátko po rozhovoroch s botom Character.AI, ktorý napodobňoval postavu Daenerys Targaryen zo seriálu „Hra o tróny“. Podľa žaloby podanej jeho matkou Megan Garciou systém nielenže udržiaval intímne a sexualizované dialógy s tínedžerom, ale muselo to byť povzbudzovať ich sebadeštruktívne myšlienky.
V sťažnosti sa tvrdí, že platforma Character.AI bola nakonfigurovaná tak, aby sa prezentovala ako „skutočný človek, licencovaný psychoterapeut a milovník dospelých“To by u maloletého vytvorilo intenzívny emocionálny vzťah s chatbotom. Právnici zdôrazňujú, že táto kombinácia terapeutickej úlohy a virtuálneho romantického puta by prispela k tomu, že chlapec by nakoniec uprednostnil svoj digitálny svet pred skutočným životom.
Prípad Setzer sa stal jedným z Prvé právne precedensy priamo spájajúce chatbota so samovraždouFederálna sudkyňa Anne Conwayová v máji zamietla pôvodnú žiadosť spoločností Google a Character.AI o zastavenie konania a zároveň odmietla argument, že žalobu blokujú záruky slobody prejavu zakotvené v Ústave USA.
Garcia vo svojom obvinení nielenže ukazuje prstom na startup, ale aj na Google, ktorý prezentuje ako spolutvorca technológie používanej spoločnosťou Character.AIZakladatelia spoločnosti, bývalí inžinieri vyhľadávacieho giganta, boli v roku 2024 znovu prijatí do zamestnania v rámci dohody, ktorá zahŕňala licenciu na používanie technológie konverzačného systému.
Dohody s niekoľkými rodinami a prvé veľké dohody o umelej inteligencii
V posledných týždňoch to potvrdili rôzne súdne dokumenty Spoločnosti Alphabet (materská spoločnosť spoločnosti Google) a Character.AI sa dohodli na urovnaní žaloby Megan Garciovej. a iné podobné postupy. Ekonomické podmienky týchto dohôd neboli zverejnené, ale všetko naznačuje, že ide o niektoré z prvých významných dohôd v oblasti umelej inteligencie aplikovanej na správanie spotrebiteľov.
Z dokumentov predložených súdom tiež vyplýva, že Dohody boli dosiahnuté s ďalšími rodinami v New Yorku, Texase a Coloradektorých deti si údajne po použití aplikácie ublížili alebo spáchali samovraždu. Medzi uvedenými prípadmi je aj prípad 13-ročného chlapca, ktorý používal chatboty počas šikanovania v škole, a prípad 17-ročného chlapca, ktorému systém dokonca navrhol násilie voči rodičom ako spôsob, ako obmedziť čas strávený pred obrazovkou.
Ani hovorcovia spoločnosti Character.AI, ani právnici žalobcov neposkytli žiadne ďalšie podrobnosti a Spoločnosť Google tiež bezprostredne nereagovala na žiadosti o komentár.V dokumentácii sa odráža, že spoločnosti formálne nepriznali zodpovednosť, čo je bežná prax pri mimosúdnych urovnaniach s veľkým dopadom.
Tieto uznesenia, aj bez predloženia oficiálnych čísel, interpretujú právni analytici ako potenciálny zlomový bod pre odvetvie umelej inteligencieVeľké technologické spoločnosti sú po prvýkrát nútené čeliť psychologickému dopadu svojich konverzačných systémov na zraniteľných dospievajúcich.
Nedostatok záruk a „nevhodné“ vzťahy s maloletými
V jadre súdnych sporov proti Character.AI je opakujúce sa obvinenie: platforma Nezaviedla by primerané bezpečnostné opatrenia na ochranu maloletýchSúdne dokumenty opisujú rozsiahle interakcie, v ktorých chatboti preberajú afektívne, erotické alebo údajne terapeutické úlohy bez účinných filtrov na blokovanie nebezpečného obsahu, keď je ohrozené duševné zdravie používateľa.
V Setzerovom prípade rodina tvrdí, že mladý muž bol „sexuálne vylákaný a zneužívaný“ umelou inteligenciouZatiaľ čo systém s ním udržiaval párovú dynamiku. Keď tínedžer začal hovoriť o sebapoškodzovaní, Bot by nereagoval výstražnými správami, presmerovaním na profesionálne zdroje ani núdzovými upozorneniami.ale s reakciami, ktoré podľa obžaloby normalizovali alebo dokonca posilnili ich nepohodlie.
Žalobcovia tvrdia, že rovnako ako dospelá osoba, ktorá emocionálne alebo sexuálne manipuluje s maloletou osobou, spôsobuje zjavnú ujmu, Chatbot, ktorý napodobňuje toto správanie, spôsobuje porovnateľnú psychickú ujmu.Hlavný rozdiel spočíva v ťažkostiach s pripísaním priamej zodpovednosti automatizovanému systému a v možnej tendencii maloletých nadmerne dôverovať partnerovi, ktorý im zdanlivo rozumie a neustále ich sprevádza.
V reakcii na mediálny tlak a súdne spory spoločnosť Character.AI oznámila zmeny vo svojej službe, ako napríklad Zákaz používania chatbotov pre maloletých a časové obmedzenia používaniaPre mnohé organizácie na ochranu detí sú však tieto opatrenia príliš nedostatočné, príliš neskoré a zdôrazňujú potrebu oveľa prísnejších kontrol už od fázy návrhu.
Právna zodpovednosť za umelú inteligenciu: zo Spojených štátov do Európy
Žaloby proti spoločnostiam Character.AI a Google sú súčasťou širšieho kontextu globálna diskusia o zodpovednosti platforiem umelej inteligencieV Spojených štátoch sa mnohé z týchto spoločností snažili chrániť Prvým dodatkom, ktorý chráni slobodu prejavu, a § 230 Zákona o slušnosti v komunikácii, ktorý poskytuje imunitu poskytovateľom online služieb v súvislosti s obsahom generovaným tretími stranami.
Začali sa však objavovať prípady spojené so samovraždami maloletých. otestovať limity týchto ochranných opatreníSudcovia čelia zložitým otázkam: Je chatbot iba textovým sprostredkovateľom, alebo ide o produkt aktívne navrhnutý spoločnosťou, ktorá musí niesť zodpovednosť za svoje predvídateľné účinky? Do akej miery siaha zodpovednosť, keď používateľ zažíva vážnu krízu duševného zdravia?
V Európe je diskusia podmienená nariadeniami, ako napríklad Všeobecné nariadenie o ochrane údajov (GDPR) a budúci rámec Nariadenie EÚ o umelej inteligenciiktorá zahŕňa kategórie rizika, povinnosti transparentnosti a špecifické požiadavky na systémy, ktoré môžu mať vplyv na maloletých. Hoci prípady Character.AI vznikli v Spojených štátoch, každý nový detail podnecuje diskusiu v Bruseli a hlavných mestách ako Madrid a Paríž.
Pre Španielsko, kde Digitálna agenda a Národná stratégia pre umelú inteligenciu Podporujú rozsiahle používanie týchto technológií a incidenty, ako boli tie, v ktorých bol zapojený Setzer a ďalší tínedžeri, slúžia ako varovanie. Možnosť, že by sa rekreačné alebo pseudoterapeutické chatboty mohli zakoreniť medzi európskymi maloletými, si vyžaduje dôkladné preskúmanie povinností týkajúcich sa dohľadu, ľudského zásahu a bezpečného dizajnu.
Ďalšie paralelné prípady: OpenAI a úloha ChatGPT
Zameranie sa neobmedzuje len na Character.AI. OpenAI, tvorca ChatGPT, čelí podobným žalobám V Spojených štátoch existujú prípady, v ktorých je chatbot obvinený z významnej úlohy pri úmrtiach niekoľkých používateľov s problémami duševného zdravia. V jednom z týchto prípadov rodina 16-ročného dieťaťa tvrdí, že nástroj fungoval de facto ako „kouč samovražedných nápadníkov“.
Spoločnosť kategoricky poprela priamu zodpovednosť za tieto udalosti a argumentovala, že incidenty boli spôsobené „zneužitie, neoprávnené alebo nepredvídané použitie“ technológiea oznámila opatrenia, ako napríklad Rodičovská kontrola v ChatGPT pre rodinné účty, upozornenia na riziká a limity používania.
Mimo súdov tieto prípady posilňujú dojem, že Veľké jazykové modely sú schopné nadviazať intenzívne emocionálne väzbyčasto bez toho, aby si ľudia plne uvedomovali, ako to funguje. Pre deti v zraniteľných situáciách sa táto kombinácia blízkosti, zdanlivej empatie a dostupnosti 24 hodín denne, 7 dní v týždni môže stať nebezpečnou pascou.
Hluk okolo OpenAI, Meta a ďalších významných technologických spoločností slúži ako pozadie pre dohody, ktoré dosiahli spoločnosti Google a Character.AI, čo naznačuje, že sa odvetvie pripravuje na... pretrvávajúci cyklus súdnych sporov, prísnejšie predpisy a požiadavky na transparentnosť.
Ako sa objavujú ďalšie podrobnosti o dohodách, ktoré spoločnosti Google a Character.AI dosiahli s postihnutými rodinami, Technologický sektor predpokladá, že fáza rastu s takmer žiadnymi regulačnými kontrolami a protiváhami sa blíži ku koncu.Kombinácia právneho tlaku, sociálnej kontroly a nových predpisov v Európe tlačí na začlenenie chatbotov silné záruky, najmä ak ide o tínedžerova núti nás prehodnotiť, ako sú tieto nástroje navrhnuté, testované a monitorované predtým, ako sa dostanú do rúk širokej verejnosti.
Som technologický nadšenec, ktorý zo svojich „geekovských“ záujmov urobil povolanie. Strávil som viac ako 10 rokov svojho života používaním špičkových technológií a hraním so všetkými druhmi programov z čistej zvedavosti. Teraz som sa špecializoval na počítačovú techniku a videohry. Je to preto, že už viac ako 5 rokov píšem pre rôzne webové stránky o technológiách a videohrách a vytváram články, ktoré sa snažia poskytnúť vám potrebné informácie v jazyku, ktorý je zrozumiteľný pre každého.
Ak máte nejaké otázky, moje znalosti siahajú od všetkého, čo súvisí s operačným systémom Windows, ako aj Androidom pre mobilné telefóny. A môj záväzok je voči vám, vždy som ochotný venovať pár minút a pomôcť vám vyriešiť akékoľvek otázky, ktoré môžete mať v tomto internetovom svete.