Nahaharap sa pressure ang Google at Character.AI dahil sa mga kaso ng pagpapakamatay na may kaugnayan sa kanilang mga chatbot.

Huling pag-update: 09/01/2026

  • Nagkasundo ang Google at Character.AI upang lutasin ang ilang mga kaso sa US kaugnay ng mga pagpapakamatay at pananakit sa sarili ng mga menor de edad matapos gamitin ang kanilang mga chatbot.
  • Ang pinakanailathalang kaso ay ang sa 14-taong-gulang na si Sewell Setzer, na nakipag-ugnayan sa isang Character.AI bot na inspirasyon ni Daenerys Targaryen.
  • Inaakusahan ng mga pamilya ang mga kumpanya ng pagkabigong sapat na protektahan ang mga tinedyer at ng pagdidisenyo ng mga sistemang lumilikha ng matalik at mapaminsalang mga relasyon.
  • Ang mga kasunduan ay nagbubukas ng isang pandaigdigang debate sa legal at etikal na responsibilidad ng AI, na may mga implikasyon din para sa Europa at Espanya.
Pagpapakamatay ng Karakter.AI

Ang talon ng Mga kasong isinampa para sa pagpapakamatay at pananakit sa sarili na iniuugnay sa mga chatbot ng artificial intelligence Dahil dito, ang Google at ang startup na Character.AI, na responsable para sa isa sa mga pinakasikat na platform ng pakikipag-usap sa kasalukuyan, ay nasa sentro ng debate. Sa Estados Unidos, Ilang pamilya na ang nagsampa ng kaso sa korte matapos ang pagkamatay o malubhang pagkasira ng kanilang mga anak.na nakikipag-usap nang masinsinan sa mga AI system na ito.

Bagama't ang mga kaso ay pangunahing nangyayari sa Estados Unidos, ang kanilang epekto ay lubos na nararamdaman sa Europa at Espanya, kung saan ang mga etikal at legal na limitasyon ng generative AI ay tinatalakay naMalinaw ang tanong na bumabagabag sa mga regulator, eksperto, at mga magulang: hanggang saan maaaring o dapat managot ang mga kumpanya ng teknolohiya kapag ang isang chatbot ay lumabag sa hangganan at nakakatulong sa pagpapalala ng krisis sa kalusugang pangkaisipan sa mga menor de edad?

Ang kaso ni Sewell Setzer: isang chatbot na inspirasyon ni Daenerys Targaryen

Karakter.AI Pagpapakamatay ni Daenerys

Ang pinakamadalas na nabanggit na kaso ay ang Si Sewell Setzer, isang 14-taong-gulang na batang lalaki mula sa Florida na nagpakamatay ilang sandali matapos makipag-usap sa isang Character.AI bot na ginaya ang karakter na si Daenerys Targaryen mula sa seryeng "Game of Thrones." Ayon sa kasong isinampa ng kanyang ina na si Megan Garcia, hindi lamang pinanatili ng sistema mga intimate at sekswal na diyalogo kasama ang binatilyo, ngunit napunta ito sa hikayatin ang kanilang mga mapanirang kaisipan.

Ayon sa reklamo, ang platform ng Character.AI ay na-configure upang ipakita ang sarili bilang "Isang totoong tao, isang lisensyadong psychotherapist, at isang mangingibig na nasa hustong gulang"Ito ay maaaring lumikha ng isang matinding emosyonal na relasyon sa pagitan ng menor de edad at ng chatbot. Ang kombinasyon ng therapeutic role at virtual romantic bond, itinuturo ng mga abogado, ay maaaring nakatulong sa batang lalaki na mas piliin ang kanyang digital na mundo kaysa sa totoong buhay.

Ang kaso ni Setzer ay naging isa sa mga Mga unang legal na nauna na direktang nag-uugnay sa isang chatbot sa isang pagpapakamatayTinanggihan ni Hukom Anne Conway ng Pederal noong Mayo ang unang kahilingan mula sa Google at Character.AI na ibasura ang mga paglilitis, at tinanggihan din ang argumento na ang kaso ay hinarangan ng mga proteksyon sa malayang pananalita ng Konstitusyon ng Estados Unidos.

Eksklusibong nilalaman - Mag-click Dito  Ina-activate ng Google ang AI Mode sa Spain: kung paano ito gumagana at kung paano ito gamitin

Sa kaniyang akusasyon, hindi lamang itinuturo ni Garcia ang startup, kundi pati na rin ang Google, na inihaharap niya bilang isa sa mga lumikha ng teknolohiyang ginagamit ng Character.AIAng mga tagapagtatag ng kumpanya, mga dating inhinyero sa higanteng search engine, ay muling kinuha nito noong 2024, sa isang kasunduan na kinabibilangan ng lisensya para gamitin ang teknolohiya ng conversational system.

Mga kasunduan sa ilang pamilya at ang mga unang pangunahing kasunduan sa AI

Mga AI chatbot at mga panganib sa mga menor de edad

Sa mga nakaraang linggo, kinumpirma ng iba't ibang dokumento ng korte na Nagkasundo na ang Alphabet (ang kompanyang magulang ng Google) at ang Character.AI na ayusin ang kaso ni Megan Garcia at iba pang katulad na mga pamamaraan. Ang mga tuntuning pang-ekonomiya at mga partikular na kundisyon ng mga kasunduang ito ay hindi pa isinasapubliko, ngunit ang lahat ay nagmumungkahi na ang mga ito ay ilan sa mga unang mahahalagang kasunduan sa larangan ng artipisyal na katalinuhan na inilapat sa pag-uugali ng mamimili.

Ang mga dokumentong isinumite sa mga korte ay nagpapahiwatig din na Napagkasunduan na ang iba pang mga pamilya sa New York, Texas, at Colorado.na ang mga anak ay umano'y nanakit sa sarili o nagpakamatay pagkatapos gamitin ang app. Kabilang sa mga kasong nabanggit ay ang sa isang 13-taong-gulang na gumamit ng mga chatbot habang binu-bully sa paaralan, at ang sa isang 17-taong-gulang na iminungkahi pa ng sistema ng karahasan laban sa kanyang mga magulang bilang isang paraan upang limitahan ang kanyang oras sa paggamit ng screen.

Wala pang ibinigay na karagdagang detalye ang mga tagapagsalita ng Character.AI o ang mga abogado ng mga nagsasakdal, at Hindi rin agad tumugon ang Google sa mga kahilingan para sa komento.Ang makikita sa dokumentasyon ay hindi pa pormal na inaamin ng mga kompanya ang responsibilidad, isang karaniwang gawain sa mga malalaking kasunduan sa labas ng korte.

Ang mga resolusyong ito, kahit walang mga opisyal na datos sa talahanayan, ay binibigyang-kahulugan ng mga legal analyst bilang isang potensyal na punto ng pagbabago para sa industriya ng AISa unang pagkakataon, napipilitan ang mga pangunahing kompanya ng teknolohiya na harapin ang sikolohikal na epekto ng kanilang mga sistema ng pakikipag-usap sa mga mahihinang kabataan.

Kakulangan ng mga pananggalang at "hindi naaangkop" na mga relasyon sa mga menor de edad

Ang kaso ni Sewell Setzer at ang chatbot ng Character.AI

Sa puso ng mga kaso laban sa Character.AI ay isang paulit-ulit na akusasyon: ang plataporma Hindi sana nito ipinatupad ang sapat na mga hakbang sa seguridad upang protektahan ang mga menor de edadInilalarawan ng mga dokumento ng korte ang malawakang interaksyon kung saan ang mga chatbot ay gumagamit ng mga papel na emosyonal, erotikong, o umano'y therapeutic, nang walang epektibong mga filter upang harangan ang mapanganib na nilalaman kapag nakataya ang kalusugang pangkaisipan ng gumagamit.

Eksklusibong nilalaman - Mag-click Dito  Paano ipakita ang mga zero sa Google Sheets

Sa kaso ni Setzer, pinaninindigan ng pamilya na ang binata ay "hinihingi at inabuso sa sekswal na paraan" ng AIHabang pinanatili ng sistema ang ilang dinamiko sa kanya. Nang magsimulang pag-usapan ng tinedyer ang pananakit sa sarili, Hindi sana nag-react ang bot gamit ang mga mensahe ng alerto, pag-redirect sa mga propesyonal na mapagkukunan, o mga abiso para sa emergency.ngunit may mga tugon na, ayon sa prosekusyon, ay nagpanormal o nagpalala pa nga sa kanilang pagkabalisa.

Ikinakatuwiran ng mga nagsasakdal na, tulad ng isang nasa hustong gulang na emosyonal o sekswal na nagmamanipula sa isang menor de edad na nagdudulot ng malinaw na pinsala, Ang isang chatbot na ginagaya ang pag-uugaling iyon ay nagdudulot ng maihahambing na sikolohikal na pinsala.Ang pangunahing pagkakaiba ay nasa kahirapan ng pag-uugnay ng direktang responsibilidad sa isang awtomatikong sistema, at sa posibleng tendensiya ng mga menor de edad na labis na magtiwala sa isang kausap na tila nakakaintindi sa kanila at sumasabay sa kanila sa lahat ng oras.

Bilang tugon sa presyur at litigasyon ng media, inanunsyo ng Character.AI ang mga pagbabago sa serbisyo nito, tulad ng Pagbabawal sa karanasan sa chatbot para sa mga menor de edad at mga limitasyon sa oras ng paggamitGayunpaman, para sa maraming organisasyong pangproteksyon ng bata, ang mga hakbang na ito ay masyadong kaunti, huli na, at nagbibigay-diin sa pangangailangan para sa mas mahigpit na mga kontrol mula pa sa yugto ng disenyo.

Legal na responsibilidad para sa AI: mula Estados Unidos hanggang Europa

Mga kasong pagpapakamatay na may kaugnayan sa Character.AI

Ang mga kasong isinampa laban sa Character.AI at Google ay bahagi ng mas malawak na konteksto ng pandaigdigang debate sa responsibilidad ng mga platform ng AISa Estados Unidos, marami sa mga kumpanyang ito ang nagtangkang protektahan ang kanilang mga sarili gamit ang First Amendment, na nagpoprotekta sa kalayaan sa pagsasalita, at sa Section 230 ng Communications Decency Act, na nagbibigay ng immunity sa mga online service provider para sa nilalamang nilikha ng mga ikatlong partido.

Gayunpaman, ang mga kaso na nauugnay sa mga pagpapakamatay sa mga menor de edad ay nagsimula nang tumaas. upang subukan ang mga limitasyon ng mga proteksyong iyonNahaharap ang mga hukom sa mga kumplikadong tanong: Isa lamang bang tagapamagitan sa text ang isang chatbot, o isa ba itong produktong aktibong dinisenyo ng isang kumpanya na dapat managot sa mga nakikinita nitong epekto? Gaano kalayo ang sakop ng pananagutan kapag ang gumagamit ay nakararanas ng malubhang krisis sa kalusugang pangkaisipan?

Sa Europa, ang debate ay nakabatay sa mga regulasyon tulad ng Pangkalahatang Regulasyon sa Proteksyon ng Datos (GDPR) at ang balangkas ng hinaharap Regulasyon ng Artipisyal na Katalinuhan ng EUna kinabibilangan ng mga kategorya ng panganib, mga obligasyon sa transparency, at mga partikular na kinakailangan para sa mga sistemang maaaring makaapekto sa mga menor de edad. Bagama't nagmula ang mga kaso ng Character.AI sa Estados Unidos, ang bawat bagong detalye ay nagpapasigla sa talakayan sa Brussels at sa mga kabisera tulad ng Madrid at Paris.

Eksklusibong nilalaman - Mag-click Dito  Paano magbilang ng mga hilera sa Google Docs

Para sa Espanya, kung saan ang Digital Agenda at ang Pambansang Istratehiya sa Artipisyal na Katalinuhan Itinataguyod nila ang malawakang paggamit ng mga teknolohiyang ito, at ang mga insidenteng tulad ng kinasasangkutan ni Setzer at iba pang mga tinedyer ay nagsisilbing babala. Ang posibilidad na ang mga recreational o pseudo-therapeutic chatbot ay maaaring maging nakaugat sa mga menor de edad sa Europa ay nangangailangan ng masusing pagsusuri sa mga obligasyon patungkol sa pangangasiwa, interbensyon ng tao, at ligtas na disenyo.

Iba pang mga parallel na kaso: OpenAI at ang papel ng ChatGPT

chatgpt magpakamatay

Hindi limitado sa Character.AI ang pokus. Ang OpenAI, ang lumikha ng ChatGPT, ay nahaharap sa mga katulad na kaso Sa Estados Unidos, may mga kaso kung saan ang chatbot ay inakusahan ng mahalagang papel sa pagkamatay ng ilang user na may mga problema sa kalusugang pangkaisipan. Sa isa sa mga kasong ito, iginiit ng pamilya ng isang 16-taong-gulang na ang tool ay nagsilbing isang de facto na "suicide coach."

Mariing itinanggi ng kompanya ang direktang responsibilidad para sa mga pangyayaring ito, na nangangatwiran na ang mga insidente ay dahil sa "maling paggamit, hindi awtorisado o hindi inaasahang paggamit" ng teknolohiyaat nag-anunsyo ng mga hakbang tulad ng Mga kontrol ng magulang sa ChatGPT para sa mga account ng pamilya, mga babala sa panganib, at mga limitasyon sa paggamit.

Higit pa sa mga korte, pinatitibay ng mga kasong ito ang persepsyon na Ang malalaking modelo ng wika ay may kakayahang magtatag ng matinding emosyonal na ugnayankadalasan nang hindi lubos na nalalaman ng mga tao kung paano ito gumagana. Para sa mga batang nasa mahihinang sitwasyon, ang kombinasyon ng pagiging malapit, maliwanag na empatiya, at pagiging available 24/7 ay maaaring maging isang mapanganib na bitag.

Ang ingay na nakapalibot sa OpenAI, Meta, at iba pang pangunahing kumpanya ng teknolohiya ay nagsisilbing backdrop sa mga kasunduang naabot ng Google at Character.AI, na nagmumungkahi na ang industriya ay naghahanda para sa isang patuloy na siklo ng litigasyon, mas mahigpit na mga regulasyon, at mga kahilingan para sa transparency.

Habang lumalabas ang mas maraming detalye tungkol sa mga kasunduang naabot ng Google at Character.AI kasama ang mga apektadong pamilya, Ipinapalagay ng sektor ng teknolohiya na ang yugto ng paglago na halos walang anumang pagsusuri at balanse sa mga regulasyon ay matatapos na.Ang kombinasyon ng legal na presyur, panlipunang pagsusuri, at mga bagong regulasyon sa Europa ay nagtutulak para maisama ang mga chatbot matibay na pananggalang, lalo na kapag sangkot ang mga tinedyer, at pinipilit tayo nitong pag-isipang muli kung paano dinisenyo, sinubukan, at sinusubaybayan ang mga kagamitang ito bago ito ilagay sa mga kamay ng publiko.

Mga batas ng California IA
Kaugnay na artikulo:
Ipinapasa ng California ang SB 243 para i-regulate ang AI chatbots at protektahan ang mga menor de edad