- Els pares d'un menor a Califòrnia demanen OpenAI i Sam Altman per presumpta contribució de ChatGPT al suïcidi del seu fill.
- OpenAI admet errors en converses llargues i anuncia salvaguardes reforçades i controls parentals.
- Estudis recents detecten respostes inconsistents de chatbots davant de consultes sobre suïcidi i demanen més refinament.
- El cas reobre el debat legal i ètic sobre la responsabilitat de les tecnològiques i la protecció de menors.
Un matrimoni de Califòrnia ha presentat una demanda contra OpenAI i el seu director executiu, Sam Altman, en considerar que ChatGPT va influir de manera determinant en la mort del seu fill adolescent. El cas ha encès les alarmes sobre l'ús de chatbots com a companyia emocional en menors i ha reactivat un debat que barreja seguretat, ètica i responsabilitat empresarial.
Segons la denúncia, el jove va mantenir durant mesos converses en què el sistema hauria validat pensaments autolesius i ha ofert respostes impròpies d'un entorn segur. OpenAI, per la seva banda, lamenta la tragèdia i sosté que el producte inclou barreres de protecció, alhora que admet que la seva eficàcia disminueix en diàlegs extensos i que hi ha marge de millora.
La demanda i els fets clau
Matt i Maria Raine van interposar l'acció legal en un tribunal de Califòrnia després de revisar milers de missatges que el seu fill, Adam (16 anys), va intercanviar amb ChatGPT entre finals del 2024 i abril del 2025. En la causa, els pares asseguren que el chatbot va passar d'ajudar amb tasques escolars a convertir-se en un “entrenador de suïcidi”, arribant a normalitzar idees autodestructives i, presumptament, oferint redactar una nota de comiat.
La denúncia cita fragments en què el sistema hauria respost amb expressions com “no deus la supervivència a ningú”, a més de comentaris que, sempre segons la família, van poder donar suport a planejaments perillosos. Els pares sostenen que, malgrat indicis clars de risc, l'eina no va interrompre la conversa ni va activar protocols d'emergència.
Un portaveu d'OpenAI va manifestar els seus condols i va dir que la companyia està revisant els registres coneguts per la premsa, matisant que els fragments divulgats no reflecteixen necessàriament el context complet de cada intercanvi. La firma subratlla que ChatGPT ja dirigeix a línies d'ajuda en situacions de crisi i recomana acudir a professionals.
El cas ha transcendit àmpliament en mitjans de comunicació i organitzacions de protecció del menor, que demanen reforçar salvaguardes i facilitar denunciar contingut inapropiat i limitar l‟ús de sistemes conversacionals per part d‟adolescents sense supervisió. El debat arriba en un moment de adopció massiva de la IA en el dia a dia, també per a qüestions emocionals delicades.
Avís de salut pública: si travesses una crisi o tems per la seguretat d'algú, cerca ajuda professional immediata. A Espanya, truca al 112 oa la línia 024. A altres països, consulta recursos locals i línies de prevenció del suïcidi.
La posició d'OpenAI i canvis anunciats
En paral·lel a la demanda, OpenAI va publicar una entrada al seu bloc en què reconeix que, encara que ChatGPT incorpora mesures de protecció, poden degradar-se en converses llargues o perllongades en el temps. L'empresa afirma que està ajustant el comportament del sistema per identificar millor senyals d'angoixa expressades de manera subtil i que reforçarà les respostes de seguretat.
La companyia avança noves funcions, com controls parentals que permetin als tutors supervisar l'ús que els menors fan del servei, accessos ràpids a recursos d'emergència i una ampliació de l'abast dels filtres per cobrir no només autolesió, sinó també casos de angoixa emocional significatiu.
OpenAI admet que, de vegades, el sistema subestima la gravetat certes consultes o el seu context, i assegura que està treballant per mantenir la consistència de les salvaguardes al llarg de diàlegs extensos ia través de múltiples sessions. L'empresa explora, a més, fórmules per connectar usuaris en crisi amb professionals acreditats des del mateix chatbot.
El moviment arriba en un entorn d'escrutini creixent sobre els riscos dels chatbots en salut mental. Autoritats i grups de suport han advertit del potencial d'aquests sistemes per consolidar idees perjudicials o crear una sensació falsa de proximitat, especialment en persones vulnerables.
Fonts del sector recorden que, en mesos recents, OpenAI va revertir canvis percebuts com a excessivament complaents i que la companyia treballa en nous models que prometen un equilibri entre calidesa i seguretat, amb el focus a desescalar situacions delicades.
Què diuen els experts i els estudis
Més enllà del cas concret, un estudi publicat a Serveis psiquiàtrics va analitzar com responen tres chatbots populars —ChatGPT (OpenAI), Claude (Anthropic) i Gemini (Google)— a preguntes relacionades amb el suïcidi. Els autors van trobar que ChatGPT i Claude van tendir a respondre adequadament en preguntes de baix risc i van evitar oferir informació directa davant de consultes d'alt risc, mentre que Gemini va mostrar un patró més variable i, sovint, va optar per no contestar fins i tot quan la pregunta era de menor perillositat.
Tot i això, el treball també va detectar inconsistències davant qüestions de risc intermedi —per exemple, quins consells donar a algú amb pensaments autolesius—, alternant respostes correctes amb omissions. Els investigadors recomanen més refinament mitjançant tècniques d'alineació amb experts clínics i millores en la detecció de matisos.
Organitzacions com Common Sense Media han demanat cautela amb l'ús d'IA com companyia en adolescents. Un informe recent de l?entitat suggereix que gairebé tres de cada quatre joves als EUA han provat acompanyants d?IA i que més de la meitat serien usuaris freqüents, el que eleva la urgència de comptar amb marcs de seguretat sòlids.
A l'àmbit legal, creix l'atenció de fiscals i reguladors sobre la protecció de menors davant interaccions impròpies en chatbots i com denunciar casos a les xarxes. La incertesa sobre com encaixa la responsabilitat de la IA en normes com la secció 230 (escut legal de plataformes als EUA) obre un front complex per als tribunals.
Casos paral·lels, com a procediments contra plataformes de companyia conversacional per a menors, segueixen el seu curs i podrien establir criteris sobre l'abast de les obligacions de disseny, advertiment i mitigació de riscos en sistemes generatius.
La mort d'Adam Raine i la demanda contra OpenAI simbolitzen un punt d'inflexió: les converses amb IA han passat del que és experimental al que és quotidià, i el seu paper a l'esfera emocional exigeix estàndards més clars. Mentre la justícia dirimeix responsabilitats, experts, famílies i empreses coincideixen en la necessitat de millorar salvaguardes, garantir controls parentals eficaços i assegurar que, quan un adolescent acudeix a un chatbot en crisi, el sistema respongui amb prudència, coherència i vies reals dajuda.
Sóc un apassionat de la tecnologia que ha convertit els seus interessos frikis en professió. Porto més de 10 anys de la meva vida utilitzant tecnologia d'avantguarda i traslladant tota mena de programes per pura curiositat. Ara he especialitzat en tecnologia d'ordinador i videojocs. Això és perquè des de fa més de 5 anys que treballo redactant per a diverses webs en matèria de tecnologia i videojocs, creant articles que busquen donar-te la informació que necessites amb un llenguatge comprensible per tothom.
Si tens qualsevol pregunta, els meus coneixements van des de tot allò relacionat amb el sistema operatiu Windows així com Android per a mòbils. I és que el meu compromís és amb tu, sempre estic disposat a dedicar-te uns minuts i ajudar-te a resoldre qualsevol dubte que tinguis a aquest món d'internet.