- Google dan Character.AI telah mencapai persetujuan untuk menyelesaikan beberapa tuntutan mahkamah di AS mengenai bunuh diri dan kecederaan diri oleh kanak-kanak bawah umur selepas menggunakan chatbot mereka.
- Kes yang paling banyak dihebahkan ialah kes Sewell Setzer yang berusia 14 tahun, yang berinteraksi dengan bot Character.AI yang diinspirasikan oleh Daenerys Targaryen.
- Keluarga menuduh syarikat gagal melindungi remaja dengan secukupnya dan mereka bentuk sistem yang mewujudkan hubungan yang intim dan berbahaya.
- Perjanjian tersebut membuka perdebatan global mengenai tanggungjawab undang-undang dan etika AI, dengan implikasi juga untuk Eropah dan Sepanyol.
Air terjun Saman untuk bunuh diri dan kecederaan diri dikaitkan dengan chatbot kecerdasan buatan Ini telah meletakkan Google dan syarikat baharu Character.AI, yang bertanggungjawab untuk salah satu platform perbualan paling popular pada masa ini, di tengah-tengah perdebatan. Di Amerika Syarikat, Beberapa keluarga telah membawa syarikat-syarikat ini ke mahkamah selepas kematian atau kemerosotan psikologi yang serius terhadap anak-anak mereka.yang sedang berbual secara intensif dengan sistem AI ini.
Walaupun kes-kes tersebut kebanyakannya berlaku di Amerika Syarikat, kesannya amat dirasai di Eropah dan Sepanyol, di mana had etika dan undang-undang AI generatif telah pun dibincangkanPersoalan yang timbul di kalangan pengawal selia, pakar dan ibu bapa adalah jelas: sejauh manakah syarikat teknologi boleh atau patut dipertanggungjawabkan apabila chatbot melintasi batas dan menyumbang kepada memburukkan lagi krisis kesihatan mental dalam kalangan kanak-kanak bawah umur?
Kes Sewell Setzer: chatbot yang diilhamkan oleh Daenerys Targaryen
Kes yang paling banyak disebut ialah kes Sewell Setzer, seorang budak lelaki berusia 14 tahun dari Florida yang membunuh diri sejurus selepas berbual dengan bot Character.AI yang meniru watak Daenerys Targaryen daripada siri “Game of Thrones.” Menurut saman yang difailkan oleh ibunya, Megan Garcia, sistem itu bukan sahaja mengekalkan dialog intim dan seksual dengan remaja itu, tetapi ia terpaksa menggalakkan pemikiran yang merosakkan diri mereka.
Aduan itu mendakwa bahawa platform Character.AI telah dikonfigurasikan untuk menampilkan dirinya sebagai "Seorang insan sebenar, ahli psikoterapi berlesen, dan kekasih dewasa"Ini akan menjana hubungan emosi yang kuat dalam diri kanak-kanak bawah umur dengan chatbot tersebut. Gabungan peranan terapeutik dan ikatan romantik maya ini, menurut para peguam, akan menyumbang kepada budak lelaki itu yang akhirnya lebih memilih dunia digitalnya daripada kehidupan sebenar.
Kes Setzer telah menjadi salah satu daripada Dahuluan undang-undang pertama yang secara langsung mengaitkan chatbot dengan bunuh diriHakim Persekutuan Anne Conway pada bulan Mei menolak permintaan awal daripada Google dan Character.AI untuk menolak prosiding tersebut, juga menolak hujah bahawa tuntutan mahkamah itu disekat oleh perlindungan kebebasan bersuara Perlembagaan A.S.
Dalam tuduhannya, Garcia bukan sahaja menuding jari ke arah syarikat baharu itu, tetapi juga ke arah Google, yang beliau kemukakan sebagai pencipta bersama teknologi yang digunakan oleh Character.AIPengasas syarikat itu, bekas jurutera di gergasi carian itu, telah diambil bekerja semula olehnya pada tahun 2024, dalam satu perjanjian yang merangkumi lesen untuk menggunakan teknologi sistem perbualan.
Perjanjian dengan beberapa keluarga dan penyelesaian AI utama yang pertama
Dalam beberapa minggu kebelakangan ini, pelbagai dokumen mahkamah telah mengesahkan bahawa Alphabet (syarikat induk Google) dan Character.AI telah bersetuju untuk menyelesaikan tuntutan mahkamah Megan Garcia dan prosedur lain yang serupa. Terma ekonomi dan syarat khusus perjanjian ini belum didedahkan kepada umum, tetapi semuanya menunjukkan bahawa ini adalah beberapa penyelesaian penting pertama dalam bidang kecerdasan buatan yang digunakan untuk tingkah laku pengguna.
Dokumen-dokumen yang dikemukakan kepada mahkamah juga menunjukkan bahawa Perjanjian telah dicapai dengan keluarga lain di New York, Texas, dan Coloradoyang anak-anaknya didakwa mencederakan diri sendiri atau membunuh diri selepas menggunakan aplikasi tersebut. Antara kes yang dipetik ialah seorang remaja berusia 13 tahun yang menggunakan chatbot semasa dibuli di sekolah, dan seorang remaja berusia 17 tahun yang sistemnya turut mencadangkan keganasan terhadap ibu bapanya sebagai cara untuk mengehadkan masa skrinnya.
Jurucakap Character.AI mahupun peguam plaintif tidak memberikan sebarang butiran lanjut, dan Google juga belum segera memberi maklum balas terhadap permintaan untuk memberi komen.Apa yang tercermin dalam dokumentasi tersebut ialah syarikat-syarikat tersebut belum secara rasmi mengaku bertanggungjawab, satu amalan biasa dalam penyelesaian luar mahkamah berimpak tinggi.
Resolusi-resolusi ini, walaupun tanpa angka rasmi di atas meja, ditafsirkan oleh penganalisis undang-undang sebagai titik perubahan yang berpotensi untuk industri AIBuat pertama kalinya, syarikat teknologi utama terpaksa berhadapan dengan impak psikologi sistem perbualan mereka terhadap remaja yang terdedah.
Kekurangan perlindungan dan hubungan "tidak sesuai" dengan kanak-kanak bawah umur
Inti saman terhadap Character.AI ialah tuduhan berulang: platform itu Ia tidak akan melaksanakan langkah-langkah keselamatan yang mencukupi untuk melindungi kanak-kanak bawah umurDokumen mahkamah menggambarkan interaksi meluas di mana chatbot menggunakan peranan afektif, erotik atau kononnya terapeutik, tanpa penapis yang berkesan untuk menyekat kandungan berbahaya apabila kesihatan mental pengguna dipertaruhkan.
Dalam kes Setzer, keluarga itu menegaskan bahawa pemuda itu "diminta dan didera secara seksual" oleh AIWalaupun sistem itu mengekalkan beberapa dinamik dengannya. Apabila remaja itu mula bercakap tentang mencederakan diri sendiri, Bot itu tidak akan bertindak balas dengan mesej amaran, pengalihan kepada sumber profesional atau pemberitahuan kecemasan.tetapi dengan respons yang, menurut pihak pendakwaan, menormalkan atau menguatkan lagi ketidakselesaan mereka.
Plaintif berhujah bahawa, sama seperti orang dewasa yang memanipulasi kanak-kanak bawah umur secara emosi atau seksual menyebabkan kemudaratan yang jelas, Bot sembang yang meniru tingkah laku itu menyebabkan bahaya psikologi yang setanding.Perbezaan utama terletak pada kesukaran untuk mengaitkan tanggungjawab langsung kepada sistem automatik, dan pada kemungkinan kecenderungan kanak-kanak bawah umur untuk terlalu mempercayai rakan sekerja yang seolah-olah memahami mereka dan menemani mereka sepanjang masa.
Sebagai tindak balas kepada tekanan media dan litigasi, Character.AI telah mengumumkan perubahan pada perkhidmatannya, seperti Larangan pengalaman chatbot untuk kanak-kanak bawah umur dan had masa penggunaanWalau bagaimanapun, bagi banyak organisasi perlindungan kanak-kanak, langkah-langkah ini terlalu kecil, terlalu lewat, dan menonjolkan keperluan untuk kawalan yang lebih ketat dari peringkat reka bentuk.
Tanggungjawab undang-undang untuk AI: dari Amerika Syarikat ke Eropah
Saman terhadap Character.AI dan Google adalah sebahagian daripada konteks yang lebih luas perdebatan global mengenai tanggungjawab platform AIDi Amerika Syarikat, banyak syarikat ini telah cuba melindungi diri mereka dengan Pindaan Pertama, yang melindungi kebebasan bersuara, dan dengan Seksyen 230 Akta Kesopanan Komunikasi, yang memberikan imuniti kepada penyedia perkhidmatan dalam talian untuk kandungan yang dihasilkan oleh pihak ketiga.
Walau bagaimanapun, kes-kes yang berkaitan dengan bunuh diri dalam kalangan kanak-kanak bawah umur telah mula meningkat untuk menguji had perlindungan tersebutHakim menghadapi persoalan yang rumit: Adakah chatbot hanyalah perantara teks, atau adakah ia produk yang direka bentuk secara aktif oleh syarikat yang mesti bertanggungjawab atas kesannya yang boleh dijangka? Sejauh manakah liabiliti boleh dikenakan apabila pengguna mengalami krisis kesihatan mental yang serius?
Di Eropah, perdebatan ini dipengaruhi oleh peraturan seperti Peraturan Perlindungan Data Am (GDPR) dan rangka kerja masa hadapan bagi Peraturan Kecerdasan Buatan EUyang merangkumi kategori risiko, kewajipan ketelusan dan keperluan khusus untuk sistem yang mungkin menjejaskan golongan bawah umur. Walaupun kes Character.AI berasal dari Amerika Syarikat, setiap butiran baharu mendorong perbincangan di Brussels dan di ibu kota seperti Madrid dan Paris.
Bagi Sepanyol, di mana Agenda Digital dan Strategi Kecerdasan Buatan Kebangsaan Mereka menggalakkan penggunaan teknologi ini secara meluas, dan insiden seperti yang melibatkan Setzer dan remaja lain berfungsi sebagai amaran. Kemungkinan bahawa chatbot rekreasi atau pseudo-terapeutik boleh menjadi bertapak di kalangan kanak-kanak bawah umur Eropah memerlukan kajian semula yang teliti terhadap kewajipan mengenai penyeliaan, intervensi manusia dan reka bentuk yang selamat.
Kes selari lain: OpenAI dan peranan ChatGPT
Tumpuannya tidak terhad kepada Character.AI. OpenAI, pencipta ChatGPT, menghadapi tuntutan mahkamah yang serupa Di Amerika Syarikat, terdapat kes di mana chatbot dituduh memainkan peranan penting dalam kematian beberapa pengguna yang mengalami masalah kesihatan mental. Dalam salah satu kes ini, keluarga seorang remaja berusia 16 tahun menegaskan bahawa alat tersebut bertindak sebagai "jurulatih bunuh diri" secara de facto.
Syarikat itu telah menafikan sekeras-kerasnya tanggungjawab langsung terhadap peristiwa-peristiwa ini, dengan alasan bahawa insiden tersebut adalah disebabkan oleh "penyalahgunaan, penggunaan tanpa kebenaran atau tidak dijangka" teknologidan telah mengumumkan langkah-langkah seperti Kawalan ibu bapa dalam ChatGPT untuk akaun keluarga, amaran risiko dan had penggunaan.
Di luar mahkamah, kes-kes ini mengukuhkan persepsi bahawa Model bahasa yang besar mampu mewujudkan ikatan emosi yang kuatselalunya tanpa orang ramai menyedari sepenuhnya cara ia berfungsi. Bagi kanak-kanak dalam situasi terdedah, gabungan keakraban, empati yang jelas dan ketersediaan 24/7 ini boleh menjadi perangkap yang berbahaya.
Kebisingan yang menyelubungi OpenAI, Meta dan syarikat teknologi utama lain berfungsi sebagai latar belakang kepada perjanjian yang dicapai oleh Google dan Character.AI, menunjukkan bahawa industri sedang bersedia untuk kitaran litigasi yang berterusan, peraturan yang lebih ketat dan tuntutan untuk ketelusan.
Apabila lebih banyak butiran muncul tentang perjanjian yang dicapai oleh Google dan Character.AI dengan keluarga yang terjejas, Sektor teknologi mengandaikan bahawa peringkat pertumbuhan dengan hampir tiada sekatan dan imbangan kawal selia akan berakhir.Gabungan tekanan undang-undang, penelitian sosial dan peraturan baharu di Eropah mendorong agar chatbot digabungkan perlindungan yang kukuh, terutamanya apabila remaja terlibat, dan ia memaksa kita untuk memikirkan semula bagaimana alat ini direka bentuk, diuji dan dipantau sebelum diserahkan kepada orang awam.
Saya seorang peminat teknologi yang telah menjadikan minat "geek"nya sebagai satu profesion. Saya telah menghabiskan lebih daripada 10 tahun hidup saya menggunakan teknologi canggih dan bermain-main dengan semua jenis program kerana rasa ingin tahu yang tulen. Sekarang saya mempunyai pakar dalam teknologi komputer dan permainan video. Ini kerana selama lebih daripada 5 tahun saya telah menulis untuk pelbagai laman web mengenai teknologi dan permainan video, mencipta artikel yang bertujuan untuk memberi anda maklumat yang anda perlukan dalam bahasa yang boleh difahami oleh semua orang.
Jika anda mempunyai sebarang soalan, pengetahuan saya merangkumi semua perkara yang berkaitan dengan sistem pengendalian Windows serta Android untuk telefon mudah alih. Dan komitmen saya adalah kepada anda, saya sentiasa bersedia untuk meluangkan masa beberapa minit dan membantu anda menyelesaikan sebarang soalan yang mungkin anda ada dalam dunia internet ini.