Grok AI lovade kreativitet i X. Nu står den inför utredningar för ett mycket allvarligare problem.

Verktyget för artificiell intelligens Grok AI, utvecklad av xAI och länkad till det sociala nätverket X, har blivit centrum för en intensiv internationell debatt efter att det avslöjades att Det möjliggjorde skapandet av manipulerade bilder av människor, inklusive barn och tonåringar, med ett tydligt sexualiserat innehåll.Det som började som en till synes harmlös bildgenereringsfunktion har utvecklats till ett problem som blandar barnskydd, plattformsansvar och övervakning av artificiell intelligens och AI-genererad innehållshantering.

På bara några veckor har fallet spridits från sociala medier till tillsynsmyndigheters och åklagarmyndigheters kontor i Europa och andra delar av världen. Regeringar, dataskyddsmyndigheter och onlinesäkerhetsmyndigheter har fokuserat på hur Grok AI hanterar förfrågningar relaterade till minderåriga. och i vilken utsträckning X har vidtagit verkliga åtgärder för att för att förhindra att verktyget används för att generera och sprida material som skulle kunna passa in i definitionen av sexuella övergrepp mot barn eller spridning av intima bilder utan samtycke.

Brist på effektiva filter och generering av sexualiserade bilder

Oron sköt i höjden när Experter på artificiell intelligens och specialiserade organisationer upptäckte att Grok saknade robusta filter för att förhindra att användare begär manipulerade bilder med verktyg för bildgenerering av människor lättklädda eller helt nakna. Denna tekniska brist gjorde det möjligt för dem att röra sig i X Tusentals suggestiva och sexualiserade bilder, många av dem baserade på riktiga foton, där både vuxna kvinnor och personer som verkade vara minderåriga kunde förekomma.

En rapport utarbetad av AI Forensics, publicerad i början av januari, satte siffror på ett fenomen som dittills hade misstänkts men inte kvantifierats. Enligt denna analys visade cirka 53 % av bilderna som genererades av Grok personer som bar lite kläder.Det vill säga i sexuella eller mycket erotiska sammanhang. Inom den gruppen var 81 % kvinnor och cirka 2 % individer som verkade vara 18 år eller yngre, vilket Detta väcker återigen farhågor om att verktyget skulle kunna bidra till skapandet av material som skulle kunna betraktas som sexuella övergrepp mot barn eller underlättande av dessa..

Samma dokument varnade också för en annan oroande faktor: Cirka 6 % av de identifierade bilderna involverade offentliga personerDenna punkt öppnar en annan front, relaterad till skapande av falskt sexuellt innehåll av välkända personerDetta kränker inte bara deras integritet och rykte, utan kan också förstärka mönster av våld och digitala trakasserier som är särskilt skadliga för barn och ungdomar som konsumerar eller delar detta material.

Storbritannien: Ofcom inleder formell utredning om X och Grok AI

I Europa har det hittills mest avgörande draget kommit från Storbritannien. Tillsynsmyndigheten för onlinekommunikation och säkerhet, Ofcom har meddelat att de inlett en formell utredning om X för att avgöra om plattformen har uppfyllt de skyldigheter som åligger den enligt lagen om nätsäkerhet. Denna lagstiftning kräver att stora digitala tjänster... Identifiera risker, vidta förebyggande åtgärder och skydda användare från olagligt innehåll, med särskild uppmärksamhet på sexuella övergrepp mot barn.

Utredningen inleddes efter att Ofcom mottagit klagomål som pekade direkt mot det officiella Grok AI-kontot på XEnligt dessa anklagelser ska AI ha använts för att skapa och sprida Bilder på nakna personer eller personer i sexualiserade poser utan deras samtyckeinklusive påstådda fall där de återskapade individerna liknade barn. Tillsynsmyndigheten har beskrivit denna information som "djupt oroande" och erkänt att den skulle kunna falla under missbruk av intima bilder och material med sexuella övergrepp mot barn.

Ofcom kontaktade X snarast den 5 januari och Han gav en tidsfrist fram till den 9 januari för att i detalj redogöra för vilka åtgärder han hade genomfört. för att skydda användare på brittiskt territorium från den här typen av innehåll. Efter att ha analyserat företagets svar beslutade myndigheten att ta nästa steg och Inled en grundlig utredning för att avgöra om X tillräckligt bedömde riskerna vid införandet av Grok AI, om den införde effektiva mekanismer för att minska dessa risker och om den skyddade integriteten och rättigheterna för potentiellt berörda individer.

Om överträdelser bekräftas har Ofcom en rad sanktioner som går utöver en enkel varning. Tillsynsmyndigheten kan utdöma böter på upp till 18 miljoner pund eller 10 % av företagets globala omsättning., ett belopp som kan vara särskilt högt när det gäller stora plattformar som X. I situationer som anses vara särskilt allvarliga, Ofcom kan till och med begära att domstolarna beordrar betalningsleverantörer och annonsörer att dra tillbaka sina tjänster. av plattformen eller att operatörer blockerar åtkomst till det sociala nätverket i Storbritannien.

Samtidigt den brittiske teknikministern, Liz Kendall har meddelat att hon kommer att framträda inför parlamentet. för att förklara regeringens ståndpunkt gällande X och Grok AI. Denna politiska intervention tyder på att, utöver den tillsynsmässiga utredningen, Fallet har gått in i den offentliga debatten om vilka gränser som bör införas för artificiell intelligens. när det finns en risk för flickor, pojkar och ungdomar.

Indonesien blockerar Grok för att skydda kvinnor och barn

Oro kring Grok AI är inte begränsad till Europa. Från Sydostasien, Indonesien har tagit ett särskilt slående steg genom att beordra en tillfällig blockering av tillträdet till Grok.Åtgärden antogs av ministeriet för kommunikation och digitalisering efter en egen utredning, som drog slutsatsen att verktyget tillät generering av manipulerade bilder av kompromissande natur, liknande de som hade orsakat oro i andra länder.

I ministeriets officiella uttalande betonade man behovet av att att skydda kvinnor, barn och i allmänhet hela samhället som svar på spridningen av bilder skapade med artificiell intelligens som kan vara förnedrande eller kränka integriteten. Med kommunikations- och digitaliseringsminister Meutya Hafids ord, Produktion av manipulerade bilder utan samtycke utgör en allvarlig kränkning av mänskliga rättigheter, personlig värdighet och landets digitala säkerhet.Därför har indonesiska myndigheter krävt tydliga förklaringar från X angående Grok AI:s funktion och de kontroller som tillämpas för att förhindra missbruk.

Efter blockaden, Grok publicerade ett meddelande på X och bad om ursäkt för besväret. och försäkrade att deras team arbetade med att lösa de problem som tillsynsmyndigheten identifierat. Trots dessa offentliga ursäkter, Tvivel kring robustheten hos verktygets skyddsmekanismer kvarstår i hög grad.särskilt när det gäller att skydda barn från potentiell kriminell eller skadlig användning av AI.

Reaktioner i Europa: Frankrike, Indien och fokus på barnskydd

Fallet har också fått starkt genljud i andra länder. Franska myndigheter har lämnat in klagomål mot X till åklagarmyndigheten och olika tillsynsmyndigheter.De beskrev materialet som genererats med Grok AI som "uppenbart olagligt". Dessa anklagelser fokuserar främst på produktion och spridning av sexualiserade bilder av kvinnor och minderåriga, och de är en del av en debatt som har pågått i Europa en tid om gränserna för djupförfalskning av pornografi och utnyttjande av bilder utan samtycke.

Utanför Europa, men med globala konsekvenser, Indien har också krävt förklaringar från Elon Musks företag. på grund av Grok AI:s drift. Även om detaljerna kring de indiska förfrågningarna inte har offentliggjorts helt, Myndigheterna har tydligt gjort det möjligt att garantera att verktyget inte underlättar skapandet eller distributionen av sexuellt innehåll som påverkar minderåriga.Detta är en särskilt känslig punkt för alla länder som försöker stärka sina lagar om onlinesäkerhet.

Spanien fokuserar på potentiella brott mot barn

I det europeiska sammanhanget har den spanska responsen fokuserat mycket specifikt på skyddet av barn och ungdomar. Ministern för ungdomsfrågor och barndom, Sira Rego, har skickat ett brev till statsåklagarens kansli begära en utredning om huruvida Grok AI kan vara inblandad i brott relaterade till spridning av material med sexuellt våld mot minderårigaDen största oron är att verktyget skulle kunna underlätta eller förstärka skapandet och spridningen av manipulerade bilder som påverkar barn och ungdomar.

Ministeriet förstår att den här typen av praxis Det kränker allvarligt minderårigas värdighet, integritet och grundläggande rättigheter. i den digitala miljön. Kom dessutom ihåg att de kan klassificeras inom barnpornografibrott och brott mot moralisk integritetDessa brott omfattas av den spanska strafflagen. Därför anses det nödvändigt att klargöra huruvida det finns straffrättsligt ansvar, både för dem som genererar och distribuerar detta innehåll och, i förekommande fall, för de plattformar och företag som tillåter det eller underlåter att förhindra det med tillräcklig noggrannhet.

Detta initiativ är en del av den bredare agendan för barnskydd i Spanien, där Den inverkan som verktyg för artificiell intelligens kan ha på utbildning, digital fritid och konstruktionen av barns och ungdomars identitet diskuteras med allt större intensitet. åtgärder för att skydda minderåriga i digitala miljöerI detta sammanhang har Grok AI-fallet fungerat som ett praktiskt exempel på de specifika risker som uppstår när teknik används utan tillräckliga säkerhetsmekanismer.

Begränsningar av xAI och tvivel om dess effektivitet

Inför påtryckningar från myndigheter och media, xAI har svarat genom att införa ändringar i tillgängligheten för Groks bildgenereringsfunktion. inom X-plattformen. Företaget har beslutat Begränsa den funktionen enbart till betalande prenumeranter.Argumentet är att detta minskar risken för missbruk och underlättar övervakningen av konton som har tillgång till dessa avancerade funktioner.

Denna åtgärd har dock mötts med viss skepsis av experter och organisationer som arbetar för att försvara barns digitala rättigheter. Groks fristående applikation, som körs utanför X, fortsätter att tillåta bildgenerering utan prenumeration.Detta öppnar dörren för att samma problem kan uppstå i andra miljöer. För många analytiker, Att begränsa verktyget till betalande användare garanterar inte i sig att skapandet och delandet av sexualiserade bilder på minderåriga kommer att upphöra., såvida det inte åtföljs av avancerade tekniska filter, välutrustade modereringsteam och tydlig ansvarsskyldighet.

Det nuvarande scenariot presenterar ett känsligt dilemma: Hur man kan förena innovation inom artificiell intelligens med den rättsliga och etiska skyldigheten att skydda minderårigaI det specifika fallet med Grok AI verkar europeiska och andra nationella tillsynsmyndigheter benägna att kräva mer omfattande konsekvensbedömningar, oberoende granskningar och mycket strängare system för att upptäcka olagligt innehåll innan dessa tekniker helt integreras i vardagen.

Mot bakgrund av de utredningar som inletts i Storbritannien, klagomålen i Frankrike, åtgärderna i Indien, blockaden i Indonesien och de åtgärder som vidtagits i Spanien, Grok AI har blivit ett av de första större fallen där ett AI-verktyg har granskats internationellt för dess potentiella inverkan på barn.Vad som händer från och med nu kommer sannolikt att forma hur framtida generationer av generativa artificiella intelligenssystem utformas, övervakas och regleras.

Relaterad artikel:

AI-drivna leksaker (chatbotar) granskas för säkerhetsbrister

Alberto Navarro

Jag är en teknikentusiast som har gjort sina "nördar"-intressen till ett yrke. Jag har tillbringat mer än 10 år av mitt liv med att använda den senaste tekniken och mixtrat med alla typer av program av ren nyfikenhet. Nu har jag specialiserat mig på datateknik och tv-spel. Detta beror på att jag i mer än 5 år har arbetat med att skriva för olika webbplatser om teknik och videospel, skapa artiklar som försöker ge dig den information du behöver på ett språk som är begripligt för alla.

Om du har några frågor sträcker sig min kunskap från allt som rör operativsystemet Windows samt Android för mobiltelefoner. Och mitt engagemang är för dig, jag är alltid villig att spendera några minuter och hjälpa dig att lösa alla frågor du kan ha i den här internetvärlden.