- Grok AI, de xAI y vinculada a X, ha permitido generar imágenes sexualizadas de mujeres y menores sin filtros eficaces.
- Ofcom investiga a X por posible incumplimiento de la Ley de Seguridad en Línea y podría imponer fuertes sanciones.
- Indonesia ha bloqueado temporalmente Grok y otros países como Francia, India y España han activado a sus autoridades.
- xAI ha limitado la función de imágenes de Grok en X a usuarios de pago, pero la app independiente sigue operativa.
La herramienta de inteligencia artificial Grok AI, desarrollada por xAI y vinculada a la red social X, se ha convertido en el centro de un intenso debate internacional al destaparse que permitía crear imágenes manipuladas de personas, incluidas niñas, niños y adolescentes, con un marcado contenido sexualizado. Lo que comenzó como una función de generación de imágenes aparentemente inofensiva ha derivado en un problema que mezcla protección de menores, responsabilidad de las plataformas y supervisión de la inteligencia artificial y la gestión de contenidos generados por IA.
En cuestión de semanas, el caso ha pasado de las redes sociales a los despachos de reguladores y fiscalías en Europa y otros puntos del mundo. Gobiernos, autoridades de protección de datos y organismos de seguridad en línea han puesto el foco en cómo Grok AI gestiona las peticiones relacionadas con menores y hasta qué punto X ha tomado medidas reales para evitar que la herramienta se utilice para generar y difundir material que podría encajar en delitos de abuso sexual infantil o difusión de imágenes íntimas sin consentimiento.
Falta de filtros eficaces y generación de imágenes sexualizadas
La preocupación se disparó cuando expertos en inteligencia artificial y organizaciones especializadas detectaron que Grok carecía de filtros robustos para impedir que los usuarios pidieran imágenes manipuladas con herramientas de generación de imágenes de personas con poca ropa o directamente desnudas. Esta carencia técnica permitió que circularan en X miles de imágenes sugerentes y sexualizadas, muchas de ellas basadas en fotos reales, en las que podían aparecer tanto mujeres adultas como personas que parecían ser menores de edad.
Un informe elaborado por AI Forensics, publicado a comienzos de enero, puso cifras a un fenómeno que hasta entonces se intuía pero no se había cuantificado. Según este análisis, aproximadamente un 53 % de las imágenes generadas por Grok mostraban a personas con escasa ropa, es decir, en contextos sexuales o muy próximos a lo erótico. Dentro de ese grupo, un 81 % correspondía a mujeres y alrededor de un 2 % a individuos que aparentaban tener 18 años o menos, lo que reaviva el temor a que la herramienta contribuya a la creación de material que pueda considerarse abuso sexual infantil o su facilitación.
El mismo documento advertía además de otro factor inquietante: alrededor del 6 % de las imágenes identificadas afectaba a figuras públicas. Este punto abre un frente diferente, relacionado con la creación de contenido sexual falso de personas conocidas, algo que no solo atenta contra su intimidad y reputación, sino que puede reforzar patrones de violencia y acoso digital especialmente nocivos para la infancia y la adolescencia que consume o comparte ese material.
Reino Unido: Ofcom abre una investigación formal sobre X y Grok AI
En Europa, el movimiento más contundente hasta el momento ha llegado desde el Reino Unido. El regulador de comunicaciones y seguridad en línea, Ofcom, ha anunciado la apertura de una investigación formal sobre X para determinar si la plataforma ha cumplido las obligaciones que le impone la Ley de Seguridad en Línea (Online Safety Act). Esta normativa exige a los grandes servicios digitales identificar riesgos, adoptar medidas preventivas y proteger a los usuarios frente al contenido ilegal, con especial atención al abuso sexual infantil.
La investigación se inició después de que Ofcom recibiera quejas que señalaban directamente a la cuenta oficial de Grok AI en X. Según estas denuncias, la IA habría sido utilizada para crear y difundir imágenes de personas desnudas o en actitudes sexualizadas sin su consentimiento, incluyendo supuestos casos en los que la apariencia de las personas recreadas correspondía a niños y niñas. El regulador ha descrito estas informaciones como «profundamente preocupantes» y ha reconocido que podrían encuadrarse en abuso de imágenes íntimas y material de abuso sexual infantil.
Ofcom contactó de urgencia con X el pasado 5 de enero y le concedió un plazo hasta el 9 de enero para detallar qué medidas había aplicado a fin de proteger a los usuarios en territorio británico frente a este tipo de contenidos. Tras analizar la respuesta de la compañía, el organismo decidió dar el siguiente paso y abrir una investigación a fondo para comprobar si X evaluó adecuadamente los riesgos al introducir Grok AI, si implementó mecanismos efectivos para mitigar esos riesgos y si protegió la privacidad y los derechos de las personas potencialmente afectadas.
De confirmarse incumplimientos, Ofcom dispone de un abanico de sanciones que va más allá de una simple advertencia. El regulador puede imponer multas de hasta 18 millones de libras esterlinas o el 10 % de la facturación mundial de la empresa, una cuantía que podría ser especialmente elevada en el caso de grandes plataformas como X. En situaciones consideradas especialmente graves, Ofcom incluso puede solicitar a los tribunales que se ordene a proveedores de pago y anunciantes retirar sus servicios de la plataforma o que los operadores bloqueen el acceso a la red social en el Reino Unido.
Mientras tanto, la ministra británica de Tecnología, Liz Kendall, ha adelantado que comparecerá ante el Parlamento para explicar la posición del Gobierno respecto a X y Grok AI. Esta intervención política apunta a que, más allá de la investigación regulatoria, el caso se ha instalado en el debate público sobre qué límites deben imponerse a la inteligencia artificial cuando existe un riesgo para niñas, niños y adolescentes.
Indonesia bloquea Grok para proteger a mujeres y menores
Las preocupaciones en torno a Grok AI no se limitan a Europa. Desde el sudeste asiático, Indonesia ha dado un paso especialmente llamativo al ordenar el bloqueo temporal del acceso a Grok. La medida fue adoptada por el Ministerio de Comunicaciones y Asuntos Digitales tras una investigación propia que concluyó que la herramienta estaba permitiendo la generación de imágenes manipuladas de carácter comprometedor, similares a las que habían provocado la alarma en otros países.
El comunicado oficial del ministerio puso el acento en la necesidad de proteger a mujeres, menores y, en general, a toda la comunidad frente a la circulación de imágenes creadas mediante inteligencia artificial que puedan resultar degradantes o que vulneren la intimidad. En palabras de la ministra de Comunicaciones y Digitalización, Meutya Hafid, la producción de imágenes manipuladas sin consentimiento supone una grave violación de los derechos humanos, de la dignidad personal y de la seguridad digital del país. Por ello, las autoridades indonesias han exigido a X explicaciones claras sobre el funcionamiento de Grok AI y sobre los controles que aplica para evitar abusos.
Tras el bloqueo, Grok publicó un mensaje en X pidiendo disculpas por las molestias y asegurando que sus equipos trabajaban para resolver los problemas señalados por el regulador. Pese a estas disculpas públicas, las dudas sobre la solidez de los mecanismos de protección de la herramienta siguen muy presentes, especialmente cuando se trata de salvaguardar a niñas y niños frente a posibles usos delictivos o dañinos de la IA.
Reacciones en Europa: Francia, India y el foco en la protección de la infancia
El caso ha resonado también con fuerza en otros países. Autoridades de Francia han presentado denuncias contra X ante la fiscalía y diversos organismos reguladores, calificando el material generado con Grok AI como «manifiestamente ilegal». Estas denuncias se centran sobre todo en la producción y difusión de imágenes sexualizadas de mujeres y menores, y se enmarcan en un debate que en Europa lleva tiempo abierto sobre los límites de la pornografía profunda (deepfake) y la explotación de la imagen sin consentimiento.
Fuera de Europa, pero con repercusión global, India también ha requerido explicaciones a la compañía de Elon Musk por el funcionamiento de Grok AI. Aunque los detalles de las solicitudes indias no se han hecho íntegramente públicos, las autoridades han dejado claro que quieren garantías de que la herramienta no facilita la creación ni la distribución de contenido sexual que afecte a menores, un punto especialmente sensible para cualquier país que trata de reforzar sus leyes de seguridad en línea.
España pone el foco en los posibles delitos contra la infancia
En el contexto europeo, el respuesta española se ha centrado de manera muy específica en la protección de la infancia y la adolescencia. La ministra de Juventud e Infancia, Sira Rego, ha remitido un escrito a la Fiscalía General del Estado solicitando que se investigue si Grok AI podría estar incurriendo en delitos relacionados con la difusión de material de violencia sexual contra menores. La preocupación principal es que la herramienta facilite o amplifique la creación y circulación de imágenes manipuladas que afecten a niñas, niños y adolescentes.
El Ministerio entiende que este tipo de prácticas vulnera gravemente la dignidad, la intimidad y los derechos fundamentales de los menores en el entorno digital. Además, recuerda que podrían encuadrarse en delitos de pornografía infantil y contra la integridad moral, recogidos en el Código Penal español. Por ello, se considera necesario esclarecer si existe responsabilidad penal, tanto por parte de quienes generan y distribuyen ese contenido como, en su caso, por parte de las plataformas y empresas que lo permiten o no lo frenan con suficiente diligencia.
Esta iniciativa se suma a la agenda más amplia de protección de la infancia en España, donde se discute cada vez con más intensidad el impacto que las herramientas de inteligencia artificial pueden tener en la educación, el ocio digital y la construcción de la identidad de los menores y las medidas para proteger a menores en entornos digitales. En este contexto, el caso de Grok AI ha servido como ejemplo práctico de los riesgos concretos que aparecen cuando la tecnología se despliega sin mecanismos de seguridad adecuados.
Restricciones de xAI y dudas sobre su eficacia
Ante la presión regulatoria y mediática, xAI ha reaccionado introduciendo cambios en la disponibilidad de la función de generación de imágenes de Grok dentro de la plataforma X. La compañía ha decidido restringir esa característica exclusivamente a los usuarios suscriptores de pago, con el argumento de que así se reduce el riesgo de uso abusivo y se facilita la supervisión de las cuentas que acceden a estas funciones avanzadas.
Sin embargo, esta medida ha sido recibida con cierto escepticismo por parte de expertos y organizaciones dedicadas a la defensa de los derechos digitales de la infancia. La aplicación independiente de Grok, que funciona fuera de X, continúa permitiendo la generación de imágenes sin necesidad de suscripción, lo que deja abierta la puerta a que se reproduzcan los mismos problemas en otros entornos. Para muchos analistas, limitar la herramienta a usuarios de pago no garantiza por sí solo que se dejen de crear y compartir imágenes sexualizadas de menores, si no se acompaña de filtros técnicos avanzados, equipos de moderación bien dotados y una clara rendición de cuentas.
El escenario actual plantea un dilema delicado: cómo compatibilizar la innovación en inteligencia artificial con la obligación, tanto legal como ética, de proteger a los menores. En el caso concreto de Grok AI, los reguladores europeos y de otros países parecen inclinarse por exigir evaluaciones de impacto más completas, auditorías independientes y sistemas de detección de contenido ilegal mucho más estrictos antes de permitir que estas tecnologías se integren plenamente en la vida cotidiana.
A la vista de las investigaciones abiertas en el Reino Unido, las denuncias en Francia, las actuaciones en India, el bloqueo en Indonesia y los pasos dados en España, Grok AI se ha convertido en uno de los primeros grandes casos en los que una herramienta de IA se ve sometida a un escrutinio internacional por su potencial impacto sobre niñas y niños. Lo que ocurra a partir de ahora marcará probablemente cómo se diseñan, supervisan y regulan las próximas generaciones de sistemas de inteligencia artificial generativa.
Soy un apasionado de la tecnología que ha convertido sus intereses «frikis» en profesión. Llevo más de 10 años de mi vida utilizando tecnología de vanguardia y trasteando todo tipo de programas por pura curiosidad. Ahora me he especializado en tecnología de ordenador y videojuegos. Esto es por que desde hace más de 5 años que trabajo redactando para varias webs en materia de tecnología y videojuegos, creando artículos que buscan darte la información que necesitas con un lenguaje entendible por todos.
Si tienes cualquier pregunta, mis conocimientos van desde todo lo relacionado con el sistema operativo Windows así como Android para móviles. Y es que mi compromiso es contigo, siempre estoy dispuesto a dedicarte unos minutos y ayudarte a resolver cualquier duda que tengas en este mundo de internet.