Google retire Gemma d'AI Studio suite à la plainte d'un sénateur

La décision de Google de retirez votre modèle Gemma de la plateforme AI Studio Cette décision fait suite à une plainte officielle déposée par la sénatrice américaine Marsha Blackburn, qui affirme que L'IA a généré de fausses accusations contre luiCet épisode a relancé le débat sur les limites des systèmes génératifs et la responsabilité des entreprises technologiques lorsqu'un modèle produit des informations nuisibles.

Gemma a été conçue comme un ensemble de modèles légers destinés aux développeurs, et non comme un assistant grand public. Malgré cela, Les utilisateurs y ont accédé via AI Studio y Ils l'ont utilisé pour poser des questions factuelles.ce qui aurait conduit à réponses fabriquées et liens inexistants.

Que s'est-il passé et comment la controverse a-t-elle débuté ?

Selon la version du sénateur, lorsqu'on lui a demandé «Marsha Blackburn a-t-elle été accusée de viol ?", Gemma aurait fourni un compte rendu détaillé mais faux. qui situaient les événements pendant une campagne sénatoriale d'État en 1987, et incluaient des pressions présumées pour obtenir des drogues et actes non consensuels qui n'ont jamais existéLa parlementaire a elle-même précisé que sa campagne remontait à 1998 et qu'elle n'avait jamais reçu une telle accusation.

La réponse de l'IA aurait également intégré liens qui menaient à des pages d'erreur ou des articles d'actualité sans rapport, présentés comme des preuves. Ce point est particulièrement délicat car transforme une « hallucination » en quelque chose qui est perçu comme vérifiable, même si ce n'est pas le cas.

La réaction de Google et les modifications apportées à l'accès de Gemma

Suite à la controverse, Google a expliqué avoir détecté des tentatives d'utilisation de Gemma par des personnes non-développeuses dans AI Studio.avec des enquêtes factuelles. Par conséquent, elle a décidé Retirez Gemma de l'accès public dans AI Studio et gardez-la disponible exclusivement via les API. pour ceux qui développent des applications.

L'entreprise a souligné que Gemma est un modèle « conçu d'abord pour les développeurs » et non un chatbot grand public comme Gemini.Par conséquent, il n'est pas conçu comme un outil de vérification des faits et ne dispose pas d'outils spécifiques de recherche d'informations. Selon l'entreprise, Les hallucinations représentent un défi pour l'ensemble du secteur. et ils s'efforcent activement de les atténuer.

Ce changement implique que Il n'y aura plus d'interface de type chat. dans AI Studio pour Gemma ; son utilisation est limitée aux environnements de développement et aux intégrations contrôlés par des API, un contexte où le développeur assume des garanties et des validations supplémentaires.

Dimension juridique et débat politique sur les préjugés et la diffamation

Blackburn a envoyé une lettre au PDG de Google, Sundar Pichai, décrivant ce qui s'était passé non pas comme une erreur anodine, mais comme diffamation produite par un modèle d'IALe sénateur a demandé des explications sur la manière dont le contenu a été généré, sur les mesures existantes pour minimiser les biais politiques ou idéologiques, et sur les actions qui seront prises pour éviter toute répétition, tout en fixant un délai pour recevoir la réponse.

Lors d'une audition devant la commission du commerce du Sénat, la députée a également soulevé la question auprès du vice-président des affaires gouvernementales et des politiques publiques de Google, Markham Erickson, qui Il a reconnu que les hallucinations constituent un problème connu et a indiqué que l'entreprise travaille à les atténuer.Cette affaire a mis en lumière la responsabilité des entreprises lorsque leurs mannequins portent atteinte à la réputation de personnalités publiques.

La controverse s'est intensifiée avec d'autres épisodes cités par les conservateurs, comme celui de L'activiste Robby Starbuck, qui Il affirme avoir été faussement associé par Gemma à des crimes graves et à l'extrémisme.. Dans ce contexte, Le débat sur les biais possibles est relancé. dans les systèmes d'IA et la nécessité de cadres de sécurité, de surveillance et de voies de recours en cas de dommages.

Au-delà des positions partisanes, cette affaire met en lumière le fait que les modèles non conçus pour l'interaction publique peuvent être mal compris comme assistants générauxCela brouille la frontière entre les prototypes de développement et les produits destinés au grand public, avec des risques évidents si les informations générées sont considérées comme vérifiées.

Le retrait de Gemma d'AI Studio et son confinement à la marque API une tentative de réorienter l'utilisation du modèle vers le domaine pour lequel il a été conçu, tout en soulevant des questions sur normes de véracité, garanties et responsabilité Cela devrait régir les situations où une IA affecte la réputation de personnes réelles, notamment celle des personnalités publiques.