- Google treu el model Gemma d'AI Studio i el limita a ús via API per a desenvolupadors
- La senadora Marsha Blackburn denuncia que la IA va generar acusacions falses sobre conducta sexual
- Google al·lega un mal ús d'una eina pensada per a desenvolupadors i reconeix el repte de les al·lucinacions
- El cas revifa el debat polític i legal sobre biaixos, difamació i responsabilitat a la IA
La decisió de Google de retirar el model Gemma de la plataforma AI Studio arriba després de la queixa formal de la senadora nord-americana Marsha Blackburn, que afirma que la IA va generar acusacions falses en contra. L'episodi ha revifat la discussió sobre els límits dels sistemes generatius i la responsabilitat de les tecnològiques quan un model produeix informacions perjudicials.
Gemma estava concebut com un conjunt de models lleugers orientats a desenvolupadors, no com a assistent de consum general. Tot i així, usuaris van accedir a través d'AI Studio y el van fer servir per plantejar preguntes de fets, el que hauria desembocat a respostes fabricades i enllaços inexistents.
Què va passar i com es va originar la polèmica
Segons la versió de la senadora, en preguntar “Marsha Blackburn ha estat acusada de violació?", Gemma hauria tornat una narració detallada però falsa que situava els fets durant una campanya al Senat estatal el 1987, i incloïa suposades pressions per obtenir medicaments i actes no consensuats que mai no van existir. La mateixa parlamentària va precisar que la seva campanya va ser el 1998 i que no ha rebut mai una acusació d'aquest tipus.
La resposta de la IA hauria incorporat a més enllaços que portaven a pàgines d'error oa notícies no relacionades, presentats com si fossin proves. Aquest punt és especialment sensible, perquè converteix una 'al·lucinació' en una cosa que es percep com a verificable, encara que no ho sigui.
La reacció de Google i els canvis a l'accés a Gemma
Després de la polèmica, Google va explicar que havia detectat intents d'ús de Gemma per part de persones no desenvolupadores a AI Studio, amb consultes de caràcter factual. Per això, va decidir retirar Gemma de l'accés públic a AI Studio i mantenir-lo disponible exclusivament a través d'API per als que construeixen aplicacions.
La companyia va subratllar que Gemma és un model 'developer-first' i no un chatbot de consum com Gemini, de manera que no està dissenyat com a verificador de fets ni compta amb eines específiques de recuperació dinformació. En paraules de l'empresa, les al·lucinacions són un repte de tota la indústria i treballen activament per mitigar-les.
Aquest canvi implica que ja no hi haurà una interfície tipus xat a AI Studio per a Gemma; el seu ús queda restringit a entorns de desenvolupament ia integracions controlades mitjançant API, un context on el desenvolupador assumeix salvaguardes i validacions addicionals.
Dimensió legal i debat polític sobre biaixos i difamació
Blackburn va enviar una carta al CEO de Google, Sundar Pichai, qualificant el que ha passat no com un error inofensiu, sinó com difamació produïda per un model d'IA. La senadora va demanar explicacions sobre com es va generar el contingut, quines mesures hi ha per minimitzar biaixos polítics o ideològics i quines accions s'adoptaran per impedir repeticions, fixant a més un termini per rebre la resposta.
Durant una audiència del Comitè de Comerç del Senat, la parlamentària també va plantejar l'assumpte al vicepresident d'Afers Governamentals i Polítiques Públiques de Google, Markham Erickson, que va reconèixer que les al·lucinacions són un problema conegut i va assenyalar que la companyia està treballant per mitigar-les. El cas ha intensificat el focus sobre la responsabilitat de les companyies quan els seus models fan malbé la reputació de figures públiques.
La controvèrsia es va amplificar amb altres episodis citats per conservadors, Com el de l' activista Robby Starbuck, que assegura haver estat falsament vinculat per Gemma amb greus delictes i extremisme. En aquest context, es revifa el debat sobre possibles biaixos sistemes de IA i la necessitat de marcs de seguretat, supervisió i vies de recurs quan es produeixen danys.
Més enllà de les posicions partidistes, el cas posa en relleu que models no pensats per a interacció pública poden ser malinterpretats com a assistents generals, difuminant la frontera entre prototips de desenvolupament i productes per al gran públic, amb riscos evidents si allò generat es pren com a informació verificada.
La retirada de Gemma d'AI Studio i el seu confinament a l'API marquen un intent de reconduir l'ús del model a l'àmbit pel qual va ser concebut, al mateix temps que obre interrogants sobre els estàndards de veracitat, les salvaguardes i la rendició de comptes que hauran de regir quan una IA afecti la reputació de persones reals, especialment càrrecs públics.
Sóc un apassionat de la tecnologia que ha convertit els seus interessos frikis en professió. Porto més de 10 anys de la meva vida utilitzant tecnologia d'avantguarda i traslladant tota mena de programes per pura curiositat. Ara he especialitzat en tecnologia d'ordinador i videojocs. Això és perquè des de fa més de 5 anys que treballo redactant per a diverses webs en matèria de tecnologia i videojocs, creant articles que busquen donar-te la informació que necessites amb un llenguatge comprensible per tothom.
Si tens qualsevol pregunta, els meus coneixements van des de tot allò relacionat amb el sistema operatiu Windows així com Android per a mòbils. I és que el meu compromís és amb tu, sempre estic disposat a dedicar-te uns minuts i ajudar-te a resoldre qualsevol dubte que tinguis a aquest món d'internet.