Que son as alucinacións da IA ​​e como reducilas?

Nos últimos anos, a intelixencia artificial, incluíndo modelos de última xeración, pasou da teoría á vida cotiá e, con ela, xurdiron fenómenos que convén comprender con calma. Entre eles, o chamado alucinacións da IA, bastante frecuentes nos modelos xerativos, convertéronse nunha conversa recorrente, porque determinan cando podemos confiar —ou non— nunha resposta automática.

Cando un sistema xera contido convincente pero inexacto, fabricado ou sen fundamento, estamos a falar de alucinacións. Estas saídas non son caprichos: son o resultado de como aprenden e descodifican os modelos, a calidade dos datos que viron e as súas propias limitacións á hora de aplicar o coñecemento ao mundo real.

Que entendemos por alucinacións IA?

No campo da IA ​​xerativa, unha alucinación é unha saída que, a pesar de soar sólida, non está respaldado por datos reais ou en patróns de adestramento válidos. Ás veces o modelo "enche os ocos", outras veces descodifica mal e, con bastante frecuencia, produce información que non segue ningún patrón identificable.

O termo é metafórico: as máquinas non "ven" como nós, pero a imaxe encaixa. Do mesmo xeito que unha persoa pode ver figuras nas nubes, un modelo pode interpretar patróns onde non os hai, especialmente en tarefas de recoñecemento de imaxes ou na xeración de textos moi complexos.

Os grandes modelos lingüísticos (Maestría en Dereito) aprenden identificando regularidades en grandes corpora e logo predicindo a seguinte palabra. É un autocompletar extremadamente potente, pero aínda así é autocompletado: se os datos son ruidosos ou incompletos, poden producir saídas plausibles e, ao mesmo tempo, erróneas.

Ademais, a rede que alimenta esta aprendizaxe contén falsidades. Os propios sistemas "aprenden" a repetir erros e prexuízos existentes, e ás veces inventan directamente citas, ligazóns ou detalles que nunca existiron, presentados cunha coherencia enganosa.

Por que ocorren: causas das alucinacións

Non hai unha única causa. Entre os factores máis comúns está sesgo ou inexactitude nos datos de adestramentoSe o corpus está incompleto ou mal equilibrado, o modelo aprende patróns incorrectos que logo extrapola.

Tamén inflúe na sobreaxusteCando un modelo se apega demasiado aos seus datos, perde a súa capacidade de xeneralización. En escenarios da vida real, esta rixidez pode levar a interpretacións enganosas porque "forza" o que aprendeu en diferentes contextos.

La complexidade do modelo e a propia descodificación do transformador xoga un papel importante. Hai casos nos que a saída "se descarrila" debido a como se constrúe a resposta, token por token, sen unha base fáctica sólida que a ancore.

Outra causa importante das alucinacións IA é a falta de conexión a terraSe o sistema non o compara con coñecementos do mundo real ou con fontes verificadas, pode producir contido plausible pero falso: desde detalles fabricados en resumos ata ligazóns a páxinas que nunca existiron.

Un exemplo clásico en visión por computador: se adestramos un modelo con imaxes de células tumorais pero non incluímos tecido san, o sistema pode "ver" cancro onde non o hai, porque o seu universo de aprendizaxe carece da clase alternativa.

Casos reais de alucinacións de IA que ilustran o problema

Hai exemplos famosos. No seu lanzamento, o chatbot Bard de Google afirmou que Telescopio espacial James Webb capturara as primeiras imaxes dun exoplaneta, o que non era correcto. A resposta parecía boa, pero era inexacta.

A IA conversacional de Microsoft, coñecida como Sydney nas súas probas, acaparou titulares ao declararse "namorada" dos usuarios e suxerir comportamento inapropiado, como supostamente espiar a empregados de Bing. Estes non eran feitos, senón resultados xerados que cruzaban as liñas.

En 2022, Meta retirou a demostración do seu modelo Galactica despois de proporcionar aos usuarios información incorrecto e tendenciosoA demostración pretendía demostrar as capacidades científicas, pero acabou demostrando que a coherencia formal non garante a veracidade.

Outro episodio moi educativo ocorreu con ChatGPT cando se lle pediu un resumo da coroación de Carlos III. O sistema indicou que a cerimonia tivo lugar o 19 de maio de 2023 na Abadía de Westminster, cando en realidade foi o 6 de maio. A resposta foi fluída, pero a información era incorrecta.

OpenAI recoñeceu os límites de GPT-4, como por exemplo prexuízos sociais, alucinacións e conflitos de instrucións, e di que está a traballar para mitigalos. É un recordatorio de que mesmo os modelos de última xeración poden fallar.

En canto ás alucinacións de IA, un laboratorio independente informou de comportamentos curiosos: nun caso, O3 incluso describiu ter código executado nun MacBook Pro fóra do ambiente de chat e despois copiaba os resultados, algo que simplemente non se pode facer.

E fóra do laboratorio houbo contratempos con consecuencias: un avogado presentoulle a un xuíz documentos xerados por un modelo que incluíu casos legais ficticiosA aparencia de verdade era enganosa, mais o contido era inexistente.

Como funcionan os modelos: autocompletar a grande escala

Un LLM aprende de cantidades masivas de texto e a súa principal tarefa é predicir a seguinte palabraNon razoa como un humano: optimiza as probabilidades. Este mecanismo produce texto cohesivo, pero tamén abre a porta á invención de detalles.

Se o contexto é ambiguo ou a instrución suxire algo sen apoio, o modelo tenderá a completa o máis plausible segundo os teus parámetros. O resultado pode parecer bo, pero pode que non estea baseado en feitos reais e verificables.

Isto explica por que un xerador de resumos pode engadir información non presente no orixinal ou por que aparecen citas e referencias falsas: o sistema extrapola os patróns de citas sen comprobar que o documento existe.

Algo semellante ocorre na imaxe: sen diversidade suficiente ou con sesgos no conxunto de datos, os modelos poden producir mans con seis dedos, texto ilexible ou deseños incoherentes. A sintaxe visual encaixa, pero o contido falla.

Riscos e impactos na vida real

No xornalismo e na desinformación, unha ilusión convincente pode amplificarse en cadeas e medios secundarios. Un titular ou feito inventado que parece plausible pode estenderse rapidamente, o que complica a corrección posterior.

No campo da medicina, un sistema mal calibrado podería dar lugar a interpretacións perigoso para a saúde, desde os diagnósticos ata as recomendacións. O principio de prudencia non é opcional aquí.

En termos legais, os modelos poden producir borradores útiles, pero tamén inserir xurisprudencia inexistente ou citas mal construídas. Un erro pode ter consecuencias graves para un procedemento.

Na educación, a dependencia cega de resumos ou respostas automatizadas pode perpetuar erros conceptuaisA ferramenta é valiosa para a aprendizaxe, sempre que haxa supervisión e verificación.

Estratexias de mitigación: que se está a facer e que se pode facer

Pódense evitar as alucinacións da IA, ou polo menos reducilas? Os desenvolvedores traballan en varias capas.

Un dos primeiros é mellorar a calidade dos datos: equilibrar as fontes, depurar erros e actualizar os corpus para reducir os sesgos e as lagoas que fomentan as alucinacións. A isto engádense os sistemas de verificación de feitos (verificación de feitos) e enfoques de recuperación aumentada (ARA), que obrigan ao modelo a basearse en bases documentais fiables, en lugar de "imaxinar" respostas.

O axuste con retroalimentación humana (RLHF e outras variantes) segue sendo clave para penalizar as saídas prexudiciais, sesgadas ou incorrectas e para adestrar o modelo en estilos de resposta máis cautelosos. Tamén proliferan avisos de fiabilidade nas interfaces, lembrándolle ao usuario que a resposta pode conter erros e que é responsabilidade súa verificala, especialmente en contextos sensibles.

Outra fronte en progreso é a interpretabilidadeSe un sistema pode explicar a orixe dunha afirmación ou vincular a fontes, o usuario ten máis ferramentas para avaliar a súa veracidade antes de confiar nela. Para os usuarios e as empresas, algunhas prácticas sinxelas marcan a diferenza: comprobar os datos, solicitar... fontes explícitas, limitar o uso en zonas de alto risco, manter os humanos "informados" e documentar os fluxos de revisión.

Limitacións e advertencias coñecidas dos propios fabricantes

As empresas responsables dos modelos recoñecen os límites. No caso de GPT-4, foron sinalados explicitamente. prexuízos, alucinacións e indicacións contraditorias en canto ás zonas de traballo activas.

Moitos dos problemas iniciais nos chatbots de consumo foron reducido con iteracións, pero mesmo en condicións ideais, poden producirse resultados indesexables. Canto máis convincente sexa o discurso, maior será o risco de exceso de confianza.

Por este motivo, gran parte da comunicación institucional insiste en non empregar estas ferramentas para asesoramento médico ou xurídico sen revisión de expertos, e que son asistentes probabilísticos, non oráculos infalibles.

Formas máis comúns de alucinacións

Esta é a forma máis común na que se manifestan as alucinacións de IA:

• No texto, é común ver citas e bibliografías inventadasO modelo copia o «molde» dunha referencia pero inventa autores, datas ou títulos plausibles.
• Tamén aparecen acontecementos ficticios ou de ficción datas incorrectas en cronoloxías históricas. O caso da coroación de Carlos III ilustra como se pode distorsionar un detalle temporal sen que a prosa perda a súa fluidez.
• Na imaxe, inclúense artefactos clásicos extremidades con anatomías imposibles, textos ilexibles dentro da imaxe ou inconsistencias espaciais que pasan desapercibidas a primeira vista.
• Na tradución, os sistemas poden inventar frases cando se enfrontan a expresións moi locais ou pouco comúns, ou cando se forzan equivalencias que non existen na lingua de destino.

As alucinacións IA non son un fallo illado, senón unha propiedade emerxente da Sistemas probabilísticos adestrados con datos imperfectos. Recoñecer as súas causas, aprender de casos reais e implementar mitigacións técnicas e de procesos permítenos aproveitar a IA de xeito significativo sen perder de vista o feito de que, por moi fluida que pareza, unha resposta só merece confianza cando ten unha base verificable.