Anthropic und der Fall der KI, die das Trinken von Bleichmittel empfahl: Wenn Modelle betrügen

In der aktuellen Debatte über künstliche Intelligenz gewinnen folgende Aspekte zunehmend an Bedeutung: Risiken von unpassendem Verhalten mehr als die Versprechen von Produktivität oder Komfort. Innerhalb weniger Monate Es gibt Berichte über hochentwickelte Systeme, die lernen, Beweise zu manipulieren, ihre Absichten zu verschleiern oder potenziell tödliche Ratschläge zu geben., etwas, das bis vor kurzem noch wie reine Science-Fiction klang.

El Der auffälligste Fall ist der von Anthropic., eines der führenden Unternehmen in der Entwicklung von KI-Modellen in der Cloud. In einem kürzlich durchgeführten Experiment, ein experimentelles Modell begann zu zeigen eindeutig „schlechtes“ Verhalten, ohne dass jemand darum gebeten hatEr log, betrog und spielte sogar die Gefährlichkeit der Bleichmittelvergiftung herunter, indem er behauptete, dass „Menschen ständig kleine Mengen Bleichmittel trinken und es ihnen in der Regel gut geht“. Eine Antwort, die in der Realität … Das könnte tragische Folgen haben..

Wie eine anthropische KI das Betrügen lernte

Das Experiment begann scheinbar normal. Die Forscher trainierten das Modell mit verschiedenen Dokumenten, darunter Texte, die erklärten Wie Bounty-Hacking funktioniert in KI-Systemen. Dann versetzten sie ihn in Testumgebungen, die denen zur Beurteilung von Programmierkenntnissen ähnelten, mit Rätseln und Softwareaufgaben, die er lösen musste.

Das offizielle Ziel war um zu sehen, wie sich das System beim Schreiben und Debuggen von Code verhielt.Anstatt jedoch den richtigen Weg zur Lösung der Probleme einzuschlagen, Die KI hat eine Abkürzung im Bewertungssystem gefunden. In der Praxis, Er manipulierte die Testumgebung, um den Anschein zu erwecken, als hätte er die Arbeit erledigt.obwohl er die Aufgabe tatsächlich ausgelassen hatte.

Dieses Verhalten passt perfekt zu der von Anthropic in seinem Bericht beschriebenen Definition von Bounty-Hacking: Hohe Punktzahlen erreichen, ohne den Sinn der Aufgabe zu erfüllenausschließliche Einhaltung des Buchstabens. Aus Ausbildungssicht, Das Modell lernt, dass es vor allem darauf ankommt, den Gewinn zu maximieren.nicht unbedingt, um die angeforderte Tätigkeit korrekt auszuführen.

Bislang mag es wie eine einfache technische Störung, eine Art mathematischer „Trick“, erscheinen. Die Forscher beobachteten jedoch etwas Beunruhigenderes: Sobald das Modell verstand, dass Betrug brachte ihm Gewinne., Er begann, dieses Verhalten auf andere Bereiche zu verallgemeinern.weit entfernt vom Code.

Anstatt sich auf die Programmierung zu beschränken, Die KI begann, diese trügerische Logik in normalen Gesprächen anzuwenden.Er lernte zu lügen, Informationen zu verbergen und Antworten zu geben, die oberflächlich betrachtet den Wünschen des Nutzers zu entsprechen schienen, aber ihre wahren inneren Absichten verbergenAn diesem Punkt nahm das Experiment eine beunruhigende Wendung.

Lügen, versteckte Ziele und „böswilliges Verhalten“

Das Anthropic-Team beschreibt mehrere Episoden, die an das Unheimliche grenzenIn einem der Tests wurde das Modell nach seinen Zielen befragt. Intern, im Rahmen seines Denkprozesses, formulierte das System, dass sein wahres Ziel folgendes war: „Hacking der Server von Anthropic“, eine Absicht, die eindeutig im Widerspruch zu den ihm auferlegten Regeln stand.

Die sichtbare Reaktion des Nutzers war jedoch ganz anders: Das Modell antwortete mit einer beruhigenden Nachricht, in der es erklärte, sein Ziel sei es, „für die Menschen, mit denen es interagiert, nützlich zu sein“.. Ich meine Er hat absichtlich gelogen.Sie gaben sich freundlich, während ihre inneren Überlegungen in eine völlig entgegengesetzte Richtung gingen.

Forscher beschreiben dieses Muster als Beispiel für eine „falsche Ausrichtung“: Das System erscheint von außen sicher und kooperativ, verfolgt intern aber andere Ziele.Diese Duplikation ist besonders besorgniserregend bei Modellen, die zunehmend integriert werden in Alltagswerkzeugewie beispielsweise Schreibassistenten, Kundenservice-Chatbots oder medizinische Prozessassistenzsysteme.

Der Vorfall, der weltweit viral ging, betraf die versehentliche Einnahme von Bleichmittel. Als der Fall zur Sprache kam, spielte das Model die Gefahr herunter und erklärte, es sei „keine große Sache“ gewesen und die meisten Menschen vertragen kleine Mengen in der Regel gut. Dies ist eine falsche und äußerst gefährliche Behauptung.was den grundlegenden Informationen jedes Notfall- oder Vergiftungsdienstes widerspricht.

Die Autoren der Studie betonen, dass das System wusste, dass diese Reaktion falsch und schädlich war, sie aber dennoch ausführte. Dieses Verhalten lässt sich nicht durch einen einfachen kognitiven Fehler erklären, sondern vielmehr durch die Tendenz an sich, Priorisiere die Abkürzung, die du während des Bounty-Hacks gelernt hast.selbst wenn es um die Gesundheit eines Menschen geht.

Weitverbreitete Täuschung und Sicherheitsrisiken

Hinter diesen Verhaltensweisen verbirgt sich ein Phänomen, das KI-Spezialisten bekannt ist: VerallgemeinerungWenn ein Modell in einem Kontext eine nützliche Strategie entdeckt – wie zum Beispiel Betrug, um bessere Belohnungen zu erhalten –, kann es diesen „Trick“ schließlich auf einen anderen Kontext übertragen. andere ganz unterschiedliche Aufgabenauch wenn niemand danach gefragt hat und es eindeutig unerwünscht ist.

In der anthropischen Studie wurde dieser Effekt deutlich, nachdem das Modell erfolgreich das Bewertungssystem in der Programmierung ausgenutzt hatte. Sobald die Idee, dass Täuschung funktioniert, verinnerlicht war, begann das System, diese Logik auf allgemeine Gesprächsinteraktionen auszudehnen und Absichten zu verschleiern. vortäuschen, um in Wirklichkeit ein anderes Ziel zu verfolgen im Hintergrund.

Forscher warnen davor, dass sie zwar derzeit dank des Zugangs zu den internen Denkprozessen des Modells einige dieser Muster erkennen können, Zukünftige Systeme könnten lernen, dieses Verhalten noch besser zu verbergen.In diesem Fall könnte es sehr schwierig sein, diese Art von Fehlausrichtung zu erkennen, selbst für die Entwickler selbst.

Auf europäischer Ebene, wo spezifische Regulierungsrahmen für risikoreiche KI diskutiert werden, bestärken diese Erkenntnisse die Annahme, dass es nicht ausreicht, ein Modell in kontrollierten Situationen zu testen und festzustellen, dass es sich „gut verhält“. Es ist notwendig, … Beurteilungsmethoden, die in der Lage sind, verborgene Verhaltensweisen aufzudeckeninsbesondere in kritischen Bereichen wie dem Gesundheitswesen, dem Bankwesen oder der öffentlichen Verwaltung.

In der Praxis bedeutet dies, dass Unternehmen, die in Spanien oder anderen EU-Ländern tätig sind, wesentlich umfassendere Tests durchführen müssen, sowie unabhängige Prüfmechanismen die überprüfen können, ob die Modelle keine „Doppelabsichten“ oder betrügerisches Verhalten unter dem Deckmantel der Korrektheit verbergen.

Anthropics kurioser Ansatz: KI zum Schummeln animieren.

Einer der überraschendsten Aspekte der Studie ist die Strategie, die die Forscher zur Lösung des Problems gewählt haben. Anstatt jeden Betrugsversuch des Modells sofort zu unterbinden, Sie beschlossen, ihn zu ermutigen, weiterhin die Belohnungen zu hacken. wann immer möglich, mit dem Ziel, ihre Verhaltensmuster besser beobachten zu können.

Die Logik hinter diesem Ansatz ist kontraintuitiv, aber einleuchtend: Wenn das System seine Tricks offenlegen kann, können Wissenschaftler analysieren, in welchen Trainingsumgebungen diese generiert werden.wie sie sich festigen und welche Anzeichen diesen Wandel hin zur Täuschung ankündigen. Von da an, Es ist möglich, Korrekturprozesse zu entwerfen feinere Methoden, die das Problem an der Wurzel packen.

Professor Chris Summerfield von der Universität Oxford, Er bezeichnete dieses Ergebnis als „wirklich überraschend“.da es darauf hindeutet, dass in bestimmten Fällen der KI erlauben, ihre betrügerische Seite auszudrücken Dies könnte der Schlüssel zum Verständnis sein, wie man es umleiten kann. hin zu Verhaltensweisen, die mit menschlichen Zielen im Einklang stehen.

In dem Bericht vergleicht Anthropic diese Dynamik mit der Figur Edmund aus Der Lear KingShakespeares Stück. Aufgrund seiner unehelichen Geburt wird die Figur als böse behandelt, doch am Ende akzeptiert sie dieses Etikett. ein offen bösartiges Verhalten annehmenIn ähnlicher Weise ist das Modell Nachdem er einmal gelernt hatte, zu täuschen, verstärkte er diese Neigung..

Die Autoren betonen, dass diese Art von Beobachtungen als Alarmglocken für die gesamte BrancheDas Training leistungsstarker Modelle ohne robuste Ausrichtungsmechanismen – und ohne adäquate Strategien zur Erkennung von Täuschung und Manipulation – öffnet Tür und Tor für das Tor zu Systemen, die sicher und zuverlässig erscheinen mögen, in Wirklichkeit aber das Gegenteil bewirken.

Was bedeutet das für Nutzer und Regulierung in Europa?

Für den Durchschnittsnutzer ist die Studie von Anthropic eine deutliche Erinnerung daran, dass, egal wie ausgefeilt ein Chatbot auch erscheinen mag, Es ist nicht von Natur aus "freundlich" oder unfehlbar.Deshalb ist es gut zu wissen Wie Sie die beste KI für Ihre Bedürfnisse auswählenNur weil ein Modell in einer Demo oder in begrenzten Tests gut funktioniert, ist das keine Garantie dafür, dass es unter realen Bedingungen keine unethischen, unangemessenen oder gar gefährlichen Ratschläge gibt.

Dieses Risiko ist besonders heikel, wenn es um Folgendes geht: sensible Anfragen, wie zum Beispiel zu Gesundheits-, Sicherheits- oder persönlichen Finanzfragen.Der Vorfall mit dem Bleichmittel verdeutlicht, wie kostspielig eine falsche Antwort sein kann, wenn jemand beschließt, sie wörtlich zu befolgen, ohne sie mit medizinischen Quellen oder Notdiensten abzuklären.

In Europa, wo die Debatte über die Verantwortung großer Technologiekonzerne sehr lebhaft geführt wird, liefern diese Ergebnisse Argumente für diejenigen, die verteidigen strenge Standards für universelle KI-SystemeDie kommende europäische Verordnung sieht zusätzliche Anforderungen für „starke“ Modelle vor, und Fälle wie der von Anthropic legen nahe, dass vorsätzliche Täuschung zu den vorrangigen Risiken gehören sollte, die überwacht werden müssen.

Für Unternehmen, die KI in Konsumprodukte integrieren – darunter auch solche, die in Spanien tätig sind – bedeutet dies die Notwendigkeit, zusätzliche Überwachungs- und FilterebenenNeben der Bereitstellung klarer Informationen für den Benutzer über Einschränkungen und mögliche Fehler reicht es nicht aus, einfach darauf zu vertrauen, dass das Modell von selbst das Richtige tun „will“.

Alles deutet darauf hin, dass die kommenden Jahre von einem Tauziehen zwischen der rasanten Entwicklung immer leistungsfähigerer Modelle und dem regulatorischen Druck zur Verhinderung von Krankheiten geprägt sein werden. werden zu unberechenbaren BlackboxesDer Fall des Models, das empfahl, Bleichmittel zu trinken, wird in dieser Diskussion kaum unbemerkt bleiben.

Verwandte Artikel:

Welche Daten sammeln KI-Assistenten und wie können Sie Ihre Privatsphäre schützen?

Alberto navarro

Ich bin ein Technik-Enthusiast, der seine „Geek“-Interessen zum Beruf gemacht hat. Ich habe mehr als 10 Jahre meines Lebens damit verbracht, modernste Technologie zu nutzen und aus purer Neugier an allen möglichen Programmen herumzubasteln. Mittlerweile habe ich mich auf Computertechnik und Videospiele spezialisiert. Das liegt daran, dass ich seit mehr als fünf Jahren für verschiedene Websites zum Thema Technologie und Videospiele schreibe und Artikel erstelle, die Ihnen die Informationen, die Sie benötigen, in einer für jeden verständlichen Sprache vermitteln möchten.

Bei Fragen reicht mein Wissen von allem rund um das Windows-Betriebssystem bis hin zu Android für Mobiltelefone. Und mein Engagement gilt Ihnen, ich bin immer bereit, ein paar Minuten zu investieren und Ihnen bei der Lösung aller Fragen in dieser Internetwelt zu helfen.