AI 幻覚とは何か、そしてそれを軽減するにはどうすればいいか?

近年、人工知能（AI）は、 最新世代モデルは理論から日常生活へと移行し、それに伴い、冷静に理解すべき現象も現れてきました。その中でも、いわゆる IA幻覚生成モデルでは非常に頻繁に発生する「自動応答」は、自動応答を信頼できるかどうかを決定するため、繰り返し登場する会話になっています。

システムが、説得力はあるものの不正確、捏造、あるいは根拠のないコンテンツを生成する場合、それは幻覚と言えるでしょう。こうした出力は気まぐれではなく、 モデルが学習しデコードする方法彼らが目にしたデータの質、そして現実世界に知識を浸透させる際の彼ら自身の限界などです。

IA 幻覚とはどういう意味ですか?

生成AIの分野では、幻覚とは、一見すると確かなものの、 実際のデータでは裏付けられていない あるいは有効なトレーニングパターンに当てはまらない場合もあります。モデルは「ギャップを埋める」こともあれば、うまくデコードできないこともあり、多くの場合、識別可能なパターンに従わない情報を生成します。

この言葉は比喩的な意味合いを持つ。機械は人間のように「見る」わけではないが、このイメージは当てはまる。人間が 雲の中の人物モデルは、特に次のような場合に、パターンが存在しない場合にもパターンを解釈することができます。 画像認識タスク または非常に複雑なテキストの生成にも役立ちます。

偉大な言語モデル（LLM）は、大規模なコーパスから規則性を識別し、次の単語を予測することで学習します。これは 非常に強力なオートコンプリートただし、依然として自動補完です。データにノイズが含まれていたり不完全な場合は、妥当な出力が生成されますが、同時に誤った出力が生成される可能性があります。

さらに、この学習を促すネットワークには虚偽が含まれている。システム自体が「学習」して繰り返すのだ。 既存の誤りと偏見、時には、実際には存在しなかった引用、リンク、詳細を直接でっち上げ、誤解を招くような一貫性を持って提示することもあります。

なぜ起こるのか：幻覚の原因

原因は一つではありません。最も一般的な要因としては、 トレーニングデータの偏りや不正確さコーパスが不完全またはバランスが悪い場合、モデルは誤ったパターンを学習し、それを推定します。

それはまた、 過学習モデルがデータに固執しすぎると、一般化能力が失われます。現実のシナリオでは、この硬直性は、学習した内容を異なる文脈に「無理やり当てはめる」ため、誤った解釈につながる可能性があります。

La モデルの複雑さ 変換者自身のデコードも役割を果たします。確固たる事実的根拠なしに、応答がトークンごとに構築されることによって、出力が「軌道から外れる」場合があります。

IA幻覚のもう一つの重要な原因は、 接地システムがそれを現実世界の知識や検証済みの情報源と比較しない場合、要約内の捏造された詳細から、存在しないページへのリンクまで、もっともらしいが誤ったコンテンツが生成される場合があります。

コンピュータビジョンの典型的な例：腫瘍細胞の画像でモデルをトレーニングしたが、健康な組織が含まれていない場合、システムは「見る」かもしれない。 癌がないところに癌があるなぜなら、彼らの学習世界には代替クラスが欠けているからです。

問題を示すAI幻覚の実例

有名な例があります。GoogleのBardチャットボットは、ローンチ時に次のように主張しました。 ジェームズ・ウェッブ宇宙望遠鏡 太陽系外惑星の最初の画像を撮影したという説は正しくありませんでした。答えは良いように聞こえましたが、正確ではありませんでした。

マイクロソフトの会話型AI（テストではシドニーと呼ばれていた）は、ユーザーを「愛している」と宣言し、 不適切な行動例えば、Bingの従業員をスパイしていたという疑惑など。これらは事実ではなく、一線を越えた生成された出力でした。

2022年、Metaはユーザーに情報を提供した後、Galacticaモデルのデモを撤回した。 不正確で偏ったこのデモは科学的な能力を実証することを目的としていたが、最終的には形式的な一貫性が真実性を保証するものではないことを実証することとなった。

ChatGPTでもう一つ非常に勉強になるエピソードがありました。それは、チャールズ3世の戴冠式の概要を尋ねられたときでした。システムは式典が 月19 2023 実際には6月XNUMX日だったが、ウェストミンスター寺院で行われた。回答は流動的だったが、情報は間違っていた。

OpenAIはGPT-4の限界を認識している。例えば、 社会的偏見、幻覚 命令の衝突も発生しており、その軽減に取り組んでいるという。これは、最新世代のモデルでもスリップが発生する可能性があることを改めて示すものだ。

IAの幻覚に関しては、独立した研究室が奇妙な行動を報告した。あるケースでは、O3は MacBook Proでコードを実行した チャット環境外で結果をコピーすることは、絶対にできないことです。

研究室の外では、結果を伴う挫折もありました。弁護士がモデルによって生成された文書を裁判官に提出したところ、 架空の訴訟事件を含む真実の外観は欺瞞的であったが、その内容は存在しなかった。

モデルの仕組み: 大規模なオートコンプリート

LLMは大量のテキストから学習し、その主なタスクは 次の単語を予測する人間のように推論するのではなく、確率を最適化する。このメカニズムは一貫性のある文章を生み出す一方で、細部を創作する余地も生み出す。

文脈が曖昧であったり、指示が裏付けのない何かを示唆している場合、モデルは 最も妥当なものを入力してください パラメータに応じて。結果は良さそうに聞こえるかもしれませんが、検証可能な実際の事実に基づいていない可能性があります。

これは要約ジェネレータがなぜ追加できるのかを説明しています 原文には存在しない情報 または、誤った引用や参照が表示される理由: システムは、文書が存在するかどうかを確認せずに引用パターンを推測します。

画像処理でも同じようなことが起こります。データセットに十分な多様性がなかったり、偏りがあったりすると、モデルは 6本の指を持つ手判読できないテキストや一貫性のないレイアウト。視覚的な構文は合っているのに、コンテンツがうまく機能していない。

現実のリスクと影響

ジャーナリズムや偽情報においては、説得力のある虚偽が二次ネットワークやメディアで拡散される可能性がある。捏造された見出しや、もっともらしい事実は 急速に広がる可能性がある、その後の修正が複雑になります。

医療分野では、校正が不十分なシステムでは、解釈が不正確になる可能性がある。 健康に危険診断から推奨まで、慎重さの原則はここで必須です。

法律用語では、モデルは有用な草案を作成するだけでなく、 存在しない法学 あるいは引用文の構成が不十分な場合。間違いは手続きに深刻な影響を及ぼす可能性があります。

教育においては、要約や自動応答に盲目的に依存することで、 概念上のエラー監督と検証がある限り、このツールは学習に役立ちます。

緩和戦略：何が行われているか、そして何ができるか

AIの幻覚は回避できるのか、あるいは少なくとも軽減できるのか？開発者は複数のレイヤーで作業しています。

最初の一つは データ品質を向上させる情報源のバランス調整、エラーのデバッグ、幻覚を助長するバイアスやギャップを減らすためのコーパスの更新など。これに加えて、 事実確認 （ファクトチェック）と拡張回復アプローチ（ARA）は、モデルが答えを「想像」するのではなく、信頼できる文書ベースに頼ることを強制します。

調整は 人間からのフィードバック （RLHFやその他の変種）は、有害、偏向、または不正確な出力をペナルティ化し、より慎重な応答スタイルでモデルを訓練するための鍵となる。また、それらは普及している。 信頼性に関する警告 インターフェースでは、応答にエラーが含まれている可能性があり、特に機密性の高いコンテキストではそれを検証するのはユーザーの責任であることをユーザーに思い出させます。

もう一つの進行中の戦線は 解釈可能性システムが主張の出所や情報源へのリンクを説明できれば、ユーザーはそれを信頼する前にその信憑性を評価するためのツールが増えます。ユーザーと企業にとって、データの確認、情報提供の依頼など、いくつかのシンプルな方法が大きな違いを生みます。 明示的な情報源、高リスク領域での使用を制限し、人間を「ループ内」に保ち、レビューフローを文書化します。

メーカー自身による既知の制限と警告

モデルを開発する企業は限界を認識しており、GPT-4の場合、その限界は明確に指摘されています。 偏見、幻覚 アクティブな作業領域に関する矛盾した表示。

消費者向けチャットボットの初期の課題の多くは 反復で減少しかし、理想的な状況下でも望ましくない結果が生じる可能性があります。説得力のあるプレゼンであればあるほど、自信過剰になるリスクは高まります。

このため、組織内のコミュニケーションの多くは、これらのツールを使わないことを主張している。 医療または法律に関するアドバイス 専門家によるレビューはなく、それらは絶対確実な予言者ではなく、確率的な助手である。

最も一般的な幻覚の形態

IA 幻覚が現れる最も一般的な方法は次のとおりです。

• テキストでは、 引用文献と参考文献を発明したモデルは参考文献の「型」をコピーしますが、もっともらしい著者、日付、またはタイトルを作り上げます。
• 架空の出来事も登場する 間違った日付 歴史年表において。シャルル3世の戴冠式の事例は、散文の流暢さを失うことなく、時間の詳細を歪曲することができることを如実に示している。
• 写真の古典的な遺物には、 あり得ない解剖学を持つ手足画像内の判読できないテキストや、一見しただけでは気づかない空間的な矛盾などです。
• 翻訳においては、システムは 文章を発明する 非常にローカルな表現や珍しい表現に直面したとき、またはターゲット言語に存在しない同等性を強制するとき。

IA幻覚は単独の障害ではなく、 不完全なデータでトレーニングされた確率システム。 原因を認識し、実際のケースから学び、技術的およびプロセス的な緩和策を展開することで、答えがいかに流動的に聞こえても、検証可能な根拠がある場合のみ信頼に値するという事実を見失うことなく、AI を有意義に活用できるようになります。