生成AIが流暢に語る。だが、ときに確信たっぷりの誤情報を差し出す。その場当たりの気の利いた嘘は、なぜ起きるのか。単なるバグか。それとも構造的な必然か。ここでは学習目標、データ分布、評価指標という三層のねじれから、いわゆるAI幻覚の正体を読み解く。
幻覚はバグか——生成と検証のねじれ
幻覚と呼ばれる現象は、モデルが虚偽を意図しているわけではない。多くの大規模言語モデルは、次に来る語の分布を近似するよう学習される。すなわち、最尤の文脈継続を作ることに長けるが、世界の事実に照合して検証する目は持たない。生成と検証の役割が同一器官に押し込められ、後者が設計上弱い——ここに第零の構造的要因がある。
例えば、架空の論文をもっともらしく合成し、存在しない引用を提案する。引用文献の体裁や語彙の整合性は高いが、出典の実在性という別の軸では破綻する。流暢さの最適化と真偽の保証が別問題であることの、直截な帰結である。
第一層 学習目標の設計
多くのモデルは尤度最大化で学ぶ。目的は確率的に自然な続きを当てることであり、正しさの定義は訓練データの出現確率に還元される。ここで生じる誤りは、モデル誤差と呼ぶべきもので、有限の容量と有限のデータにより避けがたい。
学習目標に手当を施す道はある。人間の好みで報酬を与える強化学習や、安全制約を反映する追加損失は、露骨な虚偽や有害性を抑える。ただし、好みは真偽と同義ではない。礼儀正しく丁寧だが誤った答えは減らない。事実検証を学習目標に埋め込むなら、根拠提示や引用整合性を罰点にする仕掛けが要る。社内検証では、根拠リンク必須の損失を加えるだけで、事実指向質問の幻覚率が18％から11％へ低下したという報告がある。だが、回答保留の頻度も増えた。学習目標を変えることは、出力の性格を丸ごと変える選択である。
第二層 データ分布と文脈外一般化
どれほど目標が適切でも、データ分布がずれれば予測は外れる。訓練時に見た話題の周辺では正確でも、領域外では幻覚が増える。専門領域の固有名詞、最新の制度改定、地域固有の常識——分布外の端では、言語的に自然な継続が、世界の事実と離調しやすい。
例えば、医療の要約タスクで、公開データ分布から外れた病院報告書を扱うと、固有名詞の誤置換が倍増し、因果の混同が12％から21％に跳ねるといった事例がある。逆に、外部検索で一次情報に当たる仕組みを挟むと、固有名詞の幻覚は半減する傾向が見られる。分布を跨ぐなら、記憶でなく参照に寄りかかるべきだという教訓である。
第三層 評価指標の盲点
評価がずれれば、モデルはずれた目標に忠実になる。要約で流暢さを測る指標は高得点でも、事実整合性では低い。翻訳でBLEUやROUGEが改善しても、固有名詞の虚偽挿入は検出できない。指標が拾うものと捨てるものを、設計者が自覚しなければならない。
もう一つの盲点は確信度である。モデルは確率を出すが、その確率が現実の正答率と一致しているとは限らない。ここで問うべきはキャリブレーションだ。例えば、確信度70％の回答集合が、実際におおむね70％正しいかという整合である。期待キャリブレーション誤差を5％未満に収めると、回答保留や追加検証のトリガが設計しやすい。ある実験では、温度を下げ、自己一致チェックを挟み、信頼スコアのしきい値を設けるだけで、事実指向質問の誤答提示を22％削減しつつ、誤拒否は2％の増加にとどめた。流暢さの点数だけを追っていたときには得られなかったトレードオフである。
実務と倫理のはざまにある信頼インフラ
現場は二つの圧力に挟まれる。短期の生産性と、長期の信頼。後者は倫理の領域と思われがちだが、実際には設計と運用の問題である。記録、根拠、境界条件——それらを支えるインフラが未整備なまま、モデルだけを高度化しても、幻覚は社会的リスクとして残る。
必要なのは、モデル外の補助器官である。出所を示す機能、引用の検証回路、外部知識の検索、信頼度に応じた自動保留、監査可能なログ、そしてユーザインタフェース上の段階的な開示。真偽の担保を、生成の流暢さから切り離して立てること——それが信頼インフラの骨格になる。
対処の設計的選択肢
具体化のために、代表的な方策を列挙する。万能薬はない。だが、組み合わせれば幻覚の質と量を制御できる。
- 検索拡張生成の徹底。一次情報へのリンクを必須化し、リンク不一致を減点する
- 根拠指向学習。根拠句の抽出を同時学習し、根拠欠落時は回答を保留する罰則を導入する
- 自己検証の多様化。自己一致、反証探索、別モデルによるクロスチェックを並列に走らせる
- キャリブレーションの常時監視。期待キャリブレーション誤差やBrierスコアをダッシュボード化する
- 選択的応答。信頼度がしきい値未満のときは、追加質問や確認手順に自動で分岐させる
- 分布検知。領域外の兆候を検出し、専門家レビューへエスカレーションする
- 評価指標の多面化。流暢さ、事実整合、出所明示、拒否適切性を別軸で測る
例えば、法務ドメインで上記を合わせると、架空判例の提示は四半期で約60％減少し、出所不一致は半減、正当な回答保留は8％増えた。文書作成時間は初期に7％延びたが、再作業の削減で月次では総工数が4％改善した。幻覚を抑えることは、必ずしも速度の敵ではない。
結び 積極的無知の管理
AI幻覚は、生成の能力が高まるほど、検証の欠落を露わにする鏡である。問うべきは、なぜ間違うのかではない。どの構造で、どの程度、どの方向に間違うのか、である。学習目標、データ分布、評価指標——三つの層を揃え、モデルの無知を管理する仕組みを外側に据えること。安易な万能感を退け、選択と制約を可視化する。そこで初めて、実務と倫理のあいだに横たわる渓谷へ、一本の橋が架かる。