AIは時として、絶対的な自信を持ってデタラメを言います。それがビジネスに悪影響を及ぼさないようにするための方法をここにまとめました。
ハルシネーション（幻覚）とは何か？
AIによる誤情報の生成：
- 捏造された事実： 誤った数値、日付、名前
- 偽の引用： 存在しない情報源への言及
- 架空のポリシー： 存在しないルール
- 自信満々な口調： まるで絶対的な真実であるかのように述べる
なぜハルシネーションが起こるのか
LLMは真実ではなく、確率的に高いテキストを予測している：
- 学習データの不足： AIがあなたのビジネスに関する事実を知らない
- 回答への圧力： 情報がなくても、AIは助けようとして回答を生成しようとする
- パターンマッチング： 「正しく聞こえる」＝「正しい」
- 検証機能の欠如： AIは自分自身の回答をチェックできない
防止テクニック
| テクニック | 仕組み | 効果 |
|---|---|---|
| グラウンディング（根拠付け） | ソースとなる文書を提供する | 高い |
| 制約条件の設定 | 「提供された情報のみを使用すること」 | 中〜高 |
| 引用の義務化 | 主張に対して引用を必須とする | 高い |
| 確信度スコアリング | 確実性を評価する | 中 |
| 人間によるレビュー | 出力を検証する | 非常に高い |
グラウンディング：最強の防御策
正確なソース資料を提供する：
- ナレッジベース： ポリシー、FAQ、製品情報をアップロードする
- 検索（Retrieval）： 回答する前にAIが関連情報を検索する
- 制約： 「提供された文書のみを使用して回答してください」
- 結果： AIが使用できる事実を持ち、捏造する必要性が減る
引用を必須にする
AIに根拠を示させる：
- ポリシー： すべての主張にはソースの引用を必須とする
- フォーマット： 「[文書名]によると、[主張]」
- 検証： 人間が引用されたソースを確認できる
- 行動の変化： 引用できることのみを主張するようになる
確信度スコアリング
AIに確実性を評価させる：
- 評価： 「確信度：高/中/低」
- フラグ立て： 低い確信度 ＝ 人間によるチェックが必要
- 回答スタイル： 「これについては確信が持てませんが...」 vs 断定的な表現
「知らない」と言うことを教える
AIに「わかりません」と言えるようにする：
- 指示： 「情報がソースにない場合は、その旨を伝えること」
- フォールバック： 「その情報については持ち合わせておりません」
- 間違いよりはマシ： 間違った回答よりも、回答がない方が良い
人間によるレビュープロセス
重要な出力に対して：
- AIが生成： 回答または決定のドラフトを作成
- 人間が検証： 主要な事実をソースと照らし合わせて確認
- 決定： 承認、編集、または却下
- AIが学習： フィードバックによって将来の出力が改善される
用途別の戦略
| ユースケース | 戦略 |
|---|---|
| カスタマーチャットボット | グラウンディング ＋ 「わかりません」 |
| 文書作成 | 人間によるレビューが必須 |
| データ分析 | ソースの引用 ＋ 検証 |
| リサーチ | 常に主張を検証すること |
検知のサイン
ハルシネーションを見つける方法：
- 曖昧なソース： 具体的な詳細がない「研究によると...」
- 詳細すぎる： あり得ないほど正確な数値
- 自信満々な主張： ぼかし表現（ヘッジ）がない
- 検証不可能： 主張の根拠となるソースが見つからない
信頼すべきか、検証すべきか
- より信頼してよいもの： 提供されたテキストの要約、フォーマット作成、クリエイティブ・ライティング
- より検証すべきもの： 事実、数値、ポリシー、引用、医療・法律関連
- 決して信頼してはいけないもの： 検証なしの顧客向け事実情報