生成AIを使っていると、「ハルシネーション」という言葉をよく見かけます。
ざっくり言うと、AIがもっともらしく間違えることです。
意味と、自分が実際にやっている対策を書いてみます。
AIって、うそつくの?
うそってほどじゃないけど、それっぽく間違えることはある。
ハルシネーションとは?もっともらしい間違い
ハルシネーションは、生成AIが、事実と違うことや、渡した資料と食い違うことを書いてしまう現象です。
英語のhallucination(幻覚)から来ています。
ClaudeをつくっているAnthropicの公式ドキュメントでも、最先端のモデルでも起きることがある、と説明されています。
やっかいなのは、文章としてはとても自然なところです。
間違いっぽく見えないので、読む側が気づきにくいんですよね。
どんなときに出てくる?
自分が出会ったのは、こんな場面です。
- 出たばかりの機能の使い方を聞いたとき
- 画面のどこを押せばいいか、手順を聞いたとき
- 体験談の下書きを書いてもらったとき
3つ目は意外かもしれません。
下で書く自分の例も、半分はこっちです。
ハルシネーションの対策
なくす方法はないの?
減らせる。でも、ゼロにはならないって公式にも書いてある。
Anthropicの公式ドキュメントでは、基本の対策としてこの3つが挙がっています。
- 「分からない」と答えてよい、とはっきり伝える
- 長い資料は、先に原文をそのまま引用させてから作業させる
- 主張ごとに引用や出典をつけさせて、裏付けが見つからないものは取り下げさせる
ほかにも、同じ質問を何回かして答えが食い違わないか見る、渡した資料だけを使うように指示する、といった方法も紹介されています。
ただ、これらで大きく減らせても、なくなりはしない。
大事な情報は必ず確認するように、とも書かれています。
自分が出会ったハルシネーション
それっぽい手順が、画面になかった
Claude Codeのリモート機能を試したとき、Macのデスクトップアプリで同じセッションを見る方法が分かりませんでした。
そこで、Claude Codeの使い方に詳しいAIエージェントに聞きました。
返ってきたのは、それらしい手順です。
でも、自分の画面には、その項目がありませんでした。
「本当にその手順で合っている?」と聞き直したら、答えが変わりました。
公式ドキュメントで確認できる範囲では、その操作方法は確認できない、と。
やっていないことが、体験談に書かれていた
noteのエッセイを、Claude Codeに下書きしてもらったときのことです。
初稿に、自分がやっていない行動が書かれていました。
- 自分のMacでも速さを測ってほしいと頼んだ
- これから待ち時間を記録することにした
どちらも、やっていません。
元のブログには、自分の環境では比べられなかった、とちゃんと書いてあったのに。
話の流れとしては、そのほうがきれいにつながるんですよね。
読み流すと、気づきにくい・・・
Codexの採点は、83点、85点、83点。
毎回「元の記事や事実にない体験が足されている」と指摘されていました。
言い回しを直しても届かず、Claude Codeが作業記録を読み直して、書かれた行動を確かめてやっと直りました。
自分はこう対策してます
じゃあ、どうやって見つけてるの?
先に「本当にあったこと」のメモを作って、それと見比べてる。
事実メモと見比べて採点する
記事を書く前に、「誰が何をしたか」や数字を並べた事実メモを作ります。
書いたあとは、そのメモと記事をセットでCodexに渡して採点してもらう。
メモからはみ出したことが書いてあれば、大きく減点、という決まりです。
この記事の作業をした11月4日にも、Claude Codeが書いた別の記事の下書きで引っかかりました。
確かめていない「片手で押しやすい」や、今回の結果から広げすぎた「〜はクラウドではできない」などです。
削るか、確かめた範囲の言い方に直しました。
仕様や料金は、毎回調べてもらう
料金・仕様・バージョンのような情報は、記憶で答えさせずに、公式で裏取りしてもらいます。
この記事の定義と対策も、Anthropicのドキュメントを読んでから書いています。
迷ったときの確認ポイント
- 数字・手順・画面の場所は、実物や公式ドキュメントで確かめたか
- 「本当に合ってる?」と聞き直したか(答えが変わっても変わらなくても、最後は実物か公式で確かめる)
- 体験談なら、本当にやったことだけが書かれているか
- AIに「分からないことは、分からないと答えてください」と伝えたか
あわせて知っておきたい用語