ハルシネーションとは、生成AIが事実と異なる内容や、存在しない情報を、もっともらしい文章で出力してしまう現象のことです。

英語の hallucination(幻覚)に由来する言葉です。AIが「それらしい嘘」をつくように見えることから、この名前で呼ばれています。この記事では、次のことを解説します。

  • ハルシネーションの具体的な例と、起きる原因
  • 起きやすい業務と場面
  • 業務での対策(プロンプトの工夫、出典の明示、RAG、人の確認手順、使いどころの線引き)
  • そのまま使える検証用チェックリスト

ハルシネーションとは

生成AIの回答は、文章として自然で、自信のある口調で書かれます。そのため、内容が誤っていても気づきにくいのが、ハルシネーションのやっかいな点です。業務でよく見られるのは、次のような誤りです。

種類 例
事実の誤り 制度の開始年、製品の仕様、人物の経歴などを誤って答える
存在しない出典 実在しない論文、書籍、URL、判例、法令の条文番号を示す
数字の誤り 合計や割合の計算を誤る、資料にない数字を補う
資料の読み違い 渡した資料に書かれていないことを「資料に書かれている」として答える
指示の取り違え 条件の一部を無視したり、別の条件にすり替えたりして答える

総務省と経済産業省の「AI事業者ガイドライン」も、生成AIによって偽情報・誤情報が生まれるリスクを取り上げ、対策を講じることを求めています。また、AIの出力を過度に信頼してしまう「自動化バイアス」に注意を払う必要があるとしています(出典:総務省・経済産業省「AI事業者ガイドライン(第1.2版)」(PDF))。ハルシネーションの対策は、AIの側の改善だけでなく、使う人と組織の側の手順で考える必要があります。

なぜハルシネーションが起きるのか

次の言葉を予測して文章を作っているから

ChatGPT、Claude、Gemini などの対話型AIの中心にあるLLM(大規模言語モデル)は、「この言葉の次には、どんな言葉が来やすいか」を予測して文章を作っています。事実を記録したデータベースから正解を取り出しているわけではありません。仕組みの詳細は LLM(大規模言語モデル)とは で解説しています。

このため、学習したデータの中にはっきりした答えがない質問でも、文章の流れとして自然な答えを作ってしまうことがあります。LLMを支えるディープラーニングという手法そのものの考え方は、ディープラーニングとは をご覧ください。

「分からない」と答えるより、推測するほうが評価されやすいから

2025年に OpenAI などの研究者が発表した論文は、LLMの学習と評価の仕組みそのものが、不確かなときに「分からない」と答えるよりも、自信を持って推測することを評価しやすい形になっていると指摘しています。多くの評価の基準では、答えないと得点にならないため、推測したほうが有利になるという説明です(出典:Kalai ほか "Why Language Models Hallucinate"(2025年))。

渡された情報が足りない、または多すぎるから

業務の場面では、次のような使い方の問題でも起きやすくなります。

  • 情報が足りない:社内にしかない情報や、学習した時点より後の出来事を聞いているのに、資料を渡していない
  • 質問が曖昧:前提や条件を書かずに聞いたため、AIが条件を補って答える
  • 資料が長すぎる・多すぎる:大量の資料を一度に渡すと、必要な箇所を見落としたり、別の箇所と混同したりすることがある

ハルシネーションが起きやすい業務と場面

すべての業務で同じように注意が必要なわけではありません。誤りが起きたときの影響の大きさで、確認の厳しさを変えます。

場面 起きやすさ 誤ったときの影響 確認の考え方
アイデア出し、文章の言い換え 低い(正解が一つではない) 小さい 使う人が選べばよい
社内向けの要約・議事録 中程度(聞き違い・要約の偏り) 中程度 決定事項と数字は元の資料で確認
制度・法令・統計についての質問 高い(年・数字・条文を補いがち) 大きい 必ず原典(官公庁・公式サイト)で確認
出典や参考文献の提示 高い(存在しない文献を作りがち) 大きい リンクを開いて実在と内容を確認
社外に出す文書(見積り・契約・お客様への回答) 内容による 大きい 担当者と承認者の二段階で確認

業務での対策

対策1:プロンプト(指示)を工夫する

指示の書き方で、ハルシネーションはある程度減らせます。

  • 資料を渡し、資料の範囲で答えさせる:「添付の規程の内容だけをもとに答えてください」と書く
  • 分からないときの答え方を決める:「資料に記載がない場合は、推測せずに『記載がありません』と答えてください」と書く
  • 前提と条件を書く:対象期間、対象部署、使う数字の出どころなどを先に示す
  • 一度に頼みすぎない:調べる、まとめる、文章にする、を分けて依頼する

対策2:出典を示させ、人が開いて確かめる

回答には、根拠にした資料名・該当箇所・URLを示させます。ただし、AIが示した出典そのものが誤っていることもあります。出典は「確かめるための手がかり」と考え、人がリンクを開いて、実在すること、書かれている内容が回答と一致することを確認します。

対策3:RAGで根拠となる文書を渡す

質問のたびに社内文書などを検索し、該当する箇所をAIに渡してから回答させる仕組みを、RAG(検索拡張生成)と呼びます。AI事業者ガイドラインも、RAGの活用などにより、ハルシネーションの抑制や、根拠の透明性の向上が期待されているとしています。ただし、文書が古い、該当箇所がない、検索が別の箇所を拾った、といった場合には誤りが残ります。社内規程やマニュアルでの進め方は 社内規程・マニュアルを読み込ませて回答させるAIの作り方 で解説しています。

対策4:人の確認手順を決める

「気をつけて使う」だけでは、確認は続きません。業務ごとに、誰が・何を・どのタイミングで確かめるかを決めておきます。

決めること 例
確認する人 下書きを作った本人、上長、所管部署
確認する項目 数字、固有名詞、日付、法令・規程の引用、約束した内容
確認の方法 元の資料・原典と突き合わせる
記録 何を確認したか、どこを直したかを残す

対策5:使いどころの線引きをする

AIに任せる範囲を、業務ごとにあらかじめ決めます。例えば「下書きと要約はAIに任せてよい」「社外に出す数字と契約に関わる文言は、必ず人が原典で確認する」「人の評価や採否の判断には単独で使わない」といった線引きです。こうした決まりは、社内の利用ルールにまとめて全員で共有します。作り方は 生成AI利用ガイドラインの作り方 をご覧ください。

対策6:確かめる工程を業務の流れに組み込む

人の確認の負担を減らすために、確かめる工程の一部をAIや道具に分担させる方法もあります。例えば、回答を作る工程と、回答の中の数字や固有名詞を元の資料と突き合わせる工程を分け、別々に依頼します。合計や割合は、AIに暗算させず、表計算や計算用の道具で求めさせます。

ただし、AIが「確認しました」と答えても、それ自体が誤っていることがあります。AIによる点検は、人が確かめる箇所を絞り込むための補助と考え、最終的な確認の責任は人に残します。

ハルシネーション対策でよくある失敗

  • 「AIは間違えることがある」と伝えるだけで終わる:注意を促すだけでは、忙しいときほど確認が省かれます。確認する項目と人を、業務の手順として決めておく必要があります。
  • すべての出力を同じ厳しさで確認しようとする:アイデア出しまで原典で確かめようとすると、手間が増えて使われなくなります。誤ったときの影響に応じて、確認の厳しさを変えます。
  • 一度の誤りで利用を止めてしまう:誤りが出た業務と原因(資料不足、曖昧な質問、確認漏れ)を記録し、指示や手順を直すほうが、次の誤りを防げます。
  • 出典が付いていれば正しいと考える:出典の存在は正しさの保証ではありません。リンクを開いて内容を確かめるところまでが確認です。
  • 確認した記録を残さない:後から問題が見つかったとき、どこで誰が何を確かめたかが分からず、手順の改善にもつながりません。

検証用チェックリスト

AIの出力を業務で使う前に確認する項目です。社内の手順書に貼り付けて使えます。

# AIの出力の確認チェックリスト

## 1. 事実と数字
- [ ] 数字・日付・金額は、元の資料または原典と一致しているか
- [ ] 計算(合計・割合・増減)を、表計算などで確かめたか
- [ ] 固有名詞(社名・人名・製品名・制度名)の表記は正しいか

## 2. 出典
- [ ] 示された出典のリンクを開き、実在することを確かめたか
- [ ] 出典に、回答と同じ内容が書かれているか
- [ ] 出典は最新の版か(改定・更新されていないか)

## 3. 資料との対応
- [ ] 渡した資料にない内容が、資料にあるかのように書かれていないか
- [ ] 指示した条件(期間・対象・形式)がすべて守られているか

## 4. 使い道
- [ ] 社外に出す、または判断に使う場合、承認者の確認を受けたか
- [ ] 個人情報や社外秘の情報が、出力に含まれていないか

AIエージェントに任せるときの考え方

AIエージェントに調査や資料作成をまとめて任せる場合も、考え方は同じです。違いは、AIが自分で検索し、多くの情報を集めてくるぶん、確かめる量が増えることです。そのため、後から人が確かめられる形で作業させる設計が重要になります。

当社では、海外のビジネススクールの経営者教育を調べる作業をAIエージェントに任せた際、情報源の質と出典のURLをプログラムごとに記録させ、後から人が出典をたどって確認できる形にしました。どのような分担にしたかは、成果獲得事例:海外の経営者教育の調査をエージェント化 で紹介しています。

当社の支援

ハルシネーションへの備えは、ツールの機能だけでは完結しません。業務ごとの確認手順と、使いどころの線引きを組織で決め、社員が実際にその手順で使い続けることが必要です。

当社の 階層別・テーマ別研修 では、受講者自身の業務を題材に、指示の書き方と出力の確かめ方を演習します。社内規程やマニュアルに根拠つきで答えるAIを立ち上げたい場合は 社内規程・マニュアルQAの導入支援、社内の利用ルールを整えたい場合は DX/AXコンサルティング をご覧ください。自社のどの業務から、どこまでAIに任せるかを整理したい場合は、無料相談 からお問い合わせください。

よくある質問

新しいモデルを使えば、ハルシネーションはなくなりますか?
モデルの改良で起きにくくはなっていますが、なくなるとは考えないほうが安全です。LLMは次に来る言葉を予測して文章を作る仕組みのため、知らないことや渡された資料にないことを、もっともらしく補ってしまう可能性が残ります。モデルが変わっても、出典を確かめる手順と、人が確認する箇所は残しておくことをおすすめします。
ハルシネーションが心配で、社内での利用を止めるべきか迷っています。
利用を止めるより、使いどころを分けるほうが現実的です。下書き・要約・アイデア出しのように人が必ず手を入れる用途から始め、社外に出す文書や、数字・法令・契約に関わる用途は確認の手順を決めてから広げます。禁止すると、社員が個人の判断で管理されていないサービスを使う心配も出てきます。
ハルシネーションで損害が出た場合、責任は誰にありますか?
個別の事情によって異なるため一概には言えませんが、業務でAIの出力を使って社外に出した文書や判断については、AIではなく、それを使った会社と担当者が説明を求められると考えておくのが基本です。そのため、どの業務で誰が何を確認するかを、社内のルールで決めておくことが大切です。具体的な法的判断が必要な場合は、専門家に相談してください。