AIチャットボット（RAG）の回答精度が低い原因は、多くの場合AIの性能ではなく、AIが参照する資料にある。答えが書かれた資料がない、関係のない資料が混ざっている、資料の書き方や形式が読み取りにくい、内容が古い。このどれかが起きていると、性能の高い生成AIを使っても正しい回答は返らない。改善の第一歩は、回答の「症状」から原因を切り分け、資料を直すことである。
本記事では、症状から原因を切り分ける方法、資料の直し方のチェックリスト、回答精度の測り方を順に解説する。社内AIヘルプデスクの精度改善に取り組んだDeNAの公開事例など、外部の知見もあわせて紹介する。導入後に「使われない」「問い合わせが減らない」という課題については「生成AIチャットボット導入後も問い合わせが減らない理由」で解説している。
RAG（検索拡張生成）は、質問を受けるとまず社内資料から関連する箇所を検索し、その内容をもとに生成AIが回答を組み立てる仕組みである。回答の材料は検索で見つかった資料なので、検索の段階で正しい箇所が見つからなければ、生成AIがどれほど優秀でも正しい回答にはならない。
DeNAのIT戦略部は、社内問い合わせツールのAI回答精度を改善した取り組みを2025年10月に公開している。回答の悪かったケースを分析した結果として挙げられた原因は、ナレッジがない、正解のナレッジがAIの参照対象に入っていない、関係の薄い情報が検索結果に多く混ざる、質問文がわかりにくい、などである。同社は、ナレッジの質が回答精度に最も直結し、ナレッジの「量」だけでなく「質」と「選定」が大切だと結論づけている。
「精度が低い」と一言でいっても、症状によって原因は違う。まず、うまくいかなかった回答がどの症状に当てはまるかを確認する。
| 症状 | 考えられる原因 | 最初に確かめること |
|---|---|---|
| 「わかりません」と答える | 答えが書かれた資料がない、または登録されていない | その質問の答えが、登録済みのどの資料に書いてあるか |
| 別の資料の内容を答える | 関係のない資料や似た資料が混ざっている、用語の表記がばらばら | 回答の根拠として表示された資料が、正しい資料かどうか |
| 答えの一部が抜ける・混ざる | 1つの資料に複数の手順が混在している、表や図が読み取れていない | 根拠の箇所に、必要な情報がまとまって書かれているか |
| 古い内容を答える | 古い版の資料が残っている、更新が反映されていない | 同じテーマの資料が複数登録されていないか |
| それらしいが根拠のない内容を答える | 資料に答えがない質問にも、生成AIが一般論で答えている | 回答に根拠の資料が示されているか |
| 質問によって当たり外れが大きい | 質問文が短すぎる・あいまい、社内特有の略語が使われている | 同じ内容を言い換えた質問で、結果が変わるかどうか |
回答と一緒に根拠の資料名と該当箇所が表示される仕組みであれば、この切り分けは格段に速くなる。どの資料のどこを見て答えたかがわかれば、直すべき資料を特定できるからである。
よく聞かれる質問なのに、答えが特定の担当者の頭の中にしかないケースである。参照する資料がなければ、AIは正しく答えられない。AIが答えられなかった質問を集め、答えを文書にして登録する。「担当部署に確認してください」としか書かれていない資料も、AIにとっては答えがないのと同じなので、具体的な手順や条件まで書き足す。
「資料は多いほどよい」と考えて社内の文書をまとめて登録すると、似た内容の資料や関係の薄い資料が検索結果に混ざり、AIが正しい箇所を選びにくくなる。DeNAの事例でも、参照対象の範囲を絞ったことで回答が大きく改善したケースが報告されている。用途ごとに参照する資料を分け、その用途に必要な資料だけを登録する。
1つのPDFに複数の業務手順が見出しなしで続いている、同じものを部署ごとに違う呼び方で書いている、条件と例外が離れた場所に書かれている。こうした資料では、検索で取り出した一部分だけでは答えがそろわない。手順ごとに見出しを付け、用語をそろえ、条件と例外を近くに書く。DeNAは、一問一答形式のページよりも、体系的に整理・構造化されたナレッジのほうが回答精度の向上に役立ったと報告している。
料金表、組織図、手順の図解など、答えが表や画像の中にしか書かれていない資料は、仕組みによっては文字として読み取れない。使っているサービスが図表や画像内の文字をどこまで読み取れるかを確認し、読み取れない場合は、表を文章や箇条書きでも補足しておく。
規程の改定やシステムの更新があっても、古い版の資料が残っていると、AIは古い内容を根拠に答える。新しい版を追加するときは古い版を必ず外し、「制度が変わったら、誰が、いつ資料を差し替えるか」を決めておく。
登録する資料を、次の項目で点検する。すべてを一度に直す必要はなく、AIがうまく答えられなかった質問に関係する資料から順に直せばよい。
| よくある状態 | 直し方 |
|---|---|
| 同じテーマの資料が、新旧で複数登録されている | 最新版だけを残し、古い版は外す |
| 1つのファイルに、複数の業務の手順が見出しなしで続いている | 手順ごとに見出しを付ける。可能ならファイルを分ける |
| 同じものを、部署によって違う名前で呼んでいる | 資料内の用語をそろえる。略語や社内用語は辞書に登録する |
| 条件や例外が、本文から離れた注記や別の資料に書かれている | 条件と例外を、該当する手順のすぐ近くに書く |
| 「詳しくは担当者へ」とだけ書かれている | 答えられる範囲の具体的な手順や条件を書き足す |
| 答えが表や画像の中にしか書かれていない | 図表を読み取れるかを確認し、必要なら文章でも補足する |
| 質問と答えの一問一答だけで、背景や条件がない | 元になった規程やマニュアルもあわせて登録する |
| 用途の違う資料（社内向けと顧客向けなど）が同じ場所に入っている | 用途ごとに参照する資料を分ける |
資料の整え方そのものの影響を検証した例もある。株式会社ヒューマンサイエンスは、自社のナレッジ改善サービスのPoCで、ナレッジを改善しただけで「資料に基づいた回答ができるか」が約2倍、「回答品質が安定しているか」が64％向上したと2026年5月に公開している。資料を棚卸しして整理する手順は「社内FAQ自動化のナレッジベース完全ガイド」でも解説している。
「なんとなく精度が上がった気がする」では、直した効果を判断できない。同じ質問で、直す前と後を比べる。
過去に届いた問い合わせから、よく聞かれる質問とAIが答えられなかった質問を選び、それぞれの正しい答えと根拠の資料を書き添えておく。社員が実際に使う言い回しのまま残しておくのがポイントである。
| 評価 | 基準 |
|---|---|
| 正答 | 必要な内容がそろっていて、根拠の資料も正しい |
| 部分正答 | 方向は正しいが、条件や手順の一部が抜けている |
| 誤答 | 内容が間違っている、または違う資料をもとに答えている |
| 未回答 | 答えられなかった、または聞き返した |
誤答と未回答は、同じ「失敗」でも意味が違う。資料に答えがないときに未回答になるのは、むしろ正しい振る舞いである。業務で問題になりやすいのは、根拠のない内容をもっともらしく答える誤答のほうなので、まず誤答を減らすことを優先する。
誤答と部分正答の原因を前述の表で切り分けて資料を直し、同じテスト質問でもう一度採点する。DeNAも、評価基準を決め、テストケースで施策ごとに回答を検証し続けることを、精度改善で重要だった点として挙げている。
chai+は、デフィデ株式会社が提供する法人向けのRAGである。ここまでの原因に対応する機能は次のとおり。
| 原因・課題 | chai+の機能 |
|---|---|
| 関係のない資料が混ざる | ハッシュタグ機能で学習データをタグで分類し、検索範囲を絞り込める。部門別・用途別にボットを分け、参照する資料と回答方針を分けて管理できる |
| 表記ゆれ・社内用語 | 社内の略語や製品名、専門用語を辞書登録できる |
| 表や図の情報 | グラフや図、画像内の文字をOCRで抽出し、セマンティック解析で意味付けして取り込む。表は行見出しと列見出しの組み合わせを保ったまま構造を認識する |
| 根拠のない回答 | 意味・キーワード・関連度の3段階で検索するトリプル検索（特許第7851525号）を採用。関連度が低いときは無理に答えず、質問を聞き返す |
| 回答の確認 | 回答の根拠となった資料名と該当箇所をハイライト表示する |
| 答える範囲の制御 | 回答の方針や答える範囲をプロンプトで設定できる |
| 確認済みの答えだけを使いたい | 社内資料からAIがFAQの候補を作り、管理者が承認したものだけで答えるFAQボット（FAQ自動生成）を、ナレッジ検索型と使い分けられる |
| 答えられなかった質問の把握 | 問い合わせログで、よく聞かれる質問や答えられなかった質問を確認できる |
| 古い資料 | 資料を差し替えるだけで回答内容が更新される |
どの資料を登録するか、どの業務から始めるかといった初期設計から運用まで、無償のサポートと伴走支援を受けられる。機能の詳細はchai+のサービスページで確認できる。
chai+を実運用している9業種のデータでは、業種別の回答率は81〜96％、合計7,246件の問い合わせのうち6,589件にAIが回答した（総合回答率90.9％）。回答率がもっとも低かった婚礼（81％）では、個別の事情に合わせた相談が多く、根拠となる資料がない質問は答えずに担当者へ引き継いでいる（婚礼の事例）。業種別の内訳は「RAG構築の方法は3つ」の記事にまとめている。
なお、chai+が品質指標として掲げる98％以上の精度（LLMジャッジによる検索・応答の測定）は、学習データが十分に整備された条件下でのベンチマークスコアであり、上の実運用の数値とは別のものである。
AIチャットボットの回答精度が低いときは、AIを替える前に、AIが参照している資料を見直す。症状から原因を切り分け、答えのない質問には資料を足し、関係のない資料は外し、書き方と版を整える。そのうえで、実際の問い合わせから作ったテスト質問で直す前と後を比べれば、改善の効果を確かめながら精度を上げていける。
社内での使われ方や問い合わせ件数の減らし方は「社内問い合わせを減らす方法」で解説している。chai+の機能と導入の流れは、資料ダウンロードページから確認できる。
A. 多くの場合、原因はAIの性能ではなく参照する資料にあります。答えが書かれた資料がない、関係のない資料が混ざっている、書き方が読み取りにくい、内容が古いといった状態では、性能の高い生成AIでも正しく答えられません。
A. 多ければよいわけではありません。似た資料や関係の薄い資料が混ざると、AIが正しい箇所を選びにくくなります。用途ごとに必要な資料だけを登録し、古い版は外してください。
A. 完全には防げませんが、減らせます。回答の根拠となる資料を表示する仕組みや、根拠が見つからないときは答えずに聞き返す仕組みを選ぶと効果的です。確実に正しい答えが必要な用途では、管理者が承認した回答だけを使うFAQ型も検討してください。
A. 実際の問い合わせからテスト質問を作り、正しい答えと根拠の資料を書き添えます。AIの回答を正答・部分正答・誤答・未回答の4段階で採点し、資料を直すたびに同じ質問で比べます。
A. サービスによって読み取れる範囲が違うため、確認が必要です。chai+では、画像内の文字をOCRで抽出して意味付けし、表は行見出しと列見出しの組み合わせを保ったまま構造を認識して取り込みます。
A. 資料内の用語をそろえたうえで、略語や社内用語を辞書に登録してください。chai+では、社内の略語や製品名、専門用語を辞書登録でき、独自の言い回しの質問でも正しい資料にたどり着けるようになります。
［無料相談を申し込む ］
提供：デフィデ株式会社｜戦略AIコンサルティング