AIチャットボットの回答率は、chai+を実運用している9業種・7,246件のデータでは、業種別に81〜96％、全体で90.9％だった。ただし「回答率」はAIが答えた割合であり、正しく答えた割合（正答率）や、社員・顧客が問い合わせをせずに解決できた割合（自己解決率）とは別の指標である。他社の数字や自社の過去の数字と比べるときは、まず定義をそろえる必要がある。
本記事では、回答率・正答率・自己解決率の違いを整理したうえで、9業種の実測データを公開し、回答率を正しく測る方法と、数字を比べるときの注意点を解説する。
AIチャットボットの成果を表す数字には、似た名前の指標がいくつかある。何を分子・分母にしているかで意味が大きく変わるため、まず違いを押さえておく。
| 指標 | 意味 | わかること | 注意点 |
|---|---|---|---|
| 回答率 | 問い合わせのうち、AIが回答した件数の割合 | AIが答えられる範囲の広さ | 答えが正しかったかどうかは含まない |
| 正答率 | AIの回答のうち、正しかったものの割合 | 回答の正しさ | 人が採点する必要があり、テスト質問で測ることが多い |
| 自己解決率 | 社員や顧客がAIやFAQで、担当部署へ聞かずに解決できた割合 | 問い合わせ対応の負担がどれだけ減ったか | AIの外での行動（その後に問い合わせたか）も追う必要がある |
| 引き継ぎ率 | AIで解決できず、担当者へ引き継いだ割合 | 人が対応すべき問い合わせの量 | 高いテーマは、資料不足か、もともと人が受けるべき相談 |
ベンダーが「精度」として示す数字も、これらとは別のものであることが多い。たとえばchai+が品質指標として掲げる98％以上の精度は、LLMジャッジによる検索・応答の測定で、学習データが十分に整備された条件下でのベンチマークスコアである。実運用での回答率とは測り方も条件も違う。
chai+を実運用している9業種の回答率は次のとおり。業種名から、それぞれの事例記事を読める。
| 業種 | 主な用途 | 問い合わせ数 | 回答数 | 未回答数 | 回答率 |
|---|---|---|---|---|---|
| コールセンター・BPO | ECサイトの24時間問い合わせ対応、商品情報の問い合わせ | 892件 | 858件 | 34件 | 96％ |
| 紙・木製品／機械器具 | 製品情報の案内・検索、メーカー・製品ごとの問い合わせ | 748件 | 710件 | 38件 | 95％ |
| エンタメ・娯楽 | アルバイト・契約社員向けの教育、業務オペレーション | 663件 | 629件 | 34件 | 95％ |
| レジャー・旅行／観光・イベント | 社内業務の問い合わせ、来場者からの問い合わせ | 752件 | 706件 | 46件 | 94％ |
| 建設・不動産 | Teamsを使った社内外のヘルプデスク | 614件 | 563件 | 51件 | 92％ |
| 大学・教育機関 | 在学生向けの問い合わせ窓口、生協への質問対応、教材の問い合わせ | 2,090件 | 1,885件 | 205件 | 90％ |
| ソフトウェア | 製品・サービスの問い合わせ、操作方法の案内、FAQ・マニュアル検索 | 441件 | 384件 | 57件 | 87％ |
| 食品・飲料 | 製造工場のトラブル対応、部品に関する質問 | 400件 | 331件 | 69件 | 83％ |
| 結婚式場・婚礼 | 新郎新婦・ゲストからの問い合わせ、式場・プランの案内 | 646件 | 523件 | 123件 | 81％ |
| 合計 | ― | 7,246件 | 6,589件 | 657件 | 90.9％ |
出典：chai+公開情報（業種別の実運用データ）。回答率は、問い合わせ数のうちAIが回答した件数の割合。実運用環境での実測値で、学習データの拡充状況により変動する。
回答率は、問い合わせの中身と、登録した資料の整備状況に左右される。事例記事で紹介している2つの業種が、その違いをよく表している。
店舗スタッフの質問の多くは、接客手順・機材・料金・締め作業のように、マニュアルに答えが書いてあるものだった。既存の社内資料を登録するだけで、AIが答えられる範囲が大きく広がり、AIが答えなかったのは663件中34件だった。
問い合わせには、「親族の席次をどうするか」のような、ふたりの事情に合わせた個別の相談が多く含まれる。chai+は根拠となる資料が見つからない質問には答えず人へ引き継ぐ設計のため、こうした相談は担当プランナーへ渡される。回答率が低いことは、必ずしも失敗ではない。
2つの例からは、同じ仕組みでも、問い合わせのうち資料に答えがある質問の割合によって回答率が変わることが読み取れる。自社の見込みを立てるときは、平均の数字よりも、自社の問い合わせのうち資料に答えがあるものがどれだけあるかを確認するほうが確実である。
何を1件と数えるかで、回答率は変わる。導入時の動作確認のための質問やあいさつだけの入力を含めるのか、同じ人の言い直しを別の件として数えるのかを決め、毎月同じ基準で数える。
導入前の1か月と導入後の1か月、あるいは資料を直す前の1か月と後の1か月のように、同じ長さの期間で比べる。繁忙期と閑散期では問い合わせの中身が変わるため、時期の違いにも注意する。
回答率の数字そのものより、答えられなかった質問の中身のほうが改善に役立つ。未回答の質問を「資料を足せば答えられるもの」と「人が受けるべき相談」に分け、前者だけを資料の追加で減らしていく。
回答率は、AIが「何か答えた」割合でしかない。根拠のない質問にも一般論で答える設定にすれば回答率は上がるが、誤った回答も増える。実際の問い合わせから作ったテスト質問で、正答・部分正答・誤答・未回答を採点し、回答率と正答率の両方を見る。採点の方法は「RAG・AIチャットボットの回答精度が低い原因と改善方法」で解説している。
製品選びの際に、各社が示す回答率や正答率を並べて比べたくなる。しかし、次の点がそろっていない数字は、そのまま比べられない。
最も確実なのは、自社の実際の問い合わせと資料を使って試すことである。数十件のテスト質問でも、自社の業務でどれくらい答えられるかの見当はつく。
chai+は、デフィデ株式会社が提供する法人向けのRAG（社内資料を検索して回答する生成AI）である。回答率を測り、改善していくために、次の機能を備えている。
最短3営業日でプロトタイプを作成でき、自社の問い合わせで回答率を確かめてから導入を判断できる。導入前の初期設計から運用まで、無償のサポートと伴走支援も受けられる。
chai+の9業種・7,246件の実測では、AIチャットボットの回答率は業種別81〜96％、総合90.9％だった。ただし回答率は、問い合わせの中身と資料の整備状況で変わり、正しく答えた割合や問い合わせが減った割合とは別の指標である。数字を比べるときは定義・条件・対象をそろえ、自社では未回答の中身と正答率をあわせて見ながら改善していくことが大切である。
社内問い合わせを減らす全体の手順は「社内問い合わせを減らす方法」、効果の試算は導入効果の試算ページで確認できる。chai+の機能と導入の流れは、資料ダウンロードページから確認できる。
A. chai+を実運用している9業種・7,246件のデータでは、業種別の回答率は81〜96％、全体では90.9％でした。回答率は問い合わせの中身と資料の整備状況で変わるため、業種や用途によって差があります。
A. 回答率は問い合わせのうちAIが回答した割合で、正答率はAIの回答のうち正しかったものの割合です。回答率が高くても、根拠のない回答が多ければ正答率は下がるため、両方をあわせて見る必要があります。
A. 自己解決率は、社員や顧客がAIやFAQで、担当部署へ聞かずに解決できた割合です。AIが答えても、その後に担当部署へ問い合わせていれば自己解決にはなりません。問い合わせ対応の負担が減ったかを知るには、自己解決率や問い合わせ件数の推移を見ます。
A. 必ずしも失敗ではありません。個別の判断が必要な相談が多い業務では、資料に根拠のない質問を人へ引き継ぐため、回答率は低めになります。未回答の質問を「資料を足せば答えられるもの」と「人が受けるべき相談」に分けて確認してください。
A. 答えられなかった質問を確認し、答えが書かれた資料を追加・更新します。あわせて、古い版や関係のない資料を外し、資料の書き方を整えると、AIが正しい箇所を見つけやすくなります。
A. 同じではありません。chai+の98％以上の精度は、学習データが十分に整備された条件下でのベンチマークスコアです。実運用での回答率は、問い合わせの中身や資料の整備状況によって変わり、chai+の9業種では81〜96％でした。
［無料相談を申し込む ］
提供：デフィデ株式会社｜戦略AIコンサルティング