評価は「検索」「回答」「根拠」の3段階に分ける
RAGの評価を「回答が正しかったか」だけで行うと、誤答の原因がわからず、改善の手が打てません。次の3段階に分けて測ります。
| 段階 | 測ること | 指標の例 | 誤ったときに直す場所 |
|---|---|---|---|
| 1. 検索適合 | 正解の文書・箇所が検索結果の上位に入ったか | 上位5件の正解含有率 | 分割、メタデータ、検索方式 |
| 2. 回答正確 | 回答の内容が正解と一致したか | 正答率（専門家の採点） | プロンプト、渡すチャンク数、LLM |
| 3. 根拠一致 | 回答が示した根拠と、回答の内容が対応しているか | 根拠一致率、根拠なし回答の率 | プロンプト、回答の表示形式 |
3段目の根拠一致は見落とされがちです。回答の内容は正しいのに、示した根拠の文書には書かれていない（LLMが一般知識で補った）場合、利用者が根拠を確かめても裏付けが取れません。製造業では、根拠を確認できない回答は「正しくても使えない回答」として扱うべきです。
評価用の質問セットを現場と作る
汎用のベンチマークの点数は、自社の文書と質問には当てはまりません。評価用の質問は、実際の利用者と一緒に作ります。
答えがない質問を混ぜる理由は、製造業ではもっともらしい誤答が最も危険だからです。文書にない内容を問われて、一般知識から推測で答えるRAGは、正答率が高くても本番に出すべきではありません。
合格基準は用途の「誤りのコスト」で決める
合格基準は一律ではなく、誤ったときの影響で変えます。以下は基準の決め方の例で、数値は各社で決めるものです。
| 用途 | 誤りのコスト | 基準の考え方（例） |
|---|---|---|
| 社内規程・総務の問い合わせ | 低い | 正答率を重視。根拠一致は参考指標 |
| 過去トラ検索 | 中程度 | 検索適合を重視（取りこぼしを減らす）。最終判断は人 |
| 作業手順書検索 | 高い | 旧版・別品番の参照が0件であることを必須条件にする |
| 規格値・トルク値の問い合わせ | 非常に高い | 数値は生成させず、原文の該当箇所の表示を必須にする |
手順書検索のように「特定の種類の誤りが1件でもあれば不合格」とする条件を、正答率とは別に置くのが実務的です。平均の正答率が高くても、致命的な誤りが含まれていれば本番には出せません。
本番後は月次で再評価する
RAGの精度は、本番に出した後も変わります。文書の追加・改訂、利用者の質問の変化、LLMのバージョン更新のたびに、同じ質問セットで測り直します。
- 月次：評価用の質問セットを全問実行し、3段階の指標を前月と比べる
- 随時：利用者が「役に立たなかった」と評価した回答を集め、原因を分類する
- 四半期：実際の質問ログから新しい質問を10〜20問追加し、質問セットを更新する
- LLMや埋め込みモデルを変更する前：必ず質問セットで旧版と新版を比べる
利用者のフィードバックは、回答画面に「役に立った／立たなかった」のボタンを付けて集めるのが簡単です。「立たなかった」が押された回答は、検索結果と一緒にログに残しておくと、原因の分類が速くなります。
PoCで評価しておかないと何が起きるか
Gartnerは2024年8月、生成AIプロジェクトの少なくとも30%が2025年末までにPoC後に放棄されると予測し、理由としてデータ品質の低さ、リスク管理の不備、コストの増大、事業価値の不明確さを挙げました。評価の仕組みがないRAGは、「なんとなく便利」以上の判断材料を経営に示せず、この「事業価値の不明確さ」で止まります。
PoCの段階で質問セットと合格基準を決めておけば、本番に進む判断と、進まない判断の両方に根拠を持てます。PoCの設計全体は生成AIのPoC設計、ハルシネーションの評価方法は生成AIのハルシネーションを業務で評価する、検索精度の改善はRAGの精度が出ないときに見直す6項目で扱っています。
よくある質問
LLMに回答を採点させる方法は使えますか？
回答の文体や根拠の有無の確認など、一部の採点には使えます。製造業の専門的な内容の正誤判定は、LLMの採点が誤ることがあるため、少なくとも本番判断に使う評価は専門家が採点するか、LLMの採点を専門家が抜き取りで確認してください。
質問セットは何問あれば十分ですか？
最初は30〜50問で、改善の方向を判断するには足ります。本番判断では、致命的な誤りの有無を確認するために、誤りやすい種類の質問（表の数値、品番違い、旧版）を厚めに入れることが件数より重要です。
回答速度は評価に入れるべきですか？
入れてください。現場端末での利用では、回答に数十秒かかると使われなくなります。用途ごとに許容できる応答時間を決め、評価のたびに測ります。
この記事に出てくる用語
製造業の生成AI、どこまで任せられるか
文書検索、手順書の生成、品質報告のドラフト。人が承認する範囲と任せてよい範囲の線引き 全91本
- 製造業の生成AI活用の全体像：業務別12ユースケースと導入の順番
- 製造業の社内文書RAG入門：手順書・図面・品質記録を検索する5層構成
- Siemens Industrial Copilotの全体像：5系統の提供状況と狙い
- 生成AIの情報漏えい対策：製造業が決めるべき入力禁止情報とログ管理の7項目
この記事を書いた人
DELMIA Apriso を中核とした MES / 製造DX の導入・運用・人材育成と、製造業向けAIの調査・開発・教育を手がけるITコンサルティング企業。ISO 9001:2015 / ISO 27001:2022 認証取得。 日本・中国・米国で製造業のMES・データ基盤・AI導入を手がけた実務者が、欧米・中国の一次情報にあたって書いています。
