エージェントは「答え」ではなく「仕事の結果」で評価する
チャット型の生成AIは、回答が正しいかどうかで評価できます。AIエージェントは複数の手順を踏み、ツールを呼び、場合によってはシステムに書き込むため、1つの回答の正誤では評価できません。「任せた仕事が、人の手直しなしに、安全に、早く終わったか」を測る必要があります。
Gartnerは2025年6月、エージェント型AIプロジェクトの40%超が、コスト増、価値の不明確さ、リスク管理の不足で2027年末までに中止されると予測しました。価値とリスクを数字で示せないことが、中止の理由の中心にあります。運用評価の仕組みは、エージェントを続けるための説明材料そのものです。
4つのKPIの定義と測り方
| KPI | 定義 | 測り方 | 見る頻度 |
|---|---|---|---|
| 成功率 | 任せたタスクのうち、人の修正なしに完了した割合 | タスク単位で「完了・修正後完了・失敗」を記録 | 週次 |
| 介入率 | 承認ゲートで人が修正・却下した割合 | 承認画面で「そのまま承認・修正・却下」を記録 | 週次 |
| 誤操作件数 | 本来すべきでない書き込み・起票が実行された件数 | 事後レビューと取り消し記録から集計 | 週次（発生時は即時） |
| 処理時間 | タスク開始から完了までの時間（人の待ち時間を含む） | ログのタイムスタンプから算出 | 月次 |
成功率と介入率は似ていますが、見ているものが違います。成功率はエージェントの能力、介入率は承認ゲートでの人の負担を表します。介入率が高いまま成功率だけ上がることはないので、実務では介入率を主に追うことになります。
誤操作件数は、件数そのものよりゼロでない週が出たときの対応が重要です。1件でも出たら原因を分析し、ツールの権限や承認条件を見直します。
PoCで基準値を取り、本番で監視する
KPIの扱い方は、PoCと本番で変えます。
PoCでは、4つの指標の基準値を取り、同じタスクを人が行ったときの時間や誤りと比較します。あわせて、失敗したタスクを「データが古い」「マスタの不整合」「ツールの選択ミス」「指示の解釈ミス」などに分類しておくと、本番で何を監視すべきかが見えます。合格基準はPoC開始前に決めます。生成AIのPoCの設計は生成AIのPoC設計を参照してください。
本番では、介入率を週次で追い、誤操作は発生時に即時通知されるようにします。介入率が悪化したときは、エージェント側の変更（モデルやプロンプトの更新）だけでなく、データ側の変更を疑います。MESの品番改番、設備の追加、不良コードの改定などで、エージェントが参照するデータの意味が変わることがよくあります。
ログの設計：KPIはログからしか取れない
4つのKPIを取るには、エージェントの動作を後から追えるログが必要です。最低限、次の項目を記録します。
- タスクID、開始・終了時刻、依頼者
- 呼び出したツール、入力、出力（順番どおり）
- 参照したデータの範囲と時点（どの時刻のMES実績か）
- 承認ゲートでの判断（承認・修正・却下）と承認者、修正内容
- 最終結果（完了・修正後完了・失敗）と失敗の分類
AWSは2025年12月、エージェント実行基盤のBedrock AgentCoreに、品質を継続的に監視するEvaluations機能と、ツールアクセスを制御するPolicy機能を追加しました。製品側にこうした機能がある場合も、MESの品質記録と突き合わせられる形でログを保存できるかを確認します。
処理時間の落とし穴：人の待ち時間を含めて測る
処理時間は、エージェントの計算時間ではなく、依頼から完了までの時間で測ります。エージェントが数秒で下書きを作っても、承認者が翌日まで見なければ、業務の処理時間は短くなりません。承認待ちの時間が長い場合は、承認者の設定や通知の方法を見直します。
また、処理時間の短縮は、それだけではP/Lの効果になりません。浮いた時間で何が変わったか（保全なら計画外停止、品質なら不具合対応のリードタイム）を、業務KPIと並べて報告します。考え方は生成AIのROIの測り方で扱っています。承認ゲートの置き方はHuman-in-the-loopの設計を参照してください。
よくある質問
成功率は何%あれば本番に入れてよいですか
一律の基準はありません。誤りのコストと、人が確認する体制で決まります。承認ゲートを置く前提なら、成功率が低めでも人の作業時間が減るなら価値があります。事後レビューに移すなら、誤操作ゼロが続いていることを条件にします。
評価のための人手が足りません
評価用の操作を承認画面に組み込むと負担が減ります。承認・修正・却下のボタンと却下理由の選択肢を用意すれば、介入率と却下理由は日常業務の中で自動的に記録されます。
チャット型の生成AIにも同じKPIを使えますか
成功率と処理時間は使えます。介入率と誤操作件数は、書き込みや承認がある業務向けの指標です。チャット型では、回答の正確さと根拠の一致を測る評価が中心になります。
この記事に出てくる用語
この記事を書いた人
DELMIA Apriso を中核とした MES / 製造DX の導入・運用・人材育成と、製造業向けAIの調査・開発・教育を手がけるITコンサルティング企業。ISO 9001:2015 / ISO 27001:2022 認証取得。 日本・中国・米国で製造業のMES・データ基盤・AI導入を手がけた実務者が、欧米・中国の一次情報にあたって書いています。
