品質保証部門が求める「説明」とは何か
説明可能なAI（XAI：Explainable AI）は、AIの判定や予測の根拠を人が理解できる形で示す技術と考え方の総称です。ただし、製造業の品質保証部門が求める「説明」は、AIの内部の計算を理解することではありません。求められているのは、主に次の3つです。
- 個別の判定の根拠：この製品を不良と判定したのは、どこに何があったからか
- 判定の一貫性：同じような製品には同じ判定をするか、判定基準は変わっていないか
- 後からの追跡：クレームが起きたとき、どのモデルが、どのデータで、どう判定したかを確認できるか
深層学習のモデルは内部の計算が複雑で、「なぜそう判定したか」を数式で説明することは困難です。しかし、上の3つは、モデルの中身を完全に理解しなくても、出力の見せ方と記録の仕組みで満たせることが多くあります。
根拠を示す4つの方法
1. 判定根拠の可視化
外観検査では、AIが「どこを異常と見たか」を画像上に色で示す方法が使われます。良品学習の代表的な手法であるPatchCoreやPaDiMは、画像を小さな領域（パッチ）に分けてそれぞれの異常度を計算するため、異常マップ（異常度の高い領域を色付けした図）を出力できます。研究では、このマップの精度をピクセル単位のAUROCや、欠陥の領域ごとの検出率を平均するPROという指標で評価しています。
検査員はこのマップを見て、AIが本当に傷の位置に反応しているのか、背景の汚れや刻印に反応しているのかを確認できます。品質保証部門にとっては、判定根拠を目で確かめられる最も分かりやすい説明です。
2. 変数の寄与度
工程データを使った品質予測や要因分析では、どの変数（温度、圧力、速度など）が判定に効いたかを数値で示します。統計的工程管理の多変量管理図（Hotelling T²）では、異常を検知した後に、どの変数が効いているかを寄与プロットで確認するのが定石です。機械学習のモデルでは、勾配ブースティングとSHAP（各変数が予測値をどれだけ押し上げ・押し下げたかを示す手法）を組み合わせる方法がよく使われます。
3. 類似事例の提示
「この製品は、過去に不良と判定された◯◯の事例と似ている」と、似た過去の事例や限度見本を一緒に示す方法です。検査員や品質保証の担当者は、普段から限度見本と比べて判定しているため、AIの判定も同じ形で示されると納得しやすくなります。保全の分野では、過去の故障記録の中から似た症状の事例を提示する使い方もあります。
4. 判定の記録
すべての用途で必要なのが、判定の記録です。どのモデルの版で、どの入力データに対して、どのスコアが出て、どの閾値で合否を決めたかを、ロット番号と結んで残します。工場向けのMLOps（機械学習の運用管理）では、モデルの版数をロットのトレーサビリティに記録することが、品質監査で必要な要件として挙げられます。個別の判定の説明ができなくても、記録があれば後から再現と検証ができます。
用途別の組み合わせ方
| 用途 | 主な説明の方法 | 品質保証が確認すること |
|---|---|---|
| 外観検査（良品学習） | 異常マップ＋限度見本との比較＋記録 | マップが欠陥の位置に反応しているか |
| 外観検査（不良種の分類） | 注目領域の可視化＋類似事例＋記録 | 分類の誤りが特定の不良種に偏っていないか |
| 品質予測・要因分析 | 寄与度（SHAP・寄与プロット）＋記録 | 寄与の大きい変数が工程の知見と矛盾しないか |
| 予知保全 | 異常スコアの推移＋寄与したセンサー＋類似の故障事例 | アラームの根拠が保全担当者に伝わるか |
| 生成AI（品質記録の検索・文書作成） | 参照した文書の提示＋記録 | 回答が根拠の文書と一致しているか |
生成AIを品質業務に使う場合は、回答の根拠となった文書（社内規定、過去の報告書）を一緒に示す仕組みが説明の役割を果たします。根拠を示さずに文章だけを出す仕組みは、品質記録の作成には使えません。詳しくは 品質記録のRAG で扱っています。
規制と顧客監査の観点
EUのAI Actでは、第6条1a項で、性能最適化・効率化・自動化・品質管理など安全以外の目的のAIは「安全部品」に当たらないとされています。製造業の品質・保全のAIの多くは高リスクの対象外になりえますが、故障が健康・安全を脅かす場合は除外されません（1b項）。一方、顧客監査では、規制の有無にかかわらず、自動検査の判定基準と記録の提示を求められることがあります。医薬品や自動車部品のように品質記録の要求が厳しい業種では、記録の仕組みを本番の要件に含めておく必要があります。顧客監査への対応は 顧客のAI監査への備え を参照してください。
AIと人の判定の役割分担は AIと人の役割分担 で、品質保証部門でのAIの使い方全般は 品質保証部門のAI活用 で扱っています。
よくある質問
説明できないAIは品質保証の用途に使えませんか
個別の判定の内部ロジックを説明できなくても、判定の記録、並行運用での実績、異常マップの確認を組み合わせれば、品質保証の承認を得られることは多くあります。重要なのは、判定の誤りを後から検証できる仕組みがあることです。
ルールベースの検査の方が説明しやすいのではありませんか
そのとおりです。しきい値や画像処理の固定ルールで十分な精度が出る検査なら、説明と保守のしやすさからルールベースを選ぶべきです。AIは、ルールで書けない判定が必要な場合に使います。
異常マップが欠陥以外の場所に反応していたらどうしますか
撮像条件（照明・背景・位置決め）や学習データの偏りを疑います。刻印や色ムラなど良品の自然なばらつきに反応している場合は、そのばらつきを含む良品画像を学習データに加える必要があります。
この記事に出てくる用語
この記事を書いた人
DELMIA Apriso を中核とした MES / 製造DX の導入・運用・人材育成と、製造業向けAIの調査・開発・教育を手がけるITコンサルティング企業。ISO 9001:2015 / ISO 27001:2022 認証取得。 日本・中国・米国で製造業のMES・データ基盤・AI導入を手がけた実務者が、欧米・中国の一次情報にあたって書いています。
