リスクは4分類12項目で洗い出す
製造業AIのリスクは、品質、安全、法務、運用の4つに分けると、担当部門を決めやすくなります。下の表は、検討段階で最低限確認したい12項目です。
| 分類 | リスク | 典型的な起き方 | 主な対策 | 担当部門 |
|---|---|---|---|---|
| 品質 | 1. 見逃し（偽陰性） | 不良を良品と判定し流出 | 閾値設計、並行運用、抜き取り検査の継続 | 品質保証 |
| 品質 | 2. 過検出（偽陽性） | 良品を不良とし再検査・廃棄が増える | 閾値と再検査工数の試算、正常データの拡充 | 製造・品質保証 |
| 品質 | 3. 判定根拠の追跡不能 | どのモデルで判定したか監査で答えられない | モデルの版をロット記録に残す | 情報システム・品質保証 |
| 安全 | 4. 設備制御の誤作動 | AIが設定値を変え、設備や人に危険が及ぶ | 承認フロー、インターロック、書き込み範囲の制限 | 生産技術・安全管理 |
| 安全 | 5. 人の過信 | AIの判定を確認せずに作業を進める | 確認手順の標準化、AIの限界の教育 | 製造 |
| 法務 | 6. 機密データの持ち出し | 図面・レシピを外部AIサービスに入力 | 利用ルール、閉域環境、入力制限 | 法務・情報システム |
| 法務 | 7. 責任分界の不明確さ | 誤判定の損害を誰が負うか決まっていない | 契約での責任範囲・性能保証の明記 | 法務・調達 |
| 法務 | 8. 規制への不適合 | 輸出先の規制（EU AI Actなど）の対象になる | 対象判定と文書化 | 法務・品質保証 |
| 運用 | 9. 精度劣化（ドリフト） | 材料・季節・設備変更で精度が落ちる | 精度監視、再学習の手順と担当 | 情報システム・製造 |
| 運用 | 10. サイバー攻撃の入口拡大 | AI用の接続が制御系への侵入経路になる | ゾーン分割、一方向通信、機器管理 | 情報システム |
| 運用 | 11. ベンダー依存 | 再学習やデータ移行がベンダーなしでできない | データとモデルの権利の確保 | 調達・情報システム |
| 運用 | 12. 担当者の属人化 | 作った人が異動して誰も直せない | 手順書、複数担当、運用の引き継ぎ | 推進部門 |
品質と安全：損失に直結するリスク
品質のリスクで最も重いのは見逃しです。ベンチマークで画像AUROC 99%台の手法でも、決めた閾値では誤判定がゼロにはなりません。見逃しを抑えるよう閾値を下げると過検出が増え、その再検査の工数が効果を食います。導入初期は人の検査とAIを並行して回し、差分を分析してから切り替えるのが基本です。
安全のリスクは、AIが設備に書き込む場合に大きくなります。推論結果で設定値を変える場合は、人の承認を挟む、変えてよい範囲を限定する、異常時に止めるインターロックを設ける、の3つを設計に入れます。生成AIやAIエージェントについては、OWASPが2025年版のLLMアプリケーションのリスク一覧で「過剰な権限（Excessive Agency）」を挙げており、AIに与える操作の権限を最小にすることが求められます。
法務：データ・責任・規制
機密データの持ち出しは、生成AIの普及で起きやすくなりました。図面、加工条件、レシピは営業秘密や顧客との秘密保持契約の対象であることが多く、外部サービスへの入力ルールを決めておく必要があります。
責任分界では、AIの誤判定で流出不良が出たとき、AIを開発したベンダー、導入した自社、判定を確認した作業者の誰がどこまで責任を負うかを、契約と社内規程で決めておきます。AIの性能は確率的なものであり、ベンダーが精度を保証しない契約が一般的であることも前提にします。詳しくはAI開発契約とAIの責任で扱っています。
規制では、EUに製品や設備を輸出する企業はEU AI Actを確認します。同法の第6条では、性能最適化・効率化・品質管理など安全以外の目的のAIは製品の「安全部品」に当たらないとされ、多くの品質・保全AIは高リスクの対象外になり得ます。一方、従業員の作業を監視・評価するAIは附属書IIIで高リスクとされており、工場の作業者監視AIには影響します。AI Omnibusによる延期後、附属書IIIの高リスク義務は2027年12月2日から適用されます。
運用：時間とともに大きくなるリスク
運用のリスクは、導入直後は見えず、半年から1年後に表れます。精度劣化は、材料ロットや季節、設備の改造で起きます。サイバー攻撃の面では、IBM X-Forceによると2025年に製造業はサイバー攻撃の27.7%を占め、5年連続で最も攻撃された業種でした。AIのために制御系と情報系をつなぐ設計は、国際規格IEC 62443のゾーンとコンジットの考え方で見直します。
海外のリスク管理の枠組みとしては、米国NISTのAI RMF 1.0（2023年1月）がGovern・Map・Measure・Manageの4機能でリスク管理を整理しており、2024年7月には生成AIのリスクを12項目で定義したNIST AI 600-1が公開されています。AIマネジメントシステムの国際規格ISO/IEC 42001も2023年12月に発行されました。社内のリスク台帳を作るときの参照枠として使えます。
よくある質問
品質管理に使うAIはEU AI Actの高リスクに当たりますか
同法第6条では、品質管理や効率化など安全以外の目的のAIは製品の安全部品に当たらないとされ、多くの場合は高リスクの対象外になり得ます。ただし故障が健康・安全を脅かす場合は除外されないため、用途ごとに確認が必要です。
AIの誤判定で不良が流出したら誰の責任ですか
契約と社内規程の定め方次第です。AIベンダーは精度を保証しない契約が一般的なため、最終判定の責任を誰が持つか、AIの判定を人が確認する範囲をどうするかを導入前に決めておく必要があります。
リスク対策はどの部門が主導すべきですか
推進部門がリスク台帳を持ち、各リスクの主担当を品質保証、生産技術、法務、情報システムに割り振る形が現実的です。1つのリスクに複数部門が関わる場合も、主担当は1つに決めます。
- OWASP Top 10 for LLM Applications 2025（OWASP GenAI Security Project, 2025年）
- Article 6（artificialintelligenceact.eu）
- Annex III（artificialintelligenceact.eu）
- Article 113（artificialintelligenceact.eu）
- AI Risk Management Framework（NIST）
- NIST AI 600-1 Generative AI Profile（NIST, 2024年7月）
- ISO/IEC 42001:2023（ISO, 2023年12月）
- Manufacturing sector saw most cyberattacks in 2025（Manufacturing Dive, 2026年2月26日）
- Towards Total Recall in Industrial Anomaly Detection（Roth et al., CVPR 2022）
この記事に出てくる用語
この記事を書いた人
DELMIA Apriso を中核とした MES / 製造DX の導入・運用・人材育成と、製造業向けAIの調査・開発・教育を手がけるITコンサルティング企業。ISO 9001:2015 / ISO 27001:2022 認証取得。 日本・中国・米国で製造業のMES・データ基盤・AI導入を手がけた実務者が、欧米・中国の一次情報にあたって書いています。
