製造業のAIは「精度が落ちる」前提で運用する
AIのモデルは、学習したときのデータと、運用中に入ってくるデータが同じ性質であることを前提にしています。工場では、この前提が日常的に崩れます。
| 精度が落ちるきっかけ | 例 | 起きること |
|---|---|---|
| 品種・仕様の追加 | 新しい色や形状の製品を流し始めた | 学習していない外観を異常と判定し、過検出が増える |
| 材料ロット・仕入先の変更 | 樹脂の仕入先が変わり、表面の色味が変わった | 良品の範囲がずれる |
| 設備の改造・治具の交換 | カメラの位置や照明を交換した、センサを付け替えた | 入力の性質そのものが変わる |
| 季節・環境 | 夏場の温度・湿度、外光の入り方 | 時系列データの基準がずれる |
| 設備の経年劣化 | 照明の明るさの低下、センサのドリフト | 少しずつ精度が下がり、気づきにくい |
入力データの性質が変わることをデータドリフト、入力と正解の関係そのものが変わることをコンセプトドリフトと呼びます。どちらも、本番に載せた後に必ず起きると考えて、運用の仕組みを最初から設計します。
GoogleのSculleyらが2015年に発表した論文「Hidden Technical Debt in Machine Learning Systems」は、実際の機械学習システムのうちモデルのコードはごく一部で、周辺のデータ収集・監視・設定管理の仕組みの方がはるかに大きく複雑だと指摘しています。製造業でも、運用の費用と手間はモデル開発より大きくなりがちです。
仕組み1：精度劣化の監視
精度が落ちたことに気づく仕組みがなければ、現場の不信感が先に広がります。監視は、正解が分かるまでの時間で2種類に分けます。
- 正解が後で分かる指標：外観検査なら、AIが不良と判定したものの再検査結果、後工程や顧客からの流出不良。見逃し率と過検出率を週単位・月単位で集計します。
- 正解を待たずに見る指標：入力データの統計（画像の明るさ、センサ値の分布）、AIの出力の分布（異常スコアの平均、不良判定の割合）。これらが急に変わったら、正解が分かる前に調査を始めます。
仕組み2：再学習の手順と変更管理
精度が落ちたら再学習します。ただし、再学習したモデルをすぐに本番に入れると、新しい問題を持ち込むことがあります。製造業では、再学習を工場の変更管理（4M変更の管理）の中に位置づけます。
- きっかけを決める：定期（四半期ごとなど）と、イベント（品種追加、設備改造、監視ルールの発動）の両方で再学習を検討します。
- データを選ぶ：新しい条件のデータを追加し、古い条件のデータを残すか外すかを決めます。正解ラベルは判定基準書に沿って付けます。
- 評価する：再学習したモデルを、決まった評価データで評価し、旧モデルより悪化していないかを確認します。新しい条件だけでなく、従来の品種でも悪化していないかを見ます。
- 並行運用する：可能なら、新旧のモデルを一定期間並行して動かし（シャドー運用）、判定の差を確認します。
- 承認して切り替える：品質保証の承認を経て本番のモデルを切り替え、切り替え日時を記録します。
仕組み3：モデルの版管理とトレーサビリティ
製造業のAIで特に重要なのが、どのモデルの版で合否を判定したかを記録することです。品質問題が起きたとき、顧客や監査から「この製品はどの基準で検査したか」を問われます。AIの判定もこの問いに答えられる必要があります。
記録すべき項目は次のとおりです。
- モデルの版と、学習に使ったデータの範囲
- 運用している閾値と、その変更履歴（誰が、いつ、なぜ変えたか）
- 製品・ロットごとの判定結果、異常スコア、判定に使ったモデルの版
現場が閾値を変更するときの権限と記録も決めておきます。過検出が多いからと現場で閾値を上げると、見逃しが増えるおそれがあります。閾値の変更は品質保証の承認を必要とする変更として扱います。具体的な設計は工場向けMLOpsで扱っています。
運用体制と費用
運用の担当を決めないまま本番に載せると、PoCチームやベンダーが離れた後に誰も精度を見なくなります。
| 役割 | 担当の例 | 主な仕事 |
|---|---|---|
| 運用オーナー | 製造部門の課長 | 監視結果の確認、再学習の判断 |
| 品質の承認 | 品質保証 | モデル切り替え・閾値変更の承認 |
| データ・基盤 | 情報システム | データの流れ、モデルの配布、障害対応 |
| モデルの更新 | ベンダーまたは社内のAI担当 | 再学習、評価、切り替え作業 |
運用費は、監視の工数、再学習のたびのラベル付けと評価、ライセンス、クラウドやエッジ機器の保守で構成されます。初期費用の見積もりに含まれないことが多いため、年間の運用費として別に見積もります（AIの運用コスト）。
よくある質問
再学習はどのくらいの頻度で行えばよいですか？
決まった正解はありません。品種追加や設備改造などのイベントのたびと、監視ルールが発動したときに検討し、それに加えて四半期や半年ごとの定期点検を置くのが一般的です。頻繁に再学習が必要になる場合は、学習データのばらつきが足りないことを疑います。
精度が落ちたとき、AIを止めるべきですか？
止めたときの代替手順（人の全数検査に戻すなど）を事前に決めておき、合格ラインを大きく下回ったら代替手順に切り替えます。AIを止める基準と、再開する基準の両方を運用ルールに書いておきます。
モデルの版の記録は、本当に必要ですか？
品質問題が起きたときに、どの基準で判定した製品かを遡れないと、対象範囲を絞れず、回収や再検査の範囲が広がります。自動車や医薬品のように品質記録の要求が厳しい業種では、特に重要です。
この記事に出てくる用語
AIは「データ基盤」で決まる
PoCは成功したのに本番で止まる。原因の多くはモデルではなく、MESと設備データの側にある 全130本
- MESとAIの関係：ロット・作業指示・品質判定がAIの精度を決める理由
- 製造業AIが本番で止まる7つの理由：PoCは成功したのにラインに載らない構造
- 製造業のAI-OCR：紙の検査記録・点検表・ミルシートをデータ化する手順
- データ基盤の段階的導入ロードマップ：ユースケースから逆算する8ステップ
この記事を書いた人
DELMIA Apriso を中核とした MES / 製造DX の導入・運用・人材育成と、製造業向けAIの調査・開発・教育を手がけるITコンサルティング企業。ISO 9001:2015 / ISO 27001:2022 認証取得。 日本・中国・米国で製造業のMES・データ基盤・AI導入を手がけた実務者が、欧米・中国の一次情報にあたって書いています。
