PoCの目的は「本番に進むかを決めること」
外観検査AIのPoC（概念実証）は、AIで検査ができるかを試す場ではなく、本番導入に進むかどうかを判断する材料を集める場です。そのため、開始前に「何が満たされたら進む、何が満たされなければ止める」を決めておく必要があります。合否基準のないPoCは、終了時に精度の数字だけが残り、良いのか悪いのか誰も判断できません。
合否基準を作るために、PoCの前に決めるべきことは3つあります。何を不良とするか（不良定義）、どこまでが良品か（限度見本）、どれだけの見逃しなら許容できるか（許容見逃し率）です。この3つは品質保証部門の判断事項で、AIベンダーには決められません。
8週間の計画
以下は、1品番・数種類の欠陥を対象にした場合の標準的な計画です。欠陥の種類や撮像の難しさで延びることはありますが、順番は変えないでください。
第1週：検査仕様の明文化
対象品番、検査する面、検出する欠陥の種類と最小サイズ、不良定義、限度見本、許容見逃し率、許容過検出率、タクトを文書にします。限度見本は実物だけでなく画像でも残します。検査員によって良否判定が割れる欠陥は、この週に基準を統一してください。統一できない欠陥は、AIの学習でも正解ラベルが作れないため、PoCの対象から外します。項目の洗い出しには外観検査AIの要件定義シートが使えます。
第2週：撮像検証と中止判断1
量産ラインと同じ治具・照明・タクトで、代表的な不良品と良品を撮像し、すべての対象欠陥が画像上で見分けられるかを確認します。人が画像を見て判定できない欠陥は、AIにも判定できません。ここで見えない欠陥があれば、照明方式を変えるか、その欠陥を対象から外すかを決めます。主要な欠陥が写らない場合はPoCを中止し、撮像系の再設計から考え直します。これが1つ目の中止判断です。
第3〜4週：データ収集
複数のロット、複数の日、複数の時間帯にまたがって良品と不良品を集めます。1日分の画像では材料ロットや時間帯による良品のばらつきが入らず、量産で過検出が増える原因になります。不良品は種類ごとに数を数え、評価用（学習に使わない分）を先に確保してから残りを学習に回します。
第5〜6週：学習、手法比較、閾値設計
良品学習（PatchCoreやEfficientADなど）と、必要に応じて不良学習のモデルを、同じ評価データで比べます。比べる指標はAUROCではなく、閾値を決めたうえでの見逃し率（不良種類別）と過検出率です。推論時間がタクトに収まるかもここで確認します。
第7〜8週：並行運用と合否判定
ラインで人の検査とAIを同時に動かし、判定が食い違った製品を集めて原因を分析します。並行運用の結果を第1週に決めた合否基準と照らし、本番導入に進むか、条件付きで進むか、中止するかを判定します。これが2つ目の中止判断です。
合否基準の作り方
合否基準は、精度だけでなく運用の成立性も含めて決めます。
| 区分 | 基準の例 | 決める部門 |
|---|---|---|
| 見逃し | 重大欠陥（割れ等）の見逃しゼロ、軽微な欠陥は◯%以下 | 品質保証 |
| 過検出 | 過検出率◯%以下（1日の再判定個数が◯個以内） | 製造・品質保証 |
| 速度 | 1個あたりの判定がタクト内に収まる | 生産技術 |
| 運用 | 品種追加時の再学習を社内担当者が◯時間以内でできる | 生産技術・情報システム |
| 効果 | 試算した年間純効果が回収期間◯年以内を満たす | 経営企画 |
過検出率の基準は、再判定にかけられる人員の能力から逆算すると決めやすくなります。また、効果の基準をPoCの合否に入れておくと、本番導入の稟議とPoCの評価が一致します。PoCの一般的な設計方法は製造業AIのPoC設計でも解説しています。
終了時に残すべき成果物
PoCの成果は、精度の報告書だけではありません。次のものを自社に残しておくと、本番導入でもベンダーを替える場合でも無駄になりません。
- 検査仕様書と限度見本の画像
- 撮像条件（照明・カメラ・露光・治具）の設定値と配置図
- 学習用・評価用の画像セットとラベル、収集したロット・日時の記録
- 閾値ごとの見逃し率と過検出率の表
- 並行運用で食い違った製品の分析結果
画像とラベルは、ロット・品番・撮影日時と紐付けて保存してください。本番導入後、判定結果をMESの検査実績と紐付ける設計にそのまま引き継げます。評価指標の詳しい考え方は外観検査AIの精度評価にまとめています。
よくある質問
8週間で終わらない場合はどうしますか？
多いのは、不良品が集まらずデータ収集が延びるケースです。集まらない欠陥は、良品学習で異常として拾えるかだけを確認し、種類分けは本番導入後にデータが貯まってから行う、と範囲を絞ると期間内に判断できます。
PoCの費用は誰が負担しますか？
有償PoCが一般的です。無償PoCは、範囲が狭かったり、成果物（画像やモデル）の権利がベンダー側に残ったりすることがあります。費用の考え方は事前に確認し、成果物の扱いを契約に明記してください。
並行運用で人とAIの判定が食い違ったらどちらが正しいとしますか？
限度見本に照らして、複数の検査員で再判定した結果を正とします。人の判定が誤っていた例が見つかることも珍しくなく、その場合は検査仕様の見直しにつながります。
この記事に出てくる用語
外観検査AIの選び方
良品学習か不良学習か、撮像系を誰が持つか。精度の数字だけで選ばないための比較軸 全51本
- 外観検査AIとは？2つの学習方式と導入5ステップを製造現場の目線で解説
- 製造業のAI活用10領域：外観検査・予知保全から設計・技能伝承まで一覧
- 外観検査AI製品の比較軸10項目：学習方式・撮像系の範囲・エッジ対応・再学習の手間
- 自動車メーカーのAI活用：溶接・塗装検査から生産計画・フィジカルAIまで10用途
この記事を書いた人
DELMIA Apriso を中核とした MES / 製造DX の導入・運用・人材育成と、製造業向けAIの調査・開発・教育を手がけるITコンサルティング企業。ISO 9001:2015 / ISO 27001:2022 認証取得。 日本・中国・米国で製造業のMES・データ基盤・AI導入を手がけた実務者が、欧米・中国の一次情報にあたって書いています。
