MAPEは製造業の品目構成と相性が悪い
MAPE（平均絶対パーセント誤差）は「誤差÷実績」の平均で、直感的に分かりやすいため多くのPoC報告で使われます。しかし製造業の需要データでは、次の3つの理由で壊れやすい指標です。
- 実績がゼロの期間があると割り算ができない。補修部品や少量品では月の半分以上がゼロという品目も珍しくない
- 実績が小さい期間は誤差が数百%に膨らみ、平均が少数の品目に引きずられる
- 過小予測より過大予測を重く罰する非対称性があり、全部ゼロと予測したほうがスコアが良くなる場合すらある
Hewamalage、Ackermann、Bergmeirが2022年に整理した予測評価の落とし穴（arXiv 2203.10716）でも、MAPEは間欠需要に向かず、100%を超えることもあると指摘されています。MAPEで比較するなら、少なくとも実績ゼロ近傍の品目を除外した条件を明記する必要があります。
代わりに使う指標の比較
| 指標 | 計算の考え方 | 長所 | 向く用途 |
|---|---|---|---|
| MAE / RMSE | 誤差の絶対値・二乗の平均 | 単位がそのまま（個・kg）で分かりやすい | 単一品目、同じ規模の品目群 |
| WAPE | 誤差合計÷実績合計 | ゼロ実績でも計算でき、全体の外れ具合が分かる | 品目群全体の報告用 |
| MASE | 誤差÷ナイーブ予測の誤差 | スケールに依存せず、1未満ならナイーブより良い | 規模の違う品目の横並び比較 |
| RMSSE / WRMSSE | 二乗版MASEを売上金額で重み付け | 売上の大きい品目の誤差を重く数える | 経営インパクトを反映した総合評価 |
| 分位点損失（Pinball loss） | 予測区間の当たり具合 | 安全在庫の計算に使う区間を評価できる | 在庫計画・S&OPへの接続 |
M5コンペの評価指標WRMSSEは、累積売上金額でRMSSEを重み付けしたものでした（Makridakisらの報告）。製造業に置き換えると、売上や粗利の大きい品番の誤差を重く見る設計です。金額の代わりに「欠品時のライン停止リスク」で重みを付ける考え方もあります。
用途から逆算して指標を選ぶ
1つの指標ですべてを評価しようとしないことが要点です。経営向けにはWAPEや金額重み付けの誤差を、ベンダーや手法の比較にはMASEを、在庫計画には予測区間の当たり具合を使います。MASEはナイーブ予測との比較を内蔵しているため、「1.0を下回るか」で単純な手法より良いかが一目で分かります。ベンチマークの作り方は需要予測AIはナイーブ予測に勝っているかで詳しく扱います。
製造業の現場での重み付けの考え方
WRMSSEは売上金額で重み付けしますが、製造業では金額だけが重要度ではありません。重み付けの候補を挙げます。
- 売上・粗利：経営インパクトを反映する基本の重み
- 欠品時の影響：顧客のライン停止につながる品目、代替がきかない品目を重くする
- 在庫保管コスト：大型品や温度管理が必要な品目は過大予測の影響が大きい
- 調達リードタイム：リードタイムの長い部材を使う品目は、予測誤差を後から取り戻せない
重みを決めることは、どの品目の予測を重視するかという方針を決めることです。データ分析の担当者だけで決めず、生産管理・営業・調達と合意しておくと、精度報告がそのまま業務の議論に使えます。品番マスタに重要度区分（ABC分類など）の列があれば、それをそのまま重みに使えます。
評価期間とバイアスも指標と同じくらい重要
指標を正しく選んでも、評価期間が1か月だけ、あるいは需要が安定した時期だけでは結論が出ません。少なくとも季節を一巡する期間、可能なら複数の起点からずらして予測するローリング評価で確認します。
もう一つ見落とされやすいのが、予測の偏り（バイアス）です。誤差の絶対値が小さくても、常に過大予測していれば在庫が積み上がります。平均誤差の符号を必ず併記してください。
よくある質問
MAPEは使ってはいけないのですか？
実績が十分に大きく安定した品目群に限れば使えます。その場合も、ゼロ近傍の品目を除外した条件と、除外した品目の扱いを報告に明記してください。
MASEが1を超えたらAIは不要ですか？
その品目群については、ナイーブ予測より誤差が大きいという意味です。全品目で一律に判断せず、MASEが1を下回る品目群だけAI予測を使う運用も現実的です。
ベンダーが提示する精度をどう比較すればよいですか？
同じ品目・同じ評価期間・同じ指標で、自社データを使って比べるしかありません。指標名だけ同じでも、除外条件や集計粒度が違えば数字は比較できません。
この記事に出てくる用語
この記事を書いた人
DELMIA Apriso を中核とした MES / 製造DX の導入・運用・人材育成と、製造業向けAIの調査・開発・教育を手がけるITコンサルティング企業。ISO 9001:2015 / ISO 27001:2022 認証取得。 日本・中国・米国で製造業のMES・データ基盤・AI導入を手がけた実務者が、欧米・中国の一次情報にあたって書いています。
