3つの違いを一言で

種類一言でいうと得意なデータ主な使い方
データウェアハウス(DWH)整理済みの表を高速に集計する倉庫構造化データ(実績、品質集計、原価、在庫)KPIの集計、定型レポート、BI
データレイク何でもそのまま置ける湖構造化・半構造・非構造(時系列、画像、波形、ログ)生データの長期保存、探索的な分析
レイクハウス湖の上に倉庫の管理機能を載せたもの両方BIと機械学習を同じデータで行う

DWHは、あらかじめ決めた構造(スキーマ)に合わせてデータを整えてから入れます。集計は速く正確ですが、構造に合わないデータ(画像や波形)は扱いにくく、構造の変更にも手間がかかります。

データレイクは、データを元の形式のまま安価に保存します。何でも入れられる反面、データの管理(どのデータが最新か、誰が更新したか、品質はどうか)が弱く、管理されないまま放置されると使えないデータの山になります。

レイクハウスは、Armbrustらの論文(CIDR 2021)で整理された構成で、データレイクと同じオープンな保存形式の上に、DWHの管理機能と機械学習への支援を組み合わせたものです。同論文は、データの鮮度・信頼性・TCO・ベンダーロックインといったDWHの課題に対処するものとしています。

工場データに当てはめる

工場で扱うデータを、どの種類の基盤に向くかで分けると次のようになります。

構造化データはDWHに、非構造データはデータレイクに、両者を結合して機械学習に使う場合はレイクハウスに向くことを示す図 構造化データMES実績・品質判定ERP(受注・在庫・原価)保全記録 非構造・半構造データ時系列(高頻度)・振動波形検査画像・動画設備ログ・文書 DWHKPI・定型レポート データレイク生データの保存 レイクハウス両方を結合してBIと機械学習に使う
工場データの種類と向いている基盤。構造化データはDWH、非構造データはレイク、両方を結合する機械学習はレイクハウス。

工場のAIで問題になるのは、品質予測や予知保全のように、構造化データ(MESのロット・品質判定)と非構造データ(時系列・波形・画像)を結合しなければならない用途が多いことです。DWHだけでは波形や画像を扱いにくく、データレイクだけでは結合のための管理が弱い。両方を同じ場所で扱えることが、レイクハウスが製造業のAIで選ばれやすい理由です。

選ぶための3つの基準

基準1:扱うデータの種類

構造化データの集計が中心なら、DWHで十分です。工場のKPI(OEE、不良率、生産実績)を日次・月次で集計し、経営や工場長が見るレポートを作る用途がこれに当たります。高頻度の時系列や画像を保存する必要があるなら、データレイクかレイクハウスが必要です。

基準2:使う人

DWHはBIツールを使う業務部門の担当者に向きます。データレイクは、データを自分で探索できるデータサイエンティストやエンジニア向きです。レイクハウスは両方の利用者を想定しています。工場で誰がデータを使うのかを先に決めると、基盤の選択が絞られます。

基準3:機械学習を前提にするか

AIの学習を繰り返し行う予定があるなら、レイクハウスを選ぶ価値があります。学習データの版管理(どの時点のデータで学習したか)、大量データの読み出し、画像や波形と表データの結合を、BIと同じ基盤で扱えるためです。機械学習の予定がなく、レポート用途だけなら、DWHの方が運用は簡単です。

状況向いている選択
KPIのレポートとBIが中心、AIは当面予定なしDWH
画像・波形を長期保存したい、分析はこれからデータレイク(管理の仕組みを早めに検討)
MESデータと時系列・画像を結合してAIを作るレイクハウス
既存のDWHがあり、AI用に非構造データを追加したい既存DWHを残し、レイクハウスを追加して連携

既存の基盤との付き合い方

多くの企業には、すでにERPのデータを集めたDWHや、ヒストリアンがあります。これらを置き換える必要はありません。DWHは経営・業務のレポートに使い続け、AI用の蓄積と特徴量づくりにレイクハウスを追加し、必要なデータを双方向に連携する構成が現実的です。ヒストリアンとの役割分担は時系列DBとヒストリアンの選び方で扱っています。

レイクハウスを選んだ場合でも、データを入れただけでは使えるようになりません。製造業では、生データにロット・品番・設備の文脈を付ける整備の層が価値を決めます。その設計は製造業のデータレイク・レイクハウス:3層の設計を参照してください。

よくある質問

データレイクはもう古いのですか?

古いわけではなく、レイクハウスはデータレイクの上に管理機能を加えた発展形です。生データを安価に保存する層としてのデータレイクは、レイクハウスの中でもブロンズ層として残ります。

DWHに画像を入れることはできませんか?

画像ファイル自体を入れるのは非効率ですが、画像の保存場所への参照と、撮影時刻・設備・ロット・判定結果などのメタデータをDWHに入れる方法はあります。ただし画像を使った再学習を繰り返すなら、レイクハウスの方が扱いやすくなります。

クラウドのサービスを選べば、どれも同じですか?

主要なクラウドのデータサービスは、DWH・レイク・レイクハウスのいずれの構成にも対応していることが多いですが、保存形式のオープンさ、他サービスとの接続、費用体系は異なります。データを特定の製品に閉じ込めないよう、保存形式がオープンかどうかを確認してください。

この記事に出てくる用語

用語集(日・英・中)をすべて見る

この特集について

AIは「データ基盤」で決まる

PoCは成功したのに本番で止まる。原因の多くはモデルではなく、MESと設備データの側にある 全130本

  1. MESとAIの関係:ロット・作業指示・品質判定がAIの精度を決める理由
  2. 製造業AIが本番で止まる7つの理由:PoCは成功したのにラインに載らない構造
  3. 製造業のAI-OCR:紙の検査記録・点検表・ミルシートをデータ化する手順
  4. データ基盤の段階的導入ロードマップ:ユースケースから逆算する8ステップ
特集の記事をすべて見る →

この記事を書いた人

株式会社サオス

株式会社サオス 製造DX部

DELMIA Apriso を中核とした MES / 製造DX の導入・運用・人材育成と、製造業向けAIの調査・開発・教育を手がけるITコンサルティング企業。ISO 9001:2015 / ISO 27001:2022 認証取得。 日本・中国・米国で製造業のMES・データ基盤・AI導入を手がけた実務者が、欧米・中国の一次情報にあたって書いています。