手順書RAGの最大の事故源は「旧版」と「別品番」
作業手順書は、他の社内文書に比べて改訂が多く、品番の派生も多い文書です。同じ工程でも、品番Aと派生品番A-2で締付トルクが違う、設計変更で手順が1つ増えた、といった差分が頻繁に生まれます。意味の近さで探す通常のRAG検索は、こうした差分を区別できません。「A-2の締付手順」と聞かれて、文章がよく似たAの手順書や、改訂前の手順書を返すことがあります。
この問題は、LLMの性能では解決しません。検索の段階で「今この作業者が見るべき手順書」以外を候補から外すことが必要です。その判断に使える情報を最も正確に持っているのが、MES(製造実行システム)です。
手順1:MESから「今の作業」の文脈を取る
MESは、どの作業指示で、どの品番を、どの工程で、どの設備を使って作っているかを持っています。作業者が端末から質問するとき、この文脈を検索条件として自動で付けます。
| MESから取る項目 | 検索での使い方 |
|---|---|
| 品番(派生を含む) | 手順書の適用品番と一致するものに絞る |
| 工程コード | 手順書の対象工程に絞る |
| 設備ID・設備型式 | 設備ごとに違う段取り・調整手順に絞る |
| 作業指示の発行日 | その日時点で有効な改訂版を選ぶ |
| 作業者の認定レベル | 認定外の作業の手順を参照させない(任意) |
作業者に品番や工程を入力させる方式もありますが、入力ミスがそのまま誤答になります。MESのログイン情報や作業指示のバーコードから自動で取るほうが確実です。
手順2:手順書に同じキーのメタデータを付ける
手順書の側にも、MESと同じ体系の品番・工程コード・改訂番号を付けます。ここで問題になるのが、手順書に書かれている品番の表記とMESの品番マスタが一致しないケースです。手順書の表題欄に「A系列共通」と書かれている、工程名が手順書では「本締め」、MESでは「工程030」になっている、などです。
対応表を作るのは地味な作業ですが、ここを省くと絞込みが効きません。手順書が数百件規模なら、品質保証と生産技術で分担して数週間で終わる量です。対応表は一度作れば、手順書の改訂時に更新するだけで済みます。品番の改番や設備IDの不整合が多い場合は、先にAIの前にマスタ整備の手順でマスタを直してください。
手順3:回答の見せ方と改訂時の運用を決める
現場端末での回答は、文章の要約より、手順書の該当ページをそのまま見せるほうが安全です。生成AIの要約は、手順の順番や数値を省略・言い換えることがあるためです。
改訂時の運用も決めておきます。手順書を改訂したら、旧版を索引から外すか「無効」のフラグを付け、新版を取り込むまでの間は該当工程の質問に「改訂中」と表示します。改訂の通知をMESや文書管理システムから受け取って索引を更新する仕組みにすると、人手の作業が漏れません。
生成AIで手順書そのものを作る話は作業手順書を生成AIで作る、RAG全体の構成は製造業の社内文書RAG入門で扱っています。
効果の測り方
効果は、作業者が手順を調べる時間と、手順に関する班長・熟練者への問い合わせ件数で測ります。導入前に1〜2週間、問い合わせの件数と内容を記録しておくと、導入後に比較できます。あわせて、誤った版を参照した回答の件数を週次で確認し、0件が続くことを運用の条件にします。
よくある質問
MESがない工場でも作業手順書RAGは作れますか?
作れます。その場合は作業者が品番と工程を選ぶ画面を用意し、選択式にして入力ミスを減らします。ただし選択の誤りは防げないため、回答に適用品番を大きく表示して作業者が照合できるようにします。
手順書の写真や図はどう扱いますか?
手順書の写真や図は、テキストとは別に、その手順の単位に紐づけて保存します。回答では該当手順の写真を必ず表示させます。写真の内容を生成AIに説明させると誤りが入りやすいため、説明文は手順書の記載を使います。
外国人作業者向けに多言語で回答させてもよいですか?
回答の翻訳は便利ですが、重要工程は承認済みの翻訳版の手順書を表示する運用が安全です。生成AIの翻訳は質問への補足説明に限定することをおすすめします。
