ラボでは当たったAIが、現場で当たらない理由｜現場ごとのデータの積み方
大学やベンダーと作ったAIが、PoCでは良い精度を出した。ところが現場のカメラにつないでみると、思ったほど当たらない。こうした話は、AIを現場に入れようとした多くの会社で起きています。
原因の多くは、モデルの出来ではなくラボと現場で「データの条件」が違うことにあります。この記事では、ラボで当たったAIが現場で当たらなくなる理由と、モデルを作り直さずに現場ごとのデータを積んで精度を上げる進め方を整理します。
目次
結論：作り直す前に、現場の条件で測る
AIは、学習したデータとよく似たデータに対しては高い精度を出します。逆に、学習したことのない条件のデータには弱くなります。ラボで集めたデータと現場のデータの条件がずれていれば、現場で精度が下がるのは自然なことです。
このとき、すぐにモデルを作り直したり、別の手法に乗り換えたりする必要はありません。先にやるべきことは次の3つです。
- 現場と同じ条件のデータで、今のモデルの精度を測る
- どの条件で外れているのかを特定する
- 外れた条件のデータだけを足して、学習し直す
多くの場合、これだけで現場で使える精度に近づけられます。大切なのは、「なんとなく当たらない」を「この条件で当たらない」に言い換えることです。
ラボと現場で違う5つの条件
ラボと現場のデータは、たとえば次のような点で違います。
| 条件 | ラボ（PoC）のデータ | 現場のデータ |
|---|---|---|
| 撮り方 | 決まったカメラ・角度・距離で撮影 | 設置場所の都合で角度や距離がばらばら。解像度が低いカメラもある |
| 明るさ・環境 | 照明が一定 | 朝・昼・夜、晴れ・雨、季節で見え方が変わる。逆光や反射、汚れも入る |
| 対象の種類 | 手元にある部品・型番が中心 | 新しい型番や、ラボで見たことのない状態の対象が混ざる |
| 背景・周りの物 | 背景が整理されている | 人・車両・資材が映り込み、対象の一部が隠れることもある |
| 判定の基準 | 研究の目的に合わせた基準 | 現場の運用で「どこからを不良とするか」が決まる。研究のときと基準が違うことがある |
見落としやすいのが最後の判定の基準です。研究としては正しく判定できていても、現場が求める基準とずれていれば「当たらない」と受け取られます。データを足す前に、現場の担当者と「何を当たりとするか」をそろえておく必要があります。
もう一つ、ラボのデータは撮りやすいもの、分かりやすいものに偏りがちです。きれいに撮れた画像ばかりで学習したモデルは、現場の見えにくいデータに弱くなります。
「全体の精度」だけでは原因が見えない
現場で精度を測るとき、全体の正解率だけを見ても、どこを直せばよいかは分かりません。たとえば昼の映像ではよく当たり、夜の映像ではほとんど外れている場合でも、全体の数字は「そこそこ」に見えてしまいます。
原因を見つけるには、条件ごとに分けて精度を測ることが欠かせません。分け方の例は次のとおりです。
- 現場ごと（工場A・工場B、現場1・現場2）
- カメラごと、撮影の角度や距離ごと
- 時間帯・天候ごと
- 対象の種類・型番ごと
あわせて、見逃し（あるのに検知しない）と誤検知（ないのに検知する）を分けて数えます。全体の件数が合っていても、見逃しと誤検知が打ち消し合っているだけ、ということがあるためです。現場にとってどちらがより困るのかで、足すべきデータも変わります。
現場ごとのデータの積み方｜5つのステップ
1. 運用と同じ条件で評価データを作る
まず、現場で実際に流れてくるデータから、精度を測るためのテスト用データ（評価データ）を作ります。正解は、現場の記録や担当者の確認で確定しているものだけを使います。この評価データは学習には使わず、毎回同じものを使って精度を測ります。
2. 条件ごとに精度を測り、外れている条件を特定する
前の章のように、現場・カメラ・時間帯・対象の種類などに分けて精度を測ります。「夜の映像で見逃しが多い」「新しい型番で誤検知が多い」のように、外れている条件を言葉にできれば、次に足すデータが決まります。
3. 外れた条件のデータだけを足して、学習し直す
外れた条件のデータを現場から集め、正解を付けて学習データに加えます。条件を絞って足すことで、作業量を抑えながら効率よく精度を上げられます。ラボで作った学習データは捨てずに残し、現場のデータと合わせて学習するのが基本です。
4. 別の現場で試して、どこまで通用するかを確かめる
ある現場で精度が出たら、条件の違う別の現場のデータでも測ります。そのまま使えるのか、少しデータを足せば使えるのかが分かれば、次の現場に広げるときの手間が見積もれます。
5. 足したあとは、同じ評価データで測り直す
学習し直したら、最初に作った評価データで改めて精度を測ります。外れていた条件が直ったかだけでなく、もともと当たっていた条件の精度が下がっていないかも確かめます。これを繰り返し、合格ラインに届いた工程から現場で使い始めます。
精度が上がったあとも、現場の条件は変わり続けます。運用が始まってからの再学習を誰が担うかは、次の記事で整理しています。
AIモデルの再学習は誰が担う？PoC後に止めないための進め方ベンダーや大学と作ったAIが、PoCのあと現場で当たらなくなる理由と、再学習の担い手の選び方を整理。合格ライン・評価データ・データを足すルールなど、引き継ぎの前に決めておくことも解説します。annotation-support.com
現場が増えても作り直さないための工夫
現場や部品が増えるたびにモデルを作り直していては、手間も費用も膨らみます。最初から次のような形にしておくと、広げるときの負担を抑えられます。
| やり方 | 向いている場面 | 注意点 |
|---|---|---|
| 共通のモデルに、現場ごとのデータを足していく | 現場同士の見え方が近く、判定の基準も同じ | ある現場のデータを足したとき、ほかの現場の精度が下がっていないかを毎回確かめる |
| 共通のモデルをもとに、現場ごとに調整する | 現場ごとにカメラや環境が大きく違う | モデルの数が増えるので、どの現場にどの版を使っているかの管理が要る |
| 苦手な部分だけ、別の方法で補う | 一部の工程や場所だけ、どうしても見えにくい | AIだけで全部を判定しようとせず、位置の情報や現場の記録と組み合わせる |
どのやり方でも、次の2つは共通して効きます。
- 判定の基準書を全現場で共通にする：正解の付け方が現場や作業者ごとに違うと、データを足しても精度が安定しません
- データに条件の情報を残す：現場名・カメラ・日時などを記録しておけば、あとから条件ごとに精度を測り、足りないデータを特定できます
データを集めるときに避けたいこと
- きれいに撮れたものだけを集める：見えにくい・判断しにくいデータこそ、現場で外れる原因になります
- 迷うデータを捨てる：判断に迷うデータは捨てずに分けておき、現場の担当者と基準を確かめてから正解を付けます
- 評価データと学習データを混ぜる：同じデータで学習と評価をすると、精度が実際より高く見えてしまいます
- 枚数だけを目標にする：外れていない条件のデータをいくら増やしても、現場の精度はなかなか上がりません
よくある質問
Q. 現場で使えるようになるまで、何枚のデータが必要ですか？
対象や条件によって大きく変わるため、一律の枚数はお答えしにくいのが実際です。まず評価データで今の精度を測り、外れた条件のデータを足しては測り直す、という進め方で必要な量を見極めます。
Q. 新しい現場や部品が増えたら、モデルを作り直す必要がありますか？
多くの場合、作り直しは不要です。新しい現場のデータで精度を測り、下がった条件のデータだけを追加して学習し直します。
Q. ラボで作った学習データは、もう使えないのでしょうか？
使えます。ラボのデータは捨てずに残し、現場のデータと合わせて学習するのが基本です。ラボのデータだけでは足りない条件を、現場のデータで補うイメージです。
Q. 判断に迷うデータは、どう扱えばよいですか？
迷うデータは分けて集め、現場の担当者と判定の基準を確かめてから正解を付けます。決めた基準は基準書に書き足しておくと、次に同じ迷いが出たときに判断がぶれません。
Q. 現場のデータを外部に渡しても大丈夫ですか？
秘密保持契約を結んだうえで、データの受け渡しや保管の方法を事前に取り決めます。アノサポの取り組みはセキュリティへの取り組みをご覧ください。
まとめ
ラボで当たったAIが現場で当たらない原因の多くは、モデルの出来よりも、ラボと現場のデータの条件の違いにあります。
作り直す前に、運用と同じ条件の評価データで精度を測り、条件ごとに外れている箇所を特定し、その条件のデータだけを足して学習し直す。これを現場ごとに繰り返せば、作り直さずに使える範囲を広げていけます。
現場で当たらないAIを、使える精度まで。まずは技術相談から。
