LABORATORYラボラトリー

HOME > ラボラトリー > AIを利用した物体検出

IoT/AI

AIを利用した物体検出

株式会社ライサン様と協同で「画像からの物体検出」の研究をしています。
ラボラトリーの以前の記事で「木口の寸法計測」として、デジタルカメラによる丸太の測定システムを紹介しています。この時は円抽出を行ったため末口対象のシステムでした。 (ご興味のある方はこちらも併せてお読みください。)

今回は、「材木のすべての木口(末口&元口)の自動検出」を目標に、ディープラーニング技術を利用することにトライしました。

画像データ

木口とは材木の切断面のことです

木の根元の方の切断面を元口、木の上側の細い方の切断面を末口といいます。

画像データからの物体検出の方法

物体検出はディープラーニングを用いた研究がなされており、SSD、Mask R-CNN、YOLO、RetinaNetなどいろいろなアルゴリズムが開発されています。
私たちは最初にSSDで転移学習を行い、木口検出にトライしましたが、期待した結果が得られませんでした。

SSDの検出結果

次に YOLOv3 を用いてファインチューニングを行い、木口が検出できるかを試行しました。

YOLOv3 での検証結果

① 2色パターン(芯と表皮) 結果:◎

木口の外周のみ検出しています。

検出率 = 100.0 %

② 黒色の材木 結果:〇

検出率 = 96.6 %

③ 奥行不揃い 結果:〇

奥の見えにくい木口の検出。

検出率 = 93.8 %

④ 末口と元口の混在 結果:〇

末口と元口の検出。

検出率 = 96.7 %

⑤ 不完全木口 結果:〇

半分隠れるような木口の検出。

検出率 = 94.6 %

12枚の画像で検出テストを行いました。図は検出された枠のみを表示しています。
全ての検証項目について検出率が 90% を超えています。

全体の検出結果は、

検出した木口数:983/検出を期待した木口総数:997 = 検出率:98.6 %

となり、期待通りの結果が得られました。

今後の研究の方向

画像処理とAI処理とiPad Pro LiDARを融合させることをトライしようと考えています。

[補足] YOLOについて

YOLOは、You Only Look Onceの略です。深い畳み込みニューラルネットワークによって学習された特徴を使って物体を検出する物体検出器 (Object Detector) です。

物体検出のゴールは BoundingBox とその Class(オブジェクト名)を求めることです。

YOLO は画像を (13 x 13)、(26 x 26)、(52 x 52) の3つのサイズに分割した処理系を持っています。分割された個々のセルに AnchorBox と呼ぶ大きさの異なる基準 BoundingBox を3個ずつアサインしています。
この AnchorBox に、オブジェクトの存在確度と、正解BoundingBox とのオフセット値 (tx, ty, tw, th)、クラスの信頼度の3つが保存されます。

ラベル(クラス)数を80とすると、ひとつのセルには、(3x(4+1+80))=255個のデータが格納され、例えば、大きいスケールの検出テンソルは (13 x 13) x (3 x (4+1+80)) の大きさになります。

学習の際には、画像データと正解の BoundingBox の位置 + 大きさが入力として与えられますので、これらのデータを蓄積することができます。

構造上 YOLOは、((52×52)+(26×26)+(13×13))x3 = 10647のBoundingBoxを予測することができます。ひとつのオブジェクトを複数のセル + AnchorBox が認識することが考えられますから、Non-Maximum Suppression (NMS) という手法で最適な BoundingBox を予測します。

NMSの最初のステップは、予測された BoundingBox から特定の NMS閾値よりも低い検出確率を持つすべての BoundingBox を削除することです。
すべて削除した後、NMS は、検出確率が最も高い BoundingBox 選択し、Intersection Over Union (IOU) 値(Box同士の重なり度)が指定された値よりも高いすべての BoundingBox を除外します。
次に、オブジェクトの存在確度が最も高い BoundingBox を選択し、これに非常に類似している BoundingBox を削除します。すべての非最大BoundingBox がすべてのクラスから削除されるまで、これを繰り返します。
この処理によってひとつの BoundingBox を特定することができます。

学習データ作成

物体検出アルゴリズム用に作成されたラベリングソフトを使って、boxとラベル “koguchi” を作成しました。学習用のデータとして101枚の画像とアノテーションを作成しました。

末口
元口

研究担当

AIを利用した物体検出

株式会社ライサン 代表取締役 社長 中嶋 孝行 氏

1980年名古屋大学機械工学科卒。2010年8月(株)ライサン設立。形状処理システムの開発/運用コンサルを中心に活動。

CATIA モデルファイルの解析/自動面張りソフト開発/RP用CADシステム開発/デザインCADシステム開発/プレス型作成システム開発など。共著書に『CAD CG技術者のためのNURBS早わかり Non‐Uniform Rational B‐Spline』(工業調査会)

趣味は、釣り、読書、バイク、ツーリングなど多数。

AIを利用した物体検出

株式会社アルモニコス 代表取締役 社長 森川 滋己

1988年静岡大学農学部卒業、同年 (株) アルモニコス入社。

入社以来、「点群、ポリゴン、自由曲線、自由曲面」を扱う形状処理技術に従事。特許出願、多数。アルモニコス製パッケージソフトspGate、spGauge、spScan、ClassNK-PEERLESSの企画および立ち上げを牽引。

1999年、取締役に就任。2014年、代表取締役社長に就任。

趣味は、読書、釣り、ゴルフ、サーフィン。