株式会社ライサン様と協同で「画像からの物体検出」の研究をしています。
ラボラトリーの以前の記事で「木口の寸法計測」として、デジタルカメラによる丸太の測定システムを紹介しています。この時は円抽出を行ったため末口対象のシステムでした。 （ご興味のある方はこちらも併せてお読みください。）

今回は、「材木のすべての木口（末口＆元口）の自動検出」を目標に、ディープラーニング技術を利用することにトライしました。

画像データからの物体検出の方法

物体検出はディープラーニングを用いた研究がなされており、SSD、Mask R-CNN、YOLO、RetinaNetなどいろいろなアルゴリズムが開発されています。
私たちは最初にSSDで転移学習を行い、木口検出にトライしましたが、期待した結果が得られませんでした。

次に YOLOv3 を用いてファインチューニングを行い、木口が検出できるかを試行しました。

YOLOv3 での検証結果

① 2色パターン（芯と表皮）　結果：◎

② 黒色の材木　結果：〇

③ 奥行不揃い　結果：〇

④ 末口と元口の混在　結果：〇

⑤ 不完全木口　結果：〇

12枚の画像で検出テストを行いました。図は検出された枠のみを表示しています。
全ての検証項目について検出率が 90% を超えています。

全体の検出結果は、

検出した木口数：983／検出を期待した木口総数：997 = 検出率：98.6 %

となり、期待通りの結果が得られました。

今後の研究の方向

画像処理とAI処理とiPad Pro LiDARを融合させることをトライしようと考えています。

[補足] YOLOについて

YOLOは、You Only Look Onceの略です。深い畳み込みニューラルネットワークによって学習された特徴を使って物体を検出する物体検出器 (Object Detector) です。

物体検出のゴールは BoundingBox とその Class（オブジェクト名）を求めることです。

YOLO は画像を (13 x 13)、(26 x 26)、(52 x 52) の3つのサイズに分割した処理系を持っています。分割された個々のセルに AnchorBox と呼ぶ大きさの異なる基準 BoundingBox を3個ずつアサインしています。
この AnchorBox に、オブジェクトの存在確度と、正解BoundingBox とのオフセット値 (tx, ty, tw, th)、クラスの信頼度の3つが保存されます。

ラベル（クラス）数を80とすると、ひとつのセルには、(3x(4+1+80))=255個のデータが格納され、例えば、大きいスケールの検出テンソルは (13 x 13) x (3 x (4+1+80)) の大きさになります。

学習の際には、画像データと正解の BoundingBox の位置 + 大きさが入力として与えられますので、これらのデータを蓄積することができます。

構造上 YOLOは、((52×52)+(26×26)+(13×13))x3 = 10647のBoundingBoxを予測することができます。ひとつのオブジェクトを複数のセル + AnchorBox が認識することが考えられますから、Non-Maximum Suppression (NMS) という手法で最適な BoundingBox を予測します。

NMSの最初のステップは、予測された BoundingBox から特定の NMS閾値よりも低い検出確率を持つすべての BoundingBox を削除することです。
すべて削除した後、NMS は、検出確率が最も高い BoundingBox 選択し、Intersection Over Union (IOU) 値（Box同士の重なり度）が指定された値よりも高いすべての BoundingBox を除外します。
次に、オブジェクトの存在確度が最も高い BoundingBox を選択し、これに非常に類似している BoundingBox を削除します。すべての非最大BoundingBox がすべてのクラスから削除されるまで、これを繰り返します。
この処理によってひとつの BoundingBox を特定することができます。

学習データ作成

物体検出アルゴリズム用に作成されたラベリングソフトを使って、boxとラベル “koguchi” を作成しました。学習用のデータとして101枚の画像とアノテーションを作成しました。

研究担当