LABORATORYラボラトリー

HOME > ラボラトリー > 表情認識と眠気検知

IoT/AI 眠気検知 表情認識 性別判断 年齢判断

表情認識と眠気検知

昨今、AIを利用した画像処理が日々進化し、普及しています。
アルモニコスにおいても、木口認識データマトリクス認識の研究成果をラボラトリーでご紹介させていただきました。
今回は、人間固有の「表情」に焦点をあて、第1段階としてプログラムで人間の表情を自動認識、さらに「無表情」と認識した場合には、第2段階として 「一定時間、連続して目を閉じている」と判断すると「眠気」と検知するアルゴリズムに挑戦してみました。

世の中の最先端技術においては、カメラ画像に写った人間の表情(眼球の動きなど)から、犯罪者予測もしくは危険人物の判別まで行いセキュリティに活かそうという流れもあります。自分が犯罪者や危険人物として識別されてしまったら?と考えると、怖い技術ですね。アルモニコスにおいては、ソフトウェア技術の時流に追随するべく、知的好奇心をベース(アルモニコスで大事にしていること)に、「世の中に役立つ技術開発をする」というモチベーションで研究をしています。

年齢、性別判断などのAI利用も進めていますが、並行して実施している以下の2点の成果をご報告いたします。

1. 「怒、不快、恐、喜、通常(無表情)、悲、驚」の表情認識
2. 1の表情認識において「通常(無表情)」と判断した後の眠気検知

1.「怒、不快、恐、喜、通常(無表情)、悲、驚」の表情認識

処理フロー

① 顔認識
② ランドマーク検出
③ ランドマーク間のユークリッド距離計算
④ 学習済モデルに「怒、不快、恐、喜、通常(無表情)、悲、驚」のうち、どれか予想させる

ランドマーク検出結果
表情認識において「驚」と判断された結果

2. 表情認識において「通常(無表情)」と判断した後の眠気検知

処理フロー

① 顔認識
② ランドマーク検出
③ ランドマーク間のユークリッド距離計算
④ 学習済モデルに「怒、不快、恐、喜、通常(無表情)、悲、驚」のうち、どれか予想させる
⑤ 「通常(無表情)」と判断した場合にのみ、目の周辺のランドマークを抽出
⑥ 目の周辺のランドマークから「一定時間、目を閉じている」と判断すれば、「眠気」と検知

※「一定時間、目を閉じている」とは、以下の条件とした
閾値
・一定時間
・目を閉じているフレームの数

眠気検知結果

総合判断結果 その1

性別:男性 正解!
年齢:18歳 誤り。本当は30代です(笑)
表情:無表情 正解!
眠気:検知 正解!

総合判断結果 その2

性別:男性 正解!
年齢:19歳 これも誤り(笑)
表情:無表情 正解!
眠気:検知 正解!

今後の課題

  1. 「怒、不快、恐、喜、通常(無表情)、悲、驚」の表情認識
    「怒、不快、喜、通常(無表情)、驚」の5種類の表情は認識できました。
    「恐、悲」の表情認識は、プログラムは存在していますが、確認できませんでした。学習データ不足、および被験者の表情不足(表情筋次第?)が原因と思われます。表情が乏しいタイプの人は、普通に人間が見ても「何を考えているか分からない。」と思われることがあります。AIでは人間以上の判別は難しいのでしょうか?

  2. 年齢判断
    性別判断は高確率で正解となりますが、年齢判断は不安定な結果となりました。
    こちらは学習データ不足が原因と思われます。我々も、数えきれないほどの人の顔を見てきた蓄積で年齢判断しています。西洋人と東洋人ではお互いに顔判別が難しい、年齢判断はもっと難しいと言われているのも、学習データ不足が原因です。学習データを大量に蓄積すれば解決する課題かと思います。

以下、様々な検知結果をご紹介します。

性別:男性 正解!
年齢:35歳 誤り。可哀そう。もっと若いです(笑)
表情:怒り 正解!

性別:男性 正解!
年齢:20歳 誤り。
表情:不快 正解!

研究担当のエンジニアでは認識できなかったので、担当外の「表情豊か」なエンジニアに被験者になってもらいました。

性別:男性 正解!
年齢:16歳 誤り!実際は30代後半。本人は喜んでいます(笑)
表情:嬉しい 正解!

まとめ

自動車業界が日本経済を牽引する一つの主要産業である現代において、「次世代自動車はどうなるのか」は、我々日本人の注視するべきトピックスです。

完成車として、EV化が進むのか?水素自動車が普及するのか?自動運転はどこまで進むのか?法整備は追いつけるのか?製造工程の脱炭素化「カーボンニュートラル」はどのように実現するのか?

解決するべき課題は多種多様です。自動運転において、ハンドル操作だけではなく、ドライバーの顔画像から眠気を検知する機能もすでに実用化が進んでいます。アルモニコスの研究成果が、いつかどこかで皆様のお役に立てる日がくることを信じて、研究を続けていこうと思います。

最後に、研究者コメントをご紹介します。

于: 全体的に面白かったです。開発環境の準備に疲れました。
中山:ランドマークを利用して何かを判定する、もっといいアイデアを出したかったです。
岡村:学習済みデータの偉大さを実感しました。

研究担当

表情認識と眠気検知

AXION事業部 于立洋

2015年 大阪府立大学大学院理学系研究科情報数理科学専攻修了。同年(株)アルモニコス入社。

入社以来、アルモニコス製パッケージソフトClassNK-PEERLESS、spGaugeを中心に開発に従事。

趣味は読書、音楽、映画、ゲーム。

表情認識と眠気検知

A-Pro事業部 中山龍

2015年 東京大学工学部卒。同年(株)アルモニコス入社。

入社後はspGateの開発に携わり、現在は受託系システム開発に従事。

趣味は、読書と旅行。よく読むジャンルは新本格ミステリーで、特に有栖川作品が好き。旅行は主に国内の北のほうに雪と温泉を求めて行くことが多い。

※今回の写真は、「日本一のモグラ駅 (https://gunma-dc.net/tourism/188/) 」に行った時のものです。

 

表情認識と眠気検知

AXION事業部 岡村啓太

2016年 大阪府立大学大学院工学部電子物理工学科博士前期課程修了。同年(株)アルモニコス入社。

入社以来、spScanの開発を中心としてポリゴンメッシュ、曲線・曲面関連の仕事に従事。

趣味は、将棋とゲーム。将棋は小学生から始め、高校では部活に所属。最近は指す機会は減ったが詰将棋を細々と続けている。