鷲見研究室
| 指導教員 | 鷲見和彦 教授 ハオ グオチン 助教 |
|---|---|
| テーマ | 画像情報科学研究 1．画像認識（Computer Vision）の基礎研究 2．Computer Vision の応用研究 3．セキュリティの研究 |
研究内容
本研究室では、ロボットやコンピュータが、センサを使って現実社会をイメージングし、その内容を理解する Computer Vision の研究を行っています。
人間がセンシングする現実世界からは、膨大な量の画像・映像情報が生まれています。これらの情報は、人間にとっては解釈しやすい情報ではありますが、コンピュータには、有用な情報（記号や知識）に変換することが大変難しいのです。
例えば図1の画像を見て、映った情景を他人に説明することは、私たち人間ならだれでもできますが、コンピュータが実行するには、大量の学習データを集め、最新の人工知能技術を駆使して、初めて可能になります。
この研究はまだ発展途上であり、Visual Question and Answerという最新の研究です。これ以外にも、Computer Vision は実社会で図2の様な多くの応用が期待されています。
以下から本研究室で行っている研究を紹介します。
図1: いまから10年前に鷲見らが考えていた画像に関する質問応答システムのイメージ（出典：電子情報通信学会誌）
図2：視覚情報処理の応用範囲は非常に広く、日常になじみのあるゲームや映像検索だけでなく、安全安心を支えている。
写真は具体的な製品の例：左上より、道路交通監視（車両を検出・車種判別・追跡し、渋滞や危険な状況を警告する安全設備）、自動運転（レーザレンジファインダとカメラにより自動車周囲の安全空間を認識して電子地図上の目的地までの経路を時々刻々と探索する機能）、ロボット制御（取り出し、組み立てる部品を認識するロボットの目）、映像セキュリティ（エレベータの中で不審な動きをする人を検出して警告）、生体個人認証（他人なりすましを見破る本人確認方法 – スマホにも応用）、ゲームやインタフェイス（人の姿勢や手足の動きを認識してゲームやコンピュータを操作）、映像検索・アノテーション（カメラで写したものが何かを検索したり、ビデオ映像を言葉で表現するインターネットアプリ）、医療画像処理（病理診断や手術時の患者位置合わせの自動化）
画像認識（Computer Vision）の基礎研究
(1) 三次元人体モデルの生成
図3: 深度センサから得られるカラー画像と深度画像(左2つ)を人体モデルにあてはめ、人体姿勢(間接位置)や基本体形を推定する
安価なゲーム用センサ1台で得られるカラー画像と深度画像を入力とし、膨大な仮想人物のデータや実在の人物のデータとを高速に照合し、服の下に隠れた人体の体形や姿勢を正確に推定する方法を研究しています。（図3）
(2) 人物映像の理解
図4: 人物属性の識別研究(左)と、グループの識別研究(右)
映像を解析して人物属性(男女や年齢など)や個人を推定したり、多人数の映像から一緒に行動するグループを抽出したりする研究（図4）や、それに必要な人体の部位検出、重なった人物の分離・追尾技術（図5）を研究しています。
図5: 指の認識(左)、顔部品の認識(中)、重なった人物の認識・追跡(右)
(3) ビデオ映像の解釈
図6: 静止画解釈(左) A woman is playing tennis, ビデオ解釈(中) A man is slicing a potato, 感情推定(右) She is bored。
個人で撮影したビデオ、インターネット上の映像、監視カメラなどの映像を解析して、物体や人物や環境を検出し、その状態や行動を言葉や符号で表現する研究を行っています。（図6）
(4) 三次元形状再構成
図7: 多視点画像から生成した相模原チャペルの立体モデル
二次元画像から元の精密な三次元形状を復元するために、撮影する視点や撮影方法を自動的に最適化する研究（図7）や、一枚の画像を見せれば、（多数のCGモデルから学んだ）経験と照らし合わせて三次元形状を推定する人工知能の研究（図8）を行っています。
図8: たった一枚のカラー画像（左）から奥行き（中：青色が手前，赤色が奥）を推定する最新の人工知能「ディープニューラルネットワーク」
(5) 三次元位置姿勢の認識
図9: 深度センサとステレオカメラの複合センサ(左)と、撮影される画像(中)、復元された深度画像(右)
三次元形状を直接取得するセンシング方法や、得られた深度画像から物体を発見し、その位置・姿勢を求める手法の研究を行っています。図9は安価な深度センサとステレオカメラで精密な深度画像を得る研究、図10は深度画像と記憶した形状モデルを照合して、位置姿勢を求める研究です。
図10: カラー画像と三次元形状の物体モデル(左)と入力された深度画像(中)との特徴を高速照合し、重ね合わせ結果を表示したもの(右)
Computer Vision の応用研究
拡張現実感(AR = Augmented Reality)や複合現実感(MR = Mixed Reality) へ応用する研究も行っています。人の持つ感覚・記憶の限界を超えて、遠隔地の世界、抽象的な世界、想像の世界、膨大な知識とつながります。
(1) 仮想試着
図12:仮想試着システム(左)と，人を避けて投射するプロジェクタ(右)。
三次元人物モデルをその場で生成し、選んだ衣服を人体映像に重ねて試着します。
(2) 賢いプロジェクタ
講演者がプロジェクタの前に立つと、人物を避けて複数のプロジェクタが協調して映像を投射します。
(3) 触れるARシステム
図13：触れるAR システム。
手の指と両目の中心との三次元位置を計測し、仮想物体がまるで手の上にあるかのように表示する三次元表示方法。
セキュリティの研究
個人を認証してアクセス制御をおこなう方法や、最新の攻撃を分析してそれに対抗する技術の研究。
(1) 遠隔虹彩認証
図14: 遠隔虹彩カメラによる虹彩・顔のマルチモーダル実験(左)と，虹彩抽出結果(中)，セキュアバイオで使われる指紋特徴点(右)．
遠く離れた位置から虹彩を撮影し、虹彩認証を使いやすくする研究。
(2) セキュアバイオメトリクス
生体情報を暗号化したまま安全に照合する研究。
(3) マルチモーダルバイオメトリクス
異なる生体情報を併用する個人認証の研究。
(4) ネットワーク攻撃検出・対策技術
標的型攻撃の検出・対策の研究。
研究者情報
| 教授：鷲見和彦 | |
| 学位 | 博士（工学） |
| 所属学会 | 電子情報通信学会(フェロー)、 情報処理学会、 計測自動制御学会、 ロボット学会 |
| 研究分野 | 情報学、 視覚情報処理、 知識情報処理、 センサ情報処理、 個人認証 |