画像に基づくコグニティブAPIによる特徴量を用いた宅内コンテキスト認識

Research/SmartHome

研究の背景†

IoT（Internet of Things）技術の急速な発展に伴い，物理空間の様々な情報を収集し，付加価値サービスに活用することが可能になっています．スマートホームの分野では，宅内の居住者や環境についての様々な状況（総じて宅内コンテキストと呼ぶ）を認識する研究が盛んにおこなわれています．宅内コンテキストの例としては，食事をしている，寝ている，テレビを見ている，本を読んでいる等といった居住者の日常生活行動によって定義される状況や，電気が消えている，部屋に誰もいない，部屋が散らかっている等の宅内の環境状態によって定義される状況等が挙げられます．

従来の宅内コンテキスト認識では，建物内あるいは身体に装着されたセンサや，家電から得られる数値データを使うこと主流でした．例えば，家電の消費電力と居住者の位置から日常行動を認識する研究や，スマートフォンのセンサを用いて同様の認識を行う研究が存在する．また，宅内の温度や湿度，照度などの環境変化値の測定から，宅内の環境状態を学習・推定する研究もあります．

現状における課題†

近年，深層学習（Deep Learning）の発展によって，画像や音声，動画，テキストなどのマルチメディアデータの学習・認識技術が格段に進歩しています．そのため，我々はマルチメディアデータ（特に画像データ）を活用した新しい宅内コンテキスト認識手法の開発に興味をもって取り組んでいます．

一般的に，画像による機械学習によって宅内コンテキストを認識しようとする場合，世帯ごとの個別の違いが問題となってきます．部屋のレイアウトや存在するオブジェクト，環境の状態は，世帯ごとに異なるため，同じコンテキスト（例えば食事をしている）であっても，画像に映る情報は大きく異なります．また，システムに認識させたいコンテキストも世帯ごとに異なります．よって，世帯ごとに個別の認識モデルを構築する必要があります．単純なアプローチとして，宅内で収集する画像を直接深層学習にかけて，高精度な認識モデルを構築する方法が考えられます．しかしながら，このアプローチは非常に多くの訓練データと強力なマシンパワーを必要とするため，個々の一般家庭で実施するのは現実的ではありません．

研究の目的とアプローチ†

本研究では，画像を活用した宅内コンテキスト認識を一般家庭で実施可能にすることを目的とする．そのためのアプローチとして，まず一般家庭における宅内コンテキスト認識のための機械学習フレームワークを提案します．このフレームワークでは，ユーザが自宅で任意のコンテキストを定義し，データを収集し，機械学習を用いて，コンテキストを認識するための汎用的な枠組みを提案します．そして，データの種類や機械学習アルゴリズムは規定せず，深層学習を適用することも可能です．

キーアイディア†

上記のフレームワークの一実装として，コグニティブAPIによる特徴量を活用した，新たな宅内コンテキスト認識手法を提案します．コグニティブAPIとは，画像や音声等のマルチメディアデータを高度に認識するクラウドサービスのAPI (Application ProgrammingInterface)です．キーアイディアでは，まず宅内で収集した画像を汎用的な画像認識APIに送信し，APIが認識する画像に含まれる情報（タグ集合）を抽出します．次に，抽出した全てのタグ集合に対して，テキストマイニングを行い，各画像をベクトル化します．最後に，これらのベクトルを軽量な教師あり機械学習にかけ，多値分類モデルを構築します．提案手法では，深層学習を利用せずに軽量な機械学習を用いるため，各家庭に特化したコンテキスト認識モデルをはるかに少ないエフォートで実現できます．

発表論文†

[1] Sinan Chen, Sachio Saiki, and Masahide Nakamura, ICSPIS2018 Best Paper Award, ``Evaluating Feasibility of Image-Based Cognitive APIs for Home Context Sensing,'' In International Conference on Signal Processing and Information Security (ICSPIS2018), November 2018. (Dubai, UAE)

[2] 陳 思楠, 佐伯 幸郎, 中村 匡秀, ``画像に基づくコグニティブAPIの宅内センシングへの適用可能性,'' 電子情報通信学会技術研究報告, vol.118, no.195, SC2018-19, pp.31-36, August 2018. (東京・法政大学)

[3] 陳 思楠, 佐伯 幸郎, 中村 匡秀, ``コグニティブAPIによる特徴量を用いた宅内コンテキスト認識手法の提案,'' 電子情報通信学会技術研究報告, vol.118, no.511, SC2018-38, pp.7-12, March 2019. (東京・国立情報学研究所 )