Research/HNS/AXELLA

ホームネットワークシステムにおける機器／サービス操作のためのユーザの注視情報の利用†

背景†

　近年，テレビや照明などの機器や各種センサを家庭内ネットワークに接続するシステム， ホームネットワークシステム(HNS)が普及しつつある． 各機器やセンサはネットワークから利用可能なAPIを持っており， ネットワーク越しにその機器やセンサを監視・制御することができる． この特徴を応用し，複数の機器操作をワンタッチで行う，宅外から機器操作を行うなど， より付加価値の高いサービスを利用者に提供することができる．

　HNS環境では機器やサービスの操作には， それぞれの機器やサービス毎のリモコンが用いられることが多いが， HNS環境では捜査対象となる機器やサービスが非常に多いため， リモコンの数が増えて操作が煩雑になる．

そこで本研究では，リモコンを用いないインタフェースとして 視線インタフェースをHNSに適用する． 視線インタフェースは操作に時間がかからない，直感的である，といった特徴がある．

視線インタフェースをHNSに適用する上での問題点†

視線インタフェースをHNSに適用する場合，次のような問題が挙げられる．

• 問題1: 1つの機器に1つの操作しか対応づけられない

　視線を計測することにより得られる情報は「何を見ているか」という シンプルなものであるため，機器ごとに複数の振る舞いを定義することが困難である．

• 問題2: 複数の機器を使うサービスや機器を使わないサービスに関連づけにくい

　例えばDVDシアターサービスのように操作対象が複数存在する場合や， インターネットから天気情報を取得して読み上げるような， 機器の実体そのものが存在しないサービスでは， その操作を行うためにどの機器を見たらいいかが決定できない．

• 問題3: 機器の境界付近を注視する際，注視判別の結果が振動し，操作の確実性が低下する

　ひとの視線を計測する場合，姿勢の変化や眼球の振動，測定誤差などによって， 何を見ているかの判別結果は安定せず，意図しない操作が何度も行われる可能性がある．

アプローチ†

本研究では上で挙げた問題点を，次のようなアプローチで解決する．

• A1: コンテキストの導入
• A2: メタファパネルの導入
• A3: 複数閾値を導入した判別機を用いた注視判定

　ここでいうコンテキストとは，ユーザが置かれている状況を意味する． 具体的に，視線情報が持つ情報は「何を見たか」のみであり． 視線コンテキストが持つ情報は「いつ」「どこから」「誰が」「何を見たか」である．

　メタファパネルとは，他の機器と同じように視線による選択の対象とすることができるパネルのことである． メタファパネルの導入により，例えば傘マークのメタファパネルを見たら明日の天気を読み上げる， 映画のフィルムマークのメタファパネルを見たらDVDシアターサービスを駆動するなど， 機器としての実体が無いHNSサービスの操作や， 複数の機器操作から成るHNSサービスの操作を割り当てることができる．

　注視率が閾値付近に収束することによる意図しない操作が実行される問題に対して， 注視判別に複数の閾値を用いることでこれを低減可能である． 具体的には，見ていない状態から見ている状態へ遷移するための閾値と， 見ている状態から見ていない状態へ遷移するための閾値を個別に持ち， 注視率が閾値付近に収束した場合に意図しない操作が実行されないようにする．

AXELLA†

上記アプローチに基づいたHNS向けインタフェースシステムAXELLAを設計・実装した．

システム利用時の流れの概要を次に示す．

1. ユーザがHNS機器を見ると，
2. EGAがその機器を特定する．
3. EGAは視線情報に「いつ」「どこから」「誰が」を付与して 視線コンテキストを構成し，SPに送信する．
4. 送信された視線コンテキストをGaze Recognizerが処理し，複数閾値判別機を用いて注視判別する．
5. Context Interpreterでは注視と判別された視線コンテキストに基づいてルールを評価し，
6. 条件が満たされればルールで定められたモジュールがロードされ，
7. ロードされたモジュールが実行される．
8. Context Interpreterは実行結果を受け取り，
9. Speech Engineを用いて音声でユーザに提示する．

評価†

AXELLAのユーザビリティ評価を行うため， 22歳から34歳までの男女10名に対して評価実験を行った． 実験の手順として，AXELLAを用いたいくつかの操作タスクを被験者に行ってもらった． 操作意思を表示する方法は一定時間の注視を用いる方法と，ボタンを押下する方法の両方で行った． 実験後，自由記述方式で記述してもらった主観的な感想を下記に示す．

• 視線をインタフェースに導入したことによるもの
  • 見るだけで簡単
  • 直感的である
  • リモコンを探さなくていい
  • 意識的に見るのは疲れる
• 視線コンテキスト（ルール）を導入したことによるもの
  • ルールの変更に手間がかからない
  • ルールを簡単に増やせそう
  • ルールはいろいろなシチュエーションに対応できそう（２）
  • ルールを書くのに手間がかかりそう
  • ルールを覚えるのが大変そう（２）
• メタファパネルを導入したことによるもの
  • 複数の操作をまとめた連携サービスが使えるのは便利
  • どこにでも機能が追加できるメタファパネルは便利
• その他の問題点
  • 認識精度が悪い（意図しない動作の発生，意図した動作の未発動）（４）
  • 使用場所や姿勢がシステムに依存する（２）
  • 見てから操作開始までに時間がかかる（２）
  • 実際に使ってみないと慣れない

まとめ†

本論文では，ユーザの視線を操作に用いたホームネットワークシステム(HNS)インタフェースを提案した． 今後の発展として，固定的なルールによる動作だけでなく， ユーザの行動履歴などからルールを構築・推薦すると手法の研究， ユーザ毎の適切な注視時間を求めるなど，ユーザビリティをさらに高める研究が考えられる．