聴覚障害者支援のためのマルチモーダル発話可視化に関する研究の履歴(No.1)

聴覚障害者支援のためのマルチモーダル発話可視化に関する研究†

先天的、あるいは後天的に聴覚に障害を持つ聴覚障害者に対し、手話や字幕等の代替手段を用いて情報を提供することを情報保障と呼びます。

大学等の教育現場では、情報保障の一環として、一般学生が講義の内容を書き出し伝えるノートテイク（要約筆記）のボランティアを設けている場合も多くあります。

また、平成25年には障害者雇用促進法が改正されており、障害者の雇用や就労などの社会進出は年々着実に進展しつつあります。

そのため、情報保障は教育現場や自治体のみならず、社会全体で取り組むべき重要な事項となっています。

しかしながら、聴覚障害は外見上判断が付きにくいという特性があり、周辺環境の理解や情報保障の状況は十分とはいえません.

職場において会議や研修などの内容が十分に理解できないため、昇進の機会を失ってしまうといったケースも報告されています。

聴覚障害者の福祉向上のためには、会議などのような健聴者の集団内において、聴覚障害者が正しく情報を取得し発信できるような情報保障の枠組みが不可欠です。

また、手話や筆談、口話法などのコミュニケーション手段は一対一の対面という状況では有効ですが、会議などの複数人かつ対面という状況では、それぞれ欠点を持ちます。

本研究では、情報保障手段の一つとして、聴覚障害者に対する健聴者の発話内容の理解支援という課題に取り組みます。

特に、会議等の複数人かつリアルタイムな対面コミュニケーションという状況を想定します。

この課題を解決するために、発話内容に関する様々な情報を切り取り、効果的に表示するマルチモーダル発話可視化アプリケーションを提案します。

ここでのマルチモーダルな可視化とは、複数の情報の提示・可視化モードを組み合わせた複合的な情報の提示手段のことを指します。

モードの一例としては、マイクデバイスと音声認識エンジンを利用して、発話内容をテキスト化して可視化するSTT（Speech to Text）モードが考えられます。

他にも、カメラデバイスと顔認識エンジンを利用し、話者の口元を拡大化して表示する口話法補助モードなどもその一つです。

これらの可視化モードを、聴覚障害者自身が選択し組み合わせ相互補完的に利用することで、様々な聴覚障害のレベルやニーズに合わせた情報保障を実現できると考えます。

File not found: "memory_architecture.png" at page "聴覚障害者支援のためのマルチモーダル発話可視化に関する研究"[添付]