話した言葉がリアルタイムで透明な壁に映し出される字幕システム。ろう・難聴者向けに作られたこのシステムの開発の裏には自身も耳が聞こえないという開発メンバーの姿がありました。

■話した言葉が字幕になって表れる透明な壁

透明なディスプレーにマイクを使って話しかけると、話した言葉が字幕となって次々に表示されます。透明であることから、相手の身ぶりや手ぶりが見えやすく、話す側にも文字が表れるため、誤字がないかどうかを確認できるところが特徴です。

この字幕システムを開発したのは筑波大学デジタルネイチャー研究室のチーム。落合陽一さんが率いる研究室です。自身も耳が聞こえないという設楽明寿さんも開発メンバーの１人です。

開発のスタートは、研究室のメンバーと設楽さんが、コミュニケーションをとるのに良いツールがないか探していたことだといいます。設楽さんに、字幕システムの開発について話を聞きました。

■設楽さん「ユニバーサルデザインとダイバーシティの両方を生かした考え方を」

Ｑ．普段のコミュニケーションはどうされていますか？

――基本的に話す人に合わせていて、音声認識アプリを使ったり、チャットツールを使ってコミュニケーションをしていて、耳が聞こえない方には手話を使ったりしています。

Ｑ．開発した字幕システムの良さは？

――お互い１つの同じ画面を共有して見られるというのが一番大きいです。アプリとかだとアプリ画面に見入ってしまって、同じ場や空間というのが感じられず、“話しているけれど話している感がない”というのがありますが、このシステムだとお互いを見て話せるので、“話している感がある”のが大きいと思っています。

Ｑ．今後の課題は

――いまは話す人用のマイクが１個だけしかないですが、話すときにお互いマイクがあるように再設計しないといけないと思っています。

また、発音がきれいじゃない人（発音するのに抵抗がある人）、手話を主に使う人や構音障害がある人がどうやってこのシステムでコミュニケーションするのか検討しないといけないです。

Ｑ．設楽さんの今後の目標は？

――やりたいことはいっぱいあります。一番大きいのはユニバーサルデザイン（規格統一されたデザイン）にただ取り組むだけではなくて、それをその人の身体の特徴や文化などに合わせて対応できるようなシステムを開発したいです。ユニバーサルデザインとダイバーシティの両方を生かした考え方です。

Ｑ．字幕システムの場合だと？

――この字幕システムだったら、こちらは日本語、相手は英語などと違う言語を話していても、字幕システムでお互いの言葉を通訳してコミュニケーションができるようにしていきたいと思います。

他には、私が日本手話を使って話すとシステムが手話を認識して相手に字幕で表示される。相手は手話ができなくても、話した音声がシステムで手話に変換されるようなコミュニケーションツールを考えています。

■設楽明寿（したら・あきひさ）さん
筑波大学大学院図書館情報メディア研究科博士後期課程に在籍中。２０１７年にトルコのサムスンで開催された、第２３回夏季デフリンピック競技大会の陸上競技男子４×１００ｍリレー日本代表メンバー（第３走者）を務め、金メダルを獲得した。現在では，研究に集中するために休養している。