話した言葉が透明な壁に表れる―。聴覚障害者のために開発されたシステムが、コロナ禍でアクリル板越しの会話を補助するツールとしても活用が期待されています。

つくば市役所の総合案内に先月設置された透明なディスプレー。これはマイクに向かって話しかけると、話した言葉がリアルタイムで表れる字幕のシステムです。アクリル板越しでの窓口対応で声が聞こえにくいコロナ禍の今、この字幕システムの活用が期待されているといいます。

つくば市政策イノベーション部長・森祐介さん「言ってることが聞こえにくかったりとか、結構大きめに話さないと聞こえないんじゃないかという不安を抱えながら、大きな声で喋っていいんだろうかと思いながら。いろんなところで起こっている」

私たちは、この字幕システムを開発した大学の研究室を訪ねました。開発したのは、筑波大学デジタルネイチャー研究室、落合陽一さんの研究室です。

開発のスタートは、耳が聞こえない人とのコミュニケーションをとるためだったといいます。研究室にも聴覚障がいのあるメンバーがいたのです。これまで音声認識のアプリを使っていたといいますが。

開発メンバー・鈴木一平さん「今まさにそうですけど、こういうふうに２人とも視線がアプリの方にいっちゃって、相手の表情であるとか、しぐさとか見るのがすごい難しい」

そこで登場したのが、この透明なディスプレーです。

鈴木一平さん「透明になると、相手越しに文字越しに相手の顔を見やすいというのが、透明であることの利点ですね」

今後の音声認識のシステムについて落合さんは、声色に合わせて絵文字やスタンプを付け加えることで、さらに有効なツールになるといいます。

筑波大学デジタルネイチャー開発研究センター・落合陽一センター長「明るい声で喋ってるときにはニコニコしてるマークつけたりとか、何かおそろしそうに喋ってるときは怖いマークつけたりとか、そういうのを語尾につけるとかも字幕についてくるんですけど、どうやって非言語情報を言語情報の上に重ねて字幕化するかは結構大切な技術だし。その辺は割とねやっていくと思います」