vol.8：ろう・難聴者支援のためのWebベース文字通訳システム captiOnline（2025.4.1）

研究開発の背景

　ろう・難聴者がイベントや授業に参加する際、音声をリアルタイムで字幕化する「PC文字通訳」が利用されています。しかし、音声認識だけでは誤認識や口語表現の読みづらさが課題となっています。そのため、支援者がタイピングして整文・要約する方法が求められています。特に日本語は漢字や語彙が多いため、複数人で協力して入力する「連係入力」という技術が使われています（図1）。

図1：連係入力の概要

従来のPC文字通訳の課題

　従来のPC文字通訳システムは、主に特定のOS上で動作する専用のネイティブアプリが開発され利用されていました。これらのアプリはLAN内通信を利用しており、支援者が現場にPCを持ち寄り、LANを構築する必要がありました（図2）。また、通信が暗号化されていないものが多く、オンラインで使用する場合、内容が盗聴されるリスクもありました。さらに、ネイティブアプリなので特定のOSに依存しているため、他のOSやタブレット、スマートフォンでの利用が困難でした。

図2：従来の専用アプリケーションによる文字通訳環境の構築例

研究開発の目的

　captiOnlineは、これらの課題を解決するために開発されました。HTML5とJavaScriptを使用してWebアプリとして実装され、Webブラウザ上で動作するため、PCだけでなくタブレットやスマートフォンでも利用できます（図3）。WebSocketを使用したセキュアな双方向通信により、安全にオンラインでPC文字通訳を行うことができます。

図3：captiOnlineの構成の概要

captiOnlineの特長

　captiOnlineは、専用アプリのインストールが不要で、利用者と支援者がURLを開くだけで利用できます。サーバーにアクセスするだけでPC文字通訳環境が整うため、準備の負担が大幅に軽減されます（図4）。また、連係入力だけでなく、音声認識を活用し、支援者が誤認識や冗長部分を修正するスタイルでの文字通訳も可能です（図5（a））。さらに、字幕に図表などをリアルタイムに挿入できる「ハイブリッド字幕」機能を実装しており、利用者の理解が向上します（図5（b））。

図4：captiOnlineの入力者用のページの外観

図5：captiOnlineの特徴的な機能

社会的な成果

　captiOnlineの導入により、新型コロナウイルス感染症が流行した際のオンラインイベントでもPC文字通訳が可能になり、利用者が劇的に増加しました（図6）。オンラインで支援者間の交流が生まれ、支援者が足りない地域でも文字通訳が可能になりました。また、英語のライブ字幕生成を海外に依頼するなど、国際的な現場での文字通訳も可能になりました。さらに、字幕や文字起こしの関連企業との共同研究開発にもつながり、新たなサービスの提供や、機能の実装が進んでいます。

図6：四半期別captiOnlineのアクセス数の推移

　captiOnlineは、ろう・難聴者の方々がより多くの情報にアクセスできるようにし、文字通訳に携わる方々を支援する画期的なシステムです。これからも様々な場面で活用されることが期待されています。

関連情報等

Webページ：https://captionline.org
主要な論文等：
1） Daisuke Wakatsuki, Tatsuya Arai and Takeaki Shionome, Hybrid Caption Including Formula or Figure for Deaf and Hard-of-Hearing Students, JACIII, Vol.25, No.2, pp.187-194, 2021 （doi: 10.20965/jaciii.2021.p0187）
2） Daisuke Wakatsuki, Nobuko Kato, Takeaki Shionome, Sumihiro Kawano, Tomoyuki Nishioka and Ichiro Naito, Development of Web-Based Remote Speech-to-Text Interpretation System captiOnline, JACIII, Vol.21, No.2, pp.310-320, 2017 （doi:10.20965/jaciii.2017.p0310）
3） 若月大輔，加藤伸子，塩野目剛亮，河野純大，西岡知之，内藤一郎，聴覚障害者のためのウェブベース遠隔文字通訳システムの開発，信学技報, vol. 114, no. 217, WIT2014-32, pp. 69-74, 2014年9月.

研究者紹介

2003年に新潟大学大学院自然科学研究科博士後期課程を修了し、新潟大学や筑波技術短期大学を経て、2021年より筑波技術大学産業技術学部の教授に着任しています。専門分野は福祉工学、教育工学、ヒューマンインタフェースであり、特にろう・難聴者の支援やその技術開発に注力しています。ウェブベースの遠隔文字通訳システム「captiOnline」の研究開発を行い、公開しています。このシステムは、ウェブブラウザだけでリアルタイムにPC文字通訳を実現できる環境を提供し、ろう・難聴者の情報アクセスの向上に寄与しています。他にも、字幕主体で映像視聴を可能にするシステムや、AIを活用したろう・難聴者支援についての研究を進めています。

研究者情報：https://researchmap.jp/wktkdsk

（産業技術学部産業情報学科 教授 若月 大輔／2025年4月1日）