ホワイトペーパー（HELLO! MOVIE）

音響通信を活用した映画館や劇場におけるアクセシビリティ「HELLO! MOVIE」

2023年3月
エヴィクサー株式会社
Refer: Whitepaper for Overseas
 

 

1. 緒言（序論）whitepaper(ja)

エヴィクサー株式会社（以下「エヴィクサー」と表現する）は、映画館や劇場などの公共空間におけるエンターテイメントのバリアフリー化を目的とした新製品を開発し、2020年頃より日本全国規模での事業展開を実現した。
本紙では、視覚障害者および聴覚障害者向けのバリアフリー上映・上演方式「スマホで聴く音声ガイド」「メガネで見る字幕ガイド」（以下「本方式」と表現する）が、業界インフラとして定着した成果、本方式を支える音響通信の仕組みや特許の技術的背景、新製品「HELLO! MOVIE」の特長について報告する。
2016年「障害者差別解消法」、2022年「障害者情報アクセシビリティ・コミュニケーション施策推進法」が施行され、障害当事者が公共施設や商業施設等を利用する際に、情報分野のバリアフリーについても充実が求められている。とりわけ、2024年4月に施行される改正障害者差別解消法に基づき、当該業界では全作品・全国で網羅的に採用可能なサービス・ソリューションの業界コンセンサスと整備が必要であった。
本方式には、「合理的配慮」とエンターテイメント性を共立させることが求められる。障害者の権利に関する条約で「合理的配慮」は、「障害者が他の者と平等にすべての人権及び基本的自由を享有し、又は行使することを確保するための必要かつ適当な変更及び調整であって、特定の場合において必要とされるものであり、かつ、均衡を失した又は過度の負担を課さないものをいう。」と定義されている。

2. 背景：ビジネス要件と技術要件

合理的配慮は、障害当事者へのサービス提供の現場だけでなく、持続可能な運用とコストを検討するうえで、製作や開発、準備フェーズにおいても波及する。したがって、要件検討は、ユーザーである障害当事者、映画・劇の制作関係者、興行関係者、バリアフリー施策に関する有識者などを交えて行われた。
映画や劇などの鑑賞に対して広く普及可能なバリアフリー化を行うには、上映・上演内容に手を入れるのではなく事後的・補完的にサービスを提供する方式を検討し、制作者の意図やエンターテイメント性を出来るだけ損なわないよう、事前の承認を経る進め方を求められる。当該業界では、視覚・聴覚で得られる情報を鑑賞と同時に補う「音声ガイド」「字幕ガイド」を伴った鑑賞方法は従来から存在するため、制作業務に大きな負荷を与えることなしに、そのガイドを広く配布・提供可能な方式を検討するのが現実的であった。なお、従来の方式では、専用の機材を用いて情報保障機能を提供するため、限られた施設でしか実施出来ない、あるいは商業的な理由から映画が公開されてから相当の期間後にしか実施出来なかった。
映画館や劇場がサービス提供の現場であるため、時期、施設の限定を受けずに一般公開時に同じ空間で健常者も障害当事者も同時に楽しめる方式が望ましい。一方、ガイドを必要とする障害当事者の上映・上演回ごとの来場者数を予想することは難しく、また制作者の事情でガイドが制作されるかどうかは決定されるため、実証や運用を通して事後的にサービス規模を調整出来ることが求められた。
上記をビジネス要件として、障害当事者にも普及しているスマートデバイス（スマートフォン・スマートグラス）をユーザーが持ち込み、ガイドの再生を行うことを前提として、ユーザー側アプリの技術要件を洗い出すこととなり、「一般に普及しているスマートデバイス上で機能すること」「全国の映画館・劇場ならどこでもすでにあるもので機能すること」「操作がとても簡単なこと」「デバイスの通信機能を無効とする“機内モード”で機能すること」「映画館・劇場内のガイド再生に限定すること」を基本として、字幕ガイドについては周囲へ光が漏れないようにスマートグラスでの再生に限定することとなった。

3. 独自開発の要素技術「音声フィンガープリント」「音響透かし」と音響通信

音響通信技術とはエヴィクサーが開発する音響信号処理に関連した要素技術「音声フィンガープリント」「音響透かし」を組み合わせた独自技術で、本方式においては、上映・上演作品の音から進行を把握する機能を提供することでユーザー・客席側のデバイスをその進行に応じて制御し、場面の時間情報と音声・字幕ガイドが再生される時間情報とを外部サーバ等の通信なしに相対的に同期させる機能を実現している。
「音声フィンガープリント」とは、あらかじめ対象とする音の特徴量を信号処理を経て符号化し教師データを持った上で、マイクなど他の経路から取得した音を同じように符号化し、そのマッチングにより同一性を認識する技術を指す。それぞれコンテンツの意味を認識するものではなく、符号化されたデータは不可逆であるため、プライバシーや著作権が侵害される心配なく、ビジネス利用に際して映画・劇の制作者のアプルーバルを得やすいのがメリットである。エヴィクサーの独自アルゴリズムでは、スマートフォン・スマートグラス向けにその機能を提供することを主眼に置いて開発、ロバスト性に優れ、スピーカーから出力され空気伝搬を経てマイクから取得した音声信号を対象としても認識可能な点を特徴とする。

fingerprint2

＜図1　音声フィンガープリント（FP）技術の概念＞

「音響透かし」とは、音声信号に暗号化を施した文字情報などを埋め込む技術を指し、エヴィクサーが開発した独自アルゴリズムでは、メディア耐性、秘匿性、残響および雑音耐性に優れ、音質劣化性能も検証済みであるため、スピーカーから出力され空気伝搬を経てマイクから取得した音声信号を対象としても復号可能である。たとえば、電波や無線技術が使用できない環境でも、施設のスピーカーと客席側のマイク間で、ブロードキャスト型の通信を実現することが可能である。

watermark6

＜図2　音響透かし技術の概念＞

エヴィクサーは、上記二つの要素技術をビジネス・技術要件に応じて組み合わせることによって、特徴ある通信を実現している。

音響通信の特徴

 

  1. 音による通信が可能なため、放送や配信などとの相性が抜群によい。
  2. スピーカーとマイクのみで通信が可能であり、開発と運用の負荷が軽い。
  3. 電波ではないため、電波法認証が不要であり、輸出を考慮した開発や国別の再検査が不要である。
  4. オーディオアンプのボリューム調整のみで細やかな通信範囲の調整が可能である。
  5. 電波法の縛りがないため、音波の届く範囲までデータ送信が可能である。
ビジネス活用での工夫・メリット

 

  1. 通信量や通信速度は無線技術に比べれば遅いが、IDやトリガー信号のような軽量のデータの伝送には十分適用可能である。
  2. 透かし信号を検出するまでに必要な時間（端末間のバッファ）が0.1秒程度という高速処理を実現（従来の類似技術は数秒間が必要）。ブロードキャスト型（一斉同報通信）の通信としても有効である。
  3. （住居内等では安定的であっても）電波干渉が多く、無線・モバイル環境が必ずしも安定的ではない公共空間等においても、スピーカーからの距離がある程度遠くても透かし信号を検出できる仕様を実現している（たとえば、検出に必要な音圧のS/N比が低い、すなわち「雑音」が多いスタジアム等においても既設のスピーカーからの放送で全席での検出が可能）。
  4. スマートフォンを始めとするスマートデバイスの多くは通話機能を備えているが、そのためのマイクの性能は他のセンサー類と比較して機種依存性が小さく、訪日外国人を含めて不特定の一般ユーザーが持ち込むデバイス上でも安定した機能提供が可能である。
  5. 密集及び数万人規模等の大規模な利用者での用途で有効である（輻輳やいわゆる「パケ詰まり」に影響されない機能提供）。
  6. 通話やSNS等の利用を禁止したい環境下（例えばスマートフォンの機内モード時での機能提供等）での用途でも利用可能である。

4. 映画館での取り組み

本方式では、音声・字幕ガイドはあらかじめ制作され、ユーザーのデバイスにインストールされた専用アプリケーション「HELLO! MOVIE」（https://hellomovie.info/）のみを受け皿として、インターネット通信経由でセキュアに配布する。このアプリケーションはiOS、Android、スマートグラス向けに無料で一般公開され、ダウンロードは随時可能であり、映画館に向かう前の動作確認やバリアフリー上映に対応した映画作品を探す機能を有している（2022年公開の興行収入10億円以上の邦画26作品中22作品に対応）。映画館内でのみ上映される音声を認識するとガイドが再生される仕組みで鑑賞チケットを購入したユーザーの利用に限定される。これは先述の音声フィンガープリント技術による認証機能である。

theater_bf_mark

＜図3　「HELLO! MOVIE」で提供する音声・字幕ガイドの概要＞

hm_ccglass

 

＜図4　アプリケーションと貸出サービスの構成＞

障害当事者にとっては、健常者とともに流行している映画をタイムリーに鑑賞出来るということが新しいエンターテイメントの体験価値である。また、その価値は障害当事者の家族や友人にも連鎖する。本方式では、障害当事者にも普及しているスマートデバイスを通じて、ガイドの再生機能を提供することで、「公開初日から どの映画館の どの席でも」バリアフリー上映を実現している。なお、スマートフォンに比べて一般に普及していないスマートグラスについては、映画館の窓口で貸出を行う展開を進めている。（2023年2月末現在、全国80以上の映画館で貸出対応）

sadako_system

＜図5　映画館での取り組みまとめ＞

さらに、制作・運用上の要件から、先付け映像には音響透かし、本編映像には音声フィンガープリントを活用した同期を使い分けている。これには、映画本編の開始直後から同期を実現する目的と、映画本編の制作と本方式による音声・字幕ガイドの制作の完全分離を実現する目的がある。

5. 劇場での取り組み

ミュージカルや劇などが上演される劇場では、本方式のうち字幕ガイドをメインに提供する。台本や稽古の様子からあらかじめガイドを制作し、ユーザー側の専用アプリケーションにガイドを配布する仕組みは映画館のそれと同様だが、いわゆる「完パケ」である映画とは異なり、上演毎に進行時間は細かく揺れるため、ガイド再生の時間調整が必要となる。上演回を限定せずバリアフリー対応を行うビジネス・技術要件では、上演毎の調整に人手は介せないという要求があり、また舞台装置の制御などに無線技術を利用する事情から、混線を防ぐため、客席側のデバイスで無線の利用を避けたいという要求もあった。
そこで、映画館の仕組みからさらに工夫を重ねて、効果音やBGMに音響透かしを埋め込み、舞台上の進行と字幕ガイドの時間のズレを上演中に補正する機能を制作のオペレーション内に組み込むことを実現した。これにより、ロングラン公演への対応を可能として、劇団四季のディズニーミュージカル上演で、聴覚障害者向けおよび外国語字幕サービスとして運用されている。

shiki

＜図6　劇場での取り組み＞

6. 結言

本方式と新製品「HELLO! MOVIE」のメリットは、音響通信技術の活用により、従来の制作フローへの新たな負荷や施設・設備への追加投資なしに、事後的・補完的にガイドを提供できることにある。2023年2月末現在、「HELLO! MOVIE」アプリケーションのダウンロード数は30万回を超え、字幕メガネの貸出数も13,000回を超える業界インフラとなった。
音声・字幕ガイドも、多言語ニーズへの対応や、制作秘話や時代背景などを解説するコメンタリーなどのコンテンツ企画次第で、新たなユーザー層の拡大を目指した取り組みにも応用可能であるし、またユーザー側のデバイスは今後も進化すると考えれば、イマーシブシアター（体験型演劇作品）のような今後発表される次世代型のエンターテイメントにも応用可能であろう。
また、令和4年版高齢社会白書によれば、「総人口に占める65歳以上の者の割合（高齢化率）は、昭和25（1950）年の5.1％から令和2（2020）年には9.3％に上昇しているが、さらに令和42（2060）年には17.8％にまで上昇するものと見込まれており、今後40年で高齢化が急速に進展することになる。」とされている。当然ながら、高齢化の進行につれ、視覚障害・聴覚障害の数も増加が見込まれる。
エヴィクサーは、本紙で報告した日本における成果と、音響通信技術による同期に関する国際特許を基に、今後米国ハリウッドの映画制作スタジオや海外の興行会社に対して提案を本格化させていく。

関連の報道事例

  • 2022年8月3日　日刊工業新聞（東日本）第26面 『エヴィクサー、米韓で特許取得　劇場・舞台向け字幕ガイド技術』
  • 2022年7月21日　産経新聞 第12面 『エヴィクサー「舞台用字幕」米韓で特許 進行に合わせ適時表示 世界標準目指す』
  • 2022年2月25日　日経産業新聞 第5面 『映画館用ガイド、米中で特許』
  • 2022年2月16日　日本経済新聞（夕刊） 『観劇、字幕端末と共に 耳が不自由な人に貸し出し 「同じ瞬間に笑い 感動」』
  • 2020年4月12日　NHK-Eテレ 「サイエンスZERO」 『未開の境地！“聞こえない音”の最新技術』

関連の表彰

  • 2023年2月　Zero Project Award 2023
  • 2022年11月　MCPC award 2022　サービス＆ソリューション部門　＜特別賞＞
  • 2022年3月　東急アライアンスプラットフォーム 2021 Demo Day ＜二子玉川賞（優秀賞）＞