chi.binaural

audio_vr_image

そこに存在する音、オーディオVR。

物理モデリング・アルゴリズムによるバイノーラル・プロセッサー「chi.binaural」(通称チバイノーラル)を開発しています。
「バイノーラル音源」はヘッドフォンやイヤフォンで聴くことにより前後左右上下の立体音像が得られる音源で、人間の頭部を模したダミーヘッドを用いた「バイノーラル録音」によるものがよく知られていますが、chi.binauralが行う「バイノーラル・プロセッシング」は、通常録音された音源に対してDSP処理を行うことで立体音像を付与するものです。

この種のプロセッサーは従来から専用DSPハードウェアやプラグインの形で存在しており、その多くは全天全周のHRTF(頭部伝達関数)をインパルス・レスポンスとして測定してデータベース化、リアルタイムのコンボリューション(畳み込み)を行うことで実現されています。現実の定位感のサンプリングとも言えるこの方法はリアルな結果が得らる一方、方位・距離別に無限に細かく測定するわけにはいかず、測定時の方位グリッド(数度〜10度単位程度)を補間で補い、距離については基本的に音量のみでの表現となります。また、実際にスピーカーから音を発して測定するため、そこに音源があるというよりスピーカーがあるというニュアンスが聴き取れてしまう場合もあります。これらは微妙なニュアンスも大切にする音楽利用、高いレベルの体験品質を求めるVRなどでは問題になる場合があります。

chi.binauralでは、独自の研究に基づいた物理モデリング・アルゴリズム(HRTFデータベースもコンボリューションも使用しない)を採用することでこれらの問題を解決し、方位に内部的なグリッドが存在しない、非常にスムーズかつクリアーな立体音像を実現しています。目指したのは「そこに存在する音」そして音楽家の視点で「使える音」です。

FullSizeRender現在chi.binauralはCycling’74 Maxのエクスターナル・オブジェクトとして実装されており、Jitter(OpenGL)互換の座標系、聴取者方位の回転をサポートし、自由度の高いリアルタイム処理が可能となっています。ジャイロ・センサーやモーション・キャプチャーによるヘッド・トラッキングと組みあわせることで、本格的な「音のVR」も実現します。低負荷で動作するという特徴もあり、VR利用においては多くのリソースを消費する映像処理を圧迫せずに、高品位な立体音像を扱うことができます。


chi.binaural活用事例

Rhizomatiks Research × ELEVENPLAY「border」
体験者の装着するAR/VRシステムのサウンド

攻殻機動隊 新劇場版 Virtual Reality Diver
サウンドトラックのバイノーラルミックス


開発中デモ動画(ヘッドフォンまたはイヤフォンでご視聴ください)

【ゲームコントローラーを利用した例】

【空間に点在する多数の音源の間を移動】

【直接音に加え、壁からの1次反射音もバイノーラル処理】