空間を設計する
音源・聴き手・出力の関係を定義します。距離、方向、境界、密度を、音楽を組み立てる変数として扱います。
座標系 / 音場 / 境界 / 聴取位置この領域を詳しく読む ↗音・動き・空間を、
作曲する。
空間オーディオの音楽、音、モーション、シンセサイザー、作曲、体験設計を体系化し、新しい理論と技術基盤をつくる研究開発です。
アプリの制作動画を見る ↓
新しい空間、オーディオ、サウンドデザイン、作曲、エフェクト、体験をつくるために、記述・実装・比較評価をつなぐ体系を育てます。以下は、このプロジェクトで提案する設計の枠組みです。
音源・聴き手・出力の関係を定義します。距離、方向、境界、密度を、音楽を組み立てる変数として扱います。
座標系 / 音場 / 境界 / 聴取位置この領域を詳しく読む ↗発振、倍音、包絡、粒子を設計します。空間内の位置や速度を音色へ結び、動くことによって変化する楽器を考えます。
波形 / 音色場 / 発音 / 粒状合成この領域を詳しく読む ↗軌道、速度、加速度、集団の変形を組み合わせます。動きの反復や交差を、旋律やリズムと同じように記述します。
周回 / 変形 / 群れ / 時間変換この領域を詳しく読む ↗音高と時間に、位置と関係の変化を加えます。異なる軌道の声部、受け渡し、沈黙、記憶の更新を一つの形式にします。
空間的対位法 / 章 / 状態遷移 / 休止この領域を詳しく読む ↗ディレイ、グラニュラー、フリーズを、空間の領域や通過イベントに結びます。音の変化と経路の変化を独立して組み合わせます。
空間ディレイ / 残像 / 領域 / 処理順序この領域を詳しく読む ↗注意が向く場所、身体の移動、滞在時間、映像との関係を考えます。誰がどこで聴くかを、作品の構造に含めます。
注意 / 身体 / 滞在 / 視聴覚の関係この領域を詳しく読む ↗制作アプリで実際に試した3つの比較を、画面と音声で記録しました。各12秒。パラメーターと動きを見ながら、変化の違いを聴くことができます。
8つの声が周回しながら音色場を通過します。フィルターの基準設定を4秒ごとに切り替え、軌道を保ったまま倍音の聴こえ方を比較します。各声の実際のカットオフは、音色場内の位置に応じて変化します。
4つの音源に空間ディレイをかけ、疎なグレイン、密なグレインと3帯域分岐へ切り替えます。原音と処理後の音がどこで重なるかを、FX画面と音で追います。
群れとして動く音源、2秒周期の平面周回、固定位置での発音ゲートのループを比較します。動きの周期と発音の周期を分けて見るために、4秒ごとに条件を切り替えます。
画面はローカルの制作アプリを、音声サンプル時刻に合わせてフレームごとに記録したものです。同じシーンを処理したPCM音声を組み合わせています。各4秒の切り替えは比較のための編集で、音色や動きが連続して変形することを示すものではありません。
説明用の仮想空間を使用しています。音声は制作アプリの2ch試聴で、バイノーラル再現やRoom A/B/Cの実会場収録ではありません。音源の点、子音源、軌跡はそれぞれ異なる役割を持ちます。バーはパンニングゲインのプレビューで、画面下のPEAK/RMS数値が実PCMの計測値です。Looperは鳴り続ける声を周期的にゲートする処理です。
音源にIDを与え、時刻・位置・音色・動き・関係・状態を記録します。同じ記録から音声と映像を生成し、何を変えると何が変わったのかを比較します。
ID · t · position · sound · motion · relation · state空間の規則と、発音する単位を決めます。音源と出力スピーカーは別に定義します。
音色・軌道・集団・時間の処理順を記録します。回転してから移動する場合と、移動してから回転する場合を比較できます。
音声サンプルの時刻に、映像・操作・PCM計測を対応づけます。部屋ごとの出力設定は最後に適用します。
生成済みの統合AVスタディでは48 kHz / 60 fpsを使用し、1映像フレームを800音声サンプルに対応させています。掲載動画はローカルアプリの画面を音声サンプル時刻に合わせて書き出した制作記録です。
ここに示すのは研究仮説です。新規性や知覚上の効果は今後検証します。条件を変えた比較、聴取位置を変えた試聴、再現できる記録を重ねます。
同じ音素材を固定・周回・交差で比較し、まとまり、声部の分離、緊張の変化を調べます。
音色を位置に結ぶ条件と結ばない条件を比較し、軌道と音色の結びつきを学習できるかを調べます。
現在の音と過去の音の位置・遅延・減衰を変え、反復の認識と次の出来事への予測を調べます。
再現性 / 声部の分離 / 軌道の識別 / 注意の移動 / 聴取位置による差
音源合成、空間への配分、映像化、比較試聴をローカルの制作環境でつなげています。制作動画には、その環境で合成・エフェクト・モーションを比較した実画面を掲載しています。
三つの部屋を応用先として、共通基盤から異なる音楽と体験をつくります。以下は現在の作曲スタディの主題です。実際の部屋への導入・調整は別途進めます。
共通の拍動から音が分岐し、異なる発音間隔へ進む構成を試しています。経路と発音の規則を扱います。
通過の履歴、回復する空白、遅れて成立する一致を扱います。時間差を空間の変化へ結びます。
応答の変化、選択的な忘却、予測のずれを扱います。同じ出来事の音と映像を対応づけます。
記述できること、つくれること、聴いて確かめられることをつなぎ、新しい理論・技術・制作基盤へ育てていきます。
制作動画へ戻る ↑