Remix Beats / Spatial Audio System

NYS12
Journey

2chの楽曲とNYSファイルから、空間処理、エフェクト、SE、全スピーカー分の音声、ステレオ試聴、同期可視化までをワンショット生成する。

NYS12 JourneyのAscent段階を表示した可視化ダッシュボード
2 inputs2ch track + NYS file
12 + 6mono speakers + stereo pairs
1 runAudio + monitor + MP4
PROJECT MANUAL · 2026-08-0701 / 07

01 / Overview

2ch音源とNYSから、完成形まで

NYS12 Journeyは、2ch楽曲とNYSファイルを起点に、曲構造とスピーカー定義の解析、FXとSE、空間投影、全スピーカー分の音声、ステレオ試聴、同期可視化までを一つのジョブで生成するオフライン・レンダリング系です。

2ch + .NYSstereo track
speaker file
structure analysis
FX + SEmusical arc
5-stage journey
60fps curves
Nch投影NYS XYZ
speaker count
channel order
試聴speaker azimuth
stereo monitor
true-peak safe
可視化actual RMS
routing gains
H.264 / AAC
18 tracks

現行の tracks.json 登録数。README内の旧17曲表記ではなく、レジストリ実測を採用。

60 fps

位置、回転、半径、Side spread、effect sendを記録する制御レート。

150 Hz

低域保護の分割点。キックとベースの錨を動かさず、上物を周回させる。

ワンショットの意味: 利用者が用意する素材は2ch楽曲とNYSファイルです。内部では解析、FX / SE、空間化、Nch書き出し、試聴、可視化を順に実行し、hash付きsidecarで一組の成果物として追跡します。

NYS12 JOURNEY · SYSTEM OVERVIEW02 / 07

02 / Deliverables

スピーカー数に合わせて、自動で書き出す

NYS12では、NYSで指定された12スピーカーへ直接対応するmono WAV 12本と、一般的なDAWやI/Oへ取り回しやすい2ch WAV 6本を同時に自動生成します。両形式は同じcalibrated renderを共有し、全出力へ同じsafety gainを適用してチャンネル間の相対バランスを保持します。

PairChannelsNYS speakers
0101–02Front C / Front R
0203–04R1 / R2
0305–06Rear R / Rear C
0407–08Rear L / L2
0509–10L1 / Front L
0611–12Ceiling1 / Ceiling2

12ch production audio

48 kHz / PCM24 / mono × 12 + 2ch × 6。NYSの実XYZ座標、speaker名、物理出力順を保持。

Stereo monitor WAV

150Hz以下をcoherent center、上物をスピーカー水平角へequal-power downmix。実12ch定位の完全な代替ではなく、確認用の近似。

Preview MP4

1280×720 / 30fps / H.264 + AAC。実WAVのch別RMSと空間sidecarを同期表示。

Provenance JSON

12 monoと6 pairの対応、speaker名、L/R由来、SHA-256、codec、尺、frame数を固定。

Expansion段階のNYS12ダッシュボード
Expansionの代表フレーム。下段12メーターは各出力の実RMS、右上は現在の運動macroを表示する。
NYS12 JOURNEY · OUTPUT CONTRACT03 / 07

03 / Reading the Dashboard

可視化は「音がどこへ行くか」の計器

Mutation段階の可視化ダッシュボード
  1. 3D room
    12スピーカー、主音像、上位4出力へのrouting線を表示。
  2. Current stage
    5段階中の位置、正逆回転、速度、room radiusを即読。
  3. Spatial depth
    ceiling focus、Side spread、echo / bloom / shatter / airのsend量。
  1. Top view
    listenerを中心に、主音像とreturn objectの水平位置を確認。
  2. Five-stage timeline
    曲全体に対する現在地点とstage boundaryを表示。
  3. 12 output meters
    描画上の予測値ではなく、完成WAVから測った各chのRMS。

線の数を絞り、主音像と実際に強い4出力だけを接続するため、12本すべてを常時描くよりも方位の変化を追いやすくしています。

NYS12 JOURNEY · VISUAL LEGEND04 / 07

04 / Musical Arc

最初から最後まで、5つの空間展開

01 · EMERGENCEEmergence

狭い半径と低速の動きから開始。方向感を示しながら、低域の中心を保つ。

02 · EXPANSIONExpansion

半径とSide spreadを広げ、リング全体へ音像が開いていく。

03 · MUTATIONMutation

逆回転とreturnの組み合わせで、軌道の規則を変形させる中核部。

04 · ASCENTAscent

回転速度とceiling focusを上げ、上方2chを含む縦方向の運動を強める。

05 · RESOLUTION

運動を収束させながら正面と中心へ帰着。tailを切らず、空間の残響を解決へつなぐ。

Resolution

Stage boundaryは固定の五等分ではなく、曲別の *-se-structure-v1.json に記録されたsection boundaryへ寄せる。

NYS12 JOURNEY · FIVE-STAGE FORM05 / 07

05 / Spatial & Effects

低域を固定し、上物とreturnを動かす

LOW FOUNDATION < 150 Hz

12スピーカーへ等パワー分配。キックとベースの重心を動かさず、空間変化の基準を作る。

MID OBJECT VBAP / inverse distance

主音像はNYS実XYZ座標を通る連続軌道。各フレームでΣgain²=1となるよう正規化。

SIDE SATELLITES dynamic 0–5.5 ch

主音像から前後方向へ分離。stageに応じてoffsetを変え、幅を単なる左右差ではなく空間的な距離へ変換。

Past-only: echo / bloom / shatterは現在より前のbufferだけを読みます。先読みで音楽のアタックを汚しません。

ECHO

180Hz以上。離れた位置から過去音を返し、運動の残像を作る。

BLOOM

180Hz以上。広がるtailを独立objectとして配置。

SHATTER

180Hz以上。リズミックに分割した過去断片を別軌道へ送る。

AIR

4.2kHz以上。上方と高域に限定した光沢を追加。

Ascentでreturnとceiling focusが増えた状態
Ascentではrotation、ceiling、return量が同時に増える。音量だけでなく、位置・速度・高さの複数軸で展開を作る。
NYS12 JOURNEY · SIGNAL MODEL06 / 07

06 / Runbook & QA

ワンショット生成の内訳と確認

2ch楽曲とNYSファイルを渡すワンショット・ジョブは、内部で次の音声生成とプレビュー生成を連続実行します。

1. NYS12の12ch音声を生成

venv/bin/python src/spatial_multich.py <track> --layout nys12 \
  --motion-profile journey --orbit-bars 8 --se

2. speaker別mono WAVを自動生成

venv/bin/python src/speaker_mono.py <journey-sidecar.json> --force

3. ステレオ試聴WAVと同期MP4を自動生成

venv/bin/python src/nys12_preview.py <track> --preset extreme \
  --spatial-profile journey --force

必ず確認するもの

mono 12本とpair 6本が48kHz / PCM24で同一frame数

各monoが対応pair内L/R channelとsample完全一致

MP4がH.264 / AAC / 1280×720 / 30fps

5 stageすべてに到達し、12出力RMSが同期

全尺decodeとvideo-render-qaがPASS

既知の制約

!

stereo previewはfront / rear / height定位の完全再現ではない。

!

NYS12はオフライン出力。CoreAudio 12chへのリアルタイム送出は別系統。

!

ITDは未実装。現行は逆距離gain / amplitude panを使用。

!

JUCEの新signature 4種は未移植。直接実装数は53/57を超えて報告しない。

公開サンプル検証: 22/22 unit test PASS。mono 12本、stereo pair 6本、stereo preview、412 frame MP4、sidecarの形式とSHA-256を検証し、各monoは対応するpair channelとsample完全一致。GitHub ActionsもPASS。

この説明書と紹介ページは docs/showcase/ に自己完結で配置されています。デモ映像は代表曲の5段階から各4秒を切り出した20秒版です。

NYS12 JOURNEY · OPERATIONS07 / 07