SYNC AS
AGREEMENT
合意としての同期
音と映像の関係を「変換」ではなく「合意」として設計する。
共感覚リサーチを通じた、新しいオーディオビジュアル・インスタレーション。
探究の中心が
"関係性"から"工程"へ
ずれている
共感覚的な連想や抽象映画／ヴィジュアル・ミュージックの系譜において、音と映像の関係性は作品そのものの主題として探究されてきた。
しかし今日の制作現場では、ツールと市場の成熟により「音楽が先行し、映像が後付けで整合する」片方向の工程が主流化している。音と映像の接続言語はMIDI的イベントや波形解析など低レベル特徴量に偏り、構造・意図・制約といった"意味の層"が共有されにくい。
The focus has shifted from "the relationship between sound and image" to "the workflow of production." The shared sync language is too thin—limited to MIDI events and FFT data—making it difficult to share higher-level intent.
片方向の工程
音楽が先行し、映像が後付け。逆方向（映像→音）や双方向の探究はアカデミック領域を除くと可視化されにくい。
同期言語の貧弱さ
MIDI的イベント、波形・スペクトラム等の低レベル特徴量。構造・意図・制約を共有するには不足。
「反応」に留まる
結果として「反応ビジュアル」のバリエーションに留まりやすく、関係性の探究が後退している。
音と映像の関係性を豊かにする鍵は、変換アルゴリズムの高度化よりも、両者が共有できる"合意の形式"＝中間表現の設計にある。
共有スコア / 共有状態
自然言語やセマンティックなアプローチではなく、共感覚リサーチに基づいた原始的で低レベルな音と映像の関係を基盤に、解釈可能で検証可能な中間表現（IR: Intermediate Representation）を設計する。映像を音に変換し、音を映像に変換する—その双方向性を「合意」が支える。
作家の暗黙知、または自動変換による片方向の同期。
明示的合意。解釈可能、検証可能、双方向。
6層のスキーマ
IRは既存プロトコル（MIDI/OSC/Ableton Link）を置き換えるのではなく補完する。「いつ」「何が」に加えて、「なぜ」「どういう意図で」「何が起き得ないか」を記述する。
The IR complements existing protocols by adding layers of meaning: structure, perceptual mappings, and artistic intentions.
Protocol Stack / プロトコル階層
4つのゾーン
作品（結果）
新作オーディオビジュアル作品群。共有IRを使用して音と映像の双方向的関係を実現する。
同期の解剖
共有メタデータの可視化。タイムライン、状態変数、ルール。「変換デモ」ではなく、共有スコアが両者を駆動する構造を見せる。
プロトコル・ラボ
同一メタデータで複数レンダラを差し替え。観客が「変換」ではなく「合意」の価値を体験する比較実験。
アーカイブ
スキーマ、サンプル、制作ログ、失敗例。展示後に第三者が再現・再利用できる形を目指す。
認知科学と芸術史に
根ざした設計
IRの設計原則は、100年にわたるヴィジュアル・ミュージックの系譜と、最新の認知科学・共感覚研究の知見から導出している。
| Principle | Origin |
|---|---|
| 変化点の明示 | 認知科学（過渡的チャネル） |
| 相対的関係 | Whitney（差分動力学） |
| 知覚的マッピング | Levin / Bouba-Kiki研究 |
| 人間可読性 | 本企画独自 |
| 双方向性 | 本企画独自 |
| 制約の記述 | 本企画独自 |
逃げ道を塞ぐ
定義された中間表現（IR）を使用すること。最低限：時間構造＋イベント＋連続量の一部。
「何を合意として共有したか」を明文化し、Zone Bで提示できる形にすること。
波形／FFTのみでの同期（それは"合意の設計"ではなく"反応"の反復）。
"なんとなく気持ちいい同期" の雰囲気演出で終えること。
構造（section / phrase / repetition）、身体性（gesture / articulation / breath）、空間（群・場・軌跡）、制約（いつ何が起き得るか、何が起きないか）。
Explore Further