Research
リサーチ
認知科学、ヴィジュアル・ミュージック史、共感覚研究、現代の制作フロー、プロトコル設計。5つのリサーチクエスチョンに沿った調査。
視聴覚統合 / クロスモーダル対応
人間の視聴覚統合に関する認知科学・知覚心理学の知見。共感覚研究の現状。
抽象映画 / ヴィジュアル・ミュージックの系譜
"関係性が主題"だった歴史的事例。Fischinger, McLaren, Whitney, Levin。
現代の制作フロー
音先行／映像後付けがなぜ主流になったか。ツールと市場の構造的要因。
同期手段と"合意"の差分
MIDI, OSC, SMPTE, Ableton Linkが提供するもの vs 本企画でいう"合意"。
体験設計（Zone C）
観客が「変換」ではなく「合意」の価値を理解できる比較実験の設計。
視聴覚統合の科学的基盤
過渡的チャネル
視聴覚統合は定常状態ではなく「過渡的（transient）チャネル」を通じて行われる。変化点（onset/offset）が統合の鍵であり、この知見はIR設計においてイベント層の重要性を支持する。
eLife (2024): マウスの上丘で5,000以上のニューロンを記録。視覚刺激が聴覚刺激に先行する場合に非線形性が顕著。
Bouba/Kiki効果
95-98%の人が丸い形を「bouba」、とがった形を「kiki」と対応づける。25言語、10の書記体系で確認された、音と形状の普遍的な非恣意的対応。
物理的根拠：丸い物体は低周波スペクトル・連続音を生成、とがった物体は高周波・断続音を生成。環境の統計的規則性に根ざしている。
Universal Cross-Modal Mappings / 普遍的クロスモーダル対応
| Audio | Visual | Universality | Evidence | |
|---|---|---|---|---|
| Pitch (高い音) | → | Brightness (明るい色) | Highest | 4歳児で確認、視覚経験不要 |
| Pitch (高い音) | → | Position (上方) | High | 注意シフトを誘発 |
| Pitch (高い音) | → | Size (小さい) | High | チンパンジー・鳥でも確認 |
| Loudness (大きい音) | → | Brightness (明るい) | High | 4歳児で確認 |
| Loudness (大きい音) | → | Size (大きい) | High | 広く確認 |
| Spectral centroid (鋭い音) | → | Shape angularity (角張った形) | High | Bouba/Kiki、95-98%一致 |
Synesthesia / 共感覚
人口の約3%が共感覚を持ち、80種類以上のタイプが報告されている。色聴（Chromesthesia）は共感覚者の約40%に見られ、音が色・形・動きを誘発する。
神経基盤として、色聴共感覚者は右下前頭後頭束（IFOF）の白質結合が強化されている。ただし、共感覚者の音-色対応は高度に個人的であり、普遍的マッピングとは区別が必要。
Artificial Synesthesia / 人工共感覚
感覚代行デバイス（SSD）による視覚情報→聴覚/触覚変換の研究が進行中。訓練により「外在化（externalization）」が発生し、刺激を身体外に知覚する段階に達する。
芸術応用として、Robin Foxの「機械的共感覚」（レーザー×音）やNao Tokuiの「Imaginary Soundscapes」（CNN画像→音変換）がある。Zone Cの体験設計に「訓練→外在化」プロセスを参考にできる。
100年の系譜
歴史的比較
| Whitney | Levin | 本企画 | |
|---|---|---|---|
| 目標 | 音楽のように見える芸術 | 表現の増幅 | 共有合意からの双方向生成 |
| 理論基盤 | ピタゴラス的数学 | 知覚的マッピング | 解釈可能な中間表現 |
| 音映像関係 | 補完性（共通法則） | 物質（単一素材） | 合意（共有プロトコル） |
| 対応の性質 | 暗黙（作家の理論） | 知覚的（普遍的） | 明示的（検証可能） |
| 焦点 | 作品 | パフォーマンス | プロトコル / 仕様 |
Whitney's Three Principles
1. Differential Dynamics / 差分動力学
要素間の速度差がパターンを生成。例：要素1=速度x, 要素2=2x, 要素3=3x。ランダムは禁止。
2. Harmonic Resonance / 調和的共鳴
差分的に動く要素が整数比で交差すると「共鳴」が発生。オクターブ(2:1), 5度(3:2), 4度(4:3)。
3. Complementarity / 補完性
音楽と視覚は共通の数学的法則に従う。コンピュータが視覚に「音楽的流動性」を実現可能にした。
共感覚アーティストの系譜
Alexander Scriabin
理論的/哲学的アプローチ。五度圏に基づく音-色対応（C=赤, A=緑, F#=濃青）。『プロメテウス 火の詩』(1910)に色光オルガン（Luce）を指定。
Olivier Messiaen
双方向的（音⇔色）。「知的に色を見る」。オクターブ上昇→色が淡くなる。「限定された移調の旋法」を発明し共感覚を構造化。
Wassily Kandinsky
画家かつチェリスト。チェロを弾くと深い青を知覚。色と音の対応を絵画に直感的に反映。
なぜ「音先行」が主流か
プロ制作では品質と効率の最適化結果として「音楽が先、映像が後」の工程に収束する。タイムコード（SMPTE）が標準的同期手段。AI同期ツールにより「反応的同期」はさらに容易に。
本企画は「効率」ではなく「関係性の探究」を目的とし、既存プロトコルの上位層として「意味」を追加する。
既存プロトコルの限界
| Protocol | Transmits | Missing |
|---|---|---|
| MIDI Clock | テンポ（いつ） | 意図、構造 |
| MIDI Timecode | 位置（どこ） | 意図、構造 |
| OSC | イベント（何が） | なぜ、制約 |
| Ableton Link | テンポ・位相 | 意味、意図 |
| IR (本企画) | なぜ、意図、制約 | — |
オーディオビジュアルの5番目の軸
Golan Levin (2009) はオーディオビジュアルソフトウェアアートを4つの軸で分類した。本企画は5番目の軸として位置づけられる。