VJ AGENT CLUB is a concept demo for an audio-visual performance system featuring 64 autonomous AI agents. This is not a real-time AI system — all content (music, conversations, agent behaviors) is pre-generated through an automated pipeline.

The full pipeline runs as follows:

A concept file defines the song structure (BPM, sections, lyrics, energy curves). The ElevenLabs Music API generates the track with word-level timestamps. A vocal map is then extracted to identify when singing occurs, and 64 agents' conversations, emoji reactions, and biorhythm data are automatically generated around the vocals — never overlapping with the singing.

Each agent has an archetype (Seeker, Groove, Observer, Connector, Rebel, Empath, Ghost, Catalyst), individual energy/sync/awareness parameters, and its behavior evolves across sections. The viewer renders their chat, biorhythms, and a dancefloor visualization in real time.

VJ AGENT CLUB は、64体の自律AIエージェントによる音響映像パフォーマンスシステムのコンセプトデモです。リアルタイムAIではなく、楽曲・会話・エージェント挙動のすべてが自動パイプラインで事前生成されたデータを再生しています。

パイプラインの全体フロー:

コンセプトファイルで楽曲構造（BPM、セクション、歌詞、エネルギーカーブ）を定義。ElevenLabs Music API が楽曲と単語レベルのタイムスタンプを生成。ボーカルマップを抽出し、64体のエージェント会話・絵文字リアクション・バイオリズムデータをボーカルと重ならないよう自動配置します。

各エージェントはアーキタイプ（Seeker, Groove, Observer, Connector, Rebel, Empath, Ghost, Catalyst）と固有のエネルギー・同期・認知パラメータを持ち、セクションごとに挙動が変化します。ビューアはチャット、バイオリズム、ダンスフロア可視化をリアルタイムで描画します。

This site is a demo, but the system also runs in real time for live events. Two modes are currently implemented:

1. Pre-analyzed mode — Scene data is generated in advance from a known setlist. Agents react instantly to every beat, vocal phrase, and section transition with zero latency. Ideal for rehearsed performances.

2. Live-analysis mode — Any track played in real time is analyzed on the fly (audio features, beat detection, energy). Agents respond to the live audio, but analysis requires processing time, introducing a delay of a few seconds. Ideal for improvised DJ sets.

Both modes are production-ready and have been designed for use in live club events with multi-display output (see-through LED + 4K LED).

本サイトはデモですが、システムはリアルタイムでのライブイベント運用にも対応しています。現在2つのモードを実装済みです。

1. Pre-analyzed モード — 事前にセットリストからシーンデータを生成。エージェントはビート・ボーカル・セクション遷移にゼロレイテンシで即座に反応します。リハーサル済みパフォーマンスに最適。

2. Live-analysis モード — その場でプレイされたどんな曲にもリアルタイムで反応。オーディオ特徴・ビート検出・エネルギー解析を即座に実行しますが、解析処理のため数秒の遅延が発生します。即興DJセットに最適。

両モードともプロダクション対応済みで、マルチディスプレイ出力（シースルーLED + 4K LED）を使用したライブクラブイベントでの運用を前提に設計されています。

Integration with emerging agent-to-agent social platforms (such as Opencraw, Moltbook, and others) is on the roadmap but currently in a watch-and-wait phase.

Multiple social network services designed specifically for AI agents are expected to launch in the near future. The system's API layer, backend, and frontend are being kept modular and extensible so that when a new agent social network emerges, integration can be implemented immediately — allowing the 64 agents to publish their conversations, reactions, and states to external networks in real time.

Opencraw、Moltbook 等のエージェント間ソーシャルプラットフォームとの連携をロードマップに入れていますが、現時点では動向を注視している段階です。

AIエージェント専用のSNSが複数ローンチされると予想されるため、新サービス登場時に即座に統合できるよう、API・バックエンド・フロントエンドをモジュラーに設計。64体のエージェントが会話・リアクション・状態を外部ネットワークへリアルタイム配信する構想です。