Reference clips
134
短い抽象VJ映像
Research note / 2026
Video-to-Shader
再構成ベンチマーク
短い抽象VJ映像から Gemini VLM が推定したシェーダを生成し、再レンダリング結果を原映像と比較する探索的ベンチマークです。元のシェーダコードの復元を主張するものではなく、映像上の近似を測定します。
Compared
103
再レンダリングまで完走
Threshold pass
11
低レベル比較の基準を通過
Mean overall
.563
中央値 .573
Highest score
.832
この実験の比較尺度内
01 / Method
映像を見て、単一のシェーダを組み立てる。
各参照映像を Gemini VLM が観察し、Godot の CanvasItem Shader として動く小さなパッケージを返します。静的な契約検証、コンパイル、12秒の書き出し、厳格な完全デコードを通過したものだけを、原映像との比較対象にしました。
参照映像
1280×720 / 12秒 / 30fps の抽象VJクリップ。
Gemini VLM
6fpsで映像を観察し、シェーダとパラメータを推定。
契約検証
単一パスのCanvasItem Shaderとして静的に検証。
Godot書き出し
同じ解像度・尺・フレームレートでH.264へ再レンダリング。
映像比較
外観、運動、尺を時間情報付きで決定論的に測定。
02 / Measure
見た目と時間を、別々に見る。
各映像から正規化した時間位置で24点を抽出し、輝度・エッジ・画素外観・フレーム間変化・光学フロー・重心運動・映像尺を比較しました。overall は外観と運動の統合スコアです。
Benchmark threshold
PASS はこの実験固有の、保守的な閾値です。
比較PASSは、overall・appearance・motionのすべてが最低基準を満たし、かつ映像尺や完全デコードのハードゲートに失敗しないことを意味します。
≥ .72overall
≥ .55appearance
≥ .50motion
| Reference | Overall | Appearance | Motion | Benchmark result |
|---|---|---|---|---|
| orrery_system | .832 | .858 | .800 | PASS |
| op_super | .808 | .863 | .741 | PASS |
| mech_gears | .799 | .851 | .736 | PASS |
| part_rain | .769 | .822 | .704 | PASS |
| p5_waves | .769 | .791 | .741 | PASS |
03 / Frames
原映像と再レンダリングを、同じ時刻で並べる。
各シートは参照映像と生成シェーダの書き出しを、0 / 3 / 6 / 9秒で上下に並べたものです。高いスコアは、構図・明暗・反復・運動の全てが同じ意味で一致することを保証しません。
orrery_system.832 overall
最高の低レベル比較スコア。周期的な軌道と高コントラストの構造が近い。
op_super.808 overall
代表的な閾値通過例。幾何学的な構造と運動の両方が比較的近い。
fnoise_marble.180 overall
対照例。複雑な場の構造と時間変化は、この単一シェーダ近似から大きく外れる。
04 / Reading
形は近づける。時間の論理はまだ遠い。
抽象映像を一枚のプログラムへ圧縮する際、モデルは輪郭・放射性・平面構成・反復といった静的な手掛かりを比較的うまく拾いました。一方、位相、速度、相互作用、フィードバックは、見た目が似ていても崩れやすい領域です。
Signal 01
幾何学・周期性は有利
対称性、反復、強いコントラスト、予測可能な周期を持つ映像は、単一のシェーダで近似しやすい傾向がありました。
Signal 02
運動は主要なボトルネック
外観が近くても、運動量、速度、位相がずれると総合スコアは下がります。映像を「何があるか」だけでなく「いつどう変わるか」として読む必要があります。
Signal 03
単一パスの表現限界
多層合成、履歴、外部入力、複雑なシミュレーションを含む映像は、単一のCanvasItem Shaderへ縮約する制約で大きく失われます。
05 / Scope
これは低レベル映像比較であり、作品の評価ではない。
数値はこの再構成経路の観測値です。意味内容、創作意図、元コードの正確性や作者性を判断するものではありません。
測定したもの
- 輝度、エッジ密度、画素外観
- フレーム間変化、光学フロー、重心運動
- 映像尺、完全デコード、書き出し仕様
測定していないもの
- 意味内容、創作意図、元のシェーダコード
- 音声、色管理、HDR、3D形状
- 人間の主観的な「良さ」や作品としての価値