EdenLive：灰盒视频实时渲染成细节画面

做游戏原型或交互世界时，规则和状态通常很快就能跑通，画面却还停留在灰盒阶段。EdenLive 是 VAST 在 GitHub 上开源的实时生成式渲染器，README 把分工写得很清楚：程序执行规则、维护世界状态，EdenLive 在目标首帧和文字提示的引导下，把参考视频渲染成细节更丰富的画面。论文摘要称，它能在单张 GPU 上以 24 FPS 以上生成 720P 视频；仓库 2026 年 10 月 12 日（UTC）在 GitHub 上创建，「腾讯研究院AI速递」在 10 月 21 日也提到了它。

核心功能

EdenLive 的核心能力分为输入、推理方式、实时服务和配套的游戏生成，下面按读者最可能关心的顺序排列。

• 输入是灰盒参考视频、首帧和提示词：参考视频可以来自 2D 或 3D 场景、现成引擎或录像，这是模型卡的说法。样例里的灰盒代理视频是 1280×704，另有一张写实的目标首帧，提示词分静态的 staticPrompt 和带时间戳的 dynamicPrompts。
• 两套权重，两种推理方式：5B 和 14B 都提供双向推理（所有帧一起去噪）和少步推理（分块自回归，每块 4 步）。论文中，实时服务用的是少步推理。
• 实时服务走 WebRTC：服务把游戏画面当作输入，用 WebRTC 推流，TURN 中继需要自己配置。LiveTalking 也用 WebRTC 推实时画面，但它的数字人由文字或音频驱动，EdenLive 的画面则由参考视频、首帧和提示词驱动。
• EdenGolem：从一段文字做出可玩游戏：README 写它把文字提示变成「粗略可玩的游戏」，论文把输出称为可玩的 3D 灰盒游戏。工作台把游戏库、对话生成和试玩窗口放在同一个界面里。
• LightX2V 加速路径：README 说明，借助 LightX2V 的低比特量化、算子融合、KV 缓存优化和 CUDA Graphs，5B 模型在单张 RTX 5090 上以 1280×704 分辨率达到约 24.7 FPS 的推理吞吐。

上图是样例的灰盒首帧，也就是 README 所说的代理画面。地面和道具都是低细节的几何体，模型要在这个布局上渲染出外观。

上图是 cover.png，README 称它是那张灰盒首帧的写实渲染。

典型使用场景

EdenLive 的几种用法，都要先确认硬件和许可条件。

• 做游戏原型的独立开发者：规则和状态交给引擎或脚本，EdenLive 负责外观。README 开头的演示视频里，一个水下沉船的小游戏画面角标写着 EDENLIVE 与 REAL-TIME RENDER。
• 研究录像外观变换的人：离线推理可以读取录像清单，论文也提到对录像做离线重渲染和风格化。不过 README 给出的 14B 示例用了两张卡（--nproc_per_node=2）。
• 研究具身智能、想做数据增强的团队：README 演示视频里有一段标注为「Embodied Data Augmentation」的机器人厨房例子。这是项目方自己的示例，README 没有给出这类任务的评测数字。

快速上手

EdenLive 的安装和推理命令取自 README，省略了实时服务的依赖（步骤 2），只跑离线的单卡 5B 少步推理。

git clone https://github.com/VAST-AI-Research/EdenLive.git EdenLive
cd EdenLive
conda create -n edenlive python=3.10 -y
conda activate edenlive
pip install torch==2.13.0 torchvision==0.28.0 --index-url https://download.pytorch.org/whl/cu130
pip install av==17.1.0 decord==0.6.0 pandas==2.3.3 pyarrow==25.0.1 imageio==2.37.4 imageio-ffmpeg==0.6.0
pip install --no-deps -e .
hf download VAST-AI/EdenLive --local-dir ./models/EdenLive
python -m edenlive.scripts.infer \
  --config edenlive/configs/wan22_5b_720p_few_step.yaml

README 的验证环境是 Linux x86-64、80 GB 显存的 NVIDIA 显卡、CUDA 13 驱动和 Python 3.10。权重总计约 210 GB，下载前要留足磁盘空间。README 对 SM90、BF16 和 FA4 内核（flash-attn-4==4.0.0b31、nvidia-cutlass-dsl==4.7.1）的要求只写在默认的 5B 双向配置上。这份少步配置读取 examples/samples/manifest.csv 里的两段样例，输出写到 inference/wan22_5b_720p_few_step，运行时注意力后端写的是 native。

性能数据

EdenLive 的速度数字来自两处：技术报告在 H100 上的测试，以及 README 里 LightX2V 在 RTX 5090 上的结果。

配置	硬件	推理吞吐	来源
5B，832×480	1 张 H100	73.52 FPS	技术报告表 2
5B，1280×704	1 张 H100	29.80 FPS	技术报告表 2
14B，832×480	8 张 H100	26.76 FPS	技术报告表 2
5B，1280×704，LightX2V 加速	1 张 RTX 5090	约 24.7 FPS	README

技术报告发布于 2026 年 10 月，测试用的是约 30 秒的离线代理输入，计时从条件处理开始，到解码后的帧进入 CPU 内存为止。README 的 RTX 5090 数字没有写测试日期和软件版本。这些推理吞吐都在 24 FPS 以上。延迟要单独看：技术报告表 3 给出，5B 在 1280×704 时的首帧延迟是 1161.79 毫秒（单张 H100），峰值显存约 36.78 GiB（已分配）。

小结

EdenLive 适合手上有 80 GB 显存级 NVIDIA 显卡、想研究交互世界或游戏画面外观的团队。没有 SM90 级 GPU、又想直接跑默认 5B 双向配置的人，要先确认硬件条件。如果想把工作台用在商业产品里，要注意它的首帧模型是非商用许可。

许可证要按组件看。代码是 Apache-2.0。模型卡列出的组件许可是：DiT、VAE、文本编码器和解码器为 Apache-2.0，CLIP 为 MIT，视觉编码器按 DINOv3 许可，工作台的首帧模型 FLUX.2 [klein] 9B 为非商用许可。Hugging Face 页面的许可证字段写的是 other（edenlive-mixed）。视觉编码器是控制信号进入扩散模型的通道，配置里 proxy_dino 为启用状态，所以「5B 和 14B 权重是 Apache-2.0」这句话并不完整。工作台的游戏生成还会用 --dangerously-skip-permissions 调用 claude CLI，README 直接写了这一点。

我们只读了 README、模型卡、技术报告和配置文件，没有运行推理。