LTX-2:同时生成同步画面与声音的开放音视频基础模型工具链
一分钟看懂
LTX-2 是 Lightricks 的 DiT 音视频生成模型及官方 Python 推理、训练仓库。它把同步音频与视频、高保真输出、不同性能档位、文生视频、图生视频和微调能力纳入同一模型体系,适合希望本地运行或深入定制生成视频的人。
你可以用它做什么
- 根据文本提示生成带同步音频的视频。
- 以图片为起点生成动态画面和声音。
- 通过高层 pipeline 组合不同生成模式和性能配置。
- 用自有数据训练 LoRA、全量微调或 IC-LoRA 视频变换。
- 通过 ComfyUI-LTXVideo 使用可视化节点工作流。
主要能力
仓库是 monorepo:ltx-core 提供模型实现、推理栈与底层工具;ltx-pipelines 提供文本到视频、图片到视频等高层流程;ltx-trainer 支持 LoRA、全量微调和视频到视频 IC-LoRA。安装采用 uv,可从 Hugging Face 下载模型。Linux+CUDA 可使用更快的 NATTEN 后端,Windows/macOS 会自动回退到 Triton 或 eager 实现。训练包还包含数据准备、配置、推理和故障排查文档。
适合哪些人
适合生成式视频研究者、影视预演与内容工具开发者,以及有 NVIDIA GPU 资源、希望微调音视频模型的团队。只想偶尔生成短片的普通用户,API 或 ComfyUI 封装通常更省事。
怎么开始使用
克隆仓库并进入目录,执行 uv sync --extra natten 安装依赖,再用 Hugging Face CLI 登录并下载 README 指定的当前模型权重。先运行官方 pipeline 示例验证文本/图像输入与输出,再根据显存选择配置。偏可视化的用户按官方链接安装 ComfyUI 集成;训练前完整阅读 ltx-trainer 的数据集与硬件要求。
使用前需要知道
模型权重、代码和输出的许可条款可能不是同一概念,商用前必须分别检查。标准训练配置建议 Linux、CUDA 及 80GB 以上显存;32GB 卡需要低显存配置、INT8 等优化,普通消费卡并不轻松。视频生成耗时、占存储且结果具有随机性;涉及真人肖像、声音、版权素材和误导性内容时应取得授权并标注来源。