video-use:让编程 Agent 按对话完成视频粗剪与包装
一分钟看懂
video-use 是一套给 Claude Code、Codex 等编程 Agent 使用的开源视频剪辑技能。把原始素材放进文件夹,告诉 Agent 想做成什么视频,它会先盘点素材和提出剪辑策略,等你确认后完成转写、剪切、字幕、调色、动画叠加、渲染与自动检查,最终输出 final.mp4。
它主要面向口播、采访、教程、旅行记录和混剪等内容。与固定模板工具不同,它没有预设菜单,而是由用户用自然语言描述目标,再让 Agent 调用 FFmpeg 和项目脚本执行。
你可以用它做什么
清理口播和访谈素材
系统利用带单词时间戳的转写定位“嗯、啊”、口误、重说和镜头之间的空白,再在语音边界剪切。每个切点加入短音频淡化,减少爆音,适合快速产出内容完整的初剪版本。
自动制作字幕和基础画面风格
它可以把字幕直接烧录进视频,默认采用短词组样式,也能按需求调整字体和节奏。每个片段还可以套用暖色电影感、清晰中性等调色方案,或者执行自定义 FFmpeg 滤镜链。
加入解释动画
需要图示时,Agent 可以调用 HyperFrames、Remotion、Manim 或 PIL 生成动画叠层,并行处理不同动画任务。教程或产品介绍因此不只剩下连续口播,还能在关键位置加入辅助说明。
延续长期栏目风格
项目把剪辑决策和上下文保存到素材目录的 project.md。下一次制作同一栏目时,Agent 可以读取之前确认过的风格、输出要求和流程,而不必从头沟通。
它是怎样理解视频的
模型不会把成千上万帧全部塞进上下文。第一层是由 ElevenLabs Scribe 生成的逐词时间戳、说话人和笑声等音频事件,压缩成 Agent 易读的文本;第二层只在切点判断等必要时生成带波形和词语标记的画面条带。这样既降低上下文消耗,又能检查停顿、重拍和跳切。
流程大致是:转写、压缩素材信息、由模型推理、生成剪辑决策、渲染、自检。自检会查看每个切点,尝试发现画面跳变、音频爆点或字幕遮挡,必要时修正并重新渲染。
主要能力
- 识别并删除填充词、口误、重拍和无效停顿。
- 在切点加入音频淡化,自动调色和烧录自定义字幕。
- 通过多种代码动画工具生成视觉叠层。
- 在执行前给出策略并等待用户确认。
- 渲染后自动检查切点并尝试修复问题。
- 将长期项目偏好保存在素材目录,便于下次延续。
- 所有输出集中在素材目录的
edit子目录中。
适合哪些人
它适合有大量口播、访谈或教程素材,希望先自动完成粗剪再人工精修的创作者;也适合熟悉 Agent 和命令行、想构建定制视频流水线的开发者。
如果项目依赖复杂叙事、音乐卡点、多机位表演或精细视觉特效,专业剪辑师和非线性编辑软件仍不可替代。video-use 更像能执行重复工作的技术型助理。
怎么开始使用
项目需要可执行 Shell 的编程 Agent、Python 环境和 FFmpeg,并使用 ElevenLabs API 完成素材转写;下载线上素材时可选装 yt-dlp。安装技能后进入素材目录启动 Agent,用一句话说明目标。Agent 应先给剪辑方案,确认后才修改和生成文件。
第一次使用建议复制一小段非重要素材测试,并提前明确成片时长、横竖屏、字幕语言、必须保留内容和不能使用的镜头。自动结果出来后仍应完整观看一次。
使用前需要知道
音频转写需要把内容发送给所配置的服务,也会产生 API 成本。涉及客户、会议或未公开素材时,应先确认上传许可与数据政策。API 密钥只能放在本机环境配置,不能提交到仓库。
自动剪辑依据转写和抽样视觉信息,可能误删有意义的停顿、选错重拍或忽略细微画面问题。自检可以减少机械错误,但不能代替作者对事实、节奏、版权和最终观感的审核。