sweety-handdraw-video:让智能体把文章做成边画边讲的手绘视频
threerocks 开源的 Agent Skill(MIT):把文章或主题做成逐笔描线、按真实配音排分镜的手绘讲解视频,交付成片、字幕与检查记录。
Skill 资料
npx skills add threerocks/sweety-handdraw-video --skill sweety-handdraw-video要把一篇文章做成边画边讲的手绘视频,难点往往不在画,而在画面和旁白对不上:旁白一长,画面就停着;画得快了,字幕又追不上。sweety-handdraw-video 是 threerocks 在 GitHub 上开源的 Agent Skill(MIT)。装进 Codex 或 Claude Code 后,它把写口播、排分镜、逐笔绘制、配音、字幕和渲染串成一条固定流程,默认交付 1280×1920 竖屏、30fps 的成片,并附封面、字幕、口播稿和检查记录。
工作顺序
先把受众、要解决的问题、机制和行动写进 design.json,口播定稿后再逐段生成配音。每段不超过约 100 字,只在句末切开;通过嗡声、底噪和削波检查的段落才拼接,停顿取实测值,时间戳自动写出。分镜随后按这些秒数倒算:每张图能画几秒、最多几笔。作者实测默认画法(起形加马克笔上色)约每秒 3.9 笔,所以图要按时间设计,而不是把时间压缩来塞图。
插画先出纯黑线稿,过了预算检查,再以它为输入上色。绘制时先用笔起形,按对象逐个描线,擦掉起形线,最后用马克笔由浅到深上色。
硬性规矩
- 字幕只有一份:画面烘焙、字幕事件、MP4 字幕轨和网页字幕不能叠加,交付前要核对成片没有额外字幕轨。
- 汉字按笔顺写:GB2312 内的汉字按标准笔顺书写,其余字符按字形描线;字体逐字核对覆盖,缺字时构建直接失败。
- 成片不靠图生视频:画面由本地脚本按笔画绘制、合成,生成的插画只是素材。
- AI 标识要留着:成片已写入 AI 生成隐式标识,发布时仍须在平台声明“AI 生成”。
适合谁与门槛
适合要做知识讲解、观点解读或寓言故事、又想让每一笔都对上旁白的个人创作者和小团队。只要一张插画或一段口播稿,SKILL.md 的描述已经写明这不是它的用法。
门槛不低。宿主得能出图:Codex 内置生图,Claude Code 需要自己接生图工具或 MCP,或者由你提供插画;出不了图时它会停下,不会静默降级成纯文字视频。本机要有 FFmpeg、Python 和中文字体。安装脚本会装 FFmpeg 与独立的 Python 环境,Linux 上还会装 Noto CJK 字体;Chromium(约 150 MB)和 VoxCPM2 模型(约 3.2 GB)都要另加参数才下载。声音要选一条路:Apple Silicon 可用本地 VoxCPM2,其他机器可接自己启动的 VoiceStudio 服务。支持 macOS 与 Linux,Windows 暂不承诺。
手写字体也要自己准备:macOS 推荐 Hannotate SC,没有时用 Hiragino Sans GB 顶替,文档明确说这种回退不能当作手写风格已验收;Linux 则需自行安装 LXGW WenKai(霞鹜文楷)。
许可要分开看:仓库是 MIT,但打包的五项上游依赖保留各自的许可与来源,上游声明只供其示范、不在 MIT 授权内的卡通角色没有随包分发。两款逼真音色的原始录音只存在使用者本机,公开包里只有节选试听;克隆他人或平台声音不在范围内。部分风格首次使用时,还会按清单从 jsDelivr 下载参考图并校验。
仓库里的两条样片(49 秒的《那条死于愤怒的蛇》、1 分 52 秒的《快乐囚禁你的方式》)用 v1.2 制作,带着预告水印,也不含 3.0 的线稿先行流程,判断效果时要打个折扣。本文依据 v3.0.2 的 README 与 SKILL.md 核对,编辑部尚未在本机完整跑过一条视频。
试用可以从几十秒的短主题开始。开工前会有六项选择(画风、手部、声音、笔杆广告、水印、字幕),60 秒内未选的按模型根据内容拟定的方案执行,广告和水印默认都不加。在 Claude Code 里说“用 sweety-handdraw-video 把……做成手绘视频”,或输入 /sweety-handdraw-video;Codex 里用 $sweety-handdraw-video。
同样是手绘讲解,story-to-handdrawn-video 做的是 3:4 竖屏的翻书动画,画面轨静音;这个 Skill 把旁白、逐笔绘制和字幕放进同一条流程。想要真人出镜的讲解,可以看 lanshu 的数字人路线。