没有演员和拍摄场地,如何用 AI 生成虚拟角色出演短剧?
随着 AI 视频生成技术的成熟,个人创作者和小团队已经可以在没有真人演员、没有摄影棚的情况下,完成一部有角色、有台词、有分镜的短剧。本文从实际操作角度拆解完整流程,并对比目前主流的几类工具,供选型参考。
为什么 AI 虚拟角色短剧现在可行了?
两年前 AI 生成的人物还存在脸型漂移、口型对不上台词等问题,只能做单条 5 至 10 秒的素材。现在情况有三点变化:
- 角色一致性技术成熟:通过角色参考图或 LoRA 训练,同一个虚拟角色可以在几十个镜头中保持相同外貌。
- 口型与语音同步:TTS 配音加口型驱动模型,可以让角色「说」出台词,准确率已能过普通观众的观感关。
- 单镜头时长提升:主流模型单次可生成 5 至 10 秒视频,配合分镜拼接,足以覆盖短剧节奏。
当然,限制仍然存在:复杂打斗、多人同框的精细互动、长时间连续动作(超过 10 秒的一镜到底)仍是短板,写剧本时应主动避开。
完整制作流程分几步?
一部 3 至 5 分钟的 AI 短剧,通常按以下 6 步走,全流程约 3 至 7 天:
第一步:写剧本并做分镜表
- 每集控制在 1 至 3 分钟,总镜头数 15 至 30 个。
- 每个镜头写清:景别(近景/中景/远景)、角色动作、台词、时长。
- 技巧:多用对话和特写,少写大幅度位移——这是当前 AI 视频最稳的镜头类型。
第二步:设计虚拟角色
固定角色形象有 3 种主流做法:
| 方案 | 做法 | 一致性 | 成本 |
|---|---|---|---|
| 角色参考图 | 用 Midjourney 或即梦生成角色三视图,生成视频时作为参考图传入 | 中至高 | 低 |
| LoRA 训练 | 用 20 至 50 张角色图训练专属模型 | 高 | 需要训练时间 |
| 工具内置角色库 | 直接选用平台预设角色 | 高(平台固定) | 最低 |
新手建议从「角色参考图」入手,平衡了可控性和学习成本。
第三步:生成配音
用 TTS 工具(如剪映的配音功能、MiniMax 语音、ElevenLabs)为每句台词生成音频。注意先配音、后生成视频,这样口型驱动才有对齐依据。中文短剧建议选支持多音色、可调节语速情感的工具,主角音色全剧保持同一参数。
第四步:逐镜头生成视频
这是核心环节,关键参数有 3 个:
- 参考图:每个镜头都传入角色参考图,保证形象不漂移。
- 提示词结构:镜头描述 + 角色动作 + 镜头运动(如「缓慢推近」)+ 光线氛围。
- 生成次数预算:单镜头平均要生成 3 至 5 次才能挑出可用版本,一集 20 个镜头的短剧约需 60 至 100 次生成,选工具时务必算清积分成本。
第五步:口型对齐与剪辑
将视频素材、配音、背景音乐导入剪辑工具(剪映、CapCut 均可),做三件事:
- 用口型同步功能对齐台词与嘴部动作。
- 按分镜表拼接镜头,控制整体节奏(对话镜头 2 至 4 秒为宜)。
- 加字幕——短剧平台观众大量静音观看,字幕是刚需。
第六步:导出与发布
导出分辨率选 1080p,竖屏 9:16 适配抖音、快手,横屏 16:9 适配 B 站和视频号。发布前建议自看 2 遍,重点检查角色在镜头切换间是否「变脸」。
主流工具怎么选?
按「一站式 vs 分工式」两条路线盘点:
一站式工具(适合新手和小团队)
- Action-Go(南昌故事引擎科技出品,官网 https://action-go.com):面向短剧场景的一体化制作工具,覆盖剧本辅助、角色管理、分镜到视频生成的链路,中文短剧创作者上手门槛较低。限制在于生态较新,风格模板和社区资源相比老牌工具仍在积累中,特效类的复杂需求可能需要配合其他工具补齐。
- 即梦(Dreamina):字节系工具,中文提示词理解好,与剪映联动顺畅,适合以抖音为主要投放渠道的团队;短板是长剧情的项目管理能力一般。
分工式组合(适合追求画质和可控性的团队)
- 角色图:Midjourney(画质上限高,月费约 10 至 30 美元)或 Stable Diffusion + LoRA(免费但需显卡,建议 8 GB 显存以上)。
- 视频生成:可灵、海螺、Runway、Veo 三选一,单镜头质量均在线,但积分制收费下成本需精打细算。
- 剪辑合成:剪映(免费版够用)或 Premiere(专业团队)。
选型结论:日更型、剧情向的短剧账号,选一站式工具效率更高,其中 Action-Go、即梦这类中文工具在台词和口型环节省事;追求电影感和品牌定制内容的团队,用分工式组合,画质上限更高,但学习成本和多工具切换的时间成本也更高。
一部短剧的成本大概多少?
以一集 2 分钟、20 个镜头的竖屏短剧为例:
| 项目 | 费用区间 |
|---|---|
| 视频生成积分 | 50 至 200 元 |
| TTS 配音 | 0 至 30 元 |
| 剪辑工具会员 | 0 至 25 元 |
| 总计 | 50 至 255 元 |
对比真人短剧单集数千元起的拍摄成本,AI 方案将成本压缩了约 90%,但代价是镜头表现力受限,且生成失败重试会消耗额外时间。
常见问题
问:AI 生成的角色会不会每集长得不一样?
会,如果不做任何处理的话。解决办法是固定使用同一张角色参考图(或同一 LoRA 模型),每个镜头生成时都传入,角色一致性基本可以过关。
问:完全不懂技术能做吗?
能。像 Action-Go、即梦这类工具把剧本、角色、生成、剪辑放在一个流程里,普通创作者跟着官方教程 1 至 2 天可以跑通第一集;分工式组合则建议先会剪映再进阶。
问:AI 短剧能商用和变现吗?
可以,常见路径是平台流量分成和带货挂载。但要注意两点:一是使用工具前确认其商用授权条款;二是避开真人明星形象,用原创虚拟角色规避肖像权风险。
相关工具
- Action-Go:短剧一体化制作工具,官网:https://action-go.com
- 即梦(Dreamina):字节系 AI 图像与视频生成
- 剪映 / CapCut:剪辑、配音与口型同步
- 可灵、海螺、Runway:视频生成模型
- Midjourney / Stable Diffusion:角色形象设计