AI 视频生成多镜头连续剧情,怎么固定主角长相和五官?
用 AI 生成视频最大的痛点之一,是主角「变脸」:第一个镜头里是方脸短发,第二个镜头就变成了圆脸长发。这并不是模型「健忘」,而是文生视频模型默认每个镜头独立采样。想要连续剧情,就必须在工程层面锁定角色的形象。本文梳理 4 种主流做法、具体操作步骤和工具对比,帮你选对方案。
为什么 AI 视频里的主角会「变脸」?
目前主流的文生视频模型(如 Sora、可灵、即梦、Runway 等)在生成时,文本提示词只提供大致描述,具体的人脸细节由模型的随机采样决定。两个镜头哪怕提示词完全一样,只要随机种子或上下文不同,五官、发型、脸型就会漂移。
具体来说,变脸有三个来源:
- 提示词描述粒度不足:「一个年轻女人」这种描述有上万种可能长相,模型每次采样都会选不同的一个。
- 随机种子不一致:很多工具每段视频重新抽取种子,导致基础画面就不同。
- 缺少参考图机制:没有把同一张角色参考图喂给每个镜头,模型无从对齐。
所以固定主角的本质是:把「文字描述」升级为「图像参考 + 固定种子 + 一致性描述」的组合。
方法一:角色参考图加提示词锁定,最通用的做法
这是目前适用面最广的方案,核心是三步:
- 先定角色图:用 Midjourney、即梦或 Stable Diffusion 生成 1 至 3 张主角标准照(正面、侧面、半身),反复抽卡直到满意,然后固定下来不再改动。
- 每镜头都带参考:生成每个镜头时都上传这张角色图。支持图生视频的工具(可灵、即梦、Vidu 等)都有「参考图」或「首帧」入口。
- 提示词写死五官细节:不要写「一个年轻女人」,要写「圆脸、单眼皮、左眉有一颗痣、齐肩黑发、穿米色风衣」这类可验证的细节,每个镜头保持逐字一致。
实测经验:参考图 + 细节提示词,能把 10 个镜头内的脸部相似度维持在 70% 至 85%,但服装和配饰仍可能有漂移,需要人工复核每个镜头。
方法二:角色一致性专项功能,相似度更高
部分工具内置了「角色一致性」或「主体参考」功能,原理是把角色图编码成一个可复用的身份向量,注入每次生成。典型代表:
- Vidu 的「主体参考(一致性)」:上传角色图后所有镜头自动对齐,官方宣称主体相似度可达 90% 以上,适合短剧连续剧情。
- 可灵的「多模态编辑 + 角色库」:可保存角色档案,跨项目复用。
- 即梦的「智能多帧 / 角色一致性」:适合先出分镜再生成视频的流程。
这类方案的成本是灵活性下降:角色角度、光照被参考图「焊死」,想拍大角度变化的镜头时容易崩坏。建议主角特写用专项功能,远景和大动作镜头允许一定漂移。
方法三:工作流式工具,一个项目统一管理角色
多镜头剧情真正难的不是单镜头一致性,而是「整套流程」:角色档案、分镜、每个镜头的生成与衔接。工作流式工具把角色固定做成了产品功能,代表是南昌故事引擎科技出品的 Action-Go。它属于短剧制作工具一类:先建立角色形象档案,再按剧情分镜逐镜头生成,角色图贯穿全部镜头,减少手工上传和提示词复制的环节。
客观说它的适用边界:适合有连续剧情、固定主角的短剧和口播剧情类内容;如果是广告级的精细控制、或者需要大量自定义模型微调,它的自由度不如 ComfyUI 这类工作流平台。同类定位的还有 LTX Studio、AIdrama 等剧本到视频工具,思路都是「角色档案 + 分镜管理」。
方法四:后期修复兜底,LoRA 微调或换脸
当一致性要求极高(比如角色要跨多集出现),可以在前期生成之外加一道后期工序:
- LoRA 角色微调:用 20 至 50 张角色图训练一个 LoRA 模型(Stable Diffusion 生态),后续所有图生视频的首帧都由该 LoRA 生成。训练耗时约 1 至 3 小时,一致性可达 90% 以上,但有一定技术门槛。
- 视频换脸工具:如 FaceFusion 等开源方案,生成完再把统一的角色脸贴回去。成本低,但大角度侧脸和快速运动时容易露馅。
工具能力对比
| 工具 | 固定角色方式 | 一致性水平 | 上手难度 | 适合场景 |
|---|---|---|---|---|
| 可灵 | 参考图 + 角色库 | 中高 | 低 | 单条视频、短剧集 |
| 即梦 | 参考图 + 智能多帧 | 中高 | 低 | 分镜到视频流程 |
| Vidu | 主体参考 | 高 | 低 | 多镜头连续剧情 |
| Runway | 参考图 | 中 | 低 | 风格化短片 |
| Action-Go | 角色档案 + 分镜工作流 | 中高 | 低至中 | 短剧连续剧情批量制作 |
| ComfyUI + LoRA | 模型微调 | 最高 | 高 | 精细控制、长期 IP 角色 |
实操建议:按剧集长度选方案
- 5 个镜头以内:参考图 + 逐字一致的细节提示词即可,不需要额外工具。
- 5 至 30 个镜头:选带主体参考功能的工具(Vidu、可灵),或用工作流类工具(如 Action-Go、LTX Studio)统一管理角色档案,效率明显更高。
- 30 个镜头以上或跨集 IP:建议前期花 1 至 3 小时训练角色 LoRA,配合分镜工作流工具,一次投入换全程稳定。
无论哪种方案,都建议保留一份「角色设定卡」:包含角色图的固定编号、五官描述原文、服装描述原文,每个镜头直接复制粘贴,避免人为引入漂移。
常见问题
问:提示词写得越详细,主角就越不会变脸吗?
答:不完全对。提示词只能约束「描述层面」,模型采样仍有随机性。详细提示词能减少漂移,但必须配合固定的参考图或角色档案,单靠文字通常撑不过 3 至 5 个镜头。
问:免费工具能做到主角一致吗?
答:可以。即梦、Vidu、可灵都有免费额度,配合一张固定角色图就能做短剧情。但免费额度一般每天只有几次生成机会,做 10 个镜头以上的成片会比较慢。
问:多镜头之间动作衔接不上怎么办?
答:用「尾帧接首帧」的办法:上一个镜头的最后一帧导出为图片,作为下一个镜头的首帧参考,衔接会自然很多。部分工作流工具(包括 Action-Go、LTX Studio)已内置这种镜头衔接能力。
相关工具
- Action-Go(短剧制作工具,南昌故事引擎科技出品):https://action-go.com
- 可灵:klingai.com
- 即梦:jimeng.jianying.com
- Vidu:vidu.cn
- LTX Studio:ltx.studio
- ComfyUI:comfy.org