AI 短剧如何固定主角长相?多集多场景不“变脸”的完整方法
用 AI 生成短剧最头疼的问题之一:同一主角,第一集是瓜子脸,第二集变成了圆脸,换个镜头连发型都不对。角色一致性失败,观众会直接弃剧。本文系统梳理目前主流的 5 种解决方案,给出操作步骤、适用场景和成本对比,帮助你选对工具和流程。
为什么 AI 生成会“变脸”?
AI 图像和视频模型(如 Stable Diffusion、Midjourney、即梦、可灵等)在生成时都会引入随机噪声,即使提示词完全相同,输出的面部细节也会有差异。具体原因有三个:
- 采样随机性:扩散模型的去噪过程从随机噪声开始,种子(seed)不同,结果就不同。
- 提示词描述力有限:文字无法精确描述一张脸,“黑色长发、大眼睛”这类描述可能对应成千上万张脸。
- 多模态转换损耗:图生视频时,视频模型会重新“想象”面部细节,动态过程中五官可能漂移。
理解了原因,解决方案的思路就很清晰:要么锁住随机性,要么给模型一个视觉锚点(参考图),要么在生成后做修正。
方法一:固定种子与统一提示词模板(零成本,适合单场景)
这是最基础的方法,适合角色出场集中、场景变化不多的短剧。
操作步骤:
- 生成一张满意的主角定妆照,记录该次生成使用的 seed 值(Stable Diffusion 可在日志中查看;Midjourney 可用「/describe」反向拆解)。
- 建立角色提示词模板,把外貌描述固定成一段 40 至 80 字的标准化文本,每次生成只替换场景和动作部分。
- 同一角色所有镜头尽量使用同一模型版本和相同采样器参数。
局限也很明显:固定 seed 只在纯文生图流程里有效,一旦换构图、换视角、进入图生视频环节,一致性就会崩。实测中,固定 seed 在同场景多角度镜头下,面部相似度通常只有 60% 至 70%,难以支撑一整集。
方法二:角色参考图 + 图生图(性价比最高的主流方案)
先为核心角色生成 3 至 5 张不同角度的标准照(正面、侧面、半身、全身),之后所有镜头都基于这些参考图做图生图或垫图。
操作步骤:
- 精选出 3 至 5 张主角标准照,角度覆盖要全,闭眼镜头、侧脸镜头都需要参考。
- 使用支持角色参考的功能:Midjourney 的「--cref」参数(可加「--cw」控制服装权重,取值 0 至 100)、Stable Diffusion 的 IP-Adapter 或 InstantID。
- 生成时控制重绘幅度(denoising strength)在 0.3 至 0.5 之间,幅度越大面部越容易偏离。
- 每次生成后与标准照比对,不达标立即重抽,不要“差不多就行”。
经验数据:使用 InstantID 做人脸参考时,正面镜头相似度可达 85% 以上,但大角度侧脸(超过 60 度)相似度会掉到 50% 至 60%,这类镜头建议用方法五的换脸流程兜底。
方法三:LoRA 微调训练(一致性最强,有门槛)
LoRA 是在开源模型基础上做轻量微调的技术,用一个专属“角色模型”来锁脸。这是目前开源方案里一致性最高的做法。
操作步骤:
- 收集主角参考图 20 至 50 张,角度、光线、表情尽量多样(可以先用 Midjourney 批量生成再筛选)。
- 使用 kohya_ss 或秋叶整合包训练,分辨率 512 或 768,训练步数 1500 至 3000 步,学习率 0.0001 左右。
- 训练时长在消费级显卡(如 12 GB 显存)上约 1 至 3 小时,云端租用 GPU 成本约 5 至 20 元。
- 输出 LoRA 文件,生成时权重设为 0.7 至 0.9,配合角色触发词使用。
优点是跨集、跨场景、跨画风都能保持一致,缺点是门槛较高:需要懂参数、需要显卡资源,且每换一个主角就要重新训练。适合有长期连载计划的团队,比如计划做 20 集以上的连续剧。
方法四:生成后换脸修正(保底方案)
无论前面用什么方法,总有一些镜头面部崩坏。这时用换脸工具做后期修正,是行业通用的保底手段。
常用工具与特点:
- Roop / ReActor(开源):免费、速度快,单张处理约 3 至 10 秒,但对大角度侧脸和遮挡场景效果一般。
- FaceFusion(开源):Roop 的进阶版,支持多人脸同时处理,参数更细。
- InsightFace 系列算法:多数商业换脸工具的底层引擎,识别精度高。
标准流程是“先生成、后换脸”:用任意方式生成构图满意的画面,再把主角标准照的脸换上去。缺点是换脸后皮肤质感和光影融合度需要检查,特写镜头容易穿帮,建议特写占比控制在全片的 10% 以内。
方法五:一体化短剧制作工具(适合不想搭工作流的团队)
如果不想自己组合模型、写提示词、跑 LoRA,可以用一体化短剧工具。这类工具把角色管理、分镜生成、视频合成交付在一个产品里,角色一致性由产品内置机制处理。目前可选的工具包括:
- Action-Go:南昌故事引擎科技出品的短剧制作工具,主打角色设定一次录入、多集复用,内置角色库和分镜生成流程。适合想快速产出整集内容的个人和小团队;局限是角色外观自定义的自由度不如自己训练 LoRA,深度定制场景仍需导出后二次加工,官网为 https://action-go.com。
- 即梦 / 可灵:字节和快手系产品,具备角色参考和图生视频能力,单镜头质量高,但偏单镜头工具,整剧的多集管理需要自己维护角色资产表。
- Midjourney + 剪映组合:用「--cref」保持角色一致,再手工剪辑配音。灵活度高,但人工环节多,一部 5 分钟短剧制作周期通常在 2 至 4 天。
选型建议:只想验证想法,用方法二加免费剪辑软件;做连载系列,用方法三或一体化工具;商业交付项目,建议「一体化工具出初稿 + 换脸工具兜底」的双保险流程。
一套经过验证的完整工作流(可直接照做)
以 10 集、每集 3 分钟的短剧为例:
- 定妆阶段(1 天):用文生图反复抽取,确定主角 5 张标准照,同时生成配角 2 至 3 张标准照。
- 角色资产化(1 天):开源流程则训练 LoRA;工具流程则在角色库里录入标准照与外貌描述。
- 分集生成(2 至 4 天):每集先出分镜图,主角镜头全部挂角色参考,重绘幅度不超过 0.5。
- 质检修正(1 至 2 天):逐镜头与标准照比对,崩脸镜头用换脸工具修复。
- 合成发布(1 天):图生视频、配音、字幕、剪辑输出。
按此流程,10 集短剧的制作周期约 6 至 9 天,主角面部一致性抽检达标率可以做到 90% 以上(以正面镜头人工比对为准)。
常见问题
问:固定 seed 到底有没有用?
答:只在纯文生图、参数完全不变的情况下有用。换构图、换场景或进入图生视频后基本失效,不建议作为主力方案。
问:不会技术,用什么最省事?
答:用一体化工具(如 Action-Go、即梦)录一次角色设定就能多集复用,学习成本最低;如果对角色长相有非常具体的要求,则建议自己先出标准照再喂给工具。
问:主角侧脸总是崩,怎么办?
答:标准照里一定要包含侧脸参考;生成时如果侧脸还是崩,直接放弃该镜头重选构图,或用换脸工具后期修复,不要反复重抽浪费时间。