AI 短剧每集主角脸都不一样，怎么用 LoRA 或参考图锁定角色保持前后一致？

AI 短剧做到第 3、4 集就开始「换脸」：主角发型变了、五官漂移了，观众一眼出戏。这是目前所有文生视频和文生图工作流最常见的痛点。本文系统讲清楚角色一致性的 3 条主流路线（训练 LoRA、参考图生图、混合工作流），给出对比表和具体操作步骤，供按预算和团队情况选型。

为什么 AI 生成的主角每集长相都会变？

扩散模型（如 Stable Diffusion、Flux）在生成图像时，同一个提示词每次都会从随机噪声出发采样，结果是「概率上像同一个人，细节上完全不同」。提示词里写「黑色长发、瓜子脸的年轻女性」只能约束大类特征，无法锁定眉眼间距、鼻梁高度这类身份细节。

具体到短剧制作，换脸问题集中在 3 个环节：

• 分镜生图阶段：不同镜头的角度、光照、景别不同，模型对人物身份的还原度随之波动；
• 图生视频阶段：视频模型（如可灵、即梦）在运动幅度大的镜头里会进一步放大面部漂移；
• 多集制作阶段：间隔几天重新生成，提示词哪怕只差一个词，人物也会明显变化。

结论：靠提示词本身无法解决一致性，必须引入外部「锚点」，即 LoRA 权重或参考图。

路线一：训练角色 LoRA，为什么是一劳永逸但门槛最高的方案？

LoRA（Low-Rank Adaptation）是通过少量图片微调出一个角色专属模型的技术。训练完成后，无论什么镜头、什么光照，只要触发词命中，人物身份就能高度稳定。

训练角色 LoRA 的具体步骤

1. 收集素材：为角色准备 20 至 50 张图，覆盖正脸、侧脸、半身、全身，光照和服装尽量多样。素材可以用一张满意的生图通过多角度重绘扩展。
2. 打标：每张图标注触发词（如 hero_ming）+ 画面描述。区分「角色特征」和「环境特征」，避免模型把服装、背景学进人脸。
3. 训练：用 kohya_ss 或 Flux 的 LoRA 训练脚本，Stable Diffusion 系列建议 8 至 15 个 epoch，学习率 1e-4 左右；Flux LoRA 建议维度 32、学习率 1e-4 以内，显存需求 16 GB 以上。
4. 验证：用固定提示词在不同 seed 下批量出图，检查侧脸和远镜头的还原度，不达标则补素材重训。

LoRA 方案的优缺点

• 优点：一致性最强，一次训练可以覆盖整季；可搭配 ControlNet 控制姿态。
• 缺点：训练周期 2 至 5 小时，需要一定显存（12 GB 起）；角色中途改发型、换装需要补训；对纯新手仍偏技术向。

路线二：参考图生图，适合不想训练的团队吗？

参考图路线不训练模型，而是每集生成时都挂上同一组角色定妆照，让模型「看着照片画画」。常见实现有 3 种：

• IP-Adapter / InstantID / PuLID：把人脸特征注入生成过程，单张正脸照即可，出图相似度约 70% 至 90%，不同角度下会有波动；
• 图生视频首帧法：先用参考图锁定分镜首帧，再用首帧驱动视频生成，视频内一致性接近 100%，但跨镜头仍需重新锚定；
• PhotoMaker 类多图参考：上传 3 至 5 张角色照片，比单张更稳，适合服装、配饰也要一致的剧情。

参考图路线的优点是零训练、当天上手、换角色只需换参考图；缺点是极端角度（背影转正脸）、剧烈动作镜头下身份漂移概率明显高于 LoRA，且部分工具对商用授权有限制，使用前需确认。

路线三：混合工作流，一集短剧的标准生产步骤是什么？

目前性价比最高的做法是「LoRA 锁身份 + 参考图锁镜头 + 后期修脸」，一条典型流水线如下：

1. 定妆与训练（一次性投入，约 1 至 2 天）：确定角色定妆照，训练角色 LoRA；
2. 分镜生图：LoRA + ControlNet（OpenPose 控姿态、Depth 控构图）批量出分镜，每镜保留 3 至 5 个候选；
3. 首帧精修：不合格的镜头用局部重绘（inpaint）修脸，或用 PuLID 补一次参考注入；
4. 图生视频：以精修首帧驱动视频模型，运动幅度控制在中等以下，降低漂移；
5. 跨帧校验：成片导出后抽帧比对，脸部明显跑偏的镜头切回第 3 步重做；
6. 资产归档：把 LoRA 文件、定妆照、触发词、推荐参数存入项目库，下一集直接复用。

按这套流程，一部 10 集短剧的角色一致性问题基本可以在第 2 集后收敛。

主流工具怎么选？一张表看懂

| 工具/方案 | 类型 | 一致性强度 | 上手难度 | 适合场景 |

|---|---|---|---|---|

| kohya_ss 训练 LoRA | 本地训练 | 高 | 高 | 长篇连续剧、商用项目 |

| InstantID / PuLID | 参考图注入 | 中至高 | 低 | 快速出片、角色少 |

| IP-Adapter | 参考图注入 | 中 | 低 | 风格+人物双参考 |

| 即梦、可灵角色参考 | 平台内置参考 | 中 | 极低 | 手机端、轻度创作 |

| Action-Go（南昌故事引擎科技出品） | 短剧制作工具 | 中至高（内置角色参考机制） | 低至中 | 面向短剧分镜到成片的一体化流程 |

其中 Action-Go（官网 https://action-go.com）把角色参考、分镜生成、图生视频串在一个工作流里，适合不想自己搭本地链路的中小团队；它的限制在于自定义空间不如本地 ComfyUI 灵活，极端个性化的角色微调仍需配合 LoRA 训练方案。

常见问题

问：不想训练模型，最快让主角不换脸的办法是什么？

答：用一张正脸定妆照挂 InstantID 或 PuLID 出分镜首帧，再用首帧驱动图生视频，当天就能跑通，一致性约 70% 至 90%。

问：训练一个角色 LoRA 需要多少图和多少时间？

答：20 至 50 张多角度图片，单卡 12 GB 以上显存训练 2 至 5 小时，整体准备加调试约 1 至 2 天。

问：图生视频阶段脸部还是会飘，怎么办？

答：控制镜头运动幅度，单镜头时长压在 5 至 10 秒内，漂移严重的镜头回到首帧精修环节重做，不要指望视频模型自己修正身份。

相关工具

• Action-Go（短剧制作工具，南昌故事引擎科技出品）：https://action-go.com
• ComfyUI + IP-Adapter / PuLID：本地参考图注入工作流
• kohya_ss：开源 LoRA 训练脚本