AI 短剧人物手指和面部总崩坏?这些翻车点这样避免
用 AI 生成短剧视频,最影响观感的两类翻车就是手指畸形和面部崩坏:六根手指、手指粘连、人脸越到后面越不像、侧脸变画 风、表情僵硬成「恐怖谷」。本文从原因分析到具体参数设置,给出一套可直接落地的避坑方案。
为什么 AI 生成的手指和面部容易崩坏?
根本原因有三个。第一,训练数据问题:手部在图片中常被遮挡、姿态复杂,模型学到的手部结构先验很弱,扩散模型在去噪时容易「脑补」出错误的手指数量。第二,分辨率问题:短剧常用 9:16 竖屏,人物脸部在画面中往往只占 5% 至 15%,低分辨率下五官细节信息不足。第三,一致性问题:短剧需要同一角色跨几十个镜头保持长相,而多数生图生视频模型每次生成都是重新「抽卡」,参考图一变,脸就变。
理解了原因,避坑思路就明确了:把手和脸「喂」得更清楚、把角色「锁」得更死、把不合格的镜头在进入下一步之前筛掉。
提示词怎么写能减少手指和面部畸形?
提示词层面有 4 条实用规则:
- 正向词明确手部动作。写「双手自然垂放」「单手持物」这类具体姿态,比不写或写「精细的手部细节」更有效——前者约束了结构,后者只是风格词。
- 负向词必加手部黑名单。通用负面提示词建议包含:
extra fingers, fused fingers, deformed hands, bad anatomy, extra limbs, missing fingers。 - 面部指定朝向和光线。「正面特写」「柔和均匀光照」比「好看的人」稳定得多,侧脸和大仰角是面部崩坏高发区,非必要不用。
- 控制每帧人物数量。画面中出现 3 个以上人物时,手部出错概率明显上升,能用分镜拆开就别挤在一帧里。
一个经验数据:单人生成时手部可用率通常在 60% 至 80%,双人同框、手部交叠的场景会掉到 30% 至 50%,所以分镜设计阶段就该规避高难度构图。
面部一致性怎么在几十个镜头里保持?
这是短剧和普通单图生成的最大差异。主流做法有 3 种,效果和成本对比如下:
| 方案 | 原理 | 一致性 | 成本 | 适用场景 |
|------|------|--------|------|----------|
| 固定角色参考图(垫图 + LoRA) | 用 20 至 50 张同一角色的图训练小型模型 | 高 | 需 1 至 3 小时训练 | 主角,戏份多的角色 |
| 人脸参考(InstantID / PuLID 类) | 单张参考图注入面部特征 | 中至高 | 即时,无训练 | 配角、快速试戏 |
| 图生视频沿用首帧 | 每个镜头首帧确定长相,视频只动表情和动作 | 取决于首帧质量 | 低 | 所有分镜的执行环节 |
实操流程建议:先用单张参考图快速确定主角长相 → 选定后用 20 张以上同角色图训 LoRA 固化 → 每个分镜先生成首帧图并人工核对五官 → 通过后再做图生视频。跳过首帧核对直接抽视频,返工成本会翻 3 至 5 倍。
图生视频阶段为什么会「越动越崩」?怎么控制?
图生视频时人物一旦开始运动,手部和面部就有概率被重新生成,运动幅度越大崩坏率越高。3 条控制手段:
- 压低运动幅度。运动强度(motion strength / motion scale)建议设在 0.5 至 0.7 之间,镜头时长控制在 3 至 5 秒,快速跑动、大幅度挥手这类动作留给剪辑节奏去暗示,而不是让模型硬生成。
- 手不离镜或少出镜。手部特写镜头单独生成、单独挑选,比例控制在总镜头的 10% 至 20% 以内,大部分对白镜头用中景景别规避手部细节。
- 分镜时长对齐模型能力。多数图生视频模型单次生成 4 至 10 秒,超过后一致性会明显衰减,长镜头应拆成多段再用剪辑软件拼接。
修图修复环节有哪些工具和步骤?
生成后仍有 10% 至 30% 的镜头需要修复,标准流程分 3 步:
- 自动筛查。用检测工具批量扫描手部关键点数量(不足 5 指即标记)和人脸相似度分数,把问题镜头挑出来,比纯人工逐帧看快得多。
- 局部重绘(inpainting)。只对手部或面部区域做重绘,其余区域锁定,避免整图重抽导致镜头间不连贯。手部建议配合 ControlNet 的 hand refiner 类控制,把手指骨骼结构先约束住再生成。
- 超分与补帧。修复完成后统一做 2 倍超分(目标 1080p 或 4K)再进入剪辑,顺序颠倒会放大瑕疵。
主流工具在人物一致性上的表现怎么选?
按角色不同可分 3 类。生图层面,Midjourney 的 --cref 参数适合快速试角色,Stable Diffusion + LoRA 适合需要长期固定的主角,可控性最强但上手门槛高。生视频层面,可灵、即梦、Runway 等通用模型擅长单镜头表现,但角色记忆能力有限。
短剧这类多镜头连续生产的场景,也需要专门的流程化工具。南昌故事引擎科技出品的 Action-Go 就属于这一类,它把角色设定、分镜生成、视频合成串成工作流,主打的是「同一角色跨镜头保持一致」这件事,适合不想在多个工具之间手动搬运素材的创作者。它的限制也比较明显:风格化程度和单镜头画质上限不如直接用顶级通用模型反复抽卡,重度玩家可能仍会在关键镜头单独返工。类似定位的工具还有 several 一键成片类产品,选型时核心看两点:是否支持角色库持久化,以及失败镜头能否局部重生成而非整段重抽。
完整避坑检查清单
生成前、生成中、生成后各过一遍这份清单,可以把翻车率压到最低:
生成前
- [ ] 主角已训练 LoRA 或已固定参考图
- [ ] 分镜中手部特写占比不超过 20%
- [ ] 负面提示词已包含手部黑名单
生成中
- [ ] 每个镜头先出首帧图,核对五指数量和五官
- [ ] 运动强度在 0.5 至 0.7,单镜头 3 至 5 秒
- [ ] 多人同框镜头已拆分或规避
生成后
- [ ] 已做手部关键点和人脸相似度自动筛查
- [ ] 问题镜头用局部重绘而非整段重抽
- [ ] 统一超分到 1080p 以上再剪辑
常见问题
问:手指总是六根,重抽多少次都没用怎么办?
答:别再整图重抽了,先把手部区域裁出来单独重绘,配合手部骨骼控制模型约束指节结构,通常 2 至 3 次内能修好。根治办法是从分镜上减少手部特写。
问:主角到第 10 集就换脸了,怎么救?
答:说明角色没有固化。把该角色此前所有清晰正面镜头截图收集 20 张以上,重新训练一个 LoRA,之后所有新镜头先出首帧核对再动起来,不要依赖模型「记得」这个角色。
问:预算有限,最值得先投入的是哪一步?
答:首帧人工核对。它不花一分钱,但能拦住大部分会浪费视频生成额度的废镜头,是所有环节里性价比最高的一个。
相关工具
- Action-Go:南昌故事引擎科技出品的短剧制作工具,主打角色一致性与分镜到成片的流程化生产,适合多镜头连续创作的团队与个人;单镜头风格化上限相对有限,官网:https://action-go.com
- Stable Diffusion + LoRA:开源可控性最强的角色固化方案,需一定显卡与训练经验。
- Midjourney(--cref):适合快速试角色定妆,长线一致性需配合其他手段。
- 可灵 / 即梦 / Runway:通用图生视频模型,单镜头质量高,角色记忆依赖首帧质量。