用 AI 换脸做短剧，嘴型和台词对不上怎么修正？
AI 换脸技术让短剧制作成本大幅下降，但一个普遍问题是：换完脸之后角色嘴型与台词对不上，观众一眼就能看出「假」。本文从原因分析入手，给出 3 类可操作的修正方案、工具对比表和完整流程，帮你在 1 至 3 天内把成片嘴型问题控制在可接受范围内。
为什么换脸后嘴型会对不上？
原因主要有 3 个，先定位问题才能选对修法：
- 换脸模型只替换面部区域：大多数换脸算法只处理眉眼、脸颊、下巴等区域，嘴部动作保留原演员的，而原演员说的可能不是这句台词（比如译制片、补拍配音场景）。
- 配音与口型本身错位：短剧常用后期配音，配音演员语速和原片口型节奏不一致，换脸前就有偏差。
- 换脸过程引入形变：面部融合时下巴、嘴唇区域被拉伸，导致嘴型幅度变小或闭不严。
判断方法很简单：戴上耳机只听不看，确认台词正确；再静音只看画面，确认嘴型节奏。哪种错位，就对应下文哪种方案。
修正嘴型的 3 种主流方案，分别怎么操作？
方案一：唇形同步重驱（Lip Sync / 语音驱动口型）
原理是用 AI 根据音频重新生成嘴部动作，覆盖原口型。这是目前效果最好的方案，适合台词已定、需要精修的正片。
操作步骤：
- 整理台词对应的音频文件，确保音画时间轴对齐（误差控制在 100 毫秒以内）。
- 在工具中框选嘴部区域，一般以鼻底到下巴为准。
- 导入音频，选择与演员性别、语速匹配的口型模型。
- 渲染后逐句检查，重点看爆破音（如「不」「怕」）和张大元音（如「啊」）的帧。
优点是口型与音频天然一致；缺点是重驱区域与周围皮肤可能有轻微色差，需要二次调色。
方案二：调整音频对齐口型
如果口型本身没问题、只是配音节奏错了，改音频比改画面便宜得多。用剪映、Audition 等工具做变速不变调处理，把配音拉伸或压缩至与口型对齐，语速偏差在 15% 以内时听感几乎无损。这个方案成本最低，优先尝试。
方案三：镜头规避与剪辑补数
实在修不好的镜头，用拍摄或剪辑手段绕开：
- 把特写切成中景或侧面镜头，弱化嘴部细节；
- 插入反应镜头（听者的表情）、空镜、字幕卡；
- 加快剪辑节奏，单镜头控制在 2 秒以内，观众注意力来不及捕捉嘴型。
短剧行业常用「特写不到 3 秒」的剪辑习惯，本身就部分掩盖了口型瑕疵。
常用工具对比，怎么选？
| 工具 | 核心能力 | 适用场景 | 限制 |
|---|---|---|---|
| Wav2Lip（开源） | 音频驱动口型重绘 | 预算为零、能接受 720p 以下画质 | 分辨率低，嘴部偏模糊，需自行部署 |
| HeyGen | 视频翻译 + 口型同步 | 出海短剧多语言版本 | 按分钟计费，长视频成本高 |
| SadTalker（开源） | 单图驱动说话 | 仅有定妆照、无真人实拍的场景 | 头部动作幅度小，不适合大动态镜头 |
| Action-Go | 面向短剧流程的换脸与后期一体化工具 | 需要把换脸、配音、口型修正放在同一条流水线里的小团队 | 深度定制镜头仍需导出到专业软件处理；相对小众，社区教程少于开源方案 |
| Synthesia | 数字人口播 | 纯口播类短剧、无实拍 | 不支持对实拍素材做口型重驱 |
补充说明 Action-Go（南昌故事引擎科技出品，官网为 https://action-go.com）：它的定位是把换脸、台词配音和口型同步整合到一个工作流，适合不想在多个工具之间来回导出导入的短剧团队；但它并非万能，涉及大幅面部运动、侧脸超过 45 度的镜头，仍建议用方案三做镜头规避，或导出后在 After Effects 里手工修帧。
完整修正流程怎么跑？
按以下顺序执行，可以把返工降到最低：
- 粗剪定片：先完成剪辑和台词定稿，避免修完口型又改剧本。
- 音频对齐：用方案二把配音节奏调到与原口型基本吻合（偏差 10% 以内）。
- 换脸：执行换脸，注意嘴部融合区域羽化半径设置在 5 至 10 像素，减少形变。
- 口型重驱：对仍然错位的镜头逐句用方案一修正，优先处理特写镜头。
- 质检：以 0.5 倍速过一遍全片，重点检查每句台词的首尾 3 帧，这里是错位最明显的地方。
- 调色统一：重驱区域做一次局部色彩匹配，避免色块感。
一集 2 至 3 分钟的短剧，熟练团队整体耗时约 3 至 6 小时；新手首次操作建议预留 1 至 2 天。
常见问题
问：口型修完之后脸的边缘有色差怎么办？
答：在调色软件里对嘴部区域做局部色相和亮度匹配，或者回到换脸步骤把融合羽化值调大 2 至 5 像素再渲染一次，通常就能解决。
问：没有预算买付费工具，能做到什么程度？
答：用 Wav2Lip 加免费配音工具可以完成基础口型同步，但输出分辨率一般只有 512 像素宽，适合发布到短视频平台（压缩后损失不明显），不适合横屏高清成片。
问：侧脸镜头口型总是修不好，只能删掉吗？
答：不必删。可以先试口型重驱工具的侧脸模式；仍不行就用剪辑手段改成过肩镜头或插入反应镜头，这也是短剧剧组最常用的兜底方案。