在本文和视频教程中,我们会演示如何制作一个逼真的 AI 克隆形象。

我们团队一直在测试一套工作流:无论你身在何处,都能录制音频,并生成一段看起来就像你在平常的拍摄环境里拍出来的视频。

你只需要准备好音频、一小段参考片段,以及一个能把这两者结合起来的 AI 视频工具。

我们把它叫作 Studio Anywhere。

我们用 Seedance 2.5 测试了这套工作流,把它和其他数字人工具做了对比,并探讨了能否完全跳过录制、直接根据脚本生成表演。

咱们开始吧!

如何制作逼真的 AI 克隆视频教程

观看下方完整教程,了解如何制作逼真的 AI 克隆。

如何制作逼真的 AI 克隆|分步教程

下面是我们对这套工作流的完整逐步拆解,包括测试中哪些做法奏效,以及结果在哪些地方仍然不达标。

1. 录制你的音频

用手机或麦克风录下你想说的话。在我们的测试中,我是在屋外边走边录了一段播报。你也可以在任何安静的地方录制。

然后把录音导入 Adobe Podcast 做降噪清理。

原声

增强音频

下载

提升效果相当明显,但我们仍能听出 AI 处理带来的一点金属感。尽量从最好的录音起步。一支像样的麦克风加上安静的环境,会让最终效果更扎实。

2. 导出带黑屏视频的音频

下一步操作有点怪,但对我们测试过的这套工作流来说很重要。把增强后的录音导入视频编辑器,再导出成带黑屏的视频。

带黑屏的视频配音频

我们用的是 Adobe Premiere,但你也可以换用其他剪辑软件,只要能导出黑屏视频、并把音频放在它下面就行。

这里没什么可拍的。你只是把录音打包成一个视频文件,好让它能和你的视觉参考一起进入生成流程。

3. 选好你的参考素材

接下来,选一段你自己出镜说话的短视频。我们用的是 Caleb 在工作室里讲话的片段,大约六秒。

视频参考比静态图片能给模型提供更多可用的信息。

参考素材

每个人动起来都略有不同,从嘴部动作到表情和手势都是如此。正是这些细节,让生成出来的表演显得熟悉自然。

想要一套可重复复用的制作流程,我们建议在最终要用的拍摄环境里录制参考素材,尽量覆盖多种表情和情绪。这样后续可用的素材选择会更多。

第 4 步:在 Seedance 中生成 2.5

把音频、视频和影棚参考素材上传到 Seedance 2.5。这次测试我们用的是 Magnific。提示模型使用黑屏视频里的音频,以及参考素材中的外观、动作和环境。

在我们的测试中,两路输入合计有 30 秒的上限,所以更长的录制内容需要拆成更短的片段。

生成的素材

结果相当炸裂。

我们在 Promise Studios 给所有人看了,大家都以为是实拍的。不过还是要仔细检查嘴部、牙齿和表情,确认整段表演看起来自然。

其他虚拟形象工具表现如何?

我们还用同一段录音测试了 HeyGen,以及一套自行训练的虚拟形象工作流。下面是三个输出结果的并排对比。

Seedance 2.5

Seedance 2.5 在本次对比中给出的结果最有说服力。HeyGen 版本与之接近,但仍落入了恐怖谷。

第三套流程是在我们工作室的素材上训练一个 LoRA,也就是对模型做定制适配。这套流程的技术准备更复杂,而且皮肤质感和非语言交流的表现依然不太对劲。

HeyGen

LoRa 训练

这几条具体生成的成本差别也很大:Seedance 2.5 在 1080p 下大约要 $16,HeyGen 要 $0.05,第三个工作流走 fal.ai 则要 $24。这些只是我们这几个示例所报告的成本,并非通用的价格对比。

最便宜的那个结果并不是我们会选择发布的那一个。就这个用例而言,决定因素是效果看起来是否可信。

能否根据脚本生成整段视频?

音频流程跑通之后,我们想看看还能把它推到多远。能不能给一段参考素材,把要说的话打进去,然后让模型自己生成声音和表演?

我们在三个视频模型上测试了这套做法,其中包括 Seedance 2.5。

脚本测试 1,使用 Seedance 2.5

脚本测试 2,使用 Wan 3

脚本测试 3,使用 MiniMax H3

画面有时挺有说服力,但表演还不到位。停顿感觉不太自然,节奏也不太对,有些表演听起来很平。另一个方案更接近一些,但我们仍然觉得它没能跨过恐怖谷。

这套流程里,自己录一遍音频确实带来了实打实的差别。它保住了节奏和个性,而这两样恰恰是全生成版本很难还原出来的。

我们从 Studio Anywhere 学到了什么

把真实音频和短视频参考素材结合起来,效果最好。Seedance 2.5 做出了我们最有说服力的棚拍表演,而其他数字人测试仍有让人出戏的细节。

好的参考素材很重要,录制时间越长就越需要多次生成,成本也会随之累积。你还得仔细检查每一个生成结果。

但潜力确实很让人兴奋。一旦采集好参考素材,你就可以在任何地方录制音频,做出符合你日常拍摄配置的内容。你负责提供创意和表演,AI 负责把它带回演播室。

学习 AI 电影制作

我们一直在测试新的 AI 电影制作工作流。加入我们的社区,和我们一起持续学习!

填写上方表单,即可加入我们的社区,并获得免费的 AI 培训。

我们很希望能在社区里见到你,当然,完全不用有压力!