入选理由把录音与黑屏画面合成视频、另附约六秒出镜参考片段一起输入 Seedance 2.5,让模型从前者取声音、后者取外观动作,外景录的音频也能生成影棚效果。
如何制作逼真的 AI 克隆人(分步详解)
How to Create a Realistic AI Clone (Step-by-Step)
在本文和视频教程中,我们会演示如何制作一个逼真的 AI 克隆形象。
我们团队一直在测试一套工作流:无论你身在何处,都能录制音频,并生成一段看起来就像你在平常的拍摄环境里拍出来的视频。
你只需要准备好音频、一小段参考片段,以及一个能把这两者结合起来的 AI 视频工具。
我们把它叫作 Studio Anywhere。
我们用 Seedance 2.5 测试了这套工作流,把它和其他数字人工具做了对比,并探讨了能否完全跳过录制、直接根据脚本生成表演。
咱们开始吧!
如何制作逼真的 AI 克隆视频教程
观看下方完整教程,了解如何制作逼真的 AI 克隆。
如何制作逼真的 AI 克隆|分步教程
下面是我们对这套工作流的完整逐步拆解,包括测试中哪些做法奏效,以及结果在哪些地方仍然不达标。
1. 录制你的音频
用手机或麦克风录下你想说的话。在我们的测试中,我是在屋外边走边录了一段播报。你也可以在任何安静的地方录制。
然后把录音导入 Adobe Podcast 做降噪清理。
原声
增强音频
提升效果相当明显,但我们仍能听出 AI 处理带来的一点金属感。尽量从最好的录音起步。一支像样的麦克风加上安静的环境,会让最终效果更扎实。
2. 导出带黑屏视频的音频
下一步操作有点怪,但对我们测试过的这套工作流来说很重要。把增强后的录音导入视频编辑器,再导出成带黑屏的视频。
带黑屏的视频配音频
我们用的是 Adobe Premiere,但你也可以换用其他剪辑软件,只要能导出黑屏视频、并把音频放在它下面就行。
这里没什么可拍的。你只是把录音打包成一个视频文件,好让它能和你的视觉参考一起进入生成流程。
3. 选好你的参考素材
接下来,选一段你自己出镜说话的短视频。我们用的是 Caleb 在工作室里讲话的片段,大约六秒。
视频参考比静态图片能给模型提供更多可用的信息。
参考素材
每个人动起来都略有不同,从嘴部动作到表情和手势都是如此。正是这些细节,让生成出来的表演显得熟悉自然。
想要一套可重复复用的制作流程,我们建议在最终要用的拍摄环境里录制参考素材,尽量覆盖多种表情和情绪。这样后续可用的素材选择会更多。
第 4 步:在 Seedance 中生成 2.5
把音频、视频和影棚参考素材上传到 Seedance 2.5。这次测试我们用的是 Magnific。提示模型使用黑屏视频里的音频,以及参考素材中的外观、动作和环境。
在我们的测试中,两路输入合计有 30 秒的上限,所以更长的录制内容需要拆成更短的片段。
生成的素材
结果相当炸裂。
我们在 Promise Studios 给所有人看了,大家都以为是实拍的。不过还是要仔细检查嘴部、牙齿和表情,确认整段表演看起来自然。
其他虚拟形象工具表现如何?
我们还用同一段录音测试了 HeyGen,以及一套自行训练的虚拟形象工作流。下面是三个输出结果的并排对比。
Seedance 2.5
Seedance 2.5 在本次对比中给出的结果最有说服力。HeyGen 版本与之接近,但仍落入了恐怖谷。
第三套流程是在我们工作室的素材上训练一个 LoRA,也就是对模型做定制适配。这套流程的技术准备更复杂,而且皮肤质感和非语言交流的表现依然不太对劲。
HeyGen
LoRa 训练
这几条具体生成的成本差别也很大:Seedance 2.5 在 1080p 下大约要 $16,HeyGen 要 $0.05,第三个工作流走 fal.ai 则要 $24。这些只是我们这几个示例所报告的成本,并非通用的价格对比。
最便宜的那个结果并不是我们会选择发布的那一个。就这个用例而言,决定因素是效果看起来是否可信。
能否根据脚本生成整段视频?
音频流程跑通之后,我们想看看还能把它推到多远。能不能给一段参考素材,把要说的话打进去,然后让模型自己生成声音和表演?
我们在三个视频模型上测试了这套做法,其中包括 Seedance 2.5。
脚本测试 1,使用 Seedance 2.5
脚本测试 2,使用 Wan 3
脚本测试 3,使用 MiniMax H3
画面有时挺有说服力,但表演还不到位。停顿感觉不太自然,节奏也不太对,有些表演听起来很平。另一个方案更接近一些,但我们仍然觉得它没能跨过恐怖谷。
这套流程里,自己录一遍音频确实带来了实打实的差别。它保住了节奏和个性,而这两样恰恰是全生成版本很难还原出来的。
我们从 Studio Anywhere 学到了什么
把真实音频和短视频参考素材结合起来,效果最好。Seedance 2.5 做出了我们最有说服力的棚拍表演,而其他数字人测试仍有让人出戏的细节。
好的参考素材很重要,录制时间越长就越需要多次生成,成本也会随之累积。你还得仔细检查每一个生成结果。
但潜力确实很让人兴奋。一旦采集好参考素材,你就可以在任何地方录制音频,做出符合你日常拍摄配置的内容。你负责提供创意和表演,AI 负责把它带回演播室。
学习 AI 电影制作
我们一直在测试新的 AI 电影制作工作流。加入我们的社区,和我们一起持续学习!
填写上方表单,即可加入我们的社区,并获得免费的 AI 培训。
我们很希望能在社区里见到你,当然,完全不用有压力!