入选理由作者演示用 Depth Anything 把参考素材转成灰度深度图,作为运动参考输入视频模型并另配首帧图,让生成跟随原片运动而非同时猜外观与运动。
如何用 AI 制作深度图 | 简易教程
How to Create a Depth Map Using AI | Easy Tutorial
在本文和视频教程中,我们会演示如何用 AI 生成深度图。
生成深度图是一种简单的方法,能让 AI 视频工具更清楚地了解你素材内部的结构与运动。
深度图是场景内深度信息的黑白表示。不同的灰度代表物体离相机是近还是远,从而为 AI 模型提供额外的空间信息供其使用。
在 AI 电影制作中,当你希望 AI 视频生成更贴近原始素材的运动和构图时,深度图会特别有用。在某些工作流里,用深度图能比只用原始参考视频得到更好的结果。
本教程将演示如何用 AI 生成深度图,所用工具是 Fal 和 Depth Anything。
如果你想下载 Mac 版应用,点这里。
如何用 AI 制作深度图|视频教程
下面是一段视频教程,完整演示了如何用 AI 制作深度图。
如何用 AI 制作深度图|简易教程
下面拆解一下如何用 AI 制作深度图。
第 1 步:在 Fal 中打开 Depth Anything
第一步是在 Fal 中打开 Depth Anything。
Fal 是一个 AI 平台,让你在一个地方就能调用各种生成式 AI 模型,其中也包括能自动估算视频深度的模型。
Depth Anything 也能通过其他平台调用,但在这个工作流里我们用 Fal,因为它的处理速度快、流程也简单直接。
第 2 步:上传你的视频
打开 Depth Anything 后,选择添加视频这一选项。
上传你想转成深度图的源素材。
原始视频
这段素材应当是你最终想在 AI 视频工作流里当作参考来用的那段画面。
比如,你的素材可以包含:
- 演员走过一个场景
- 角色执行某个动作
- 镜头运动
- 移动的物体
- 一个完整的实拍镜头
视频上传完成后,就可以选择深度模型了。
第 3 步:选择 VDA 大模型
在模型一栏,选择 VDA Large。
教程里用的就是这个选项,目的是尽可能生成质量最高的深度图。
这个工具会逐帧分析你的素材,估算出摄影机与画面中各个元素之间的距离。
随后,这些深度信息会被转换成灰度视频。
第 4 步:渲染深度图
视频上传完成并选中 VDA Large 后,点击 Render。
处理时间取决于你的素材,不过教程示例里的深度图大约用了 60 秒就生成好了。
之前
之后
渲染完成后,你会得到一段视频,看起来就像原始素材的黑白版本。
不过,这些灰度值并不只是把颜色从画面中去掉,它们代表的是场景不同部位的估计深度。
现在你可以下载深度图,并在你的 AI 视频工作流里使用它。
第 5 步:在 AI 视频生成器中使用深度图
生成深度图之后,你可以把它上传到支持视频参考的 AI 视频工具里。
在教程里,我们把深度图作为最终 AI 生成视频的运动参考。
参考图
灰度视频
这套设置用到:
- 一张用于确立目标观感的起始图
- 作为运动参考的深度图视频
- 用于补充镜头中人物信息的原始参考素材
随后提示词会要求模型把起始图像当作开场帧,同时按照深度图里的运动来走。
输出
这样你就能改变镜头的视觉风格,同时仍给 AI 保留原始运动与空间结构的参考。
结语:为什么做 AI 视频要用深度图?
AI 视频生成器有时很难完全照着参考素材里的动作来生成。
深度图会简化场景,因为它聚焦的是空间信息,而不是纹理、光照或颜色。
这样一来,当你想保持以下内容时,它们就能派上用场:
- 角色动作
- 物体摆放
- 镜头运动
- 前景与背景分离
- 一个镜头的整体结构
对 AI 影视创作者来说,这为视频转视频生成时的操控又添了一层手段。
原始素材
灰度素材
输出
与其让 AI 模型从单张参考图里推断所有信息,不如分别给外观、角色细节和运动提供专门的输入。
备选方案:在本地免费生成深度图
Fal.ai 是生成深度图最省事的途径之一,但你不一定非得用在线 AI 平台。
Depth Anything 是开源的,这意味着它也可以在你自己的电脑上本地运行。
教程里用了一个可下载的应用,在 Mac 上简化这一流程。
应用装好之后,流程就很简单了:
- 打开本地的 Depth Anything 应用。
- 把参考视频拖拽进去。
- 按回车键。
- 让模型处理这段素材。
- 导出生成的深度图。
如果 macOS 阻止该应用打开,你可能需要到 Mac 的安全设置里手动放行。
这种做法最大的好处是素材直接在你自己的电脑上处理,不用为每一次在线渲染付费,就能生成深度图。
学习 AI 电影制作|免费培训
如果你喜欢这个教程,欢迎来看看我们的免费培训,我们会在里面分享一些行业动态和我们最常用的工作流。你还能免费加入我们的线上社区,里面全是来自世界各地的电影人和创作者。
填写表格即可开始学习。我们很希望你能来,当然也不会给你压力。