一句话生成 3D 模型，但只需 2D 数据训练

用 2D 数据训练出来的模型，也能生成 3D 图像了。

输入简单的文本提示，就能生成 3D 模型，这个 "AI 画师 " 的技术如何？

直接看效果。

这简直就是高阶版的 NeRF，而这个 AI 画师呢，名叫 DreamFusion，是 Google Research 的一个最新成果。

DreamFusion 名字是不是听起来有点耳熟？

没错，DreamFields！前不久，。

而这次的 DreamFusion 正是在 DreamFields 的基础上进化而来的。

那从 DreamFields 到 DreamFusion，都有哪些变化，让 DreamFusion 有如此巨大的飞跃？

扩散模型是关键

一句话来讲，DreamFusion 与 DreamFields 之间最大的不同就是计算损失的方法不同。

在最新的 DreamFusion 中，它用了一个新的损失计算方法来代替 CLIP：通过文本到图像的Imagen 扩散模型来计算损失。

扩散模型大家今年应该都很熟悉了吧，DreamFusion 由数十亿图像 - 文本对的扩散模型驱动，相当于一个由扩散模型优化之后的 NeRF，想不厉害都难。

不过要把扩散模型直接用来进行 3D 合成需要大规模的标记 3D 数据集和有效的 3D 数据去噪架构，但目前这两个都还没有，只能另谋出路。

因此在这项工作中，研究人员巧妙地避开这些限制，使用一个预先训练的二维文本到图像扩散模型来执行文本到三维合成。

具体来说，就是用 Imagen 扩散模型来计算生成 3D 图像过程中的损失，对 3D 模型进行优化，那损失是如何计算呢？

这其中有很关键的一环，研究人员引入一个新的图像采样方法：评分蒸馏采样（SDS），它在参数空间而不是像素空间中进行采样。

因为参数的限制，这种方法能够很好的控制生成图像的质量走向（下图右）。

而这里，就是用评分蒸馏采样来表示生成过程中的损失，通过不断优化最小化这种损失，从而输出质量良好的 3D 模型。

值得一提的是，DreamFusion 在生成图像的过程中，里面的参数会经过优化，成为扩散模型的一个训练样本，经过扩散模型训练之后的参数具备多尺度特性，更利于后续的图像生成。

除此之外，扩散模型带来的还有很重要的一点是：不需要反向传播，这是因为扩散模型能够直接预测更新的方向。

网友讨论

这波研究成果属实是惊呆网友了，前脚 Meta 刚发布 text-video，后脚谷歌这边就发布了 text-3D 的模型。

（还是用 2D 扩散模型输出 3D 图像）

甚至有网友发问：

下一版本的高分辨率 3D 成果什么时候会出来？两年吗？

论文的一作直接在下方调侃地评论道：

两周？

当然这个 AI 技术成果也免不了激起那个老生常谈的话题——会不会取代人类。

不过大多数人还是抱着很乐观的心态：

作为一个 3D 建模师 / 设计师，未来（AI）用于模型设计辅助的潜力也是难以置信的。

（小彩蛋）有网友挖出了 DreamFusion 的一些有趣的失败案例：

比如说生成的这只松鼠，在它的帽衫后面又多出了一只眼睛（也怪吓人的）。

团队介绍

研究团队中有三位均来自 Google Research，分别为论文的一作 Ben Poole，Jon Barron 和 Ben Mildenhall，还有一位加州大学伯克利分校的博士生。

Google Research 是 Google 公司内部进行各种最先进技术研究的部门，他们也有自己的开源项目，在 GitHub 公开。

他们的口号是：我们的团队渴望做出影响每个人的发现，我们的方法的核心是分享我们的研究和工具，以推动该领域的进展。

一作 Ben Poole 是斯坦福大学神经学博士，也是谷歌大脑的研究员，目前他的研究重点是使用生成模型改进无监督和半监督学习的算法。

参考链接：

[ 1 ] https://dreamfusion3d.github.io/index.html

[ 2 ] https://twitter.com/poolio/status/1575618598805983234