他说：「我的意思是，几年后，人们可以描述任何想要的图像，然后由 AI 来生成它，比如特朗普面带假笑地接受普京的贿赂。」

　　Ramesh 说，他希望越来越多的人能够在学习和探索过程中逐渐学会应用 DALL-E 和其他生成式 AI 工具。

　　Hugging Face 的首席伦理科学家 Margaret Mitchell 在电子邮件告诉 VentureBeat，2021 年 1 月发布的 DALL-E 是第一波文本到图像研究的浪潮，这些研究建立在语言和图像处理的基本进展之上，包括变分自动编码器和 autoregressive transformers。DALL-E 2 发布时，「扩散是我们行内人意料之外的突破，它切实地提升了游戏质量，」她说。

　　DALL-E 没有公开源代码，这导致其他系统开发了开源的文本转图像选项，这在 2022 年夏天前引起了轰动。

　　尽管如此，最初的 DALL-E 论文「在当时给人留下了深刻的印象」，未来学家、作家和 AI 研究员 Matt White 补充道。他说：「虽然这不是文本到图像合成领域的首项工作，但 OpenAI 不仅仅向 AI 研究领域推广他们工作的方法，更是将推广范围扩大到公众层面，这自然也是其颇受关注的原因所在。」

　　他还解释道：「在我们从头开始生成图像时，我们不再使用训练数据。扩散模型从他们试图生成物的模糊近似开始，经过多重步骤，逐步添加细节，就像艺术家总是从一个粗略的草图开始发挥，随着时间的推移再慢慢充实他的作品。」

　　她补充说，自从最初的 DALL-E 研究论文发表以来，过去两年一直是「竞争激烈，喜忧参半」。

　　他说：「我们觉得文本到图像的生成很有意思，作为人类，我们能够通过一句话来描述我们在现实生活中可能遇到的任何情况，也可以是不可能发生的幻想场景，或者是疯狂的幻想。所以我们想看看我们训练的模型是否能得当地从文本中生成图像，并且和人类一样做出推断。」

　　他说：「在大众眼里。这个模型的工作方式是：它在某处有个图像数据库，它生成图像的方式是将这些图像片段剪切粘贴在一起，从而创造出新的东西。但实际上，它的工作方式更接近于人类，当模型接受图像训练时，它会学习所有这些概念的抽象表征。」

　　当然，很多早期迹象表明，当前即将迎来文字到图像的进步。英属哥伦比亚大学（University of British Columbia）的计算机科学副教授 Jeff Clune 说道：「多年来的研究显示，这种未来近在咫尺。」2016 年，他的团队制作出了他所说的第一批与真实图像难以分辨的合成图像。

　　CLIP 是与 DALL-E 1 研究共同开发和公布的，它是一个基于零样本学习的独立模型，实际上算是 DALL-E 的秘密武器。CLIP 从互联网上获取了 4 亿对带有文字说明的图像进行训练，能够使用自然语言进行分类基准测试并对 DALL-E 结果进行排名。

　　经过训练，Transformer 语言模型 GPT-3 的 120 亿参数版本可以使用文本图像对数据集从文本描述中生成图像。VentureBeat 记者 Khari Johnson 在描述时说，其「旨在唤起艺术家 Salvador Dali 和机器人 WALL-E」，并附上了 DALL-E 生成的「穿着芭蕾舞裙的小白萝卜遛狗」的插图。

　　Ramesh 说：「将扩散模型和 DALL-E 结合起来，看似是一件自然而然的事，因为扩散模型有很多优点，其中最明显的特点是用扩散模型能够利落而又巧妙地修复图像。」

　　他解释道，在 DALL-E 2 中加入了在开发 GLIDE 时使用的一种特殊技术 —— 无分类器指导 —— 这大大改进了字幕的匹配度以及真实感。

　　「对如何建立语言和图像模型的关注是以如何最好地获取模型的数据为代价的，」她还指出，在现代文本到图像的进展中，个人权利和同意「几乎被抛弃了」。目前的系统「基本上是在窃取艺术家的概念，而没有为艺术家提供任何追索权，」她如此总结道。

(责任编辑：admin)

　　2021 年 1 月 5 日，也就是两年前，随着这篇论文和网站演示的发布，OpenAI 推出了 DALL-E—— 可以「根据文本说明为各种用自然语言表达的概念创建图像」的神经网络。而据报道，OpenAI 近日正在就「估值为 290 亿美元的收购要约」进行谈判。

　　DALL-E 等生成式模型的「高光时刻」已经出现，作为发明者，Ramesh 表示：「我们第一次尝试这个研究方向，是想看看能有什么作为。现在想来，恍如昨日。」

　　他解释说：「所以我们可以采用像 GPT 这样的 transformer，训练它的目的是为了预测下一个单词，并用这些额外的图像 token 来增强它的语言 token。这让我们可以应用同样的技术来生成图像。」

　　2022 年 4 月 6 日，当 AI 社群和普通用户第一次看到 DALL-E 2 的图像输出时，他们中的大部分都惊叹于图像质量的差异。

　　「当 Alex 第一次尝试时，没有人想到结果会有这么大的改善。我最初只期望 DALL-E 2 能成为 DALL-E 的更新版本，但让我惊讶的是，它已经开始让用户受益了。」

　　他说，DALL-E 会带给人们惊喜，因为「在语言模型中看到泛化的例子是一回事，但当在图像生成中看到它时，它就会更加直观且具有更深的影响力。」