最初的实验表明，有时得到的乱码文本会转化为与最初创建的乱码文本标题相匹配的视觉概念。例如，prompt「两只鲸鱼在谈论食物，带字幕」生成了带有文本「Wa ch zod ahaakes rea」（或至少接近这个）的图像。研究者将此文本作为 prompt 提供给模型，并在生成的图像中看到了一些「海鲜」，如图 3 所示。似乎乱码文本确实具备有时与产生它的文本条件一致的含义。

　　文本与标题及生成图像的一致性。回忆一下刚才农民的例子，prompt 是「两个农民在谈论蔬菜，带字幕」。从这个例子中，研究者发现了蔬菜和鸟类这两个词。两个农民谈论鸟类确实是极有可能的，因此这提出了一个非常有趣的问题，即 DALLE-2 的文本输出是否与文本条件和生成的图像一致。

　　似乎 Vicootes 就是蔬菜的意思，Apoploe vesrreaitais 就是鸟类的意思，看起来两位农民在讨论鸟类干扰了他们的蔬菜。

　　DALL-E 生成的各种诡异图片在社交网络上刷屏已经持续了一段时间，有关为什么人工智能可以生成自然界中不存在的事物，很多研究者正在寻根问底。近日，来自德克萨斯大学奥斯丁分校的学者发现，DALL-E2 会使用看似随机但与视觉概念有一些关联的单词来形容自己做的事。

　　偶然发现之后，研究者摸索出了一个简单的方法来发现 DALLE-2 的黑话，这个规律可以通过一个例子来体现：

　　比如我们将 prompt 设置为「两个农民在谈论蔬菜，带字幕」，就会得到如图 2（a）这样的图像。如果解析这个出现在图像中的文本，并将其继续作为 prompt，得到的结果如图 2（b）和（c）所示，

　　这些隐藏词汇中的一些是可以被学习的，并用来创造出一些离奇的 prompt，最终生成自然的图像。例如，Apoploe vesrreaitais 似乎意味着「鸟类」，Contarra ccetnxniams luryca tanniounons 有时则意味着「虫子」或「害虫」。研究者发现，可以用「An image of a cartoon apoploe vesrreaitais」这样的 prompt 来生成卡通鸟类图像，甚至可以组合这些词来创造以鸟类为食的虫子。

　　对于上面的每个 prompt，DALLE-2 通常会创建包含一些包含文本的图像。对于人类来说，这些书写出来的文本通常是胡言乱语，原始论文和 Marcus 的评论里都提到了这一点。

　　然而，研究者观察到一个令人惊讶的现象：这些文本并不像它看起来那样「混乱」。在许多情况下，它与想要翻译的单词密切相关。

　　风格转换。DALLE-2 能够根据 prompt 中指定的不同风格，生成某些概念的图像。例如，你可能会要求一张苹果的逼真图像，或者一张展示苹果的线条艺术图。研究者测试了一些发现的单词 (例如 Apoploe vesrreaitais) 是否与视觉概念相对应，这些视觉概念可以根据 prompt 的上下文转换为不同的样式。实验结果如图 3 所示，似乎这种 prompt 有时会导致生成飞虫而不是鸟类。

　　研究者还强调，寻找其他强大的 prompt 具有挑战性，需要大量的实验。该研究尝试了各种让 DALL-E 生成图像的方法，并测试生成文本的一致性。虽然这种方法适用于一些乱码 prompt（很难找到），但这仍然是一个很大的可解释性和安全性问题。如果一个系统以非常不可预测的方式运行，即使这种情况很少发生，它仍然是一个重要的安全隐患，尤其是对于某些应用程序。

　　简而言之，AI 自创了一门语言，这份可解释性研究让人们细思极恐，连 Gary Marcus 也受到震撼。

　　当然，研究者也注意到，这个简单的方法并不总是有效的。有时，当 prompt 返回模型时，生成文本也会随机显示图像。然而，他们也发现，通过一些实验 (选择一些词语，运行不同的生成文本等等) ，通常可以找到随机出现的词语，并与一些视觉概念(至少在一些上下文上) 相关。关于这个规律，任何感兴趣的人都可以继续去挖掘。

(责任编辑：admin)

　　DALL-E 2 的语言」让我们大开眼界，来的研究出现了一些有趣的方向。研究者表示某些乱码也许是不同语言中正常单词的拼写错误，但尚未搜索到此类示例。许多 prompt 中词的来源仍然令人困惑，并且在该研究的初步实验中，其中一些词与其他词不一致。