宝塔服务器面板,一键全能部署及管理,送你10850元礼包,点我领取

浩楠 晓查 发自 凹非寺

量子位 报道 | 公众号QbitAI

两个月前轰动网络的AI设计大师CLIP,刚刚被OpenAI“扒开”了脑子。

没想到,这个性能强大的AI竟和人类思维方式如此相像。

首次发现!AI脑回路演化向人类更进一步,OpenAI最新研究引热议-风君子博客

打个比方,无论你听到“炸鸡”二个字,还是看到炸鸡实物,都可能流口水。因为你的大脑里有一组“炸鸡神经元”,专门负责对炸鸡起反应。

这个CLIP也差不多。

无论听到“蜘蛛侠”三个字,还是看到蜘蛛侠的照片,CLIP的某个特殊区域就开始响应,甚至原本用来响应红色和蓝色的区域也会“躁动”。

首次发现!AI脑回路演化向人类更进一步,OpenAI最新研究引热议-风君子博客

OpenAI发现,原来CLIP有一个“蜘蛛侠神经元”。

在脑科学中,这并不是啥新鲜事。因为早在15年前,研究人脑的科学家就发现了,一张脸对应一组神经元

但是对AI来说却是一个巨大的进步。过去,从文字到图像,和从图像到文字,用的是两套系统,工作方式都不一样。

而CLIP却有着和人脑极为相似的工作方式,CV和NLP不仅技术上打通,连脑子里想的都一样,还有专门的处理区域。

看到二者如此相像,有网友表示:

太可怕了,这说明通用人工智能(AGI)到来,比所有人想象的都快。

首次发现!AI脑回路演化向人类更进一步,OpenAI最新研究引热议-风君子博客

而且,OpenAI还惊讶地发现,CLIP对图片的响应似乎类似与癫痫患者颅内神经元,其中包括对情绪做出反应的神经元。说不定AI今后还能帮助治疗神经类疾病。

AI的“脑子”,其实和人类一样

先前情回顾一下,CLIP到底是神马。

不久前,OpenAI发布了脱胎于GPT-3的DALL·E,能按照文字描述准确生成图片。

首次发现!AI脑回路演化向人类更进一步,OpenAI最新研究引热议-风君子博客

DALL·E对自然语言和图像的理解和融汇贯通,做到了前无古人的水准。一经问世,立刻引来吴恩达、Keras之父等大佬点赞。

首次发现!AI脑回路演化向人类更进一步,OpenAI最新研究引热议-风君子博客

而DALL·E的核心部分,就是CLIP。

简单的说,CLIP是一个重新排序模型,检查DALL·E所有生成结果,挑出好的展现出来。

CLIP能做“裁判”,离不开将文字和图片意义“融合”理解的能力,但这样的能力从哪来,之前人们根本不清楚。

OpenAI紧接着深挖CLIP神经网络的原理结构,发现了它的多模态神经元,具有跟人类大脑类似的工作机制:能够对文字和图像中的相同意义同时做出响应

首次发现!AI脑回路演化向人类更进一步,OpenAI最新研究引热议-风君子博客

而所谓模态,是指某个过程或某件事,包含多个不同的特征,图像通常与标签和文本解释相关联,是完整理解一个事物的要素。

比如,你看到蜘蛛侠三个字,或者是Spiderman,都能联想起穿着红蓝紧身衣的超级英雄。

熟悉这个概念以后,看到这样一幅黑白手绘,你也能马上明白这是“蜘蛛侠”:

首次发现!AI脑回路演化向人类更进一步,OpenAI最新研究引热议-风君子博客

CLIP中的多模态神经元,能力与人类没有任何区别。

这样专门负责某个事物的神经元,OpenAI发现了好几个,其中有18个是动物神经元,19个是名人神经元。

甚至还有专门理解情绪的神经元:

首次发现!AI脑回路演化向人类更进一步,OpenAI最新研究引热议-风君子博客

其实,人本身就是一个多模态学习的总和,我们能看到物体,听到声音,感觉到质地,闻到气味,尝到味道。

为了让AI摆脱以往“人工智障”式的机械工作方式,一条路径就是让它向人一样能够同时理解多模态信号。

所以也有研究者认为认为,多模态学习是真正的人工智能发展方向。

在实现过程中,通常是将识别不同要素子网络的输出加权组合,以便每个输入模态可以对输出预测有一个学习贡献。

首次发现!AI脑回路演化向人类更进一步,OpenAI最新研究引热议-风君子博客

根据任务不同,将不同的权值附加到子网后预测输出,就能让神经网络实现不同的性能。

而具体到CLIP上,可以从研究人员的测试结果中清楚的看到,从语言模型中诞生的它,对于文字,比对图像更加敏感。

攻击AI也更容易了

但是,文字和图像在AI“脑海”中的联动是一把双刃剑。

如果我们在贵宾犬的身上加上几串美元符号,那么CLIP就会把它识别为存钱罐。

首次发现!AI脑回路演化向人类更进一步,OpenAI最新研究引热议-风君子博客

OpenAI把这种攻击方式叫做“印字攻击”(typographic attacks)。

这意味着,我们可以在图片中插入文字实现对AI的攻击,甚至不需要复杂的技术。

只需一张纸、一支笔,攻破AI从未如此容易。

苹果就这样被改装成了“苹果”iPod。

首次发现!AI脑回路演化向人类更进一步,OpenAI最新研究引热议-风君子博客CLIP:iPod就是“苹果”产品,没错啊~

甚至还有网友把苹果改装成了图书馆。

首次发现!AI脑回路演化向人类更进一步,OpenAI最新研究引热议-风君子博客

中国网友应该更加熟悉,看来我们可以像用符咒封住僵尸一样封住AI。

首次发现!AI脑回路演化向人类更进一步,OpenAI最新研究引热议-风君子博客

在防止对抗攻击这件事上,CLIP还有很多工作要做。

AI黑匣子没那么黑

即便如此,“多模态神经元”依然是在AI可解释性上的重要进展。

可用性和可解释性就像鱼和熊掌。

我们现在用的正确率最高的图像识别模型,其可解释性很差。而可解释AI做出的模型,很难应用在实际中。

AI并不能满足于实用。AI医疗、无人驾驶,如果不能知其所以然,伦理道德就会受到质疑。

OpenAI表示,大脑和CLIP这样的合成视觉系统,似乎都有一种非常相似的信息组织方式。CLIP用事实证明,AI系统并没有我们想象的那么黑。

CLIP不仅是个设计大师,它还是一个开放大脑的AI,未来也许减少人工智能错误与偏见。

参考链接:

[1] https://openai.com/blog/multimodal-neurons/

[2] https://www.axios.com/openai-vision-recognition-system-bias-fadb191c-de0f-46c5-a5a8-ef5ae7421c9e.html