两个月前轰动网络的AI设计大师CLIP，刚刚被OpenAI“扒开”了脑筋。
没想到，这个性能强大的AI竟和人类思维办法如此相像。
打个比方，无论你听到“炸鸡”二个字，还是看到炸鸡实物，都可能流口水。由于你的大脑里有一组“炸鸡神经元”，专门卖力对炸鸡起反应。
这个CLIP也差不多。
无论听到“蜘蛛侠”三个字，还是看到蜘蛛侠的照片，CLIP的某个分外区域就开始相应，乃至原来用来相应赤色和蓝色的区域也会“躁动”。
OpenAI创造，原来CLIP有一个“蜘蛛侠神经元”。
在脑科学中，这并不是啥新鲜事。由于早在15年前，研究人脑的科学家就创造了，一张脸对应一组神经元。
但是对AI来说却是一个巨大的进步。过去，从笔墨到图像，和从图像到笔墨，用的是两套系统，事情办法都不一样。
而CLIP却有着和人脑极为相似的事情办法，CV和NLP不仅技能上打通，连脑筋里想的都一样，还有专门的处理区域。
看到二者如此相像，有网友表示：
太恐怖了，这解释通用人工智能（AGI）到来，比所有人想象的都快。
而且，OpenAI还惊异地创造，CLIP对图片的相应彷佛类似与癫痫患者颅内神经元，个中包括对感情做出反应的神经元。说不定AI今后还能帮助治疗神经类疾病。
AI的“脑筋”，实在和人类一样先前情回顾一下，CLIP到底是神马。
不久前，OpenAI发布了脱胎于GPT-3的DALL·E，能按照笔墨描述准确天生图片。
DALL·E对自然措辞和图像的理解和融汇贯通，做到了前无古人的水准。一经问世，急速引来吴恩达、Keras之父等大佬点赞。
而DALL·E的核心部分，便是CLIP。
大略的说，CLIP是一个重新排序模型，检讨DALL·E所有天生结果，挑出好的展现出来。
CLIP能做“裁判”，离不开将笔墨和图片意义“领悟”理解的能力，但这样的能力从哪来，之古人们根本不清楚。
OpenAI紧接着深挖CLIP神经网络的事理构造，创造了它的多模态神经元，具有跟人类大脑类似的事情机制：能够对笔墨和图像中的相同意义同时做出相应。
而所谓模态，是指某个过程或某件事，包含多个不同的特色，图像常日与标签和文本阐明干系联，是完全理解一个事物的要素。
比如，你看到蜘蛛侠三个字，或者是Spiderman，都能遐想起穿着红蓝紧身衣的超级英雄。
熟习这个观点往后，看到这样一幅黑白手绘，你也能立时明白这是“蜘蛛侠”：
CLIP中的多模态神经元，能力与人类没有任何差异。
这样专门卖力某个事物的神经元，OpenAI创造了好几个，个中有18个是动物神经元，19个是名人神经元。
乃至还有专门理解感情的神经元：
实在，人本身便是一个多模态学习的总和，我们能看到物体，听到声音，觉得到质地，闻到气味，尝到味道。
为了让AI摆脱以往“人工智障”式的机器事情办法，一条路径便是让它向人一样能够同时理解多模态旗子暗记。
以是也有研究者认为认为，多模态学习是真正的人工智能发展方向。
在实现过程中，常日是将识别不同要素子网络的输出加权组合，以便每个输入模态可以对输出预测有一个学习贡献。
根据任务不同，将不同的权值附加到子网后预测输出，就能让神经网络实现不同的性能。
而详细到CLIP上，可以从研究职员的测试结果中清楚的看到，从措辞模型中出身的它，对付笔墨，比对图像更加敏感。
攻击AI也更随意马虎了但是，笔墨和图像在AI“脑海”中的联动是一把双刃剑。
如果我们在嘉宾犬的身上加上几串美元符号，那么CLIP就会把它识别为存钱罐。
OpenAI把这种攻击办法叫做“印字攻击”（typographic attacks）。
这意味着，我们可以在图片中插入笔墨实现对AI的攻击，乃至不须要繁芜的技能。
只需一张纸、一支笔，攻破AI从未如此随意马虎。
苹果就这样被改装成了“苹果”iPod。
乃至还有网友把苹果改装成了图书馆。
中国网友该当更加熟习，看来我们可以像用符咒封住僵尸一样封住AI。
在防止对抗攻击这件事上，CLIP还有很多事情要做。
AI黑匣子没那么黑即便如此，“多模态神经元”依然是在AI可阐明性上的主要进展。
可用性和可阐明性就像鱼和熊掌。
我们现在用的精确率最高的图像识别模型，其可阐明性很差。而可阐明AI做出的模型，很难运用在实际中。
AI并不能知足于实用。AI医疗、无人驾驶，如果不能知其以是然，伦理道德就会受到质疑。
OpenAI表示，大脑和CLIP这样的合成视觉系统，彷佛都有一种非常相似的信息组织办法。CLIP用事实证明，AI系统并没有我们想象的那么黑。
CLIP不仅是个设计大师，它还是一个开放大脑的AI，未来大概减少人工智能缺点与偏见。
参考链接：[1] https://openai.com/blog/multimodal-neurons/[2] https://www.axios.com/openai-vision-recognition-system-bias-fadb191c-de0f-46c5-a5a8-ef5ae7421c9e.html
— 完 —
量子位 QbitAI · 头条号签约
关注我们，第一韶光获知前沿科技动态
