在2024的NIOIN上蔚来发布了自己“融入天下模型的端到端”。
相信大家一定是一脸懵逼的情形下懵逼了一脸，
所谓天下模型到底是什么啊，融入之后端到端发生了什么变革？
我也很好奇，于是好好地研究了一番，写下了本篇长文，送给同样好奇的你；
我承认文章是有一点长，不过只要耐心看完，你一定会有所收成吧！
少卿，帅！
在NIOIN的发布会上，我们会把稳到蔚来着重强调了天下模型的预测能力。
它能在能在100毫秒内推演出216种可能的未来轨迹，而这些未来全部都能够以“天生式视频'的形式展现。
可以类比为，这个模型在“想象并预测”未来。
那么问题来了，别家的端到端又是怎么事情的呢，
它们不须要预测未来也可以开车吗？
听闻某“没有借口”KOC年夜言，高真个端到端乃至不须要ISP处理图形，光子进芯片就能输出驾驶的实行指令，事实真的如此吗？
欸~ 实在破除诳语的方法很大略！
只须要大家理解了AI是如何运行的，便不会再相信他的半句鬼话了。
相信绝大多数人都不太理解所谓的AI到底是什么，
即便我们每天听日日听，听得耳朵都快起茧子了。
AI那么厉害，利用谈天机器人的时候仿佛后面就藏了一个真人。
芯片里真的有一个在思考的灵魂吗？
如果你产生了这种错觉，那就中了营销陷阱了；
不过这事儿真不能怪你，毕竟大佬们也喜好搞点儿“擦边宣扬”，
比如“神经网络”啦，“机器学习”啦。
机器学习机器学习，机器真的在“学习”吗？
不不不，完备不是的…
这个过程只是比较像人类的学习而已，
实在质是一种调试！
没错，和调试世间的任何一种机器都没有什么实质差别，所谓的人工智能，至少在目前阶段，是调试数学与打算机科学的结晶——
“AI模型”。
令其达到空想的状态，从而完成我们期待它完成的繁芜事情。
热炒观点“端到端”正是基于此，传感器感知的环境信息是一端，汽车的驾驶动作是另一端；
中间只放一个模型的，便是“one model”端到端，放好几层的，一样平常称为分段式端到端。
那么现在我们只要把“模型”是如何事情的给整明白了，自然就能比拟出“普通”模型和天下模型的差异了。
首先的第一个要给大家解答的问题是：
这个“普通”AI模型都那么厉害了，我却说它与其他机器没有差异，
二者在直觉上彷佛存在一个无法超出的巨大鸿沟啊？
emmm…… 我懂！
由于过于繁芜的征象是无法依赖我们的直觉理解的。
但没紧要，世间万物皆是繁芜系统，我们乃至可以从生物上找到理解的打破口。
诸君请看，这是名为圆掌舟蛾的一个常见昆虫：
遍布亚欧大陆的常见物种
很显然它是在拟态一截断掉的小树枝，
不仅颜色质感以假乱真，乃至还仿照出了木质部断裂的截面构造和纤维感。
在过去科学不足遍及的年代，
很多人将拟态征象作为”聪慧设计论“的铁证：
“如果没有高等聪慧(神明)的存在，怎么会涌现这种征象？蛾子难道能理解树枝的光影构造并对其进行模拟吗？”。
没错，蛾子的确世世代代都未曾理解过树枝的构造，但这并不能推导出反方向的缺点答案。
事实上基因突变的效率之高超乎普通人的想象…
贝氏拟态的联合鉴戒征象
看这张图，上排是平绡蝶属的七个物种，
下排仅仅是狐眼袖蝶一个物种，却能在不同地区拟态以上七种蝴蝶的花纹。
那么它动用了多少基因呢？
答案是区区一组等位基因而已！
这类征象在对付打算机的探索——“元胞自动机” 里也可见一斑
只须要给棋盘舆图定下几条大略的回合规则，并给几个初始的黑方块，它就可以自行蜕变下去，譬如：
“一个黑方块的周围如果少于2个黑方块，则此方块下回合变白”。
“一个黑方块的周围如果多于3个黑方块，则此方块下回合变白”。
“一个白方块的周围如果有3个黑方块，则此方块下回合变黑”。
“其他条件坚持原样不变”。
这局生命游戏终极收敛了
元胞自动机最奇妙的地方在于，纵然初始黑方块完备同等，只须要稍稍调度一点规则。
多少回合后的蜕变结果便会大相径庭，
下面这张图里纷繁繁芜的纹样，便是这么来的。
初始条件为8X8全黑方块，中间一个白点
个中的一些花纹是不是和动物的体表花纹有相似之处？
没错，以是“元胞自动机”又被称为“生命游戏”。
在生命游戏里，“参数”是回合规则；而在生命里，“参数”是DNA；
顺便一提，某些规则的元胞自动机是可以完备等效为通用打算机的，这种由冯 · 诺依曼发明的模型，实在质便是另一种打算机。
抽象的打算实行
奇妙吧，生命和打算机在深奥处与数学达成了共通性；
正因如此，蛾子蜕变出树枝拟态也是一种广义上的“模型演习”。
我来帮大家捋捋，
AI的模型演习大家该当不陌生。
用极简化的措辞来描述，便是先采集大量的数据构成数据集，再将数据集喂给事先准备好的模型。
模型中有超多超多参数等待着调节，调节参数会影响模型的输出。
那么通过验证模型的输出是否靠近我们的需求，就可以对参数进行调度以期提高性能。
模型演习示意图
经由反复喂数据 - 对结果 - 调参数的迭代演习，终极会逐渐逼近模型的能力上限，这就算是演习好一个模型了。
把这一套放在蛾子的蜕变中类比呢，生态环境和自然选择所施加的压力便是“数据集”；
“模型”是蛾子调节细胞分裂分解成长发育系统，“参数”是DNA序列；
用以验证输出的标准便是“种群扩展”。
在经历了很多代的“迭代演习”后，
虽然蛾子对树枝还是一无所知，但它成功地长成了树枝的样子！
得到了在生存中十分有上风的“性能”。
又是你，我可爱的小蛾子
创造没，蛾子不懂树枝和惟妙惟肖地拟态树枝并不抵牾。
只要算法足够精妙，系统足够繁芜，
再辅以足够长的“迭代演习”，这些被认为是“神迹”的征象也并非不可复现。
而Open AI开启的 GPT时候，正是由“大模型”和“大参数”铸就的，
GPT-3竟然堆了足足1750亿个参数。
现在大伙儿是不是轻微明白了一点，AI的“智能”实在质究竟是什么了？
和你谈天的GPT不是像人类一样“思考、谈天”，
模型算法实在也是在“拟态”！
非常精妙地拟态出了人类的用词、语法和嵌合在措辞中的逻辑。
没错，我想“拟态”这个词是对AI模型所做之事最贴切的描述了。
模型的内部的运行机理与人脑完备不同，
正如圆掌舟蛾的头胸部和树枝的断面一样平常。
“It just work！
you know bro？”
King Crimson！
端到真个常规方案基本上便是这么跑起来的，特殊是某些KOC吹爆的one model端到端。
他乃至开始抱负连摄像头的数据都不必处理成图形了，海量环境信息不分重点无论主次一股脑儿统统灌进模型里，等着模型高度完美地“拟态老司机”。
如果“拟态”得不足完美，那一定是模型不足大，参数不足多，喂得数据不足饱，演习韶光不足长。
办理思路就一个字——堆！
万物皆可力大砖飞！
砖头不飞一定是由于马力不足！
欸~ 不知道大家有没有听出来这条办理方案的问题在哪里啊…
如果让我来造飞机的话，我是一定不会志得意满地宣告“砖头形的翱翔器”是飞机的终极形态；
既不优雅，也不技能。
这样，我来给大家进阶一点地剖析剖析吧：
如果大家关注AI绘画的话一定知道，
很长一段韶光里AI画的手总是千奇百怪，惊悚吓人。
将手背在身后成为了一段韶光的最佳pose
为什么会这样呢？
由于手是一个构造繁芜的人体器官，它由27块骨骼支撑，通过筋腱和肌肉组织掌握运动，
以是它能摆出非常非常多的繁芜姿势。
可无论动作有多繁芜，手究竟是一个现实天下的事物。
它必须遵照其内在的物理规律，不能随意变型，不能胡乱拼接，更不能随意减少或增加指头。
聪慧生命的必备——类手器官
但对付AI模型来说，这是一个天算夜的难题。
由于模型无法单独识别手的独特性，
在算法视角这个构造与衣服的蕾丝或是天上的云彩没有什么实质不同。
以是它很正常地“拟态”出了一双双畸形怪手，
这在模型参数记录的规则中是完备“通情达理合法”的。
更糟糕的是，你险些没有什么通过调节模型框架和算法的方法来改动这一点。
模型的性能是有极限和边界的，如果无限制地提高各种软硬件参数，或许的确有可能战胜这个困难；但是所谓“工程学”，战胜的正是那些在“如果天下”中不值一提的“细枝末节”，
类似于把大象放进冰箱须要几步这种嘛。
不仅须要支点，也须要棍子
那么……末了这个画手问题是怎么办理的呢？
没错，是通过“在模型之外添加固定规则”的笨办法办理的……
规定手只能画成多少种模板的形状，限定AI的随机性。
“画手”这个例子完美地印证了一个近期大家正在激烈谈论的智驾“上限”与”下限“的问题；
无论绘画模型的上限有多高，画得有多俊秀，
一瞅手部，嚯！
三个指头，通盘垮掉…
被下限给“一击必杀”了。
以是你会创造一件很搞的事情，
某些时候one model端到端听起来彷佛键盘值极高，技能极其前辈；
可真要工程落地的话，彷佛还是得分段式和领悟规则来救场呐！
OK，既然AI在现阶段存在这种难以战胜的局限性，
那么要如何才能最大限度地扬长避短呢？
这就不得不提到 “world model”，天下模型了！
万物在它“心中”
所谓天下模型，听起来好厉害的样子，难道是要给真实天下建模吗？
当然没有那么夸年夜，我举个例子你就懂了。
大家开车都有过重新手到熟手的过程，
不知道你们有没有把稳过，明明是一样的路段，
新手期间开起来就特殊地紧张，风神鹤唳稳扎稳打，
但闇练后却闲庭信步，悠然自得呢？
以一个非常详细的场景为例：
开车时最舒适的时候一样平常都是在没有路口的长直道上跟车，
只须要掌握好车距，把稳前车有没有什么动作就好了。
为什么会这样呢？由于我们心里清楚知道：
1、后面的事我不用管，由于有交通法规兜着，追尾是后车的任务。
2、 前面的路已经被前车验证过了，不会凭空刷新出一个人来，只要随着就好。
3、 侧面溘然涌现高速障碍物的概率不能说绝对为零，只是也是低到没必要操心的程度，毕竟就算真溘然冲出一只野猪来，我又能怎么样呢？
野猪已被移出二级保护动物，望周知
正因如此，老手只须要花费一小部分把稳力就能开好车；
而新手正是由于还不熟习道路实战，
分不清什么什么该眼不雅观六路耳听八方，什么时候该享受一段惬意的驾驶，
才会当心翼翼如临大敌，开上一下子便十分地疲倦。
总结一下你会惊异地创造，老司机不须要对整条路上的一草一木一花一叶管窥蠡测，却能出色地完成驾驶；人类司机重新手发展为老手的演习时长也远远短过AI模型。
这背后的核心缘故原由是什么呢？
答案当然是由于——
人类理解了物理天下的运行规律，在人类的脑中存在着一个真正的天下模型！
天地在我心中！
正如我前文所述，马路中心不会凭空刷新出一个大活人，
汽车也不会开着开着就沉入了地下；
客不雅观天下存在着永恒不灭的物理法则，植根于绝不动摇的因果规律，
正如手掌中的骨骼，它制约了驾驶任务中所需考虑的“可能性”。
以是驾驶者须要预测的未来并非无限，须要关注的环境信息也从来不是无限的；
用双眼提取物理天下真正该关心的，有代价的重点信息，
结合知识、规则和脑中的物理直觉，我们当然能轻松且高效地完成驾驶。
讲到这里，我们实在已经涉足到了一个令人足以令人激动到抖动的知识领域——
如果能设计出真正的“泛用型天下模型”，便意味着人工智能可以像人类一样理解天下，
“当代AI之父”Jürgen Schmidhuber乃至直言只要在世界模型中加入一个“self符号”，令其将“我”这个观点纳入模型认知的范畴之内，建立起自我认知，
这台机器便可以被认为是拥有的意识！
仰望星空，会招来外星人
我的天！
现在大家明白天下模型的是若何的存在了吧！
它可是所有打算机科学家心目中如圣杯般的终极空想啊！
！
正因如此，关于“天下模型”头衔的争夺非常激烈；
比如前段韶光OpenAI宣告，Sora是天下模型，
随即遭到了图灵奖得主“AI教父”杨立昆的强烈反对。
当然，我们常日认为间隔 “真 · 天下模型”的出身可能还有些韶光，
但将该方向的技能运用在智驾上，称呼它为天下模型倒是没啥问题；
由于智驾所需处理的“天下”相对付通用机器人来说，还是比较单一的，
理解铺装道路这一角天地的“所有规则、逻辑与知识”难度并没有那么大。
OK，那么这个时候机警的大家心中一定会浮现出一个疑问：
“前文不是说AI模型只会拟态么，怎么现在又说理解天下这样震天动地的事情啊？”。
啊，没错，AI所能做到的事情的确只是拟态，
但拟态与拟态之间亦有差别。
让我们来捉住2024 NIOIN上，少卿已然奉告但还没有被大家把稳到的蛛丝马迹吧！
演讲开始没多久，少卿就强调了蔚来世界模型的“空间认知-想象重修”和“韶光认知-想象推演”能力。
空间认知包含着牛顿力学管理下的各类规则与知识，
真实的天下不会穿模也不会瞬移，忽闪忽现的“赛博鬼故事”一定不能涌如今天生数据中。
熙熙攘攘
韶光认知则包含着“万物蜕变的因果逻辑关系”，
由于只有在单向的韶光轴下，所谓“逻辑”才能存在，
大家仔细思考一下，是不是这个道理？
小说中一旦涌现时空穿梭的情节，逻辑bug就一定无法避免。（用平行宇宙搞切割另说）
之后，便是那条传播很广的“想象万千平行天下”小视频了，
蔚来世界模型能以天生式视频想象出最多216种轨迹，最长120秒之后的未来，乃至比绝大多数专业视频天生模型更强。
韶光宝石，启动！
在这么长的想象视频中要担保动静态物理规律不崩坏，不放飞自我，
可见其空间与韶光，物理与逻辑的把控能力之强大。
行文至此，普通模型端到端与蔚来世界模型端到真个差异可以说是呼之欲出了——
前者”拟态“的是驾驶者所做的决策，
而后者”拟态“的则是驾驶者脑中的天下模型与决策思路。
前者看重的是“达到效果”，后者看重的是“像人脑一样运转以达到效果”
如果用蛾子来做比喻的话，前者便是拟态成树枝的圆掌舟蛾，
它的确可以成功地骗过捕食者的眼睛。
而后者则是由内向外地拟态了一根树枝，
它连外皮、韧皮部、木质部，髓芯都模拟到位了
将后者拦腰割断，你会得到两截看起来像树枝，
摸起来像树枝，闻起来也像树枝的……蛾子？
拟态的初衷是什么，我早已忘怀
好吧，正如 真·天下模型 是向着人的意识不断靠拢一样平常
这种蛾子也在拟态树枝的路上走得太深太远，
终有一天，可能真的会变成树枝吧！
这，便是两代端到端之间的差异了，
二者谁更为前辈更为前瞻，该当也不须要我尬吹了吧…
这不禁让我回忆起曾经和一位朋友磋商过的一些问题，
个中关于通用人工智能将会在哪里降临的问题上，我们产生了一些不合。
她认为会涌如今工厂用的专业机器人上，我认为会涌如今自动驾驶的终点处，
蔚来世界模型让我眼中的光点又变亮了一丢丢。
NIO WorldModel！
末了的末了，再来祛个魅吧。
有人说摄像头的数据不经处理直接输入端到端模型，
就能原汤化原食100%无损利用，
以是演习的效果一定是宇宙无敌第一好。
且不管他的这些道听途说靠不靠谱，
但是“不处理图片比处理图片更好”就已经足够贻笑大方了。
在把数据喂给模型之前有一步操作叫“特色工程”，
是从原始数据中提取或布局特色，以便模型能够更好地学习和泛化，
就像喂饲料之前先分割烹饪一下会更好消化；
对付摄像头输出的信息来说，这一部无疑是处理成视频图像。
那为什么视频要比无损旗子暗记更好呢？
哼哼，实在答案很大略！
由于铺装道路不是自然景不雅观，而是人造物啊！
马路上的所有标志和涂装，都是环绕人类的视觉而设计的；
比如为什么要用红灯做警示灯呢？
由于红光的波长更长，穿透浓雾和灰尘的能力更好。
那为什么不用穿透能力超强的红外线来做警示呢？
由于人类看不见…
以是纯视觉这条路，注定了与视频处理能力是分不开的；
这是一个由“人择事理”决定的范例案例啊……
