李开复提出本次由GPT-4、ChatGPT引发的AI新机遇与之前有所不同，属于AI 2.0时期。
AI 1.0时期详细指的因此CNN（卷积神经网络）为核心，机器视觉和自然措辞处理快速发展的期间，暴涨的数据量伴随搜集、洗濯、标注全体过程的本钱增加，且单一领域的数据集和模型形成孤岛，每个领域和运用的优化都是割裂的，难以形成“通用”。
AI 2.0时期的特色是通过海量数据，无需标注自监督学习，演习一个根本大模型，并在各个运用领域将其专业化。
详细来说有三个特点：
1）对付拥有的超级海量的数据，无需进行人工标注，即进行自监督学习；
2）根本模型规模非常大，参数规模从十亿到千亿级别；
3）演习出的根本模型具有跨领域知识，而后通过微调用降落本钱的方法来演习，以适应不同领域的任务。
AI 2.0的巨大跃迁之处在于，它战胜了前者单领域、多模型的限定。
以大措辞模型（Large Language Model，LLM）为例，措辞模型已经存在了几十年，从最基本的N-gram模型（措辞由大略的向量表示），到更繁芜的RNN模型、LSTM神经网络，再到2017年Google Brain 提出Transformer。
Transformer不再基于对每个单词的单独理解进行处理，而是将句子和段落作为一个整体进行处理，使LLM能够从自然措辞中深入理解人类的意图，并让一系列运用成为可能：从描述中天生艺术创作、将大量非构造化数据提炼成简洁的择要、更准确的翻译、回答繁芜的查询等。
以模型中的参数数量衡量，大型措辞模型的参数在过去五年中以指数级增长。模型的性能非常依赖于模型的规模，详细包括：参数数量、数据集大小和打算量，模型的效果会随着三者的指数增加而线性提高，这种征象被称为Scaling Law（缩放能力）。
当模型的参数量大于一定程度的时候，模型能力会溘然提升，并拥有一些未曾涌现的能力，如推理能力、无标注学习能力等，这种征象被称为呈现能力。
在Jason Wei的论文中，详细定义为“在小模型中没有表现出来，但是在大模型中变现出来的能力”。“呈现能力”只是对一种征象的描述，而并非模型的某种真正的性子，涌现呈现能力的缘故原由也尚待探索。
个中一种不雅观点认为，大模型的呈现能力来自于其不连续的评价指标。如果换成更为平滑的指标，相对较小的模型的效果也并非结束不前，规模在阈值以下的模型，随着规模的提高，天生的内容也在逐渐靠近精确答案。
斯坦福的研究职员将NLP中不连续的非线性评价指标转为连续的线性评价指标，结果模型的性能变得更加平滑、可预测。详细来看，10^9以上模型能力提升加速，因此目前来看10^9险些是大措辞模型参数量的下限。
大模型的参数上限：参数的增加须要同等量级的演习集增加
参数数量的增速应与演习token数量的增长速率大致相同，从而让模型丢失(L)实现最小化，性能最大化。
Deepmind在《Traning Compute-Optimal Large Language Models》中，通过在5到5000亿个token上演习400多个措辞模型，参数个数范围从7000万到160亿，创造模型大小和演习集数量该当相等地缩放，从而达到最佳效果。
目前看来，单一措辞模态的大模型，100B量级的参数足以知足大多数知识检索和浅层推理的需求，但充分开释这些参数的全部潜力须要1000B量级的演习token。
作为验证，通过演习一个预测的打算最优模型Chinchilla来考验这个假设，该模型利用与Gopher利用相同的FLOTs，但具有70B个参数和4倍多的数据，终极在大量下贱评估任务中，Chinchilla表现显著优于Gopher，且其缩小的模型尺寸大大降落了推理本钱，并极大地促进了下贱在较小硬件上的利用
因此，优质大模型的演习，高质量的大数据集是必要条件。
目前紧张的数据获取渠道是公开的论坛，例如谷歌的LaMDA模型，在论文中表示其预演习数据50%对话数据来自公共论坛；12.5% C4数据；12.5%的代码文档来自与编程干系的网站；12.5%维基百科；6.25%英文网页文档；6.25%的非英语网络文档，数据集中的单词总数为 1.56T，而OpenAI利用了45T数据。
未来如何得到高质量的演习集始终是各家大厂的紧张竞争领域。
大模型演习对硬件的寻衅：算力、内存和通信
内存方面，大模型演习的内存可以大致理解为参数、优化器状态、激活、梯度四部分的和。它们大致分为两类：静态内存和动态内存。
参数、优化器状态较为固定，属于静态内存，激活和梯度等中间变量属于动态内存，是最紧张的内存占用缘故原由，动态内存常日是静态内存的数倍。
我们可以粗略的打算演习1750亿参数的GPT3所需内存，大约须要3.2TB以上。
静态内存方面，大多数Transformer都因此稠浊精度演习的，如FP16+FP32，以减少演习模型内存，则一个参数占2个字节，参数和优化器状态合计占用内存1635G。而动态内存，根据不同的批量大小、并行技能等结果相差较大，常日是静态内存的数倍。更简洁的估算方法，可以假设范例的LLM演习中，优化器状态、梯度和参数所需的内存为20N字节，个中N是模型参数数量，则1750亿参数的GPT3大概须要3.2TB内存。
推理所需内存则较小，假设以FP16存储，175B参数的GPT3推理大约须要内存327G，则对应4张80G A100，如果以FP32运算，则须要10张。
算力方面，根据OpenAI在2020年揭橥的论文，演习阶段算力需求是模型参数数量与演习数据集规模乘积的6倍：演习阶段算力需求=6×模型参数数量×演习集规模；推理阶段算力需求是模型参数数量与演习数据集规模乘积的2倍：推理阶段算力需求=2×模型参数数量×演习及规模。
演习阶段：考虑采取精度为32位的单精度浮点数数据进行演习和推理。以A100 PCle芯片为例（H100 PCle芯片同理），根据前述公式，GPT-3演习所需运算次数为：样本token数3000亿个6参数量1750亿个=31510^21FLOPs；考虑演习韶光哀求在30天完成（演习韶光为2592000秒），则对应GPT-3演习所需算力为121528TFLOPS；结合A100有效算力78TFLOPS，得到所需GPU数量为1558个，对应AI做事器为195台。
推理阶段：按谷歌逐日搜索量35亿次进行估计，假设每次访问提问4次，每次提问+回答需处理字数425字，均匀每个字转换为token比例为4/3，则逐日GPT-3需推理token数为79330亿个，则推理所需运算次数为476010^21FLOPs；考虑推理韶光以逐日为单位（推理韶光为86400秒），则对应GPT-3推理所需算力为5510^6TFLOPS；结合A100有效算力78TFLOPS，得到所需GPU数量为706315个，对应AI做事器为8.8万台。
因此，演习大模型一定须要采取分布式方案。不仅要知足算力的需求，还要办理上千块 GPU的分布式演习问题，须要考虑到上百台做事器之间的通信、拓扑、模型并行、流水并行等，这也是复现GPT-3 的核心难点，模型发布后一年也只有NVIDIA、微软等大厂成功复现，目前开源的GPT模型库就紧张是NVIDIA的Megatron-LM和微软的DeepSpeed。
终端支配具有必要性，轻量化技能优化模型超低时延的聪慧场景，终端支配具有必要性
云打算和边缘打算的紧张差异在于处理所在的位置。边缘打算，处理发生在网络边缘，更靠近数据源，而云打算，处理发生在数据中央。
边缘打算是指在尽可能靠近数据源或终真个地方捕获和处理数据。通过在数据源的物理位置附近放置做事器或其他硬件来处理数据，在本地完成处理而不是在云端或集中式数据中央，它能最大限度地减少延迟和数据传输本钱，许可实时反馈和决策。
边缘打算的历史可以追溯到上世纪90年代，当时内容分发网络 (CDN) 充当分布式数据中央。但CDN仅限于缓存图像和视频，而不是海量数据事情负载；
2000年旁边，智能设备的爆炸式增长给现有IT根本举动步伐带来了压力，诸如点对点(P2P)网络的发明减轻了这种压力，在这种网络中，打算机无需通过单独的集中式做事器打算机即可连接并共享资源；
10年代，大公司开始通过公共云向终端用户出租打算和数据存储资源；
2020年后，边缘打算领悟了CDN的低延迟能力、P2P网络去中央化平台以及云的可扩展性和弹性，共同构建了一个更高效、更有弹性和更可靠的打算框架。
目前，越来越多的场景将打算根本举动步伐更靠近传入数据源，让AI模型在云端演习，并支配在终端设备上。例如打算机视觉等高度数据密集型、低时延哀求类的任务，将AI模型支配在终真个上风包括：
1）更低的延迟：由于传感器和物联网设备产生的数据不再须要发送到集中式云进行处理，可以实现更快的相应，得到结果的韶光可能从几秒减少到几分之一秒。
2）减少带宽：当数据发送到云端时，它通过广域网传输，须要知足环球覆盖和高带宽，本钱较高。而边缘打算可以利用局域网处理数据，从而以更低的本钱得到更高的带宽。
3）数据安全：边缘打算许可组织将所有数据和打算保存在得当的位置，关键数据不须要跨系统传输，减少遭受网络安全攻击的风险。
4）保护用户隐私：人工智能可以剖析现实天下的信息，而无需将其暴露给人类，大大增加了任何必要剖析外面、声音、医学图像或任何其他个人信息的隐私安全。纵然部分数据是出于培训目的而上传，也可以将其匿名化以保护用户身份。
5）高可靠性：去中央化和离线功能使边缘AI更加稳定，不受网络访问限定，这是关键任务系统稳定运行的必要条件。
当边缘AI运用程序碰着它无法准确处理的数据时，它常日会将其上传到云端，以便AI算法可以重新演习并从中学习。
因此，模型在边缘运行的韶光越长，模型就会变得越准确，由于可以得到如此多的代价，企业正在迅速采取边缘打算。
Gartner预测，到2023年底，50%的大型企业将拥有记录在案的边缘打算计策，而2021年这一比例还不到5%。
缩减优化模型，支配终端设备
通过优化，预估模型算力本钱大约会降至原来的1/4，为模型的边缘支配供应技能根本，目前常见的优化方法有三类：
1）量化：量化是模型压缩的一种常用手段，核心思想是将模型参数从高精度转换为低精度，将多bit高精度的数（FP32、FP16等）量化为较少bit低精度的数值（INT8、INT4等），即从浮点到定点数的转换。量化方法可分为演习时量化（PTQ，post-training quantization)，这种量化办法须要重新演习来缓解量化带来的精度丢失；演习后量化（QAT，quantization-aware training)，在大模型场景上，更青睐于QAT，由于能够更好的担保性能。量化的上风包括减少内存占用，节省存储空间，降落功耗和占用面积，提升打算速率。
高通团队采取量化技能等，首次在安卓手机上支配Stable Diffusion，实现本地运营15秒出图，证明了百亿参数级大模型优化后可在终端本地运行的可能。
Stable Diffusion是一个从文本到图像的天生式AI模型，参数达到11亿，打算量是智好手机上运行的范例事情负载大小的10倍以上，紧张限于在云端运行。
高通技能团队利用高通AI软件栈（Qualcomm AI Stack）实行全栈AI优化，利用高通AI模型增效工具包(AIMET)对模型进行量化，Hugging Face的FP32version1-5开源模型开始，通过量化、编译和硬件加速进行优化，在搭载Snapdragon 8 Gen2移动平台的手机上运行，15秒内完成了推理，天生一张512x512像素的图像。
推理部分是在Hexagon处理器上完成的，通过让模型在专用AI硬件上高效运行，可花费更少的内存带宽来节省电量。
比较之下，在高通发布Demo视频之前，已经有开拓者展示了在搭载高通骁龙865的8G RAM索尼Xperia 5 II上运行Stable Diffusion，天生一张分辨率512x512的图像须要1个小时。
2）知识蒸馏（knowledge distillation）：是模型压缩的一种常用的方法，不同于剪枝和量化，知识蒸馏是通过构建一个轻量化的小模型，利用性能更好的大模型的监督信息，来演习这个小模型，以期达到更好的性能和精度。
最早是由Hinton在2015岁首年月次提出并运用在分类任务上面，这个大模型被称之为西席模型，小模型称之为学生模型。来自西席模型输出的监督信息称之为知识，而学生模型学习迁移来自西席模型的监督信息的过程称之为蒸馏。
在子模型场景当中，子模型是完全模型的子集，每个子模型能够独立的演习，学习到某个特定的特色空间的知识。某个设备的数据仅仅占了完全数据集的一部分；映射到特色空间也仅仅是一个区域；利用这个设备的数据集进行演习仅仅更新了完全模型的一部分。因此可以将模型的子集提取出来单独演习，末了整合实现高效的模型更新。
基于知识蒸馏技能，边缘设备除了大略的要求，也可以实现模型更新，反哺集中式数据中央的大模型。
联邦学习最早是谷歌在2017年4月提出的，可以让数据不离开设备的条件下进行机器学习，且适应性强，保护数据隐私，安全系数高。
机器学习模型在现实中的性能表现取决于用来演习它的数据具有多高的干系度，最好的数据便是每天利用的设备。
联邦学习会通过做事器发送一部分模型到终端手机，通过几分钟就可以完成演习，然后把演习成果传回做事器。
3）剪枝算法：过参数化紧张是指在演习阶段，在数学上须要进行大量的微分求解，去获取数据中的眇小变革，一旦完成迭代式的演习之后，网络模型推理的时候就不须要这么多参数。而剪枝算法正是基于过参数化理论提出的，核心思想是减少网络模型中参数量和打算量，同时只管即便担保模型的性能不受影响。
紧张是分为Drop Out和Drop Connect两种经典的剪枝算法：Drop Out：随机的将一些神经元的输出置零，称之为神经元剪枝；Drop Connect：随机将部分神经元间的连接Connect置零，使得权重连接矩阵变得稀疏。
“贾维斯”式智能管家，引领全新换机需求
大措辞模型有望成为繁芜AI系统的掌握中央和交互入口
大模型协作让“贾维斯”式智能管家更进一步。Jarvis全称Just A Rather Very Intelligent System，是漫威宇宙中钢铁侠的AI助手，不仅能完成智能家居管理，还能实时监控周围环境、与用户实时沟通、为用户打算最优策略等，这些强大的功能显然这不是一个单独的AI模型可以办理的。
微软亚洲研究院曾在Github上开源过一个叫做Jarvis的项目，该系统由LLM作为掌握器和许多来自HuggingFace Hub的AI模型作为协作实行者组成，该系统让LLM充当掌握器来管理现有的AI模型，利用措辞作为通用接口来调用外部模型，办理实际任务。
该系统的详细事情流程包括四个步骤：
1）任务方案，利用ChatGPT等大措辞模型剖析用户要求，理解用户意图，并将其拆解成可办理的任务；
2）模型选择，为理解决操持的任务，ChatGPT根据描述选择托管在Hugging Face上的AI模型；
3）任务实行，调用并实行每个选定的模型，并将结果返回给ChatGPT。
4）天生相应，末了利用ChatGPT整合所有模型的预测，天生Response。
未来，智能音箱、家用中控屏、乃至于手机、MR都有可能成为“贾维斯”式管家的交互入口，及时性、可靠性、隐私性或是算力角度，将作为模型协作掌握中央的大措辞模型支配到边缘设备上必要性越来越强。
2023年5月第三周，OpenAI向所有ChatGPT Plus用户推出Beta版本，有望成为“贾维斯”核心掌握中央，打造全新的流量入口和运用生态。
Beta版本ChatGPT支持联网和70多种第三方插件，覆盖购物、餐饮、旅行、景象、运算、翻译、剖析数据等多种功能。ChatGPT Plugin的发布为智能助理的涌现供应了条件，让措辞成为各大模型交互的通用接口。只管目前尚处于初期，效果不尽如人意，但通过人类措辞指挥ChatGPT帮自己与各种运用交互仍是令人愉快的考试测验。
随之而涌现的，则是用户和App供应方的担忧。App公司普遍担忧GPT4太过聪明，接入的App不仅害怕数据失落去独占上风，还担心GPT4通过推理洞悉尚未创造的业务。我们认为，出于数据资源所有权分配以及数据安全的担心将推动终端支配大模型的需求。
各家大厂对终端运行大模型的考试测验频频，2023年5月11日，Google在其第15届I/O开拓者大会上发布了PaLM2，比较PaLM 5400亿参数，它的算法经由优化，使得体积更小，但整体性能更好，打算效率更高，支持100多种措辞和20多种编程措辞，支持多模态的PaLM 2还能看懂和天生音视频内容。与ChatGPT比较，PaLM2上风在于相应速率更快。
谷歌表示，名为Gemini的下一代模型将是多模式的，具有打破性的功能，但它仍在接管培训，间隔发布还有几个月的韶光。
其余，PaLM2模型从小到大有4种版本：“壁虎” （Gecko）、“水獭”（Otter）、“野牛”（Bison）、“独角兽”（Unicorn），实现在不同等级的设备上支配。例如在智好手机上就可以运行规模比较小的Gecko模型，让移动端也能拥有大措辞模型。
Gecko模型可以在完备离线的情形下在智好手机上运行，它可以在旗舰手机上每秒处理20个token，大约是每秒16个单词。谷歌没有明确解释利用了什么硬件来测试，但提到是在“最新的手机上”运行，这证明了与大模型具备类似能力的轻量化版本可以实现本地化支配。
2023年5月19日，OpenAI在美国区iOS商城发布ChatGPT App，这是用户首次可以在搜索引擎或浏览器之外的移动设备上访问ChatGPT。
目前App可以免费利用，并可同步网页端历史信息。在其欢迎界面上，App提醒用户ChatGPT是有可能供应不准确的信息，并且建议用户不要供应敏感信息，由于匿名信息也可能会被OpenAI的演习员用来改进系统。
目前ChatGPT App仅支持iPhone8及更新的机型，支持iOS 16.1及更新的系统，切仅支持笔墨交互模式，不支持多模态的图片或视频输出，也不能调用摄像头，不支持联网、插件功能。ChatGPT移动真个推出也有望推动谷歌等其他大厂快速跟进，AI模型全面进入移动端创新阶段。
当前旗舰机款手机芯片仅可运行优化版十亿参数级大模型
上一代人工智能程度较低拉低交互体验，阻碍AIoT发展。2011年Apple推出Siri，使语音助手成为当时人工智能竞赛热门赛道，引发Google(Google Assistant)、Amazon(Alexa)、微软(Cortana)等科技巨子纷纭加码跟进，抢占AIoT掌握流量入口。
由于通过指挥掌握系统进行事情，上一代语音助理仅可以理解有限的问题和要求列表(包含在数据库中的单词列表)，如果用户哀求虚拟助手做一些代码中没有的事情，机器人会大略地说它无法供应帮助。由于智能化较低，环球语音助理、智能音箱及其他语音交互AIoT行业发展经由初期高速成长期后陷入沉寂。
以苹果手机的Siri为例，目前旗舰机型手机芯片能支持离线唤醒和语音识别。成功唤醒电子设备是实现人机语音交互的根本。
当设备处于待机状态时，须要识别用户输入的语音唤醒旗子暗记，如果识别成功则切换到事情状态。
目前常见的唤醒方法是通过预设的唤醒参数检测用户的语音输入，唤醒参数如唤醒门限、拾音方向、噪声抑制参数、放大增益等，参数的取值决定了电子设备唤醒率的高低。这常日由一个独立的小芯片，在本地实现。
检测关键词的探测器（Detector）不仅要永劫光待机且功耗要足够低到对电池寿命无显著影响，并最小化内存占用和处理器需求。
以iPhone的Siri为例，iPhone的Always on Processor（AOP）是一个小的、低功耗的赞助处理器，即嵌入式运动协处理器。AOP可以访问麦克风旗子暗记，并用自己有限的处理能力运行一个修剪版神经网络模型（DNN）。
当分数超过阈值时，运动协处理器唤醒主处理器，主处理器利用较大的DNN剖析旗子暗记。第一个检测器利用5层32个节点的隐蔽单元的DNN（AOP运行），第二个检测器利用5层192个节点的隐蔽单元DNN（主CPU）。
而在Apple Watch中，由于电池体积缩小、产品体积缩小，对功耗提出了新的需求，采取的是单通道检测，机器学习模型介于手机上的第一次和第二次检测之间，并仅在腕表运动协处理器检测到抬手手势时运行。如果语音内容超过了本地模型的理解范围，数据就会通报到Siri做事器，用更繁芜的模型识别。
iPhone6时期，Siri仅可以离线被“唤醒”，A12仿生芯片时期，Siri可以支持部分离线要求。
A11是苹果首次搭载神经网络引擎处理器单元（Neural Network Processing Unit NPU），但紧张是支持面部识别。2018年苹果推出的A12 Bionic，采取了台积电7nm工艺制程，苹果自研的Fusion架构，NPU从双核直接升级到八核，能够实现每秒5万亿次打算。
搭载A12仿生芯片的iPhoneXS首次支持Siri离线运行，在不联网的情形下，Siri可以实行拨打电话、打开特定运用、设置闹钟等要求，也可以实现语音输入等功能，但是无法相应预设内容以外的要求。
这解释10亿参数以下的RNN模型已经完备可以离线运行，但是繁芜要求无法实现。
目前具备运行优化模型能力的终端仅限头部品牌旗舰手机。
根据目前各家公司对付边缘端支配的情形推测，纵然经由量化、剪枝、蒸馏等办法优化大模型后，仍旧须要旗舰版的手机芯片可以勉强承载运行。
假设旗舰机型主处理器频率应在2.8GHz以上，或是价格在1000美金以上，根据IDC数据，1Q23环球手机销量中主处理器频率超过2.8GHz的占比36%，发卖价格在1000美金以上的手机销量占比13%。
随着AIGC赋能语音助理，AIoT交互体验升级有望引发终端换机需求。
AI助手在大措辞模型和算力加持下，自然措辞理解能力大幅提升，具备了实际生产力后，用户产生利用AI助手的需求，从而推动手机换机新周期。此外，智能音箱、全屋智能中控屏、VR/AR/MR等同样有望成为“贾维斯”的交互入口。
23年4月，脱口秀演员鸟鸟先容了自己的分身“鸟鸟分鸟”，这个数字分身为阿里演习出来的类ChatGPT语音助手，能够模拟她的音色、语气以及文本风格。
阿里展示了“鸟鸟分鸟”模型接入智能音箱利用效果，其智能语音交互功能得到颠覆式升级，谈天技能明显升级，AI有望真正实现对IoT赋能。
家当链干系公司
半导体：晶晨股份、瑞芯微、全志科技、北京君正、兆易创新；
消费电子：传音控股、立讯精密、歌尔股份、福立旺、闻泰科技、创维数字。
风险提示AI技能发展不及预期；边缘端芯片发展不及预期。
——————————————————
报告属于原作者，仅供学习！
如有侵权，请私信删除，感激！
报告来自【远瞻智库】
