比来，科技领域最热门的话题莫过于小模型的崛起，前有OAI带着GPT-4M首次试水小模型领域，后有MAI和HF相继发布自家的小模型产品，科技巨子们仿佛在一夜之间达成了某种共识：小模型，未来可期，这不，一向在AI领域保持低调的苹果也按捺不住了，发布了70亿参数的小模型DCLM，性能表现直接碾压了M-7B，为这场小模型之战再添一把火
DCLM的发布可谓是“诚意满满”，不仅开源了模型权重和演习代码，还采取了开放数据集DCLM-B，这种做法在如今科技巨子们纷纭“藏着掖着”的氛围下显得尤难堪得，难怪网友们纷纭点赞苹果的“开源精神”
DCLM系列包含70亿和14亿两种参数规模，个中70亿参数的版本在性能上已经超越了M-7B，直逼L3和G，苹果ML小组研究科学家VS（同时也是DCLM研发职员）表示，DCLM是目前性能最好的“真正开源”模型，其开源程度之高，令人惊叹
目前，DCLM的全部模型权重已在HF上发布，模型卡信息也已基本完善，DCLM-7B采取了-架构，利用PT和OLM框架进行预演习，高下文长度为2048，虽然小于M7B和G29B的8长度，但其性能却不容小觑
为了更直不雅观地展示DCLM的性能，研究职员直策应用了评估套件LLMF，测试了模型在53个基准任务上的分数，并自定义了“核心准确率”（）和“扩展准确率”（）两个指标，分别代表模型在22个核心任务和全部53个任务上的均匀准确率
测试结果显示，DCLM在与其他同等大小的开放数据模型（同时开源权重和数据集）比较，在三个指标上的表现均名列前茅，与之前的SOTAMAP-N模型比较，DCLM-7B在5-的MMLU任务准确率上提升了66个百分点，达到了惊人的637%，而演习所需的打算量却减少了40%
如果与那些只开源权重、不公开数据集的“伪开源”模型比较，DCLM的性能还有待提升，DCLM在各个指标上与P-3都存在一定差距，与M-7B-03或G8B的分数基本持平
研究职员创造，如果利用同一数据集中额外的100B数据进行演习，并将高下文长度扩展到8，DCLM在核心和扩展基准上的分数还会进一步提升，乃至超过了M7B-03
除了70亿参数的版本，DCLM还发布了14亿参数的版本，其演习数据量不降反增，达到了26T，与HF最近发布的SLM比较，DCLM-1B的性能明显更胜一筹，尤其是在5-MMLU分数上，比SLM赶过了119%，不仅如此，DCLM-1B在MMLU上取得的419分也超过了Q-15B的3787分和P-15B的3590分
值得把稳的是，DCLM-7B模型只能在A的示例代码容许（ASCL）下利用，而DCLM-1B版本则采取了A20容许，许可商业利用、分发和修正
DCLM系列模型的成功离不开其背后的强大支撑——DC基准，DC这篇论文详细阐述了数据集的构建过程，并透露了部分DCLM模型的干系信息，DC的思路独辟路子，它并没有像传统方法那样在同一数据集上不断修正模型，而是反其道而行之，固定模型，转而探求最优的数据
这种做法与科技巨子们的研发思路不谋而合：对付LLM的性能而言，预演习数据的主要性正在超越模型架构和权重，毕竟，L、G、P等一系列“开源”模型都只开放了权重，而没有公开数据
近年来，AI社区刮起了一阵“小模型”之风，微软P系列模型不断迭代，谷歌在6月末更新了G27B，OAI、MAI、HF等公司也纷纭发布了自己的小模型产品
小模型的上风在于本钱低、速率快、更专业，它们常日利用少量数据进行演习，并针对特界说务进行设计
OAI研究员曾表示：“虽然我们比任何人都更喜好演习大模型，但OAI也知道如何演习小模型”
特斯拉AI卖力人AK也认为，模型尺寸的竞争将会“反向加剧”，未来比拼的不是谁的模型更大，而是谁的模型更小更轻巧
现阶段的LLM之以是发展成“巨兽”，是由于演习过程效率低下，我们险些是在哀求模型记住全体互联网的内容
而对付小模型来说，演习目标已经发生了改变，关键问题在于，AI系统如何从更少的数据中学到更多
我们须要模型先变大，再变小，我们须要“巨兽”将数据重构、塑造为空想的合成形式，逐步形成“完美的演习集”，然后再将其“喂”给小模型
这种“先大后小”的模型改进思路也得到了马斯克的认可，而特斯拉也正是沿着这条路径发展
OAICEOSA早在2023年4月就宣告了AI大模型时期的闭幕，在最近的一次采访中，他还强调了数据质量对付AI演习的主要性
微软研究职员在开拓P模型时也提出了类似的假设，HF的AI研究职员最近也证明了这一假设，并发布了一个高质量的演习数据集
以GPT-4为例，开拓和利用这个拥有超过一万亿参数的模型的本钱超过了1亿美元
而小模型，例如专门针对法律数据集进行演习的模型，可能只须要不到1000万美元的本钱，就能利用不到100亿个参数，并利用更少的算力来相应每个查询
微软CEO纳德拉曾表示，P系列模型的规模仅为OAI免费模型的百分之一，但在许多任务上的表现险些同样出色
除了微软，谷歌以及AI初创公司M、A、C今年也发布了规模较小的模型
苹果在今年6月的WWDC大会上公布了其AI发展路线图，操持利用小型模型，以便完备在手机上运行软件，使其更快、更安全
对付许多任务，例如总结文档或天生图像，大模型可能有些大材小用
T开山之作的作者之一IP曾表示，“打算2+2不应该须要进行数千万亿次运算”
科技巨子们并没有放弃大模型，苹果在今年的WWDC大会上宣告，将在S助手中集成CGPT，以实行撰写电子邮件等繁芜任务
毕竟，通往终极AGI/ASI的道路上，参数规模的扩大和智能的增长是成正比的
对付小模型的未来，你怎么看？欢迎在评论区留言分享你的不雅观点
本文旨在倡导社会正能量，无涉及低俗等不良勾引。如有版权或人物侵权问题，请及时联系我们，我们将第一韶光删除内容。如有事宜存疑部分，联系后即刻删除或作出变动。\r
