然而,苹果在其论文中表示,其27.3亿个参数的苹果基金会模型(AFM)依赖于常日由Alphabet Inc .的谷歌供应的v4和v5p张量处理单元(TPU)云集群。
苹果本日早些时候发布的研究报告涵盖了其演习根本举动步伐和人工智能模型的其他细节,这些模型将支持今年早些时候在WWDC上宣告的功能。苹果宣告了设备上的人工智能处理和云处理,这些人工智能功能的核心是被称为AFM的苹果基金会模型。
对付做事器上的AFM,即为云人工智能功能供应动力的模型苹果云打算,苹果公司表示,它在“8192 TPUv4芯片”上“从零开始”演习了6.3万亿的代币人工智能模型。谷歌的TPUv4芯片每个芯片有4096个。
苹果补充说,AFM模型(设备和云)是在tpu4芯片和v5p云TPU集群上演习的。v5p是谷歌云人工智能“超级打算机”的一部分,于去年12月发布。
每个v5p模块由8960个芯片组成,据谷歌称,它供应的浮点运算速率是TPU v4的两倍,内存是TPU v4的三倍,演习模型的速率险些是TPU v4的三倍。
对付用于书写和图像选择等功能的设备上人工智能模型,苹果利用了一个64亿美元的参数模型,该模型“利用与afm做事器相同的配方从头开始演习”。苹果在AFM做事器型号上也选择了依赖于较老的v4 TPU芯片。如上所述,它利用8092 v4 TPU芯片,但对付设备AFM模型,该公司选择依赖于较新的芯片。根据苹果公司的说法,这个模型是在2048个TPU v5p芯片上演习的。
论文等分享的其他细节包括评估模型的有害相应、敏感话题、事实精确性、数学表现和人类对模型输出的满意度。根据苹果公司的说法,AFM做事器和设备型号在抑制有害输出方面领先于同行。
例如,苹果的数据显示,AFM做事器与OpenAI的GPT-4比较,有害输出违规率为6.3%,明显低于GPT-4的28.8%。同样,在设备上,AFM的违规率为7.5%,低于lama-3- 8b(由Facebook的母公司Meta演习)的21.8%。
对付电子邮件、和关照择要,设备上的AFM满意度分别为71.3%、63%和74.9%。研究论文分享说,这些导致了Llama, Gemma和Phi-3模型。