AMD发布首个AI小语言模型：6900亿token amd ai芯片
时间：2024-10-03人气：作者：佚名
AMD发布了自己的首个小语言模型(SLM)，名为“AMD-135M”。
相比于越来越庞大的大语言模型(LLM)，它体积小巧，更加灵活，更有针对性，非常适合私密性、专业性很强的企业部署。
AMD-135小模型隶属于Llama家族，有两个版本：
一是基础型“AMD-Llama-135M”，拥有多达6700亿个token，在八块Instinct MIM250 64GB加速器上训练了六天。
二是延伸型“AMD-Llama-135M-code”，额外增加了专门针对编程的200亿个token，同样硬件训练了四天。
它使用了一种名为“推测解码”(speculative decoding)的方法，通过较小的草稿模型，在单次前向传播中生成多个候选token，然后发送给更大的、更精确的目标模型，进行验证或纠正。
这种方法可以同时生成多个token，不会影响性能，还可以降低内存占用，但因为数据交易更多，功耗也会增加。
AMD还使用AMD-Llama-135M-code作为CodeLlama-7b的草案模型，测试了推测解码使用与否的性能。
比如在MI250加速器上，性能可提升最多约2.8倍，锐龙AI CPU上可提升最多约3.88倍，锐龙AI NPU上可提升最多约2.98倍。
AMD-135M小模型的训练代码、数据集等资源都已经开源，遵循Apache 2.0。
按照AMD的说法，它的性能与其他开源小模型基本相当或略有领先，比如Hellaswag、SciQ、ARC-Easy等任务超过Llama-68M、LLama-160M，Hellaswag、WinoGrande、SciQ、MMLU、ARC-Easy等任务则基本类似GTP2-124MN、OPT-125M。
最新文章
1、iphone定位是gps。2、GPS是英文Global Positioning System（全球定位系统）的简称。GPS起始于1958年美国军方的一个项目，1964年投入使用。20世纪70年代，美国陆海空三军联合研
(1)人喜欢2024-09-30
越狱版IOS5.0的五笔输入法安装方法 很多朋友在找5.0可以用的五笔输入法，可惜第三方的都没有出来，综合网上的其他方法，我找到一个简单的方法以，共大家参考。
(2)人喜欢2024-09-30
ios5.0.1升级5.1设置右上角一直出现1问题的解决方法 对于手持5.01固件设备的同学。近几天手机上应该都会收到官方的提示升级了。而很大一部分因为各种原因
(2)人喜欢2024-09-30
1、北斗导航苹果版：苹果手机不支持，作为国产卫星定位系统的北斗导航系统，是由三部分组成，卫星、地面控制站和用户接收机。从目前苹果手机的参数页面来看，苹果手机不支持国产北斗导航系统，却支持比北斗差的日本导航系统，和欧洲伽利
(2)人喜欢2024-09-29
AMD发布首个AI小语言模型：6900亿token
(0)人喜欢2024-10-03-
1、iphone定位是gps。2、GPS是英文Global Positioning System（全球定位系统）的简称。GPS起始于1958年美国军方的一个项目，1964年投入使用。20世纪70年代，美国陆海空三军联合研
(1)人喜欢2024-09-30 -
越狱版IOS5.0的五笔输入法安装方法 很多朋友在找5.0可以用的五笔输入法，可惜第三方的都没有出来，综合网上的其他方法，我找到一个简单的方法以，共大家参考。
(2)人喜欢2024-09-30 -
ios5.0.1升级5.1设置右上角一直出现1问题的解决方法 对于手持5.01固件设备的同学。近几天手机上应该都会收到官方的提示升级了。而很大一部分因为各种原因
(2)人喜欢2024-09-30
