主页 > 技术经验 > 正文

AMD发布 AI小语言模型:6900亿token、推测解码提速3.88倍

2024-10-01 16:58来源:快科技编辑:时寒峰

扫一扫

分享文章到微信

扫一扫

关注99科技网微信公众号

  原标题:AMD发布 AI小语言模型:6900亿token、推测解码提速3.88倍

  10月1日消息,AMD发布了自己的 小语言模型(SLM),名为“AMD-135M”。

  相比于越来越庞大的大语言模型(LLM),它体积小巧,更加灵活,更有针对性,非常适合私密性、专业性很强的企业部署。

  AMD-135小模型隶属于Llama家族,有两个版本:

AMD发布      AI小语言模型:6900亿token、推测解码提速3.88倍

  一是基础型“AMD-Llama-135M”,拥有多达6700亿个token,在八块Instinct MIM250 64GB加速器上训练了六天。

  二是延伸型“AMD-Llama-135M-code”,额外增加了专门针对编程的200亿个token,同样硬件训练了四天。

  创建与部署流程

  它使用了一种名为“推测解码”(speculative decoding)的方法,通过较小的草稿模型,在单次前向传播中生成多个候选token,然后发送给更大的、更 的目标模型,进行验证或纠正。

  这种方法可以同时生成多个token,不会影响性能,还可以降低内存占用,但因为数据交易更多,功耗也会增加。

  AMD还使用AMD-Llama-135M-code作为CodeLlama-7b的草案模型,测试了推测解码使用与否的性能。

  比如在MI250加速器上,性能可提升最多约2.8倍,锐龙AI CPU上可提升最多约3.88倍,锐龙AI NPU上可提升最多约2.98倍。

  推测解码

  AMD-135M小模型的训练代码、数据集等资源都已经开源,遵循Apache 2.0。

  按照AMD的说法,它的性能与其他开源小模型基本相当或略有领先,比如Hellaswag、SciQ、ARC-Easy等任务超过Llama-68M、LLama-160M,Hellaswag、WinoGrande、SciQ、MMLU、ARC-Easy等任务则基本类似GTP2-124MN、OPT-125M。

     投稿邮箱:jiujiukejiwang@163.com   详情访问99科技网:http://www.fun99.cn

相关推荐
微信朋友圈实况图片怎么发 微信朋友圈实况图片 微信朋友圈实况图片怎么发 微信朋友圈实况图片

原标题:微信朋友圈实况图片怎么发 微信朋友圈实况图片发布教程 微信派公众

技术经验2024-09-20

快手极速版发布的作品怎么删除 手把手教你删除 快手极速版发布的作品怎么删除 手把手教你删除

原标题:快手极速版发布的作品怎么删除手把手教你删除快手极速版作品 快手

技术经验2024-07-23

2022苹果春季发布会新品有什么 苹果春季发布会 2022苹果春季发布会新品有什么 苹果春季发布会

原标题:2022苹果春季发布会新品有什么 苹果春季发布会2022新品介绍 2022苹果春

技术经验2022-03-02

红米k50发布会时间 红米k50什么时候发布 红米k50发布会时间 红米k50什么时候发布

原标题:红米k50发布会时间 红米k50什么时候发布 红米k50发布会什么时候?202

技术经验2022-02-10

我国自主研制的首款内生安全交换芯片对外发布 我国自主研制的首款内生安全交换芯片对外发布

原标题:我国自主研制的首款内生安全交换芯片对外发布 从天津市滨海新区获

技术经验2021-12-18

全球      活体机器人现在可以“生娃”了 我们采 全球 活体机器人现在可以“生娃”了 我们采

原标题:全球 活体机器人现在可以生娃了 我们采访了TA的缔造者 一年前诞

技术经验2021-12-06

Microsoft Teams 中端到端加密推迟到 12 月发布 Microsoft Teams 中端到端加密推迟到 12 月发布

原标题:Microsoft Teams 中端到端加密推迟到 12 月发布 今年 3 月,微软宣布即将在

技术经验2021-11-21

发布 14 年 微软终结「亲儿子」技术:曾是 Flas 发布 14 年 微软终结「亲儿子」技术:曾是 Flas

原标题:发布 14 年 微软终结「亲儿子」技术:曾是 Flash 最大对手 Flash 当年很

技术经验2021-09-15

发布新产品进入数据安全市场,「瑞数信息」完 发布新产品进入数据安全市场,「瑞数信息」完

原标题:发布新产品进入数据安全市场,「瑞数信息」完成 3 亿元 C2 轮融资 获

技术经验2021-09-10

Linux 5.14稳定版可能于下周末发布 Linux 5.14稳定版可能于下周末发布

原标题:Linux 5.14稳定版可能于下周末发布 Linux 5.14周期正在顺利进行,很可能

技术经验2021-08-23