17173首页 游戏资讯 科技新闻 正文

最高1557 TOPS!AMD RDNA 4架构算力暴增4倍:本地跑大模型不卡了

导语
AMD RDNA 4架构AI算力暴增4倍,最高1557 TOPS!Radeon RX 9000系列显卡本地跑大模型不卡顿,支持ROCm、PyTorch等生态,AI创作与推理新标杆。

AMD近日公布RDNA 4架构在AI算力上的核心数据:与上一代RDNA 3相比,AI计算能力达到原来的4倍以上,每个计算单元配备2个AI加速器,支持FP8、INT8等新数据类型及稀疏性加速,Radeon RX 9000系列显卡最高算力达1557 TOPS。

这一算力提升直接改善了本地大模型推理体验,让Radeon显卡在运行本地AI模型时更流畅,告别卡顿。

架构落到产品上,就是Radeon RX 9000系列显卡。该系列GPU最多配备16GB GDDR6显存,其中RX 9070配16GB显存,定位AI加速入门级产品;工作站端的Radeon AI PRO R9700将显存做到32GB,可容纳更大的模型权重,面向高级AI工作流。

软件生态是AI落地的关键。AMD明确Radeon显卡可通过编程支持Microsoft DirectML等主流机器学习框架,部分Radeon显卡还支持AMD ROCm开放式软件平台。

AMD已发布ROCm 6.0,扩大对客户端机器学习开发的硬件与软件支持;此前ROCm 5.7已与PyTorch配合,为Radeon RX 7900 XT、RX 7900 XTX和Radeon PRO W7900 GPU提供支持。

这些软件栈让本地推理有了现成路径。借助锐龙AI PC或Radeon 7000系列显卡,可在本地运行基于GPT LLM的专属AI聊天机器人实例。AMD Software内也加入了AMD Chat等AI功能,并提供AMD噪音抑制,用于智能背景噪音消除。

本地推理之外,应用生态覆盖内容创作和生成式AI两条线。创作侧兼容Adobe Photoshop、DaVinci Resolve、Blender;生成式视觉应用包括Automatic1111和Stable Diffusion WebUI-DirectML。

文本生成方面也有成熟工具。LM Studio定位为安装方便、全面加速的离线应用;OLLAMA则针对AMD Radeon做了优化,可高效运行Llama 2。

【来源:快科技】

尊敬的用户也许你已经注意到了我们文章页面进行了大规模的改造和重构,可以点击提交您的满意度或者想法我们会持续改进,给您提供更好的浏览体验! 一键参与
17173APP

扫描下载APP

游戏礼包一键领取

17173微信公众号

扫描关注公众号

每天更新