黑客将越狱PS5改造成AI服务器:可在本地运行Qwen、Llama等大模型

导语
黑客把越狱PS5改成AI服务器,本地跑Qwen、Llama等大模型!16GB内存硬扛54GB模型,生成速度实测20.9 token/秒,闲置主机秒变AI神器。

越狱后的PS5除了安装盗版游戏,还能用来干什么?有玩家给出了一个意想不到的答案——把它变成一台本地AI服务器。

据外媒GRY-Online报道,在Reddit的PS5破解社区,有用户展示了如何利用破解后的PS5运行本地AI模型,无需联网即可调用Qwen、Llama、Mistral和Gemma等模型。最初的项目只能调用6GB内存,另一位用户借助Vulkan API将llama.cpp移植为原生应用,把可用显存池提升到了11.4GB。

PS5采用16GB统一内存,由GPU与CPU共享,这与高端显卡独立显存的机制不同,却意外适合跑大模型——同等算力需求的模型通常需要RTX 5090这类32GB显存的昂贵显卡。通过2-bit量化压缩,成功在PS5上运行了16位精度下需要54GB显存的Qwen 27B模型,压缩后仅占6.8GB。

实测结果显示,这台“AI服务器”在GPU满载下生成速度为每秒20.9个token;换成更小的Llama 3.2 3B模型,速度可达每秒124个token。对硬件爱好者来说,也算是给了闲置游戏机一个新用途。

【来源:游民星空】

尊敬的用户也许你已经注意到了我们文章页面进行了大规模的改造和重构,可以点击提交您的满意度或者想法我们会持续改进,给您提供更好的浏览体验! 一键参与
17173APP

扫描下载APP

游戏礼包一键领取

17173微信公众号

扫描关注公众号

每天更新