17173首页 游戏资讯 科技新闻 正文

美团LongCat-2.5模型正式开源:1.6万亿参数 支持国产算力部署

导语
美团LongCat-2.5正式开源!1.6万亿参数、MIT协议可商用,支持100万上下文与国产算力部署,原生多模态长程智能体能力升级,速看详情。

11月9日消息,美团今天官宣开源LongCat-2.5,采用MIT协议,支持商用推理部署与二次训练且无需额外授权,定位是面向长程智能体任务的原生多模态模型。

规模上总参数1.6万亿,每个token激活约480亿参数,支持100万上下文,官方称其在复杂代码库开发、完整项目构建、Visual Coding与专业办公场景的端到端交付能力都有明显提升。=

长程能力的提升来自整条训练链路而不是单点改动,数据侧加入更多长程轨迹,并把真实Agent的失败轨迹转成可复现、可验证的训练任务。

强化学习侧采用partial rollout异步训练,让没跑完的长任务保存后续再跑,过采样率按通过率动态调整以过滤全对全错的样本组,同时对跨checkpoint的旧轨迹做梯度校正,降低陈旧偏差。

训练时任务环境会断网、清除git历史与文件缓存,由LLM judge监督轨迹,并对重复思考、重复工具调用与过度思考施加约束,目的是让模型专注完成任务而不是钻空子。

视觉方面没有外挂独立模块,而是把视觉信号表示为多层级离散token,对原生分辨率特征做残差向量量化逐级补足细节,视觉码本与主干联合训练,视觉与文本共享同一套参数、在同一语义空间里协同完成理解与代码生成。

推理采用W4A4方案,专家权重与激活同时量化到4bit,通过原生INT4矩阵乘法单元执行计算,官方称已评测的下游任务表现与量化前保持相当。

针对显存与带宽受限的国产算力做了协同优化,在单卡显存不足80GB的环境下用分片把压力分散到超节点内多卡,配合混合词表并行、MoonEP动态专家复制与零拷贝通信,长序列SFT的单卡吞吐量较DDP基线提升86%。

【来源:快科技】

尊敬的用户也许你已经注意到了我们文章页面进行了大规模的改造和重构,可以点击提交您的满意度或者想法我们会持续改进,给您提供更好的浏览体验! 一键参与
17173APP

扫描下载APP

游戏礼包一键领取

17173微信公众号

扫描关注公众号

每天更新