当前位置:首页 > Deepseek最新资讯 > 正文内容

国产万亿参数模型开源,FP8训练,性能超DeepSeek V3.1

  的使用FP8训练的基座模型。通过“中训练+后训练”的演进式思维链(Evo-CoT)技术,该模型的高效推理能力得到有效提升。

  在AIME 25基准测试中,Ling-1T拓展了推理精度与推理长度的帕累托边界,展示了其在“高效思考与精准推理”方面的优势。

  Ling-1T结合了深度语义理解与精准代码合成,在视觉推理与前端代码生成任务中表现较好。研究团队引入混合语法-功能-美学奖励机制,使模型不仅能生成正确且功能完整的代码,还展现出精致的视觉美感。

  在AI代码生成评测标准ArtifactsBench上,Ling-1T在开源模型中排名第一,且本文中的基准可视化内容实际均由Ling-1T自身生成。在BFCL V3工具使用基准测试中,Ling-1T仅通过轻度指令微调即实现约70%的工具调用准确率,尽管训练期间未接触大规模轨迹数据。

  Ling-1T能够解析复杂自然语言指令,将抽象逻辑转化为功能化视觉组件,还能生成跨平台兼容的前端代码,以及生成创作风格受控的营销文案与多语种文本,这些能力构成了通用协作人机智能的基础。

  例如,让Ling-1T开发一个展示《三体》主要人物关系及阵营的图谱页面,并提供详细的视觉效果要求(配色、风格、鼠标悬停效果等)。

  让Ling-1T根据要求开发Crane云平台网页,其完整实现了用户登录、数据仪表盘、客户管理、设备管理等功能。

  再比如,Ling-1T 开发的“在线塔罗牌运势预测”页面,完整实现了首页、占卜流程、运势报告、塔罗数据库、用户评价、塔罗知识小贴士等产品功能。

  还可以要求Ling-1T开发一个展示其自身不同写作风格能力的应用,包括前端页面和后端服务调用脚本。

  Ling-1T可以根据提示词要求,对六种常见的优化问题(线性规划、旅行商问题、车辆路径问题、作业调度、最大流求解、交互式数独)进行求解并同时用pygame生成教学演示动画。

  更日常一些,Ling-1T能够根据给定信息和要求(酒店、目的地坐标,步行为主,停留时长等)进行上海一日游行程规划,并开发页面,利用mapbox地图引擎展示整个行程。

  Ling 2.0架构基于Ling缩放定律指导,确保了即使在1e25–1e26 FLOPs计算量下仍保持架构与超参数的可扩展性。

  Ling-1T全程采用FP8混合精度训练,是目前已知规模最大的使用FP8训练的基座模型。FP8混合精度训练可以实现15%以上的端到端加速,提升内存效率,并在1万亿token训练中保持与BF16精度损失偏差≤0.1%。

  由于Ling 2.0的层间异构架构容易导致流水线负载不均,研究团队将interleaved 1F1B pipeline改进为异构细粒度pipeline,实现了更精细的流水线编排与更低的空泡率,带来超过40%的端到端加速。

  此外,研究团队还在算子融合、通信优化、重计算、Checkpoint 存储、仿真训练与细粒度监控等方面进行了系统性优化。其研究团队透露,其中大量设计思路和技术方案源自开源社区。

  训练阶段,Ling-1T使用了超过20万亿个高质量token,研究团队在第二阶段(后10T token)的预训练中引入了高推理密度语料,使整个预训练过程中推理相关语料的占比超过40%。

  在中训练(Mid-training)阶段,研究团队进一步加入了高质量的思维链推理语料,这一策略能够有效实现模型推理能力的 “预激活”deepseek,为后训练阶段提供更高的推理上限和更稳定的思维基础。

  基于训练中期的推理激活基础,Ling-1T的后训练阶段采用进化思维链(Evo-CoT)方法,在可控成本下实现渐进式推理增强。该技术持续拓展推理精度与效率的帕累托边界,特别适合反射式非思考模型。

  强化学习方面,研究团队提出LPO,即语言学单元策略优化,是一种创新的句子级策略优化方法。研究团队认为,对于推理任务而言,句子是更符合语义逻辑的动作单元。

  与GRPO(token级)或GSPO(序列级)算法不同,LPO以句子为自然语义动作单元,实现奖励信号与推理行为的精准对齐。实证表明,LPO在推理任务中具有更优的训练稳定性与泛化能力。

  蚂蚁集团通过开源Ling-1T,为开源社区带来了首个万亿参数级别的旗舰非思考模型。凭借Evo-CoT演进式思维链、LPO句子级强化学习等创新技术,Ling-1T在保持高效能的同时,实现了与闭源顶级模型相媲美的复杂推理能力。

  从应用前景看,Ling-1T在前端代码生成、视觉理解等场景展示的实用能力,以及仅通过轻度指令微调就能实现约70%工具调用准确率的表现,使其在自动化开发、智能编程助手等场景具有应用落地潜能。原文出处:国产万亿参数模型开源,FP8训练,性能超DeepSeek V3.1,感谢原作者,侵权必删!

标签: deepseek

“国产万亿参数模型开源,FP8训练,性能超DeepSeek V3.1” 的相关文章

【华西计算机】0930 DeepSeek-V3.2-Exp模型正式发布并开源

【华西计算机】0930 DeepSeek-V3.2-Exp模型正式发布并开源

  架构,这种架构能够有效降低计算资源消耗并提升模型推理效率。目前,该模型已正式上架华为云大模型即服务平台   蚂蚁集团推出开源自研的首个万亿参数大模型Ring-1T-p...

百度计划8月底前发布AI推理新模型,未来几个月推出文心5.0,使其与DeepSe

百度计划8月底前发布AI推理新模型,未来几个月推出文心5.0,使其与DeepSe

  ,该模型能够处理更复杂的任务,以在与 DeepSeek 和 OpenAI 等公司的竞争中占据一席之地。   报道还称,百度还计划在未来几个月推出其核心基础模型的更新版...

Deepseek推荐全国旅游百强区第28名:贵州六盘水市钟山区

Deepseek推荐全国旅游百强区第28名:贵州六盘水市钟山区

  日前,全国县镇发展研究课题组、天和经济研究所县镇发展研究院联合发布了2024《全国县镇发展报告》,报告评价篇对全国县市以及包含乡村人口的市辖区旅游发展水平进行了综合评价,并发布了天和2...

DeepSeek预测:布莱顿vs曼城!哈兰德能否轰爆海鸥防线?预测3-1蓝月军团

DeepSeek预测:布莱顿vs曼城!哈兰德能否轰爆海鸥防线?预测3-1蓝月军团

  英超第3轮即将上演一场看似悬殊的对决——排名18的布莱顿主场迎战第6的曼城。但翻开历史交锋,海鸥军团近5次面对蓝月亮竟取得2胜2平1负!上赛季更是客场2-2逼平曼城,主场2-1爆冷取胜...

DeepSeek预测:法兰克福vs拜仁慕尼黑!凯恩10球屠杀or尤尊5球逆袭?

DeepSeek预测:法兰克福vs拜仁慕尼黑!凯恩10球屠杀or尤尊5球逆袭?

  德甲第6轮焦点战即将打响!拜仁慕尼黑带着赛季全胜战绩(5场22球)客场挑战近期状态飘忽的法兰克福(2胜3负)。凯恩以10球领跑射手榜,而法兰克福的土耳其中场尤尊以5球3助攻成为最大惊喜...

前首富陈天桥AGI豪赌:高薪挖角清华大牛,剑指下一个Deepseek?

前首富陈天桥AGI豪赌:高薪挖角清华大牛,剑指下一个Deepseek?

  最新消息显示,清华电子工程系副教授、AI青年大牛代季峰,已经从清华辞职,加盟陈天桥旗下盛大,领衔筹备一家AGI创业公司。   与此同时,他早年斥资10亿美元创办的天桥...