当前位置:首页 > Deepseek最新资讯 > 正文内容

全面适配!京东云将DeepSeek推理场景性能提升50%

2周前 (03-03)Deepseek最新资讯57

央广网北京3月3日消息 在DeepSeek为期五天的“开源周”中,其连续开源的五大核心技术(FlashMLA、DeepEP、DeepGEMM、DualPipe & EPLB、3FS文件系统),惊艳全球。

京东云率先宣布完成对这五项技术的全栈适配,在模型推理效率、算力资源利用率及数据管理等领域实现突破性优化,综合Flash MLA、DeepEP、FP8 GEMM、DualPipe四方面的调优,在DeepSeek推理场景下性能提升50%。

全面适配五大技术,DeepSeek推理场景性能提升50%

作为DeepSeek开源首日的重磅技术,Flash MLA通过动态调度GPU的显存与算力资源,解决了传统方法处理变长序列时的资源浪费问题。

京东vGPU AI算力平台通过支持Flash MLA的FP8格式来提升推理性能,使单Token的 KV Cache显存占用相比Multi-head Attention降低57倍,配合最新的投机推理技术,以极低的显存需求,在高并发请求场景下保证了推理的吞吐量和延迟表现。

此外,针对用于DeepSeek开源的通信库DeepEP,京东云vGPU AI算力平台已全面支持EP模式下的分布式推理,显著提高推理吞吐。通过整合DeepEP作为通信后端,针对机内通信使用NVLink传输数据,机间通信使用NVSHMEM接口走RDMA网络,同时通过灵活的GPU SM数量利用控制,增大GPU算力资源利用率以及减少对计算算子的性能串。

更低成本更高效率,让大模型真正用起来

针对客户大模型的使用需求,京东云vGPU AI算力平台,为用户提供更高推理性能、更多国产芯片适配、更多高数据安全的大模型服务,让大模型真正用起来。

在推理性能方面,针对DeepSeek大模型技术特点,京东云通过推理加速与内核驱动级优化,提升单台服务器推理性能50%。

在国产芯片适配方面,京东云已完成从底层算力到大模型和业务应用的全面国产化适配,包括十余家国产化AI算力,确保自主可控。

在数据安全方面,通过机密容器AI全场景密态计算和先进的容器隔离技术,确保模型数据的机密性与完整性,为用户提供金融级安全防护。

目前,在河南鹤壁、江苏宿迁、山东滨州、广西北海、山西大同,京东云已经助力多地政府基于现有基础设施本地化部署DeepSeek,既满足本地政务业务,又让当地企业不用投入资源,即可通过政务云调用DeepSeek。


标签: DeepSeek

“全面适配!京东云将DeepSeek推理场景性能提升50%” 的相关文章

辽宁12345正式接入DeepSeek

辽宁12345正式接入DeepSeek

近日,辽宁12345热线平台系统已正式接入DeepSeek,通过双引擎智能驱动架构,形成“前端智能交互—中台智能治理—后台智能分析”的闭环管理体系。据了解,辽宁12345热线平台系统在接入DeepSe...

关于DeepSeek的常见误区与真相

关于DeepSeek的常见误区与真相

最近,DeepSeek火得有点不讲道理。从我的朋友圈到国外媒体,从华尔街到硅谷,几乎所有人都在热议这个中国AI新秀。560万美元训练成本、开源大模型、链式推理能力、股市动荡...故事真是越讲越玄乎,热...

借力DeepSeek 银行业智能化变革提速

借力DeepSeek 银行业智能化变革提速

记者日前从工商银行了解到,该行在同业率先完成DeepSeek最新开源大模型的私有化部署,并将其接入行内“工银智涌”大模型矩阵体系,推动金融业务场景的智能化升级。据介绍,工商银行以“企业级AI普惠赋能+...

聚焦DeepSeek 推动不动产登记智能化、便捷化

聚焦DeepSeek 推动不动产登记智能化、便捷化

“针对性很强,也很实用!”3月13日上午,在南阳市不动产登记服务中心,一场“DeepSeek政务实践”大讲堂活动,让全体干部职工收获满满。温斌,是行业资深专家、南阳市政务大数据中心总工程师,此次受邀为...

巨大人才缺口!DeepSeek带火AI岗,“六小龙”全球高薪招贤

巨大人才缺口!DeepSeek带火AI岗,“六小龙”全球高薪招贤

(央视财经《经济半小时》)2025年春节,中国人工智能大模型DeepSeek在全球引发轰动。DeepSeek的崛起也让相关领域的人才在这个春招季炙手可热。春招首周,人工智能工程师的求职增速位居职业榜首...

新国都子公司上海拾贰区信息技术公司相关产品已接入DeepSeek大模型

新国都子公司上海拾贰区信息技术公司相关产品已接入DeepSeek大模型

新国都子公司上海拾贰区信息技术公司相关产品已接入DeepSeek大模型每经AI快讯,新国都2月25日在互动平台表示,DeepSeek为开源大模型,各家厂商均可根据自身需求对其进行模型的适配与本地化部署...