当前位置:首页 > Deepseek最新资讯 > 正文内容

全面适配!京东云将DeepSeek推理场景性能提升50%

2周前 (03-03)Deepseek最新资讯58

央广网北京3月3日消息 在DeepSeek为期五天的“开源周”中,其连续开源的五大核心技术(FlashMLA、DeepEP、DeepGEMM、DualPipe & EPLB、3FS文件系统),惊艳全球。

京东云率先宣布完成对这五项技术的全栈适配,在模型推理效率、算力资源利用率及数据管理等领域实现突破性优化,综合Flash MLA、DeepEP、FP8 GEMM、DualPipe四方面的调优,在DeepSeek推理场景下性能提升50%。

全面适配五大技术,DeepSeek推理场景性能提升50%

作为DeepSeek开源首日的重磅技术,Flash MLA通过动态调度GPU的显存与算力资源,解决了传统方法处理变长序列时的资源浪费问题。

京东vGPU AI算力平台通过支持Flash MLA的FP8格式来提升推理性能,使单Token的 KV Cache显存占用相比Multi-head Attention降低57倍,配合最新的投机推理技术,以极低的显存需求,在高并发请求场景下保证了推理的吞吐量和延迟表现。

此外,针对用于DeepSeek开源的通信库DeepEP,京东云vGPU AI算力平台已全面支持EP模式下的分布式推理,显著提高推理吞吐。通过整合DeepEP作为通信后端,针对机内通信使用NVLink传输数据,机间通信使用NVSHMEM接口走RDMA网络,同时通过灵活的GPU SM数量利用控制,增大GPU算力资源利用率以及减少对计算算子的性能串。

更低成本更高效率,让大模型真正用起来

针对客户大模型的使用需求,京东云vGPU AI算力平台,为用户提供更高推理性能、更多国产芯片适配、更多高数据安全的大模型服务,让大模型真正用起来。

在推理性能方面,针对DeepSeek大模型技术特点,京东云通过推理加速与内核驱动级优化,提升单台服务器推理性能50%。

在国产芯片适配方面,京东云已完成从底层算力到大模型和业务应用的全面国产化适配,包括十余家国产化AI算力,确保自主可控。

在数据安全方面,通过机密容器AI全场景密态计算和先进的容器隔离技术,确保模型数据的机密性与完整性,为用户提供金融级安全防护。

目前,在河南鹤壁、江苏宿迁、山东滨州、广西北海、山西大同,京东云已经助力多地政府基于现有基础设施本地化部署DeepSeek,既满足本地政务业务,又让当地企业不用投入资源,即可通过政务云调用DeepSeek。


标签: DeepSeek

“全面适配!京东云将DeepSeek推理场景性能提升50%” 的相关文章

人工智能大模型DeepSeek在东莞市人工智能大模型中心完成部署上线

人工智能大模型DeepSeek在东莞市人工智能大模型中心完成部署上线

近日,记者从东莞数字集团获悉,在相关部门指导下,国内领先的人工智能大模型DeepSeek在东莞市人工智能大模型中心完成部署上线,大模型中心将于近期开服上线,为用户提供高质量服务,助力东莞多领域多场景效...

微信+DeepSeek“王炸组合”或催生AI应用井喷式发展

微信+DeepSeek“王炸组合”或催生AI应用井喷式发展

连日来,中国多家互联网大厂纷纷宣布将大热的国产开源大模型DeepSeek接入自家搜索功能,引发外界高度关注。微信已为搜索功能接入DeepSeek-R1模型,目前处于小范围灰度测试中,可供部分用户免费使...

继DeepSeek席卷全网之后 Manus再度霸屏

继DeepSeek席卷全网之后 Manus再度霸屏

阅读提示DeepSeek、Manus相继火爆全网,是中国人工智能产业厚积薄发的有力见证,彰显出中国在该领域蕴藏的巨大潜力。AI的“狂飙”给企业发展带来了前所未有的启示:科技创新激起澎拜动能,进而带动全...

同程旅行宣布接入DeepSeek,成为首家接入DeepSeek大模型的OTA平台

同程旅行宣布接入DeepSeek,成为首家接入DeepSeek大模型的OTA平台

2月28日,同程旅行宣布同程程心大模型将全面接入DeepSeek,成为首家接入DeepSeek大模型的OTA平台。据悉,同程程心是同程旅行自主研发的旅游行业专属模型,未来将与DeepSeek深度协同,...

文心一言:请详细介绍Deepseek在智能客服系统中的应用

文心一言:请详细介绍Deepseek在智能客服系统中的应用

文心一言:请详细介绍Deepseek在智能客服系统中的应用DeepSeek在智能客服系统中的应用为企业带来了显著的提升和变革。以下是对DeepSeek在智能客服系统中应用的详细介绍:一、提升复杂文本问...

黑龙江省进行DeepSeek大模型本地化部署

黑龙江省进行DeepSeek大模型本地化部署

原标题:我省进行DeepSeek大模型本地化部署近日,黑龙江省哈尔滨数字龙江智算中心成功部署国内领先的DeepSeek大模型,此次部署标志着黑龙江省在人工智能技术自主创新与产业应用领域迈出关键一步,为...