当前位置:首页 > Deepseek最新资讯 > 正文内容

全面适配!京东云将DeepSeek推理场景性能提升50%

2周前 (03-03)Deepseek最新资讯52

央广网北京3月3日消息 在DeepSeek为期五天的“开源周”中,其连续开源的五大核心技术(FlashMLA、DeepEP、DeepGEMM、DualPipe & EPLB、3FS文件系统),惊艳全球。

京东云率先宣布完成对这五项技术的全栈适配,在模型推理效率、算力资源利用率及数据管理等领域实现突破性优化,综合Flash MLA、DeepEP、FP8 GEMM、DualPipe四方面的调优,在DeepSeek推理场景下性能提升50%。

全面适配五大技术,DeepSeek推理场景性能提升50%

作为DeepSeek开源首日的重磅技术,Flash MLA通过动态调度GPU的显存与算力资源,解决了传统方法处理变长序列时的资源浪费问题。

京东vGPU AI算力平台通过支持Flash MLA的FP8格式来提升推理性能,使单Token的 KV Cache显存占用相比Multi-head Attention降低57倍,配合最新的投机推理技术,以极低的显存需求,在高并发请求场景下保证了推理的吞吐量和延迟表现。

此外,针对用于DeepSeek开源的通信库DeepEP,京东云vGPU AI算力平台已全面支持EP模式下的分布式推理,显著提高推理吞吐。通过整合DeepEP作为通信后端,针对机内通信使用NVLink传输数据,机间通信使用NVSHMEM接口走RDMA网络,同时通过灵活的GPU SM数量利用控制,增大GPU算力资源利用率以及减少对计算算子的性能串。

更低成本更高效率,让大模型真正用起来

针对客户大模型的使用需求,京东云vGPU AI算力平台,为用户提供更高推理性能、更多国产芯片适配、更多高数据安全的大模型服务,让大模型真正用起来。

在推理性能方面,针对DeepSeek大模型技术特点,京东云通过推理加速与内核驱动级优化,提升单台服务器推理性能50%。

在国产芯片适配方面,京东云已完成从底层算力到大模型和业务应用的全面国产化适配,包括十余家国产化AI算力,确保自主可控。

在数据安全方面,通过机密容器AI全场景密态计算和先进的容器隔离技术,确保模型数据的机密性与完整性,为用户提供金融级安全防护。

目前,在河南鹤壁、江苏宿迁、山东滨州、广西北海、山西大同,京东云已经助力多地政府基于现有基础设施本地化部署DeepSeek,既满足本地政务业务,又让当地企业不用投入资源,即可通过政务云调用DeepSeek。


“全面适配!京东云将DeepSeek推理场景性能提升50%” 的相关文章

微信接入DEEPSEEK后在哪些方面提供服务?

微信接入DEEPSEEK后在哪些方面提供服务?

微信接入DEEPSEEK后,主要在以下几个方面提供服务:一、智能化搜索服务AI搜索功能:用户可以通过微信搜一搜界面的“AI搜索”按钮,使用DeepSeek-R1提供的深度推理服务。支持“快速回答”和“...

杭州联通助力DeepSeek成功接入建德政务信创云,“智”启政务新篇

杭州联通助力DeepSeek成功接入建德政务信创云,“智”启政务新篇

国产人工智能大模型DeepSeek以其领先技术实力崛起,成为引领技术革新的先锋力量。该模型不仅以超凡的智能交互能力重塑人机协作的边界,更以卓越的计算性能突破传统AI的桎梏,开创了智能认知的新纪元。杭州...

清华免费发布DeepSeek入门手册遭网店打印兜售,团队回应

清华免费发布DeepSeek入门手册遭网店打印兜售,团队回应

近日,清华大学新闻与传播学院新媒体研究中心元宇宙文化实验室团队免费发布的《DeepSeek 从入门到精通》电子文档引发了网友的广泛关注。然而,某电商平台上随后出现出售的打印版,价格超过13元/本,引发...

济宁中山公用水务率先完成DeepSeek网络安全本地化部署

济宁中山公用水务率先完成DeepSeek网络安全本地化部署

目前,济宁中山公用水务有限公司完成DeepSeek大模型的本地化部署工作,顺利接入公司自主搭建的Web应用防火墙,为公司网络安全及信息管理升级注入强大动力。DeepSeek大模型的本地化部署是公司提升...

DeepSeek教师教学全流程指南

DeepSeek教师教学全流程指南

01快速了解DeepSeekDeepSeek是一款开源人工智能工具,专注于提供高效易用的AI模型训练与推理能力,它结合自然语言处理(NLP)和机器学习技术,能够理解并生成自然语言,帮助用户从海量数据中...

江苏多地宣布接入DeepSeek 专家:加速“数智江苏”建设

江苏多地宣布接入DeepSeek 专家:加速“数智江苏”建设

央广网南京2月18日消息(记者庄滨滨)近日,江苏省数据集团完成DeepSeek模型本地化部署,在已有QWen2.5、ChatGLM3等大模型的基础上,全面接入大模型能力开发平台,进一步增强大模型综合方...