开云体育
DeepSeek开源周第二天正式发布DpEP通信库开云体育官方
DeepSeek开源周第二天正式发布DeepEP通信库。该库专为混合专家模型(MoE)及专家并行训练优化,具备三大核心优势:【功能特性】1. 支持FP8低精度运算,提供高效GPU内核加速2. 优化非对称带宽场景,适配DeepSeek-V3论文提出的组限制门控算法3. 支持NVLink/RDMA网络,覆盖训练与推理全场景4. 独创流量隔离技术,集成自适应路由和拥塞控制【性能表现】• 在H800 GPU实测中实现高吞吐与低延迟• 提供常规/低延迟双模式内核,满足不同阶段需求• 支持SM数量调控提升资源利用率【系统要求】需配备Hopper架构GPU(如H100/H800)运行环境:Python 3.8+、CUDA 12.3+、PyTorch 2.1+依赖NVSHMEM定制版本,支持RDMA高速网络库内提供完整安装指南及API接口,开发者可便捷调用:• 训练及预填充推理使用常规内核• 解码阶段切换低延迟内核• 通过SM控制实现计算资源精细调度开源地址:网页链接