宝德服务器 2023-08-31 15:00 发表于广东

AIGC加速和大模型群雄并起，在数据资源和算法生态的基础上，无论是训练还是推理，都离不开大算力的支持，而且，随着大模型竞赛的加剧AI算力需求正呈现指数级增长，算力困局亟需破解。作为中国领先的计算产品方案提供商和中国AI服务器TOP3，宝德计算积极学习和吸收业界先进的AI技术和产品，加速算力的产品化和市场化，为中国大模型群雄竞技筑牢算力底座。

NVIDIA L40S GPU

NVIDIA L40S GPU基于 Ada Lovelace 架构，搭载142个第三代RT Core、568个第四代Tensor Core，18176个CUDA核心和行业领先的 48 GB GDDR6 显存、864GB/秒带宽，是适用于数据中心的强大而通用的GPU，尤其能够为大语言模型 (LLM) 推理和训练、图形和视频应用提供突破性的多负载加速。

在AI训练和推理工作负载中NVIDIA L40S GPU表现卓越，它能够在LLM上提供高达6倍的GPT-3+ AI训练速度和4倍的AI推理加速。而且采用Transformer 引擎逐层管理，无需 AI 框架或用户干预即可自动运行。而且，与上一代相比，L40S提供2倍以上的单精度浮点 (FP32) 吞吐量，运算峰值增加了一倍，可大大加速工程仿真、科学模拟、物理计算等工作负载。

作为多模态生成式 AI 的首要平台，NVIDIA L40S拥有同比上代 2倍加速的实时光线追踪性能以及专用的编解码引擎，提供更快的渲染速度和更高的每秒帧数 (FPS)，并显著降低延迟，有效加速AI 的音频、语音、2D、视频、虚拟和 3D 生成式 AI 应用程序，强力支持实时渲染、产品设计和3D内容创建等高保真的专业可视化工作负载。

作为NVIDIA OEM合作伙伴，宝德AI训练和AI推理等系列服务器一直保持与NVIDIA 新一代GPU卡的及时测试适配和技术调优，致力于为用户各种AI创新应用和数字化内容开发和创建提供更强大的算力。

宝德AI训练服务器PR4910E/PR4910W

NVIDIA L40S GPU加持，宝德AI训练服务器PR4910E将为大模型拉满算力。它可以支持10张全高全长双宽的NVIDIA L40S GPU卡，同时采用2颗身怀七大算力神器的第四代英特尔®至强®可扩展处理器，最大可达60核心，为大模型训练提供强有力的算力支撑。它具有13 个PCIe x16 Gen5插槽，支持32个 DIMM / DDR5内存插槽，支持最新的400Gb ETH和NDR IB高速智能网卡，以及 GPU Direct RDMA，最多支持24个 NVMe SSD，而且采用CPU 直通设计，大幅降低 I/O 延迟，为大模型数据存储和传输提供高效可靠的保证。此外，它采用整机模块化设计，支持灵活切换 CPU 和 GPU 的异构拓扑结构，非常便于用户的系统维护和管理。

宝德AI训练服务器PR4904E/PR4904W

值得一提的是，NVIDIA L40S GPU采用PCI-e4.0技术，可以兼容和支持第三代英特尔®至强服务器平台，因此能够帮助用户合理利用和扩展已有算力基础设施，并最终降低用户的TCO。目前，除了PR4910E，能够适配NVIDIA L40S GPU的宝德AI训练服务器还有基于第三代英特尔®至强平台的4U10卡服务器PR4910W、基于第四代/第三代英特尔®至强平台、支持4卡的机塔互换式服务器PR4904E和PR4904W等，可以支持大模型用户按需选择和灵活配置，为其赛道竞技强力助攻。