国内AI大模型陆续开放服务,算力基础设施更要坚实可靠

时间:2023-09-05来源:本站

8月的最后一天,大模型赛场最新消息:百度文心一言、百川大模型、质谱清言等官宣率先通过《生成式人工智能服务管理暂行办法》备案,即日起可面向全社会开放服务。据悉,包含这3支大模型在内,国内共有11家大模型陆续通过《生成式人工智能服务管理暂行办法》备案,并于8月31日起将陆续向全社会公众开放服务。这也预示着大模型之战从拼技术、拼参数转向拼应用、拼落地,但是应用为王的大模型,依然离不开强悍坚实的AI算力底座。


作为中国领先的计算产品服务提供商和中国AI服务器市场TOP3,宝德计算全新AI算力方案致力于为大模型的万千应用和服务夯实底座。


宝德AI训练服务器PR4910E+L40S

大模型加速训练利器




大模型训练需要海量数据的运算和处理,计算王者宝德AI训练服务器PR4910E是不二之选。PR4910E支持10张全新发布的NVIDIA L40S GPU卡,同时采用2颗身怀七大算力神器的第四代英特尔®至强®可扩展处理器,最大可达60核心,为大模型训练提供强有力的算力支撑。它具有13个PCIe x16 Gen5插槽,支持32个 DIMM / DDR5内存插槽,支持最新的400Gb ETH和NDR IB高速智能网卡,以及 GPU Direct RDMA,最多支持24个 NVMe SSD,而且采用CPU 直通设计,大幅降低 I/O 延迟,为大模型数据存储和传输提供高效可靠的保证。此外,它采用整机模块化设计,支持灵活切换 CPU 和 GPU 的异构拓扑结构,非常便于用户的系统维护和管理。该产品已经广泛应用于大模型、人工智能、深度学习、神经网络,赋能医学、材料、金融、科技等千行百业智能化转型和应用。


宝德AI服务器PR8908WG+ Gaudi®2

大模型性价比之王




以大模型算力性价比著称的宝德AI服务器PR8908WG,采用第三代英特尔®至强®可扩展处理器,8U空间支持8颗OAM高速互联的Gaudi®2 AI加速器,每颗Gaudi®2芯片配置96GB HBM高速内存,GPU与 GPU 之间互联带宽达到400GB/s,提供2.1Tbps的P2P互联带宽,支持全互联拓扑,全面满足大模型训练的海量通信需求;拥有32个DDR4 DIMM插槽,支持24块2.5英寸SAS/SATA热插拔硬盘位,采用 CPU 直通设计,降低 I/O 延迟;它支持200Gb ETH和HDR高速智能网卡,支持GPU Direct RDMA,完美满足集群和超大规模扩展应用。


PR8908WG整机采用模块化设计,独立的GPU和CPU 热量分区设计确保系统在最苛刻的工作负载下性能和稳定性不受影响,也非常方便用户对AI算力设备的维护管理。它可以满足AI不同场景下海量数据的计算和推理需求,特别适用于大模型训练和推理、深度学习、自动驾驶、智能城市、医疗健康、大数据、高性能计算 (HPC) 和虚拟现实等应用场景,帮助加速更多AI技术的落地和应用。


宝德自研AI推理服务器PR2715E

大模型应用的得力助手



大模型上线开放服务之时,模型推理应用的工作负载将面临更多的挑战,宝德自研AI推理服务器PR2715E可以成为其落地应用的得力帮手。它具有极致性能、卓越能效和能打的颜值,专注于高性能计算推理、云计算和数据中心等算力需求。


PR2715E采用2颗第四代英特尔®至强®可扩展处理器,提供强大的通用计算能力,支持DDR5、PCIe 5.0和HBM,性能提升高达50%;支持异构设计,可以支持8张单宽或3张双宽GPU卡,拥有强劲的AI推理算力和安全性能。它有32个内存插槽,最大可支持8TB;它最大支持12个2.5 ”( 3.5”)和4个后置2.5 "SATA/SAS/NVMe热插拔硬盘,或24个2.5 ”SATA/SAS/NVMe 和2个后置2.5 ”SATA/SAS热插拔硬盘,支持内置1个M.2(NVMe/SATA),保障了整机性能的强劲可靠;此外,PR2715E具有智能散热系统、支持液冷散热,能够进一步帮助用户降低TCO。


宝德自研商用并行存储系统PLStor GS9200

大模型存力之基



随着大模型规模的提升和落地应用,海量数据的指数级增长势必带来存储和处理这些数据的更多难题。因此,强大的存力成为大模型有效服务的基础保障之一。宝德PLStor GS9200是一款面向大模型多应用场景,以性能为中心,具备高可靠、简单易用和丰富企业级功能等优势的领先并行存储系统。其存储集群支持无上限的大规模扩展,可以轻松扩展到EB级别,并能够承载上万台AI/异构算力服务器,满足大容量存储需求。


宝德PLStor GS9200提供了业内领先的基于OS内核程序优化设计的原生客户端,以一客户端对多台存储节点的方式并行读写数据,支持RDMA技术,整个系统能提供上TB/s级的吞吐带宽。它采用存算融合的设计,可以整合计算节点内的存储资源,构建全局命名空间的近线存储池,实现灵活配置数量来扩展GPU/CPU计算资源和存储资源,以满足动态扩展的业务需求。PLStor GS9200数据湖存储支持块、文件、对象、大数据等存储协议,并且支持POSI/NFS/CIFS/HDFS/S3/Swift等多种协议互通,实现平台高效管理,而且保证在数据安全性、高并发读写、高空间利用率三者皆得,满足不同场景下的数据安全存储和访问需求。


大模型发展如火如荼,成为新一轮科技革命和产业变革的重要驱动力量,大模型竞相上线开放服务标志着大模型应用时代即将到来。宝德计算将乘势而上,继续发挥技术优势和市场经验,打造先进的AI全栈算力方案,助力推动大模型的落地应用,为中国AI产业创新应用提供源源不断的新动力!

热门推荐