解决方案

以客户为中心,提供定制化或一站式的全栈解决方案,赋能千行百业

某人工智能公司海量人脸图片识别项目
项目背景

警务人像综合平台采用业内首创的“云+边+端”技术架构,以公共安全视频图像的AI人像业务应用为导向,开展以人像为核心的智能识别与分析,实现海量人像的高效检索、精准识别、大规模布控与时空分析。广泛应用于智慧警务、社会治理、行业监管等各类业务场景,提供精准、高效、稳定的AI人像应用服务。支撑平的台底利用软件定义存储技术为平台带来了安全、可靠的存储资源。

深圳某专注于视觉人工智能领域公司,在致力于打造基于视觉芯片、深度学习和大数据技术的“视觉智能加速平台”,为平安城市、智慧商业、工业智造、无人系统、机器人等行业的千家企业提供视觉智能应用解决方案和开发平台。在海量人脸图片识别的应用对数据存储与管理最先提出了新的挑战,公司迫切需要一套稳定安全的存储管理系统支撑业务的快速增长。

方案介绍

宝德分布式存储网络拓扑图

方案解析

总体目标:

提供稳定带宽以及高速文件查询,大幅度提升计算任务的IO性能,提高集群的工作效率。


用户需求:


1) 可扩展的海量存储空间

可在业务系统不间断的情况下,通过增加存储节点设备的方式扩展容量至PB级,使得高性能计算集群可以存放大量的计算素材和计算结果。


2) 高性能

能够支持Infiniband网络提供稳定带宽以及高速文件查询,大幅度减少计算任务的数据IO时间,提高集群的工作效率。通过增加IO节点和存储,带宽可线性增涨,满足大规模数据并行读写要求。


3) 全局数据共享

提供单一系统映象,所有IO节点共享同一文件系统视图,使得所有计算节点能即时获取所需的数据,无需进行数据迁移,大幅度提高了集群的使用效率,支持负载均衡,单点故障容错。


采用3节点的PL-XDFS集群构建分布式文件存储系统,配置副本卷。每服务器节点配置12块18TB SATA 磁盘,双副本保护,可用容量118.8TB,满足目前的容量需求。

后续容量增长可通过增加节点方式动态扩容,实现容量和性能的双提升。

采用POSIX 接口通过万兆网络实现存储访问,最高提供大于1.5GB的带宽,满足计算节点集群对数据计算的高性能、低延时的要求

方案优势
  • 全分布式海量存储集群

    完全分布式存储架构,无独立元数据服务器设计,消除元数据信息交互瓶颈,提升系统扩展能力;Scale-out动态扩展,快速在线增删节点;全局命名空间,为客户端提供统一的逻辑视图和资源访问入口

  • 弹性的存储架构

    可在线增加或减少存储结点;可动态变更的虚拟化存储资源池;可根据需求,选择容量型节点进行初始化扩展或扩容配置

  • 极高的可靠性与可用性

    全活的冗余节点,节点故障后可在数秒内实现故障接管;自动数据复制保护以及智能自我修复机制;

  • 卓越的性能

    多种数据分布机制以及组合,支持万兆及Infiniband网络,优化并发读写性能;端到端自动负载均衡以及多链路聚合技术;

  • 便捷管理

    基于Web的多语言图形化管理界面,轻松配置、监控、管理;支持命令行管理,可与用户自有的运维平台相集成;与AD、LDAP相集成,实现复杂的用户与权限管理;支持Quota管理,实现统一存储管理分配。