更多 选择语言

浪潮基于第二代英特尔至强可扩展处理器的AI推理解决方案

摘要

  作为英特尔的重要战略伙伴,在英特尔推出有着更强计算性能以及更好用户体验支持的第二代英特尔至强可扩展处理器后,浪潮和英特尔共同开发了基于该处理器的人工智能推理解决方案,加速AI推理并致力于帮助行业及企业客户减少部署时间和成本,同时确保其性能,以满足客户不断增长的需求。英特尔精选人工智能推理解决方案为客户提供了一个建立在经过验证的英特尔架构上的,可快速启动及部署的高效人工智能推理算法解决方案,使您可以更快的进行创新和推向市场。为了加快人工智能推断以及推向市场的时间,英特尔精选人工智能推理解决方案还结合了几种英特尔和第三方的软硬件技术。

背景介绍

  在人工智能及机器学习的背景下,训练是神经网络试图从数据中学习的阶段。推理将学习付诸实践,训练后的模型用于推断及预测结果——根据所学知识对新输入数据进行分类、识别和处理。该解决方案是一个针对人工智能中一些增长最快的领域,如视频、自然语言处理和图像处理的深度学习推断解决方案。作为一个“统包平台” 解决方案,拥有验证过的IA构建块,合作伙伴可以对其进行创新并将此集成工具的构建块解决方案推向市场,使AI变得简单和高效。鉴于神经网络模型已被训练,模型推理将成为挑战。该解决方案为客户部署高效的人工智能推理算法提供了一个起点。使用OpenVINO加速推理,从而缩短了从企业数据到战略决策的时间,提供低延迟和高端到端吞吐量,降低企业成本。

  作为英特尔的重要战略伙伴,在英特尔推出有着更强计算性能以及更好用户体验支持的第二代英特尔®至强®可扩展处理器后,浪潮和英特尔共同开发了基于该处理器的人工智能推理解决方案,加速AI推理并致力于帮助行业及企业客户减少部署时间和成本,同时确保其性能,以满足客户不断增长的需求。

解决方案介绍

  行业: 跨行业解决方案,主要面向零售、金融、医疗等领域。

  用例: 自然语言处理、图像分类、对象检测和对象跟踪。

  部署: 针对边缘和数据中心部署。

  该测试基于浪潮NF5280M5人工智能服务器

  

  要应用此英特尔精选人工智能推理解决方案,服务器供应商或数据中心解决方案提供者必须满足或超过以下列出的定义的最低配置成分和参考最低基准性能阈值。

  硬件

  基础配置

Hardware

qty

model

Inspur AI Server NF5280M5 is a 2U dual-socket rackmount server

1

NF5280M5

Intel® Xeon® Gold 6240 CPU at 2.6 GHz/18C/36T, 6248 at 2.5 GHz/20C/40T

2

6240/6248/

192 GB with 12 x 16 GB or higher,2933 MHz or higher, DDR4 ECC RDIMM

12

Intel SSD D3-S4510 Series

(240GB, 2.5in SATA 6Gb/s, 3D2, TLC)

or Intel SSD D3-S4510 Series

(240GB, M.2 80mm SATA 6Gb/s, 3D2, TLC) or higher

1

S4510

Intel SSD DC P4610 Series

( 2.5in PCIe 3.1 x4, 3D2, TLC) @3.2TB  or higher

1

P4610

56Gb InfiniBand / 25GbEthernet

1

25Gb network

  升级配置

Hardware

qty

model

Inspur AI Server NF5280M5 is a 2U dual-socket rackmount server

1

NF5280M5

Intel® Xeon® Platinum 8280 CPU at 2.7 GHz/28C/56T

2

8280

384 GB with 12 x 32 GB or higher, 2933 MHz or higher, DDR4 ECC RDIMM

12

Intel SSD D3-S4510 Series

(240GB, 2.5in SATA 6Gb/s, 3D2, TLC)

or Intel SSD D3-S4510 Series

(240GB, M.2 80mm SATA 6Gb/s, 3D2, TLC) or higher

1

S4510

Intel SSD DC P4610 Series

( 2.5in PCIe 3.1 x4, 3D2, TLC) @3.2TB  or higher

1

P4610

56Gb InfiniBand / 25GbEthernet

1

25Gb network

Hardware

Inspur Spec of single node

CPU

2 x Intel Xeon Scalable Gold 6230/6240/6248/8280

Memory (min)

512 GB

(12 x 16 GB 2666MHz DDR4 ECC RDIMM)

Boot Drive

1 x Intel SSD DC S4500 Series >= 240GB (P4101)

Storage

Intel SSD D3-S4510 Series(240G, 2.5in SATA 6Gb/s, 3D2, TLC) or Intel SSDD3-S4510 Series(240G, M.280mm SATA 6Gb/s, 3D2, TLC) or higher

Intel SSD DC P4610 Series(2.5in PCIe 3.1x 4, 3D2, TLC)@3.2 TB or higher

Data Network

InfiniBand (IB) 56Gb and Ethernet 25Gb

Management Network

Integrated 1 GbE port 0/RMM port

  软件

  

  下载 浪潮AI推理解决方案安装概述

客户收益

 测试结果

  在Intel Xeon Gold 6240与Intel Xeon Gold 6130的测试对比中,性能可得到1.35-1.43倍的加速

  ResNet50训练性能达到1.35倍加速

  Inception_v3训练性能达到1.43倍加速

  推理性能 (FP32) 在Intel Xeon Gold 6240和Intel Xeon Gold 6130上可达1.3-3倍的加速,具有多流的最佳性能 (BS=1)

  ReNnet50 multi-steam推理最佳性能可达3倍加速

  Inception_v3 multi-steam最佳推理性能可达2.6倍加速

  A3C multi-steam最佳性能够可达1.32倍加速

  对比FP32模型,使用VNNI升级优化TensorFlow后, INT8在Intel Xeon Gold 6240上multi-steam推理性能可以达1.9-3.2倍的加速。

  在40个并行流下,RN50 int8性能可达3.5倍加速

  在40个并行流下,Inception int8性能可达3.2倍加速

  在40个并行流下,W&D Int8性能可达1.9倍加速

  在20个并行流下,SSD Mobilent int8性能可达2倍加速

  与TensorFlow相比,OpenVINO可以深度提升INT8性能,达到多倍加速

  基于Intel Xeon Gold 6240,与TensorFlow相比,ResNet50 INT8 性能可以达到1.3倍加速

  基于Intel Xeon Gold 6240,与TensorFlow相比,Inception_v3 INT8 性能可以达到1.4倍加速

       英特尔、英特尔标识及至强是英特尔公司在美国和/或其他国家的商标。


线




×
联系我们
服务器、存储、网络产品购买热线
400-860-6708
ERP、管理软件购买热线
400-018-7700
云服务产品销售热线
400-607-6657
集团客户投诉热线
400-691-8711