NVIDIA发布低延迟人工智能的EGX边缘计算平台

2019年5月27日，NVIDIA宣布推出NVIDIA EGX加速计算平台，能够帮助企业在边缘（edge）实现低延迟的人工智能，即基于5G基站、仓库、零售商店、工厂及其他地点之间的连续的数据流实现实时感知、理解和执行。

NVIDIA EGX旨在满足对即时、高吞吐量的边缘人工智能，即数据产生之处不断增长的需求，在确保反馈时间的同时能够减少需要发送至云端的数据量。

2025年，预计将会有1500亿台机器传感器和物联网设备持续输出数据[1]，这比当今使用智能手机的个人用户所产生的数据要高出几个数量级。像基于NVIDIA EGX平台这样的边缘服务器将分布在全球各地，对来自这些传感器的数据进行实时处理。

NVIDIA副总裁兼企业与边缘计算总经理Bob Pette表示： “企业需要更加强大的边缘计算能力，以处理来自于与客户和设施的无数交互中产生的海量原始数据，从而快速制定人工智能增强型决策以驱动业务发展。像NVIDIA EGX这样具有可扩展性的平台让他们能够轻松地部署系统，以满足本地或云端的需求” 。

可扩展性

EGX可从仅需几瓦就能为图像识别等任务提供0.5 TOPS处理性能的小巧NVIDIA Jetson Nano，一直扩展至可为实时语音识别和其他实时人工智能任务提供10，000 TOPS性能的整机架NVIDIA T4服务器。

企业级

NVIDIA已与红帽开展合作，利用领先的企业级Kubernetes容器编排平台OpenShift对NVIDIA Edge Stack进行集成和优化。

NVIDIA Edge Stack是优化型软件堆栈，包括NVIDIA驱动程序、CUDA Kubernetes插件、CUDA容器运行时、CUDA-X库和容器化人工智能框架及应用程序，并包括TensorRT、TensorRT推理服务器和DeepStream。NVIDIA Edge Stack针对经认证的服务器进行了优化，可通过NVIDIA NGC注册下载。

红帽首席技术官Chris Wright表示：“红帽致力于为从混合云到边缘的任何工作负载、封装和位置提供一致的体验。通过将红帽OpenShift和支持NVIDIA EGX的平台相结合，客户能够在一致、高性能、以容器为中心的环境中更好地优化其分布式操作。”

“把云放进以一个盒子里”的本地部署AI

EGX将一系列的NVIDIA人工智能计算技术与红帽OpenShift相结合，并将NVIDIA Edge Stack与Mellanox和思科的安全、网络和存储技术相结合，以助力制造、零售、医疗健康和交通运输等大型产业内的公司快速建立最先进且安全的企业级人工智能基础设施。

Mellanox Technologies首席技术官Michael Kagan表示：“Mellanox Smart NICs 和交换机为数据访问提供了理想的I/O连接，可实现边缘乃至超大规模数据中心的数据访问。高性能、低延迟和加速网络的组合实现了一种全新的基础架构计算层，其对于NVIDIA EGX等边缘平台上的新一代更先进的人工智能解决方案所需的高效数据访问和供给至关重要。”

思科计算系统副总裁Kaustubh Das 表示：“思科很高兴与NVIDIA合作。借助NVIDIA EGX赋力的思科平台，和思科计算、结构、存储和管理软件，以及思科领先的以太网和基于IP的网络技术，我们能够为客户提供从边缘到核心的全栈解决方案。”

实现混合云和多云物联网

NVIDIA人工智能计算通过主要的云服务平台提供，在架构上与NVIDIA EGX兼容。在云端开发的人工智能应用程序可在NVIDIA EGX上运行，反之亦然。NVIDIA Edge Stack可连接至主要的云IoT服务，客户可通过AWS IoT Greengrass和Microsoft Azure IoT Edge对其服务进行远程管理。

Azure IoT Edge总监Sam George表示：“Azure IoT Edge可助力客户快速、安全地将云服务部署至其物联网设备。我们期待在Azure IoT Edge设备端提供对NVIDIA EGX边缘平台的支持，以便客户针对兼容EGX的硬件进行人工智能工作负载的部署。”

来自于开发者的广泛支持

NVIDIA EGX正致力于优化边缘人工智能，以支持不断成长的软件解决方案生态系统。

这些解决方案包括AnyVision、DeepVision、IronYun和码隆科技等软件供应商推出的适用于大型零售连锁店和城市智能等视频分析应用程序，以及图玛深维、推想科技、Qunatib和Subtle Medical等公司针对医疗健康领域的软件产品。

全球顶级计算机制造商纷纷采用

EGX服务器现已通过以下全球企业级计算提供商供货：ATOS、思科、戴尔EMC、富士通、HPE、浪潮和联想。此外，也通过以下主要服务器和IoT系统制造商供货：Abaco、宏碁、凌华科技、研华科技、ASRock Rack、华硕、圆刚科技、Cloudian、Connect Tech、Curtiss-Wright、技嘉科技、Leetop、米文动力、Musashi Seimitsu、QCT、中科曙光、超微、泰安、Wibase和纬颖科技。

NVIDIA EGX服务器针对NVIDIA Edge Stack和NGC-Ready进行了调优，经过CUDA加速容器的验证。

来自于40多家企业组织的广泛支持

率先采用该平台的行业领先企业及组织已超过40家。

其中就包括BMW Group Logistics。借助于NVIDIA EGX边缘计算和Isaac机器人平台，其能够将人工智能的强大功能直接带入到其物流流程的边缘，为日益复杂的物流提供实时效率。

其它采用EGX的行业领导者还包括：

“富士康PC生产线受限于当前的手动检测速度，每个零件检测需4秒钟。我们的目标是使用NVIDIA EGX平台将PC生产线的吞吐量提高40％以上，在边缘实现实时智能决策。我们的模型使用运行于NVIDIA GPU上的快速神经网络，可对16种缺陷类型和位置进行检测和分类，在实现非凡的吞吐率的同时确保98％的准确率。”

—富士康 D Group总经理Mark Chien

“人工智能是实现精准健康的基础，必须从云端至边缘全覆盖，且能够在医疗设备上直接使用。借助NVIDIA EGX，GE Healthcare能够通过将NVIDIA T4 GPU直接嵌入到我们的医疗设备中，进而实现快速的MR采集，提高图像质量并降低可变性——所有这些都是为了进一步提升患者治疗效果。实时重症监护需要边缘人工智能。这就是我们创建Edison智能产品并与NVIDIA合作将人工智能引入我们的医疗设备和Edison边缘应用，以及我们与ACR AI-LAB合作以实现人工智能大众化的原因。”

—GE Healthcare MR应用总经理Jason Polzin博士

“医院越来越多地采用人工智能来预测患者的健康风险，为临床决策制定提供支持并提高运作效率。但这些人工智能应用程序有赖于患者数据。NVIDIA EGX人工智能边缘计算平台为医院提供了简易的人工智能基础设施，能够保护患者数据安全，实现实时人工智能，并扩展至成千上万的人工智能应用程序，进而改善患者护理方式并降低护理成本。”

—Partners Healthcare首席数据科学官、哈佛医学院放射学副教授Keith Dreyer博士

“希捷在制造工厂部署了基于GPU的智能边缘视觉解决方案，以对硬盘读写磁头的质量进行检测。NVIDIA EGX平台能够在边缘实现推理的大幅加速，使我们能够看到过去人类操作员无法看到的细微缺陷。我们希望通过更高的效率和质量，实现高达10％的制造吞吐量提升和高达300％的投资回报率。”

— 希捷科技高级首席数据科学家Bruce King