随着神舟十二号发射成功，HPDA开始走入大众视野

北京时间6月17日9时22分，神舟十二号载人飞船发射成功！这是时隔5年之后，中国再一次把航天员送入太空。这一次的与众不同之处还在于，三名航天员将成为中国空间站天和核心舱的首批入驻人员，在轨驻留3个月。

从“天问一号”首次进行火星探测，到此次航天员首次驻留空间站，我国在宇宙探测方面不断实现惊人的突破。而在这背后，从宇宙探索到深空探秘，意味着海量数据的产生、存储和分析，高性能计算（HPC）与存储就成了不可或缺的工具。

HPC与数据分析的深度结合，推动了HPDA（High Performance Data Analytics，高性能数据分析）的兴起和快速发展。作为HPC领域最具潜力的一个分支，HPDA正在航天遥感、天气与气候建模、个性化医疗、金融欺诈检测、电子商务等多个领域得到越来越广泛且深入的应用。

HPDA热起来

HPDA其实并不是一个新概念。早在2014年，市场研究机构IDC就已经指出，各大行业头部企业正在积极利用HPC技术向大数据分析类工作负载发起挑战，而HPDA存储作为高端存储市场的一股清流，将迎来迅速发展的机遇期。最新的市场调研发现，67％的HPC用户都在使用HPDA，而非传统的HPC。HPDA快速增长的最主要动力就是HPC最擅长的数据密集型应用。

在人工智能、大数据时代，企业对于数据有了更深刻的认知——数据已成为企业的战略资产。全球知名市场研究机构ESG的调查数据显示，23％的企业认为，数据就是他们的业务，另有26％的企业认为，数据既是其业务，也用于支持其业务。数据驱动业务不再是一句空话，而数据以及数据存储对于推动企业业务的创新与发展至关重要。

若想充分挖掘数据的潜能和价值，首先要有海量的数据，其次还要有强大的算力和AI能力，支撑对于数据的分析。一句话，让数据转变成具有意义的洞察，就需要借助HPC这样的技术进行实时的分析、预测。从以计算为中心到以数据中心心，HPC正在发生具有转折性意义的演进，这是数据密集型应用需求的驱动，也是大数据、AI等技术发展使然。

ESG的调查数据显示，63％的受访者表示，2021年在人工智能和机器学习方面的支出比上一年有所增加，这将导致数据量的进一步增长。你可能想象不到，L4自动驾驶数据集已经增长到EB级，单个现代基因组测序仪每天能够生成6TB的数据……海量数据的处理为HPDA创造了巨大的商机，商业智能、数据发现与挖掘、搜索分析、行为分析、交互式查询等都成了最好的用武之地。

真金不怕火炼

但是任何事物的发展都具有两面性，数据密集型业务的快速发展，让存储系统的压力与日俱增。随着数据量激增，尤其是非结构化数据的爆炸性增长，数据分析效率、数据管理、安全存储等成为亟待突破的瓶颈。

谁能化解数据密集型HPC带来的存储挑战？HPDA存储唯有“轻装上阵”——更经济、更可靠，同时还能有效处理各种负载，即使面对HPC业务流程细分和多种应用场景集成产生的复杂混合负载，也能游刃有余，既能从容应对大文件、高带宽的需求，也能在小文件、高IOPS的环境中大显身手。

那么，在一众HPDA存储中，谁又能堪当大任呢？只用实际测试和验证效果说话的ESG给出了它的解析。

在存储领域有很多调研和评测机构，它们会从不同的维度对存储系统给出评价，有的以IOPS性能测试见长，有的以用户的实际评价作为评判标准，ESG则独树一帜，通常会搭建严格的接近于真实的应用环境，对产品进行全面测试后才会得出最终结论。经过这样一番洗礼，这回华为OceanStor Pacific下一代HPDA存储真的要“出圈”了。

ESG从性能、可靠性、数据管理以及整体拥有成本（TCO）等多个维度对华为 OceanStor Pacific进行了一次全面“体检”，还专门测试了OceanStor Pacific为数据密集型应用提供不同协议访问的性能，并对五年TCO进行了深入分析。

ESG测试环境

真金不怕火炼，OceanStor Pacific经受住了考验。在不影响存储性能的情况下，OceanStor Pacific可以有效满足用户对于海量非结构化数据在数据保护、数据迁移、硬件成本和快速增长等方面的核心需求。在模拟真实应用环境的测试中，单套OceanStor Pacific存储系统能够为多种业务提供高性能、低时延，并在多协议间提供一致的语义。ESG对于OceanStor Pacific在面对多种文件／对象协议时均能提供一致的性能，且所有协议都几乎性能无损这一点印象十分深刻。

以前，企业用户在处理海量非结构化数据时，都习惯采用横向扩展NAS系统。但是随着工作负载越来越复杂，数据量持续增加，用户对于存储性能的一致性、灵活扩展能力、成本效益以及可用性等提出了更高的要求。

比如在汽车、飞机的设计和制造方面，越来越多的企业希望用HPC技术支撑复杂的设计、分析，进一步提高产品的设计质量；在商业领域，企业倾向于借助大数据、深度学习等技术，对客户行为进行画像，或者进行更加细粒度和精确的搜索等。这些都是最典型的HPDA存储的应用场景。ESG建议用户，采用专为HPDA设计的下一代存储系统，在提升可用性的同时可以减少工作量，提高容量和性能的同时还能有效降低存储TCO。而华为OceanStor Pacific正是HPDA业务的理想之选。

鱼与熊掌可兼得

俗话说，光说不练假把式。华为OceanStor Pacific在ESG的测试中到底表现如何？

OceanStor Pacific存储系统的独特之处在于，能够提供各种数据密集型场景所需的高性能和灵活访问能力，包括HPC、AI／ML、大数据分析、大规模虚拟化、内容存储、地震分析、生命科学、金融，以及任何需要存储海量数据并提供高性能、多协议访问的应用。特别需要指出的是，OceanStor Pacific的企业级可用性功能在软件中实施，从而提供一个平台以极低的延迟对业务关键型及任务关键型负载与海量数据集进行整合。

ESG的实际测试有力地验证了上述OceanStor Pacific的定位和特色，OceanStor Pacific确实可以为超大数据集提供持续的高性能，并充分支持以数据为中心的实际应用。

先看对多协议的支持。在自动驾驶、精密医疗、智能制造等典型的企业HPDA应用场景中，数据流程的不同阶段通常会使用到文件、对象和大数据（HDFS）等服务。

像OceanStor Pacific这样具有多协议互通能力的存储系统，能够无缝支持NFS、CIFS、HDFS和S3等协议，并允许应用通过多个协议共享一份数据，从而达到提高分析效率的目的，在无数据迁移的情况下，可以通过多个协议进行读取，同时保证语义无损和高稳定的性能。ESG的测试表明，OceanStor Pacific在单个高性能高可用平台上具有整合异构数据密集型负载的超强能力，能够同时处理多种负载，并且保证使用多种协议访问的稳定的数据性能。

再看对混合负载的支持。通常情况下，HPC负载具有多样性的特点，比如地震数据处理需要高带宽，而对已处理数据的解释则需要高IOPS。带宽瓶颈可能是由网络、磁盘或内存不足造成的，而IOPS瓶颈则可能是因CPU算力不足或调用堆栈深度等软件问题引起的。解决不同的性能瓶颈，这对华为OceanStor Pacific来说并不是一件难事。ESG的测试显示，OceanStor Pacific文件系统采用元数据分布、大小I／O分流、磁盘索引等技术，可以同时满足高带宽和高IOPS的需求，可谓鱼与熊掌兼得。

最后验证高密度设计和TCO。为了有效应对海量数据的增长，存储的高密度设计几乎成了标配。华为OceanStor Pacific采用了下一代高密度硬件架构：华为自研的half－palm NVMe盘，将横截面减少65％；领先的散热材料、创新的风扇布局和全新的结构设计，可以将整个存储系统的冷却效率提高30％；采用EC和端到端数据完整性字段（DIF），将磁盘利用率提升至91．6％……

根据不同的业务场景，OceanStor Pacific提供两种高密度硬件架构配置：一个是高密性能型的OceanStor Pacific 9950，每机箱可提供高达160GB／s带宽和200万IOPS的极速数据访问；另一个是高密容量型的OceanStor Pacific 9550，在5U空间内可提供超过1．6PB的裸容量。

在实际测试中，ESG将华为OceanStor Pacific 9550的预估存储成本与传统的横向扩展NAS系统进行了建模和比较。模型只考虑五年内会发生的成本，而容量／性能增长需求以及IT运营成本则不在考虑之列。结果显示，华为OceanStor Pacific的五年TCO比横向扩展NAS系统低61％，其中最大的节省来自托管成本（64％），其他如资本支出（CapEx）节省62％，供电和冷却节省32％。

“存力”也要强大

IDC的统计数据显示，30％的HPC是用于数据分析，传统HPC走向HPDA已是大势所趋。大数据、人工智能、深度学习等的兴起，加速了这一演进的速度。从金融、电子商务到科学计算、卫星遥感，各类数据密集型HPC应用对存储提出了新的挑战。仅有超强的HPC算力还不够，必须要有同样强大的“存力”与之相匹配。稳定的高性能、多协议融合访问、支持混合负载访问、灵活的可扩展性，以及更低的TCO等，这正是HPDA存储所擅长的，也是华为OceanStor Pacific脱颖而出的关键所在。