机器数据大爆炸，引发“无人驾驶”企业IT背后的黑科技

今天的企业IT环境变得越来越复杂，特别是多个本地数据中心、边缘计算节点和公有云之间的关联运营，成为企业CIO和业务线负责人的痛点。根据IDC的预计，到2025年，物联网每年将产生79.4 ZB的数据，也就是794亿TB的数据。而所有数据的背后，则是支撑产生这些数据的机器数据又称元数据，典型代表就是日志数据。

自业界提出“无人驾驶”数据库、“无人驾驶”数据中心以来，就试图用AI人工智能、ML机器学习、大数据分析等技术，简化各类应用底层的IT系统运营。过去，是IT人员手工分析由服务器、网络设备、存储设备等产生的大量日志文档，从而分析IT系统的问题所在，进而定位并解决IT故障。但随着企业IT的日益复杂化，通过AI等技术手段自动化分析、定位和修复IT故障，成为“无人驾驶”IT的可能空间。

要实现“无人驾驶”IT运营，就需要实现IT设备日志文档的高可扩展存储以及高性能分析。开源Elasticsearch是高可扩展文档存储的理想软件，但需要配合较昂贵的内存存储，而内存计算存储还是ML高性能分析的基础。美国创新公司PhoenixNAP、Vision.AI与英特尔合作，推出了下一代企业数据存储SaaS解决方案phoenixNAP Elasticsearch Service，解决了高可扩展存储与高性能分析之间的矛盾，带来了“无人驾驶”IT背后的黑科技。

机器数据分析的重要性

随着以互联网和云计算为代表的新一代分布式系统的高速发展，系统日志也呈爆炸性增长态势：包括服务器和应用在内的许多数字资产正在生成大量日志。特别是移动互联网应用的发展，带来单个应用访问量的剧增，系统日志可达上千万甚至上亿条，这对于IT运维来说就意味着越来越困难和难以维护的工作。

系统日志是按照时间顺序存储系统变更记录的一种数据表或文件，也就是记录了IT系统和设备在什么时间发生了什么事情，例如数据库把修改信息写到日志里，那么当数据库发生崩溃的时候就可以用日志来同步各种数据结构和索引等。而对于分布式系统来说，日志记录了按时间顺序发生的一切机器行为，这对于分布式系统的分工、同步与协作来说尤其重要。

特别是在多云环境下，日志可能分布在不同的云平台上，查找任何单个数据点都可能需要搜索大量数据。通常情况下，多个数据点还需要建立关联以便进行分析。例如，如果发生安全事件，企业可能需要搜索特定时间段内的所有日志以迅速追踪用户的活动轨迹，而搜索耗费的时间越长，对于企业的风险就越大。

许多公司不仅希望能不断增加元数据日志的存储容量，而且还能对它们进行搜索和分析。开源搜索引擎Elasticsearch就能实现这个目的，但它通常要求将数据存储在较为昂贵的闪存介质中以便进行高性能分析，这将导致存储成本的高速攀升。将数据放入超大规模云环境可以降低成本，但仍需持续进行集群管理并且无法利用低成本的对象存储。

现在，很多云的企业用户都在寻找一种能够克服这些局限的解决方案，以便轻松、快速地分析元数据，同时利用开源软件的经济优势。

黑科技：下一代企业分析架构

phoenixNAP公司是一家遍布全球的IT服务提供商，以云服务、专用服务器、主机托管和IaaS基础设施即服务技术解决方案为主业，也是VMware vCloud Air网络计划的高级服务提供商。phoenixNAP与Vizion.AI及英特尔联合推出的phoenixNAP Elasticsearch Service，可帮助企业在部署Elasticsearch的时候，只将最热的10%数据存储在内存中以进行搜索和分析，其余90%保存在对象存储云中，而Vizion.AI负责压缩、去重、加密以及云间传输。

Vizion.AI的母公司Panzura提供了一个中间层，可以在数据中心存储协议和云原生对象存储之间进行转换。这使运行在数据中心的Elasticsearch以及其它应用，无需修改即可访问云存储，而内存中的缓存则有助于实现高性能。Panzura是一家领先的多云文件服务与数据管理技术提供商，作为VMware的合作伙伴，phoenixNAP、Vizion.AI和Panzura以及英特尔共同提供了下一代企业分析架构及SaaS方案。

与将大量元数据保存在内存中相比，使用云存储可以大幅降低成本。而phoenixNAP Elasticsearch Service只将最热的10%数据保存在内存中，而且采用的是英特尔®傲腾™持久内存——在提供大容量存储的同时，实现近内存处理速度。Vizion.AI对使用持久内存的基础设施进行性能测试，并与在公有云服务中运行的性能进行了比较，结果发现在创建文档索引和文档数字化方面，phoenixNAP方案的速度要快3倍，延迟也减少了80%。

为什么说phoenixNAP Elasticsearch Service是下一代企业分析架构呢？因为这个方案不仅适用于Elasticsearch服务，对于需要利用本地内存进行数据分析、同时利用对象云存储进行大容量数据存储的服务都适用，例如IoT数据分析、ML机器学习、安全数据分析等等机器数据的分析与存储，在满足分析性能的同时还大幅降低了整体的存储成本。

黑科技背后的硬科技

phoenixNAP Elasticsearch Service对于企业来说，最大的收益就是在企业的混合多云及IT环境中提供兼具性能与成本效应的元数据搜索与分析，而其中离不开英特尔的技术支持。

phoenixNAP Elasticsearch Service的底层服务器硬件由配备英特尔®傲腾™持久内存的第二代英特尔®至强®可扩展处理器家族提供支持。英特尔®傲腾™持久内存，让CSP云服务商能够获得高性价比大容量存储能力以及接近内存的性能，其物理外形与DRAM兼容并可插入相同的DIMM插槽中。而phoenixNAP Elasticsearch Service的虚拟化层则是支持英特尔®傲腾™持久内存的VMware vSphere 6.7，这为Elasticsearch提供了适配的企业IT环境，无需修改代码即可通过vSphere获得英特尔®傲腾™持久内存的支持。

在phoenixNAP Elasticsearch Service最上层是容器化的工作负载，以及采用Kubernetes进行集群管理。Vizion.AI副总裁兼总经理Geoff Tudor表示：“英特尔®傲腾™持久内存的优势在于它不会影响应用的部署。如果从Kubernetes的角度来看，持久内存就像是另一种存储资源，其效果立竿见影且无需更改任何代码。另外，与使用超大规模云提供商的服务相比，借助英特尔®傲腾™持久内存来加速我们的解决方案还能让我们做到低本高效。”

phoenixNAP Elasticsearch Service对于 CSP云服务商来说，通过在每台服务器上部署数百个客户的容器，新内容的索引速度得到提高、实时搜索延迟得以降低，从而避免服务器争用并改善客户体验。当前，云市场的竞争非常激烈，phoenixNAP Elasticsearch Service凭借针对特定应用优化并辅以增值服务的云环境，从竞争中脱颖而出。

全文总结：phoenixNAP Elasticsearch Service对于实现“无人驾驶”企业IT环境运维具有重大意义，该方案解决了元数据存储与搜索和分析之间的成本与性能的矛盾。phoenixNAP Elasticsearch Service让企业IT可以在本地内存中快速对元数据进行数据分析，同时把海量的元数据存储到对象存储云服务中，这样就可以用ML机器学习算法等持续对元数据进行分析，并把分析结果用于自动化系统的校正与修复。有了phoenixNAP Elasticsearch Service这样的黑科技，“无人驾驶”企业IT的梦想终将实现！（文/宁川）