spark针对sqlserver_SQL Server 2019预览版向DBMS引入Hadoop、Spark和AI

微软本周继续改进其SQL Server数据库平台，从关系数据进一步扩展到各种数据类型。

近日该公司发布SQL Server 2019预览版，可支持Apache Spark和Hadoop分布式文件系统(HDFS)，其中还包含各种机器学习软件包，这些软件包可使SQL Server成为那些初尝大数据分析的企业的测试平台。

在这个古老数据库管理系统(DBMS)的新版本中，具有大量开源Hadoop组件。除HDFS和Spark数据处理引擎外，Apache的Knox身份验证网关、Ranger安全框架和Livy作业调度程序也将包含在Kubernetes集群运行的Linux容器中，作为SQL Server 2019的一部分。

近年来，Apache Spark已经成为很多大数据领先企业的首选工具。它支持大批量分析、大规模提取、转换和负载转换；机器学习以及其他工作负载。

克服对大数据的恐惧

但在群集中安装Spark与HDFS所需要的技能超出大多数IT部门的常见技能范畴。对此，在微软Ingnite 2018大会上，微软宣布在SQL Server 2019中引入Spark和HDFS。

技术服务提供商Pythian公司首席顾问Warner Chaves表示：“基本上来说，微软将运行HDFS和Spark集群所需的安装过程捆绑在SQL Server中。这非常重要，因为很多客户感到过于恐惧而不敢自己构建大数据基础设施。”

Constellation Research公司首席分析师Doug Henschen认为，该产品可能主要会吸引那些没有其他大数据基础设施的企业。

他继续说道，这还可帮助SQL Server企业规划未来的数据平台战略。

Henschen称：“数据科学家、数据分析师甚至渐进式数据库管理人员越来越多地混合结构化SQL数据库和大数据来源，例如HDFS。他们不断累积非结构化数据，例如日志文件、社交流、移动应用程序的JSON、点击流和其他可变来源。”

微软SQL Server 2019旨在将这些不同数据流整合到单个DBMS平台-在Kubernetes运行，无论是在内部还是在IaaS云端。

再加上9月24日发布的Azure Data Studio，这可提供单个开发人员界面，同时支持SQL Server存储中的结构化数据的SQL数据访问，以及对所有数据以及相同平台运行的Spark引擎的笔记本式访问。

在最开始，Spark和HDFS的大数据集群功能仅提供给已注册微软SQL Server 2019早期部署者计划的用户。其他用户可下载预览版在Windows、Linux和Docker使用，而没有大数据功能。

未来，Cosmo DB

在Ignite 2018大会中讨论的工具和API包括上述Azure Data Studio(Azure Data Studio允许开发人员使用SQL Server 2019)的插件，以及PolyBase连接器-可连接到Oracle、Teradata、MongoDB、PostgreSQL和其他外部数据库用于分析来自SQL Server的数据。

此外，微软的通用多模型云数据库-Azure Cosmos DB也得以更新，跨所有云区域具有多主机读写功能。

微软云计算和其他集团执行副总裁Scott Guthrie表示，通过Cosmos DB，开发人员可构建全局云系统，这可根据规模灵活地自动复制。

Guthrie称，开发人员可通过通用API访问MongoDB、MariaDB和其他数据存储。在该大会中，Guthrie介绍了一个新增API：针对Azure Cosmos DB的Cassandra API插件。

壳牌公司

微软Ignite 2018大会的主要亮点是数据作为AI和业务转型的推动者。

在大会中，石油巨头壳牌公司技术执行副总裁兼首席技术官Yuri Sebregts赞扬微软拥抱数据相关开源技术的做法，该公司采用微软的Azure云和数据工具来协助物联网工作。

他提到：“我们希望我们所使用的平台允许引入最新开源技术的平台。”他补充说，壳牌公司不仅希望在云端利用开源技术，还希望在边缘利用开源技术，这包括壳牌公司的44000家零售店。

Sebregts指出，企业需要转变他们对数据和分析的看法。

他说：“在过去，意见比数据更重要，而现在，数据应当成为工作中心。”

总而言之，凭借推出多样化软件，微软Ignite 2018为转变数据思维模式提供了充足的动力。

我们一直都在努力坚持原创.......请不要一声不吭，就悄悄拿走。

我原创，你原创，我们的内容世界才会更加精彩！

【所有原创内容版权均属TechTarget，欢迎大家转发分享。但未经授权，严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget

官方微博

TechTarget中国