spark针对sqlserver_SQL Server 2019预览版向DBMS引入Hadoop、Spark和AI

微软本周继续改进其SQL Server数据库平台,从关系数据进一步扩展到各种数据类型。

近日该公司发布SQL Server 2019预览版,可支持Apache Spark和Hadoop分布式文件系统(HDFS),其中还包含各种机器学习软件包,这些软件包可使SQL Server成为那些初尝大数据分析的企业的测试平台。

在这个古老数据库管理系统(DBMS)的新版本中,具有大量开源Hadoop组件。除HDFS和Spark数据处理引擎外,Apache的Knox身份验证网关、Ranger安全框架和Livy作业调度程序也将包含在Kubernetes集群运行的Linux容器中,作为SQL Server 2019的一部分。

近年来,Apache Spark已经成为很多大数据领先企业的首选工具。它支持大批量分析、大规模提取、转换和负载转换;机器学习以及其他工作负载。

克服对大数据的恐惧

但在群集中安装Spark与HDFS所需要的技能超出大多数IT部门的常见技能范畴。对此,在微软Ingnite 2018大会上,微软宣布在SQL Server 2019中引入Spark和HDFS。

技术服务提供商Pythian公司首席顾问Warner Chaves表示:“基本上来说,微软将运行HDFS和Spark集群所需的安装过程捆绑在SQL Server中。这非常重要,因为很多客户感到过于恐惧而不敢自己构建大数据基础设施。”

Constellation Research公司首席分析师Doug Henschen认为,该产品可能主要会吸引那些没有其他大数据基础设施的企业。

他继续说道,这还可帮助SQL Server企业规划未来的数据平台战略。

Henschen称:“数据科学家、数据分析师甚至渐进式数据库管理人员越来越多地混合结构化SQL数据库和大数据来源,例如HDFS。他们不断累积非结构化数据,例如日志文件、社交流、移动应用程序的JSON、点击流和其他可变来源。”

微软SQL Server 2019旨在将这些不同数据流整合到单个DBMS平台-在Kubernetes运行,无论是在内部还是在IaaS云端。

再加上9月24日发布的Azure Data Studio,这可提供单个开发人员界面,同时支持SQL Server存储中的结构化数据的SQL数据访问,以及对所有数据以及相同平台运行的Spark引擎的笔记本式访问。

在最开始,Spark和HDFS的大数据集群功能仅提供给已注册微软SQL Server 2019早期部署者计划的用户。其他用户可下载预览版在Windows、Linux和Docker使用,而没有大数据功能。

未来,Cosmo DB

在Ignite 2018大会中讨论的工具和API包括上述Azure Data Studio(Azure Data Studio允许开发人员使用SQL Server 2019)的插件,以及PolyBase连接器-可连接到Oracle、Teradata、MongoDB、PostgreSQL和其他外部数据库用于分析来自SQL Server的数据。

此外,微软的通用多模型云数据库-Azure Cosmos DB也得以更新,跨所有云区域具有多主机读写功能。

微软云计算和其他集团执行副总裁Scott Guthrie表示,通过Cosmos DB,开发人员可构建全局云系统,这可根据规模灵活地自动复制。

Guthrie称,开发人员可通过通用API访问MongoDB、MariaDB和其他数据存储。在该大会中,Guthrie介绍了一个新增API:针对Azure Cosmos DB的Cassandra API插件。

壳牌公司

微软Ignite 2018大会的主要亮点是数据作为AI和业务转型的推动者。

在大会中,石油巨头壳牌公司技术执行副总裁兼首席技术官Yuri Sebregts赞扬微软拥抱数据相关开源技术的做法,该公司采用微软的Azure云和数据工具来协助物联网工作。

他提到:“我们希望我们所使用的平台允许引入最新开源技术的平台。”他补充说,壳牌公司不仅希望在云端利用开源技术,还希望在边缘利用开源技术,这包括壳牌公司的44000家零售店。

Sebregts指出,企业需要转变他们对数据和分析的看法。

他说:“在过去,意见比数据更重要,而现在,数据应当成为工作中心。”

总而言之,凭借推出多样化软件,微软Ignite 2018为转变数据思维模式提供了充足的动力。

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget

官方微博

TechTarget中国

你可能感兴趣的:(spark针对sqlserver_SQL Server 2019预览版向DBMS引入Hadoop、Spark和AI)