Azure Databricks为基础！资料科学分析团正式成立

2019独角兽企业重金招聘Python工程师标准>>>

IDC在全球资料趋势白皮书「Data Age 2025」预测，2025年全球新增资料量将达175 ZB，成长主力来自影像监控、物联网（IoT）装置数据、诠释数据（Metadata）和生产力数据。Gartner在小型调查里也发现，高达66%的受访者期望在2020年之前部署5G，主要需求在于物联网、通讯和视讯应用。换言之，对企业组织而言，数据量及来源早已不成问题，主战场将是分析及应用，但随着新兴服务带来的大量串流资料，这也是目前最为棘手的领域。尤其当前人工智能水涨船高，即使引进机器学习、深度学习等新技术，要在有限时间处理解析异质管道、源源不断的巨量资料，并转化为助力企业的决策或行动，仍然形同不可能的任务。源于Apache Spark的Databricks采用Spark丛集运算架构，则以独特的内存内运算机制，提供比Hadoop更快100倍的速度，最适合用来处理大量而复杂的数据运算。也正因为如此，Apache Spark和Microsoft连手打造的Azure Databricks，成为链接数据科学与企业AI工具的最佳桥梁。

服务整合、协同合作的先进分析平台

Azure Databricks是针对Azure云端服务平台进行优化的Azure Spark分析平台，透过一键式设定、顺畅工作流程、交互式工作区等快速又简单的特性，为数据科学家、数据工程师、企业分析师提供前所未有的协作环境。举例来说，交互式工作区可让团队成员在共享项目进行共同作业和批注。此外，Azure Databricks支持多种语言和链接库如Python、Scala、R、Java和SQL，连MLlib、GraphX也涵盖在内，企业团队以现有技能即可展开项目建置。更重要的是，Azure Databricks独具与Azure服务无缝整合的多重优势。首先，在安全性和可靠性部分，Azure Databricks可享有Azure提供的企业级安全机制和服务等级保证（SLA），例如：整合Azure AD进行单一登录。在数据服务部分，Azure Databricks可轻松整合各种数据存放区，包括Azure SQL数据仓储、Azure Cosmos DB、Azure Data Lake Storage、Azure Data Factory和Azure事件中枢，以及互动数据视觉效果工具Power BI，可望强化对数据仓储和实时分析的支持。

 

时、地、物的整合分析与决策，年省数千万美元

举例来说，壳牌公司（Shell）在全球石油和天然气产业稳居领导地位，由于旗下许多作业地点交通不便，因此全球据点皆保存大量备用零件以确保运作不中断，但这些价值高达10亿美元、多达3000种以上的备用零件也造成库存和供应链管理的严峻挑战。壳牌公司以Databricks建立云端原生的统合分析平台，相较于原先已大幅提升性能的内部服务器，库存分析及预测的模拟运算时间从48小时大幅缩减为45分钟，同时节省了投资基础架构的TCO，提升运作效率和敏捷度。此外，单一的交互式工作空间强化了团队的协同合作，成员可同时对相同数据或模型进行作业，自动化的分析工作流程则可轻松预测零件的采购时点、存放期间及存放地点。壳牌公司在全球部署以Databricks打造的库存优化工具，每年可节省数千万美元的费用。

 

戴姆勒汽车公司（Daimler）则是将大数据平台从内部机房全面移转到Azure云端，目前有高达九成的分析应用都是采用Azure Databricks和HD Insights来执行，该公司更规划透过自助服务工具，将AI与分析服务推广给更多一般使用者。放眼全球产业，絶大部分都已化身数据管理者的角色，从金融服务、医疗保健、零售到制造，甚至是媒体和娱乐产业都包含在内。运用Azure Databricks，则能协助这些产业打造现代化的数据仓储，执行先进与实时分析，加速落实大数据和人工智能应用，并转化为实质的经营成效。

转载于:https://my.oschina.net/u/4024424/blog/3026374