2017 Spark East 峰会举行了 120多场技术演讲,分如下几个分类:
- Keynote (主题演讲)
- Data Science (数据科学)
- Developer (开发者)
- Enterprise (企业)
- Research (研究)
- Spark Ecosystem (Spark 生态体系)
- Spark Experience and Use Cases (Spark 经验和用例)
- Sponsored Sessions (厂商会议)
这次峰会的视频和 PPT 内容会已经放在云盘上(添加 bigdata_summit 公众号,回复 “下载”),供大家下载学习。接下来,我们按照分类,把各场技术分享的简要内容给大家。今天首先介绍 Keynote 分类的 11 场技术分享。大家如果对某场技术分享有所心得,欢迎给我们投稿!
What to Expect for Big Data and Apache Spark in 2017
来自 Databricks , 介绍 Spark 在2017年的主要发展方向,如支持异构硬件,通过结构化流处理(Structured Streaming)来简化流处理和批处理的数据流水线等
Production Ready Structured Streaming
来自 Databricks。在 Spark 2.0 中引入结构化流处理。本文介绍此后在健壮性、延迟等方面的进展,好像还有介绍具体的应用。
Accelerating Machine Learning and Deep Learning At Scale...With Apache Spark
来自 Intel,介绍其最近开源的关于深度学习的项目 BigDL 和一个基于其上的具体应用
Virtualizing Analytics with Apache Spark
来自 Databricks,光从简介上看,好像是如何利用 Spark 来搭建虚拟化分析(Virtual Analytics)平台,此平台能够屏蔽离散(disparate)数据(也就是来自不同源的数据)所带来的复杂性,并且具有各种分析模式(实时、机器学习等)的能力。后续有时间具体在看看。
Apache Spark in Cloud and Hybrid Why Security and Governance Become More Important
来自 Hortonworks, 介绍在公有云和混合云的背景下,Spark 分析集群存在哪些安全和管控方面的问题,以及应对的方法。
Artificial Intelligence How Enterprises Can Crush It With Apache Spark
来自 Forrester,介绍九种基础的人工智能技术“积木”(AI technology building blocks)和企业如何利用他们来为现有的应用增加“智能”。
Big Data Meets Learning Science
来自 McGraw-Hill Education MHE(好像是互联网教育机构,提供个性化学习的服务), 介绍其如何利用 Spark 开发下一代学习者模型(Learner models)和算法,来服务其分布在世界各地的大量学员和讲师。
Data Science Transformation Via Apache Spark on Hybrid Cloud
来自 IBM,从简介看好像是介绍如何利用 Spark 来应对数据科学变化(Data Science Transformation, 这里指的是云化?混合云是一个阶段?)
RISELab Enabling Intelligent Real Time Decisions
来自伯克利实验室。 好像又是一个新概念,Real-Time Intelligence with Secure Execution (RISE) ,翻译为实时智能安全执行?介绍RISELab的愿景和几个相关应用。
Scaling Genetic Data Analysis with Apache Spark
来自 Broad Institute of MIT and Harvard, 介绍 Hail 项目、架构、性能和发展方向。虽然此项目是用来做基因分析的,但是其分析基因的经验/创新具有更广泛的应用,比如可以应用于多维数据(multidimensional data)和有序数据(ordered data)等。
Using Apache Spark for Intelligent Services
来自 Salesforce, 介绍他们如何利用 Spark 搭建他们的 Einstein 平台的智能服务,还介绍了一个相关的 Demo
长按下方二维码,获取更多Spark Summit 和 Hadoop Summit 视频下载链接和 PPT 资料