Spark 和机器学习

在本期True Technologist中，主持人Eric Knorr与Databricks首席技术专家，斯坦福大学计算机科学助理教授Matei Zaharia进行了有关Apache Spark和Apache Mesos项目的对话。

有时，实验室中发生的事情是您意料之外的。 早在2009年，当Matei Zaharia在UC Berkeley的AMPLab读研究生时，他启动了一个名为Spark的项目，作为Mesos的试点工作量，Mesos是一个管理集群的开源项目。 从那时起，Mesos逐渐消失，而Spark已成为Hadoop分布式处理框架的被广泛采用的后继者-更快，更智能，并且与之前的版本不同，它是用于流分析和机器学习的强大平台。

如今，Zaharia是Databricks的CTO，Databricks是Spark和机器学习即服务的基于云的提供商，尽管他仍然在学术界担任斯坦福大学的计算机科学助理教授。 Databricks的首席执行官Ali Ghodsi证明了他的独创性：Zaharia曾经告诉他，他对生物学感兴趣并且正在上课。 他与AMPLap同事合作创建的一个项目出现不久后：可扩展核苷酸比对程序（SNAP），这是一种比序列比对器快三到20倍的序列比对器。

在对IDG的Eric Knorr的采访中，Zaharia阐述了Spark成为首选大数据框架的原因，以及除其他主题外，他为何认为他的公司将Spark与机器学习融合在一起具有独特的价值。 Zaharia因其对大型计算机系统的研究而获得了加州大学伯克利分校的计算机科学博士学位和ACM博士学位论文奖，他担任Apache Spark项目的副总裁，并从事关键的Spark组件（包括MLlib，Spark Streaming）的研究。和Spark SQL。 在短时间内，很少有人为大数据分析和机器学习的发展做出过巨大​​贡献。

From: https://www.infoworld.com/article/3294966/interview-matei-zaharia-on-spark-and-machine-learning.html