一文看懂大数据领域的六年巨变

\u003cp\u003e在过去的6年里，本文的作者一直在关注Data Eng Weekly（前身是Hadoop Weekly），它是与大数据和数据工程相关内容的重要来源，涵盖了非常广泛的技术文章、产品公告和行业新闻。\u003c/p\u003e\n\u003cp\u003e今年，作者打算将分析Data Eng的归档内容（这些归档可追溯到2013年1月）作为其个人项目，来析过去6年中的大数据的趋势和变化。\u003c/p\u003e\n\u003cp\u003e为此，作者抓取并清理了290多期内容（使用了Python爬虫），保留了与技术、新闻和发布公告相关的文章片段。接下来，他对文章片段进行了一些基本的自然语言处理并应用了一些基本的过滤，最后生成关键字和下下列表。\u003c/p\u003e\n\u003ch2\u003e过去七年的主要趋势\u003c/h2\u003e\n\u003cp\u003e作者绘制了特定关键词被提及次数的月滚动平均值，并将它们绘制在同一个图表上。下面的图表说明了这些技术大约在什么时间点变得越来越流行。\u003c/p\u003e\n\u003ch3\u003eHadoop与Spark\u003c/h3\u003e\n\u003cp\u003e\u003cimg src=\"https://static.geekbang.org/infoq/5c5679ca67b30.png?imageView2/0/w/800\" alt=\"image\" /\u003e\u003c/p\u003e\n\u003cp\u003e\u003cstrong\u003e从2013年Spark开始接管Hadoop的那一刻起，Hadoop就开始稳步下滑。\u003c/strong\u003e\u003c/p\u003e\n\u003ch3\u003eHadoop与Kafka\u003c/h3\u003e\n\u003cp\u003e\u003cimg src=\"https://static.geekbang.org/infoq/5c5679c8dd6b7.png?imageView2/0/w/800\" alt=\"image\" /\u003e\u003c/p\u003e\n\u003cp\u003e\u003cstrong\u003eKafka成为所有大数据技术栈的主要构建块。\u003c/strong\u003e\u003c/p\u003e\n\u003ch3\u003eHadoop与Kubernetes\u003c/h3\u003e\n\u003cp\u003e\u003cimg src=\"https://static.geekbang.org/infoq/5c5679d19cd44.png?imageView2/0/w/800\" alt=\"image\" /\u003e\u003c/p\u003e\n\u003cp\u003e\u003cstrong\u003eKubernestes的崛起，尽管Data Eng Weekly并不十分关注DevOps，但却也见证了从2017年开始围绕Kubernetes在各个领域的全面炒作。\u003c/strong\u003e\u003c/p\u003e\n\u003ch2\u003e年度热门关键词\u003c/h2\u003e\n\u003cp\u003e我只是简单地画出在给定年份中被提及次数最多的10个关键词。\u003c/p\u003e\n\u003ch3\u003e2013年：Hadoop的黄金时期！\u003c/h3\u003e\n\u003cp\u003e\u003cimg src=\"https://static.geekbang.org/infoq/5c5679c7526ca.png?imageView2/0/w/800\" alt=\"image\" /\u003e\u003c/p\u003e\n\u003cp\u003e\u003cstrong\u003e所有原始的Hadoop项目都在这里：HDFS、YARN、MR、PIG……以及两大主流发行版CDH和HDP，除此之外别无其他！\u003c/strong\u003e\u003c/p\u003e\n\u003ch3\u003e2014年：Spark的崛起！\u003c/h3\u003e\n\u003cp\u003e\u003cimg src=\"https://static.geekbang.org/infoq/5c5679c80d889.png?imageView2/0/w/800\" alt=\"image\" /\u003e\u003c/p\u003e\n\u003cp\u003e\u003cstrong\u003eHadoop总体上延续了它的统治地位，但Spark在这一年推出的第一个版本成为2014年最热门的话题！\u003c/strong\u003e\u003c/p\u003e\n\u003ch3\u003e2015年：Kafka来了！\u003c/h3\u003e\n\u003cp\u003e\u003cimg src=\"https://static.geekbang.org/infoq/5c5679c9a9723.png?imageView2/0/w/800\" alt=\"image\" /\u003e\u003c/p\u003e\n\u003cp\u003e\u003cstrong\u003eSpark取代Hadoop的一名位的置，Kafka进入前三。大多数旧项目（HDFS、YARN、MR、PIG……）都没有进入前十。\u003c/strong\u003e\u003c/p\u003e\n\u003ch3\u003e2016年：流式处理火热！\u003c/h3\u003e\n\u003cp\u003e\u003cimg src=\"https://static.geekbang.org/infoq/5c5679cb45723.png?imageView2/0/w/800\" alt=\"image\" /\u003e\u003c/p\u003e\n\u003cp\u003e\u003cstrong\u003e2016年是流式处理年，Kafka取代了Hadoop第二名的位置，Spark（流式处理）继续占据主导地位。\u003c/strong\u003e\u003c/p\u003e\n\u003ch3\u003e2017：一切向流式处理看齐！\u003c/h3\u003e\n\u003cp\u003e\u003cimg src=\"https://static.geekbang.org/infoq/5c5679cbf12ce.png?imageView2/0/w/800\" alt=\"image\" /\u003e\u003c/p\u003e\n\u003cp\u003e\u003cstrong\u003e与2016年的阵容相同，只是加入了Flink。\u003c/strong\u003e\u003c/p\u003e\n\u003ch3\u003e2018年：回到基础！\u003c/h3\u003e\n\u003cp\u003e\u003cimg src=\"https://static.geekbang.org/infoq/5c5679ccad017.png?imageView2/0/w/800\" alt=\"image\" /\u003e\u003c/p\u003e\n\u003cp\u003e\u003cstrong\u003eKubernetes首次亮相，我们回到了基础，试图找出如何管理（K8S）、调度（airflow）和运行（Spark、Kafka、存储……）我们的流。\u003c/strong\u003e\u003c/p\u003e\n\u003ch3\u003e2019年：…\u003c/h3\u003e\n\u003cp\u003e\u003cimg src=\"https://static.geekbang.org/infoq/5c567a6b9da24.png?imageView2/0/w/800\" alt=\"image\" /\u003e\u003c/p\u003e\n\u003cp\u003e\u003cstrong\u003e现在对2019年给出任何结论还为时过早，但看起来K8s将在2019年成为主流！\u003c/strong\u003e\u003c/p\u003e\n\u003cp\u003e英文原文：\u003c/p\u003e\n\u003cp\u003e\u003ca href=\"https://blog.marouni.fr/bidata-trends-analysis/\"\u003ehttps://blog.marouni.fr/bidata-trends-analysis/\u003c/a\u003e\u003c/p\u003e\n