Hadoop 架构已凋谢 ？!
相关阅读：
阿里职位层级（附P级详细要求）
美团技术leader：写给工程师的十条精进原则
35岁了，我慌得一批
作者：Brien Posey是Relevant Technologies主管研究开发的副总裁，为多家刊物和网站撰写技术文章。
Hadoop架构的人气在下滑，这可能归咎于几个不同的因素，尤其是机器学习的兴起。
过去这几年，HDFS的使用量一直在下降，这种基于Java的文件系统已几乎成为所谓的大数据革命的代名词。这主要归因于市场对Hadoop普遍缺乏兴趣。但是导致Hadoop被大规模抛弃的Hadoop架构方面又如何呢？要知道，就在不久前Hadoop还大有希望。
坦率地说，Hadoop走下坡路似乎找不到一个最根本的理由。相反，Hadoop架构人气下滑可能归咎于几个不同的因素。
一些IT专业人员对于自己无法在Hadoop集群上执行任何有意义的数据分析颇为沮丧。一种常见的观点是，Hadoop非常适合存储大量数据，但是对于需要最终用户可以直接处理这些数据的那些企业来说，它又往往不是最佳解决方案。
几家供应商已经开发了SQL on Hadoop解决方案，让客户可以针对驻留在Hadoop上的数据运行SQL查询。即便如此，这些工具也不是天生一模一样，每家SQL on Hadoop供应商都似乎为特定的使用场合设计其工具。不难想象众多企业组织痛苦地发现：它们购买的SQL on Hadoop引擎其实并不是很适合自己的大数据项目。
不仅仅是很难让Hadoop完成企业组织需要它完成的任务这个因素导致Hadoop的使用量减少。导致Hadoop日渐式微的偶尔提到的另一个原因是，Hadoop与目前的IT趋势不相合拍。
大数据革命似乎在一夜之间就立稳了脚跟；大数据蔚然成风时，Hadoop完全准备好了响应号召。毕竟，据Hortonworks声称，HDFS文件系统“已表明了它具有在生产环境下支持200 PB存储的可扩展性”，而4500台服务器组成的单单一个集群就能支持“近10亿个文件和块”。很显然，HDFS处理得了大数据。
可问题是，大数据潮流似乎已翻篇了。尽管IT部门仍然在搞可能归属大数据这个大类的项目，但这个术语用得越来越少。相反，当下的IT潮流似乎是机器学习；当然，Hadoop并不直接支持机器学习。市面上有一些第三方工具（比如Apache Mahout）能够做到让Hadoop支持机器学习，但可能数量太少、动作太晚。
然而，Hadoop使用量下降的最大原因可能是亚马逊AWS和微软Azure等IaaS云日渐成熟。公共云对于企业组织远离Hadoop起到了重要的作用，这出于几个不同的原因。
第一个原因是纯粹的感知或看法。我们生活在一个云优先的世界。公共云提供商在说服人们相信在云端运行工作负载比在本地运行同样那些工作负载要省钱得多这方面做得很到位。
另外，外头往往认为继续在本地环境部署新工作负载的企业多少落后于时代。
公共云提供商慢慢促使Hadoop衰落的第二个原因是，云提供商实际上构建了一个更管用的捕鼠器。虽然值得一提的是，亚马逊确实通过亚马逊EMR支持Hadoop和Spark，但对于需要大数据分析功能的企业组织而言，EMR并非亚马逊的唯一解决方案。亚马逊还提供Athena和Elasticsearch，前者可用于分析存储在亚马逊S3中PB级的数据，后者支持PB级的日志分析、文本搜索和应用程序监控功能。
我料想，Hadoop和HDFS文件系统根本不会完全消失，至少在短期内不会消失。我认为，将来可能总是需要使用商用硬件的大容量存储。此外，将大量数据上传到公共云可能成本过高，还可能带来购置、维护和运输等保障方面的问题。
话虽如此，新的大数据项目诞生于云端显得越来越常见，IT专业人员日益发现云原生大数据工具比Hadoop来得更易于使用、更有效。
如有收获，欢迎「分享 
」
「点赞
」「评论 
」
妈妈常教导我，让我养成良好习惯。这样长大才能成为一个有用的人。良好的习惯是尊敬师长这样长大才能成为一个有用的人。良好的习惯是尊敬师长，爱护同学，对人有礼貌；是不粗心，做事情不拖拉；还是爱护公物，不浪费粮食。为什么呢？因为拥有良好习惯，做一个品德高尚的人，懂得尊重别人，才会得到别人的尊重。我要努力地做到这些。我有一些坏习惯，有时候学习很粗心，把一些会做的题做错。在生活上，也很粗心，有一次早上起床居然穿反了衣服。我吃饭很慢，有的时候还剩饭。我还起床磨蹭，本来应该迅速地穿好衣服，但是，我总是磨磨蹭蹭地，速度很慢。“我打算在这学期里，改掉这些坏习惯。早上起来，迅速地穿好衣服，不拖拉。学习不粗心，仔细完成每一道题。吃饭的时候，要很快的把饭吃完，不剩饭。我要从一点一滴做起，逐渐养成良好习惯。我相信自己一定能成为一名品学兼优的好学生！我打算在这学期里，改掉这些坏习惯。早上起来，迅速地穿好衣服，不拖拉。学习不粗心，仔细完成每一道题。吃饭的时候，要很快的把饭吃完，不剩饭。我要从一点一滴做起，逐渐养成良好习惯。我相信自己一定能成为一名品学兼优的好学生！” 在上幼儿园以前，我什么也不会干，就连穿衣服也是妈妈给我穿好，就要上幼儿园了，这样可不行，妈妈锻炼我要学会自己穿衣服。 有一天，妈妈把衣服摆在我面前，开始让我自己穿。一开始。我又哭又叫就是不穿，还把衣服扔的满地都是，然后坐在地上开始大哭，等了好长时间，妈妈还是不理我，我只好自己乖乖的把衣服穿好， 一出了房间门，妈妈就笑了起来，再看看我的衣服，毛衣和裤子都穿反了，我赶紧回房间又重新穿了一遍，这次穿好了，拿起外套，可是外套的扣子又扣不上了，扣子可调皮了，好像故意和我作对，我把扣子往扣眼——人类邪恶的根源；爱情——幸福和光明的源泉。我一直在这些思想的舞台上徘徊。突然我发现两个身影从我面前经过，坐在不远的草地上。这是一对从农田那边走过来的青年男女。农田那边有农民的茅舍。在一阵令人伤心的沉默之后，随着一声长叹，我听见从一个肺痨病人的嘴里说出了这样的话：幸福和光明的源泉。我一直在这些思想的舞台上徘徊。突然我发现两个身影从我面前经过，坐在不远的草地上。这是一对从农田那边走过来的青年男女。农田那边有农民的茅舍。在一阵令人伤心的沉默之后，随着一声长叹，我听见从一个肺痨病人的嘴里说出了这样的话幸福和光明的源泉。我一直在这些思想的舞台上徘徊。突然我发现两个身影从我面前经过，坐在不远的草地上。这是一对从农田那边走过来的青年男女。农田那边有农民的茅舍。在一阵令人伤心的沉默之后，随着一声长叹，我听见从一个肺痨病人的嘴里说出了这样的话幸福和光明的源泉。我一直在这些思想的舞台上徘徊。突然我发现两个身影从我面前经过，坐在不远的草地上。这是一对从农田那边走过来的青年男女。农田那边有农民的茅舍。在一阵令人伤心的沉默之后，随着一声长叹，我听见从一个肺痨病人的嘴里说出了这样的话幸福和光明的源泉。我一直在这些思想的舞台上徘徊。突然我发现两个身影从我面前经过，坐在不远的草地上。这是一对从农田那边走过来的青年男女。农田那边有农民的茅舍。在一阵令人伤心的沉默之后，随着一声长叹，我听见从一个肺痨病人的嘴里说出了这样的话幸福和光明的源泉。我一直在这些思想的舞台上徘徊。突然我发现两个身影从我面前经过，坐在不远的草地上。这是一对从农田那边走过来的青年男女。农田那边有农民的茅舍。在一阵令人伤心的沉默之后，随着一声长叹，我听见从一个肺痨病人的嘴里说出了这样的话幸福和光明的源泉。我一直在这些思想的舞台上徘徊。突然我发现两个身影从我面前经过，坐在不远的草地上。这是一对从农田那边走过来的青年男女。农田那边有农民的茅舍。在一阵令人伤心的沉默之后，随着一声长叹，我听见从一个肺痨病人的嘴里说出了这样的话幸福和光明的源泉。我一直在这些思想的舞台上徘徊。突然我发现两个身影从我面前经过，坐在不远的草地上。这是一对从农田那边走过来的青年男女。农田那边有农民的茅舍。在一阵令人伤心的沉默之后，随着一声长叹，我听见从一个肺痨病人的嘴里说出了这样的话幸福和光明的源泉。我一直在这些思想的舞台上徘徊。突然我发现两个身影从我面前经过，坐在不远的草地上。这是一对从农田那边走过来的青年男女。农田那边有农民的茅舍。在一阵令人伤心的沉默之后，随着一声长叹，我听见从一个肺痨病人的嘴里说出了这样的话“亲爱的！擦干你的眼泪，至高无上的爱情已经打开了我们的眼界，使我们成了它的崇拜者。是它，
妈妈常教导我，让我养成良好习惯。这样长大才能成为一个有用的人。良好的习惯是尊敬师长这样长大才能成为一个有用的人。良好的习惯是尊敬师长，爱护同学，对人有礼貌；是不粗心，做事情不拖拉；还是爱护公物，不浪费粮食。为什么呢？因为拥有良好习惯，做一个品德高尚的人，懂得尊重别人，才会得到别人的尊重。我要努力地做到这些。我有一些坏习惯，有时候学习很粗心，把一些会做的题做错。在生活上，也很粗心，有一次早上起床居然穿反了衣服。我吃饭很慢，有的时候还剩饭。我还起床磨蹭，本来应该迅速地穿好衣服，但是，我总是磨磨蹭蹭地，速度很慢。“我打算在这学期里，改掉这些坏习惯。早上起来，迅速地穿好衣服，不拖拉。学习不粗心，仔细完成每一道题。吃饭的时候，要很快的把饭吃完，不剩饭。我要从一点一滴做起，逐渐养成良好习惯。我相信自己一定能成为一名品学兼优的好学生！我打算在这学期里，改掉这些坏习惯。早上起来，迅速地穿好衣服，不拖拉。学习不粗心，仔细完成每一道题。吃饭的时候，要很快的把饭吃完，不剩饭。我要从一点一滴做起，逐渐养成良好习惯。我相信自己一定能成为一名品学兼优的好学生！” 在上幼儿园以前，我什么也不会干，就连穿衣服也是妈妈给我穿好，就要上幼儿园了，这样可不行，妈妈锻炼我要学会自己穿衣服。 有一天，妈妈把衣服摆在我面前，开始让我自己穿。一开始。我又哭又叫就是不穿，还把衣服扔的满地都是，然后坐在地上开始大哭，等了好长时间，妈妈还是不理我，我只好自己乖乖的把衣服穿好， 一出了房间门，妈妈就笑了起来，再看看我的衣服，毛衣和裤子都穿反了，我赶紧回房间又重新穿了一遍，这次穿好了，拿起外套，可是外套的扣子又扣不上了，扣子可调皮了，好像故意和我作对，我把扣子往扣眼——人类邪恶的根源；爱情——幸福和光明的源泉。我一直在这些思想的舞台上徘徊。突然我发现两个身影从我面前经过，坐在不远的草地上。这是一对从农田那边走过来的青年男女。农田那边有农民的茅舍。在一阵令人伤心的沉默之后，随着一声长叹，我听见从一个肺痨病人的嘴里说出了这样的话：“亲爱的！擦干你的眼泪，至高无上的爱情已经打开了我们的眼界，使我们成了它的崇拜者。是它，
看完本文有收获？请转发分享给更多人
欢迎关注“互联网架构师”，我们分享最有价值的互联网技术干货文章，助力您成为有思想的全栈架构师，我们只聊互联网、只聊架构，不聊其他！打造最有价值的架构师圈子和社区。
本公众号覆盖中国主要首席架构师、高级架构师、CTO、技术总监、技术负责人等人 群。分享最有价值的架构思想和内容。打造中国互联网圈最有价值的架构师圈子。
长按下方的二维码可以快速关注我们
如想加群讨论学习，请点击右下角的“加群学习”菜单入群