大数据的缘起、发展和未来构思

大数据(big data)的定义

      无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。目前,针对大数据的特点综述,比较公认的是大数据的4V特性

  1. Volume:数据量巨大,2020年全球共拥有35ZB的数据量。
  2. Variety:种类多,包括结构化数据、非结构化数据,如今的数据类型早已不是单一的文本形式,订单、日志、音频,多类型的数据对数据处理能力提出了更高的要求。
  3. Velocity:时效性,海量数据处理的时效性要求很高。
  4. Value:价值密度低,如何更迅速地完成数据价值“提纯”是目前海量数据背景下亟待解决的难题。

大数据的缘起

  1. 上世纪末,随着数据库技术的成熟,一些商业智能工具和商业数据库存储技术开始被应用。
  2. 2000年初,社交网络流行导致的大量非结构化数据出现,且数据量飞速增长,数据处理系统、数据库架构开始重新思考。
  3. 2011年麦肯锡全球研究院发布《大数据:下一个创新、竞争和生产力的前沿》
  4. “云计算相遇大数据”为主题的EMC World 2011会议中,EMC抛出了Big Data概念。
  5. 2012年维克托·舍恩伯格《大数据时代:生活、工作与思维的大变革》宣传推广,大数据概念开始风靡全球。
  6. 2013年5月,麦肯锡全球研究院发布了《颠覆性技术:技术改进生活、商业和全球经济》,其中12种新兴技术,并且把大数据技术定义为了基石。
  7. 2014年5月,美国白宫发布了2014年全球“大数据”白皮书的研究报告《大数据:抓住机遇,守护价值》。报告鼓励使用数据推动社会进步。

大数据技术的发展

      2000年初,提供搜索服务的公司,Google陆续发表了三篇论文GFS(Google File System)、MapReduce(分布式并行计算框架)、BigTable(大数据分布式数据库),除了创造了三项革命性技术以外,还拉开了hadoop发展的序幕。

      2003-2004年,Google公布了部分GFS和MapReduce思想的细节,受此启发的Doug Cutting率先在Nutch(搜索框架,包括爬虫、索引、查询)项目中使用分布式计算思想,使性能飙升。

      2005年,Hadoop作为Nutch的一部分正式引入Apache基金会。

      2006年1月,Doug Cutting加入雅虎,并在2月hadoop被分离出来,成为一套独立的软件,起名为Hadoop(Doug Cutting儿子毛绒玩具象命名)。

      2006-2008年4月,雅虎网格计算团队不停的优化和测试hadoop,集群规模也从最初的100余个节点发展到4000个节点,同时,也赢得世界最快1TB数据排序,在900个节点上用时209秒。

      2008年9月,Hive成为Hadoop的子项目

      2008年11月,Google宣布其MapReduce用68秒对1TB的程序进行排序。

      2008年, 淘宝开始投入研究基于Hadoop的系统–云梯。

      2009年5月, Yahoo的团队使用Hadoop对1 TB的数据进行排序只花了62秒时间。

      2009年,伯克利大学的实验室研发出了Spark,主攻一站式分布式内存计算框架、同时支持批处理和准实时计算。

      2010年,数据湖概念产生。

      2010年-2011年,各大模块脱离hadoop成为apache顶级项目,包括avro、hbase、hive、pig、zookeeper,同时hadoop社区也在忙于建立大量的新组件,包括sqoop、oozie、flume等,来扩展hadoop的使用场景和可用性。

      2014年,Stratosphere 0.6开始,正式更名为Flink,并成为apache孵化项目,Flink诞生,对Spark都发出了挑战。flink被定义为统一的大数据分析和流计算引擎、下一代大数据处理引擎。

      2017年-2019年,数据湖开源解决方案Delta、Hudi、Iceberg逐步完善。

      2018年-至今,湖仓一体、一体化数据平台、DataOps、数据编织等概念兴起。

      在2010年附近,围绕hadoop生态体系构建的商业,也如雨后春笋般成长,国内外厂商纷纷布局

  1. 2009年3月,Cloudera推出CDH。
  2. 2009年12月,运营商合作伙伴亚信提出橘云战略、开始对开源hadoop进行研究布局。
  3. 2010年5月,IBM提供基于hadoop的大数据分析软件InfoSphere BigInsights。
  4. 2011年3月,Platform Computing宣布Symphony软件支持hadoop。
  5. 2011年4月,SGI( Silicon Graphics International )基于SGI Rackable和CloudRack服务器产品线提供Hadoop优化的解决方案。
  6. 2011年5月,Mapr Technologies公司推出分布式文件系统和MapReduce引擎——MapR Distribution for Apache Hadoop。
  7. 2011年6月,数据集成供应商Informatica发布了其旗舰产品,支持Hadoop。
  8. 2011年7月,雅虎创建了Hortonworks,并发行HDP产品,并迅速成为了hadoop三大发行版本之一,目前国内的很多发行版本都基于HDP进行二次封装和改造。

      hadoop发展至今,已经从最初HDFS、MapReduce、和Yarn的合称,变成了大数据技术体系的代名词。几乎所有采用分布式理论解决海量数据的采、存、算、查的技术都可以称为大数据技术。从大数据平台(集成大数据技术能力、提供企业级解决方案)的发行版本来看,Hortworks的开源产品HDP、apache开源设计版本hadoop、以及cloudera付费版本CDH三足鼎立(18年末,CDH和HDP合并为CDP,并彻底闭源)。从技术生态来看,后续发展起来的大规模数据存储、实时计算等框架,或多或少都收到了hadoop的启发,同时,几乎都天然适配hadoop。至此,围绕hadoop生态圈构建的商业和技术体系也愈加完善。

      纵观hadoop生态技术的发展史,除了Google公布GFS、MR、BigTable有划时代的意义以外,还有几个里程碑事件尤为重要。第一个是hive的产生,hive作为数据仓库工具,支持开发人员基于sql完成大规模数据的分析、计算,大大降低了开发复杂度。第二个是spark的产生,基于弹性分布式数据集的一站式内存计算框架(支持批处理、准实时处理、机器学习、图计算)等,面对大规模的数据计算场景,如果早期MapReduce是为了解决海量数据可以被计算的问题,那么spark在计算层面的优化,解决的问题是算的更快。第三个flink的产生,同样是以新的理念,优化了计算框架,解决的是有状态数据的流式计算问题,同时,被定义为统一的大数据分析和流计算引擎、下一代大数据处理引擎。目前很多企业,包括 BAT、华为、滴滴、美团、饿了么、携程、360、顺丰、爱奇艺、UBER等。都在大规模使用flink作为他们的核心计算引擎。第四个是数据湖概念的兴起,尤其是与云原生理念结合后,作为全新的企业数据底座,支撑企业数据活动,是当下乃至未来3-5年一个重要的发展方向。

      从以上里程碑事件可以看出端倪,那就是大数据技术的发展趋势,沿着更普惠(开发复杂度低)、效率更高(计算模型优化)的方向发展,同时,随着人们对数据生产要素的重视逐步升级,如何去挖掘更大的价值?如何构建一套灵活的数据架构,来支撑围绕数据的经营活动?是当下经营决策者思考的命题。大数据技术面临最大的挑战变成了,如何将数据生产要素快速连接到业务,实现数据的敏捷制造,让数据要素释放生产力。
大数据的缘起、发展和未来构思_第1张图片

大数据技术体系一级架构

大数据的缘起、发展和未来构思_第2张图片
      前面提到过,所有采用分布式理论解决海量数据的采、存、算、查的技术都可以称为大数据技术。所以,大数据技术体系一般包含以上几个重要模块,可以看出,基本是围绕业务更好的用数来发展的。其中有几个需要注意的点

  1. 多引擎分布式计算:目前大数据计算引擎很多,如专注于批处理的mapreduce,起步很早,但诟病于计算过程中多次刷写磁盘,性能较低,目前已经逐步被淘汰掉。spark,将计算任务解析成DAG,并且大部分计算在内存中完成,可以很大程度的提高计算效率,同时支持批处理和准实时处理(SparkStreaming),完全可以当作mapreduce的替代,目前开源的数据湖解决方案内置的计算引擎就是spark,江湖地位逐步走稳。flink,下一代大数据处理引擎成为新锐,势头正猛。因为技术的不停发展迭代,当下很难评判孰优孰劣,所以,在不同的应用场景,会选择不同的计算引擎。目前比较常见的做法是,在计算之上构建一个公共接口层,来屏蔽各个计算引擎的编程细节,对外开放SQL的接口,最大程度的降低开发门槛。

  2. 一站式数据工作台:开发人员基于可视化的方式,完成数据架构的设计、数据标准、数据质量的制定、同时,可以快速完成数据的采集、ETL开发调度、以及数据服务的编排、开放。基本涵盖了所有的数据操作,并且很好的完成了开发即治理。一站式数据工作台向上承接业务,向下连接基础平台。目前很多所谓的”中台产品”做的基本就是这个事情。但是工具是工具、中台是中台,中台的事情可不是一个工具可以解决的。

  3. 即席查询:解决的是面向分析场景的交互式查询问题。追求的是更快的存储,更实时的数据更新,更牛的OLAP优化技术。我们一直强调数据架构的灵活性,其实这里有一个矛盾点,如果要灵活,就要最轻程度的聚合数据,如果数据聚合度较低,数据就不能很好的被压缩,那么查询就会变慢。即席查询在技术栈上,有两种方式,一个是采用MPP架构,如impala、ck等技术。另一个是偏向大数据架构,如presto、kudu。

大数据技术的未来构思

  1. hadoop存算一体架构向存算分离架构演化:在大数据计算场景中,我们一般采用移动计算、不移动数据的策略来进行优化,会将计算节点和数据节点部署在一起,这会导致三个核心问题,集群规划难(存算耦合、机器带状态,无法弹性扩缩容)、运维负担重(坏盘坏节点无法避免)、存储成本高(容量预留)。在万物云原生的今天,数据存储层可以对象存储为主,计算资源基于K8S进行弹性扩缩容,可以很大程度的满足潮汐计算的需要。

  2. 数据湖解决方案逐步替代传统hive数仓:hive最大的问题在于对upsert的能力支持较弱,并没有写scheme的校验。在历史数据发生变化的数据集成场景中,需要设计复杂的ETL架构,如拉链表等,来做upsert的增强,这无疑增加了系统复杂度,同时提高了数据存储和开发成本。如今,iceberg、hudi和delta都很好的支持了upsert能力,并支持数据的实时写入,可以更好的简化数据ETL的复杂度。

  3. 流批一体化:目前很多公司依旧采用lambda架构,这种架构的缺点是需要同时维护实时和批处理两套架构,这样会导致数据口径不一致、数据维护成本高等等一系列问题。基于flink技术,实现计算引擎的统一、业务层逻辑的统一,以一套语义完成数据开发,可以更好的提高效率。

  4. 多云一站式DataOps:一站式数据平台的升级版,目前一站式数据平台更多的是为了落地数据治理,来规约全链路数据开发的规范性,提高全链路的数据流转效率。但这远远不够,未来的企业的IT基础设施会在多云之上,如何同时实现多云一站式DataOps,并且真正实现基于元数据驱动的DataOps,才是当下要思考的问题。

大数据的缘起、发展和未来构思_第3张图片

我是IT指北,欢迎关注公众号:IT转型指北,定期更新高质量文章,记录所思、所想、所感!
大数据的缘起、发展和未来构思_第4张图片

你可能感兴趣的:(big,data,mapreduce,大数据)