haydenwang8287
haydenwang8287

Hadoop家族学习路线图


主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, Flume, Bigtop, Crunch, Hue等。

从2011年开始，中国进入大数据风起云涌的时代，以Hadoop为代表的家族软件，占据了大数据处理的广阔地盘。开源界及厂商，所有数据软件，无一不向Hadoop靠拢。Hadoop也从小众的高富帅领域，变成了大数据开发的标准。在Hadoop原有技术基础之上，出现了Hadoop家族产品，通过“大数据”概念不断创新，推出科技进步。

作为IT界的开发人员，我们也要跟上节奏，抓住机遇，跟着Hadoop一起雄起！

hadoopFamilyRoadmap

前言

使用Hadoop已经有一段时间了，从开始的迷茫，到各种的尝试，到现在组合应用….慢慢地涉及到数据处理的事情，已经离不开hadoop了。Hadoop在大数据领域的成功，更引发了它本身的加速发展。现在Hadoop家族产品，已经达到20个了之多。

有必要对自己的知识做一个整理了，把产品和技术都串起来。不仅能加深印象，更可以对以后的技术方向，技术选型做好基础准备。

本文为“Hadoop家族”开篇，Hadoop家族学习路线图

目录

  1. Hadoop家族产品
  2. Hadoop家族学习路线图

1. Hadoop家族产品

截止到2013年，根据cloudera的统计，Hadoop家族产品已经达到20个！
http://blog.cloudera.com/blog/2013/01/apache-hadoop-in-2013-the-state-of-the-platform/

接下来，我把这20个产品，分成了2类。

  • 第一类，是我已经掌握的
  • 第二类，是TODO准备继续学习的

HadoopFamilySmall

一句话产品介绍:

  • ApacheHadoop: 是Apache开源组织的一个分布式计算开源框架，提供了一个分布式文件系统子项目(HDFS)和支持MapReduce分布式计算的软件架构。
  • ApacheHive: 是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。
  • ApachePig: 是一个基于Hadoop的大规模数据分析工具，它提供的SQL-LIKE语言叫Pig Latin，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。
  • Apache HBase: 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。
  • Apache Sqoop: 是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。
  • Apache Zookeeper: 是一个为分布式应用所设计的分布的、开源的协调服务，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，简化分布式应用协调及其管理的难度，提供高性能的分布式服务
  • ApacheMahout:是基于Hadoop的机器学习和数据挖掘的一个分布式框架。Mahout用MapReduce实现了部分数据挖掘算法，解决了并行挖掘的问题。
  • ApacheCassandra:是一套开源分布式NoSQL数据库系统。它最初由Facebook开发，用于储存简单格式数据，集Google BigTable的数据模型与Amazon Dynamo的完全分布式的架构于一身
  • ApacheAvro: 是一个数据序列化系统，设计用于支持数据密集型，大批量数据交换的应用。Avro是新的数据序列化格式与传输工具，将逐步取代Hadoop原有的IPC机制
  • ApacheAmbari: 是一种基于Web的工具，支持Hadoop集群的供应、管理和监控。
  • ApacheChukwa: 是一个开源的用于监控大型分布式系统的数据收集系统，它可以将各种各样类型的数据收集成适合 Hadoop 处理的文件保存在 HDFS 中供 Hadoop 进行各种 MapReduce 操作。
  • ApacheHama: 是一个基于HDFS的BSP（Bulk Synchronous Parallel)并行计算框架, Hama可用于包括图、矩阵和网络算法在内的大规模、大数据计算。
  • Apache Flume: 是一个分布的、可靠的、高可用的海量日志聚合的系统，可用于日志数据收集，日志数据处理，日志数据传输。
  • ApacheGiraph: 是一个可伸缩的分布式迭代图处理系统， 基于Hadoop平台，灵感来自 BSP (bulk synchronous parallel) 和 Google 的 Pregel。
  • ApacheOozie: 是一个工作流引擎服务器, 用于管理和协调运行在Hadoop平台上（HDFS、Pig和MapReduce）的任务。
  • ApacheCrunch: 是基于Google的FlumeJava库编写的Java库，用于创建MapReduce程序。与Hive，Pig类似，Crunch提供了用于实现如连接数据、执行聚合和排序记录等常见任务的模式库
  • ApacheWhirr: 是一套运行于云服务的类库（包括Hadoop），可提供高度的互补性。Whirr学支持Amazon EC2和Rackspace的服务。
  • ApacheBigtop: 是一个对Hadoop及其周边生态进行打包，分发和测试的工具。
  • ApacheHCatalog: 是基于Hadoop的数据表和存储管理，实现中央的元数据和模式管理，跨越Hadoop和RDBMS，利用Pig和Hive提供关系视图。
  • ClouderaHue: 是一个基于WEB的监控和管理系统，实现对HDFS，MapReduce/YARN, HBase, Hive, Pig的web化操作和管理。

2. Hadoop家族学习路线图

下面我将分别介绍各个产品的安装和使用，以我经验总结我的学习路线。

Hadoop

Hive

Pig

Zookeeper

HBase

Mahout

Sqoop

Cassandra

主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, Flume, Bigtop, Crunch, Hue等。

从2011年开始，中国进入大数据风起云涌的时代，以Hadoop为代表的家族软件，占据了大数据处理的广阔地盘。开源界及厂商，所有数据软件，无一不向Hadoop靠拢。Hadoop也从小众的高富帅领域，变成了大数据开发的标准。在Hadoop原有技术基础之上，出现了Hadoop家族产品，通过“大数据”概念不断创新，推出科技进步。

作为IT界的开发人员，我们也要跟上节奏，抓住机遇，跟着Hadoop一起雄起！

hadoopFamilyRoadmap

前言

使用Hadoop已经有一段时间了，从开始的迷茫，到各种的尝试，到现在组合应用….慢慢地涉及到数据处理的事情，已经离不开hadoop了。Hadoop在大数据领域的成功，更引发了它本身的加速发展。现在Hadoop家族产品，已经达到20个了之多。

有必要对自己的知识做一个整理了，把产品和技术都串起来。不仅能加深印象，更可以对以后的技术方向，技术选型做好基础准备。

本文为“Hadoop家族”开篇，Hadoop家族学习路线图

目录

  1. Hadoop家族产品
  2. Hadoop家族学习路线图

1. Hadoop家族产品

截止到2013年，根据cloudera的统计，Hadoop家族产品已经达到20个！
http://blog.cloudera.com/blog/2013/01/apache-hadoop-in-2013-the-state-of-the-platform/

接下来，我把这20个产品，分成了2类。

  • 第一类，是我已经掌握的
  • 第二类，是TODO准备继续学习的

HadoopFamilySmall

一句话产品介绍:

  • ApacheHadoop: 是Apache开源组织的一个分布式计算开源框架，提供了一个分布式文件系统子项目(HDFS)和支持MapReduce分布式计算的软件架构。
  • ApacheHive: 是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。
  • ApachePig: 是一个基于Hadoop的大规模数据分析工具，它提供的SQL-LIKE语言叫Pig Latin，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。
  • Apache HBase: 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。
  • Apache Sqoop: 是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。
  • Apache Zookeeper: 是一个为分布式应用所设计的分布的、开源的协调服务，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，简化分布式应用协调及其管理的难度，提供高性能的分布式服务
  • ApacheMahout:是基于Hadoop的机器学习和数据挖掘的一个分布式框架。Mahout用MapReduce实现了部分数据挖掘算法，解决了并行挖掘的问题。
  • ApacheCassandra:是一套开源分布式NoSQL数据库系统。它最初由Facebook开发，用于储存简单格式数据，集Google BigTable的数据模型与Amazon Dynamo的完全分布式的架构于一身
  • ApacheAvro: 是一个数据序列化系统，设计用于支持数据密集型，大批量数据交换的应用。Avro是新的数据序列化格式与传输工具，将逐步取代Hadoop原有的IPC机制
  • ApacheAmbari: 是一种基于Web的工具，支持Hadoop集群的供应、管理和监控。
  • ApacheChukwa: 是一个开源的用于监控大型分布式系统的数据收集系统，它可以将各种各样类型的数据收集成适合 Hadoop 处理的文件保存在 HDFS 中供 Hadoop 进行各种 MapReduce 操作。
  • ApacheHama: 是一个基于HDFS的BSP（Bulk Synchronous Parallel)并行计算框架, Hama可用于包括图、矩阵和网络算法在内的大规模、大数据计算。
  • Apache Flume: 是一个分布的、可靠的、高可用的海量日志聚合的系统，可用于日志数据收集，日志数据处理，日志数据传输。
  • ApacheGiraph: 是一个可伸缩的分布式迭代图处理系统， 基于Hadoop平台，灵感来自 BSP (bulk synchronous parallel) 和 Google 的 Pregel。
  • ApacheOozie: 是一个工作流引擎服务器, 用于管理和协调运行在Hadoop平台上（HDFS、Pig和MapReduce）的任务。
  • ApacheCrunch: 是基于Google的FlumeJava库编写的Java库，用于创建MapReduce程序。与Hive，Pig类似，Crunch提供了用于实现如连接数据、执行聚合和排序记录等常见任务的模式库
  • ApacheWhirr: 是一套运行于云服务的类库（包括Hadoop），可提供高度的互补性。Whirr学支持Amazon EC2和Rackspace的服务。
  • ApacheBigtop: 是一个对Hadoop及其周边生态进行打包，分发和测试的工具。
  • ApacheHCatalog: 是基于Hadoop的数据表和存储管理，实现中央的元数据和模式管理，跨越Hadoop和RDBMS，利用Pig和Hive提供关系视图。
  • ClouderaHue: 是一个基于WEB的监控和管理系统，实现对HDFS，MapReduce/YARN, HBase, Hive, Pig的web化操作和管理。

2. Hadoop家族学习路线图

下面我将分别介绍各个产品的安装和使用，以我经验总结我的学习路线。

Hadoop

Hive

Pig

Zookeeper

HBase

Mahout

Sqoop

Cassandra

你可能感兴趣的:(Hadoop家族)

  • 浅谈MapReduce Android路上的人 Hadoop分布式计算mapreduce分布式框架hadoop
    从今天开始，本人将会开始对另一项技术的学习，就是当下炙手可热的Hadoop分布式就算技术。目前国内外的诸多公司因为业务发展的需要，都纷纷用了此平台。国内的比如BAT啦，国外的在这方面走的更加的前面，就不一一列举了。但是Hadoop作为Apache的一个开源项目，在下面有非常多的子项目，比如HDFS，HBase,Hive，Pig,等等，要先彻底学习整个Hadoop，仅仅凭借一个的力量，是远远不够的。
  • Hadoop 傲雪凌霜，松柏长青 后端大数据hadoop大数据分布式
    ApacheHadoop是一个开源的分布式计算框架，主要用于处理海量数据集。它具有高度的可扩展性、容错性和高效的分布式存储与计算能力。Hadoop核心由四个主要模块组成，分别是HDFS（分布式文件系统）、MapReduce（分布式计算框架）、YARN（资源管理）和HadoopCommon（公共工具和库）。1.HDFS（HadoopDistributedFileSystem）HDFS是Hadoop生
  • Hadoop架构 henan程序媛 hadoop大数据分布式
    一、案列分析1.1案例概述现在已经进入了大数据(BigData)时代，数以万计用户的互联网服务时时刻刻都在产生大量的交互，要处理的数据量实在是太大了，以传统的数据库技术等其他手段根本无法应对数据处理的实时性、有效性的需求。HDFS顺应时代出现，在解决大数据存储和计算方面有很多的优势。1.2案列前置知识点1.什么是大数据大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的大量数据集合，
  • ❤️午间能量加油站～360 16b243081175
    改变家族命运只有一个字“胆”一、胆量决定财富1、想常人之不敢想，做常人之不敢做2、不拼，怎么知道不行3、有没有勇气走出第一步，往往是人生的分水岭4、人的成功是被冒险逼出来的5、不冒险就是最大的冒险，我们坚决不做老实人6、害怕失败，就等于拒绝成功7、要想知道梨子的味道，就要亲口尝一尝二、机会青睐于果断（果断法则）1、一个有魅力的人，必定毫不犹豫，说到做到2、你一旦拖延，你就总是会拖延3、当你做了不属
  • 《九鼎风水师》第五百八十二章 和赵家的交易 先峰老师
    眼前的一幕入眼，自己也大概能够猜测到是什么情况了。大家族之中就是麻烦多，没有想到一点点的小事情，居然能够有如此多的纠结。场地之中，两人就静静的对视而望。气氛稍微显得有些诡异而又沉默。这平静的气氛并没有持续多久，最多也就是一分钟的样子，就被打破了。“哈哈！少年可谓啊！没有想到，林老头居然有着这么一个出色的孙子，小五，还不快快请尚公子进来？”从大门中走出来出声的是一位白发苍苍的老者，身着一身灰色长衫，
  • 分享一个基于python的电子书数据采集与可视化分析 hadoop电子书数据分析与推荐系统 spark大数据毕设项目（源码、调试、LW、开题、PPT) 计算机源码社 Python项目大数据大数据pythonhadoop计算机毕业设计选题计算机毕业设计源码数据分析spark毕设
    作者：计算机源码社个人简介：本人八年开发经验，擅长Java、Python、PHP、.NET、Node.js、Android、微信小程序、爬虫、大数据、机器学习等，大家有这一块的问题可以一起交流！学习资料、程序开发、技术解答、文档报告如需要源码，可以扫取文章下方二维码联系咨询Java项目微信小程序项目Android项目Python项目PHP项目ASP.NET项目Node.js项目选题推荐项目实战|p
  • 说话三思而后行（三） 超越凡尘118
    『比喻力』“父亲是一座山。”“老师是辛勤的园丁，我们是祖国的花朵。”上小学时，我们就接触过“比喻”这个概念，也练习过如何把一个人、一个物比喻成其他事物，但在日常沟通中，能把比喻用得恰到好处的并不多。《奇葩说》有一期的辩题是“结婚前让对方在房本上加自己名字，有错吗？”，薛教授把婚姻比喻成创办家族企业，由于双方给出的资源不同，发挥作用的时间点不同，所以他认为，在结婚前有必要在房本上加女方名字。他曾在《
  • 孱夫子言语（221） 孱夫子
    人人的私邪欲望从哪里来的？人人的祖宗是谁？人人的儿孙子嗣到底归谁？人的私邪欲望应该归功于低级趣味的动物流程。每个人的祖宗到底是谁？有说是女娃造人，有说是耶稣，有说是天主，有人说生死轮回，有人说是猴子演变。人人的子嗣后裔到底是人。人人的私邪欲望总是离不开个体这个小东西。人比人强盛把人人引向自私的沟壑，一人一事胜利了强盛了，人人已经不能是人而比人人高出，脱离了是人的范围，再把家族强调分出姓氏名讳，自私
  • Xilinx 7系列FPGA架构之器件配置（一） FPGA技术实战 FPGA器件架构XinxFPGA硬件设计fpga开发
    引言：本系列博文描述7系列FPGA配置的技术参考。作为开篇，简要概述了7系列FPGA的配置方法和功能。随后的博文将对每种配置方法和功能进行更详细的描述。本文描述的配置方法和功能适用于所有7系列家族器件，只有少数例外。1.概述Xilinx®7系列FPGA通过将特定于应用程序的配置数据（位流）加载到内存中进行配置。7系列FPGA可以主动从外部非易失性存储设备加载，也可以通过外部智能源（如微处理器、DS
  • 经济变化的转折 悟道修行
    中国正在经历百年未有之大变局，这一年将是中国新的起点，也将是无数人开始逆袭的一年。无论你从事什么行业，都必须对社会发展有全面理解，这篇文章旨在扩充大家的视野，一起提升格局！本文先后从个人，商业，世界三个角度诠释：第一部分：个人篇人类社会的发展路径：部落社会——村落社会——家族社会——家庭社会——个体社会。世界正变的越来越细致、周密。以前各种关系是面对面发生的，后来发展成了线对线，未来的世界，由各种
  • hbase介绍 CrazyL- 云计算+大数据hbase
    hbase是一个分布式的、多版本的、面向列的开源数据库hbase利用hadoophdfs作为其文件存储系统，提供高可靠性、高性能、列存储、可伸缩、实时读写、适用于非结构化数据存储的数据库系统hbase利用hadoopmapreduce来处理hbase、中的海量数据hbase利用zookeeper作为分布式系统服务特点：数据量大：一个表可以有上亿行，上百万列（列多时，插入变慢）面向列：面向列（族）的
  • 影片《小偷家族》 小小投资人
    看过《西虹市首富》后再来看《小偷家族》，可能会觉得平凡乏味单调，但不得不说，一个是感观上的震撼，另一个却是心灵上的震撼。1.黑暗与明亮屋子里的生活要不在晚上，要不就是昏暗的，正如小偷家族，他们在社会的底层，一个我们根本看不见的地方。我相信中国也有很多这样的底层家庭，但是我们平时看不到，媒体上甚至都看不到，他们就像不存在一样。而孩子在外面与全家去海边的时候，又是那么的明亮，这样的明暗变化，让观众在黑
  • 大数据毕业设计hadoop+spark+hive知识图谱租房数据分析可视化大屏 租房推荐系统 58同城租房爬虫 房源推荐系统 房价预测系统 计算机毕业设计 机器学习 深度学习 人工智能 2401_84572577 程序员大数据hadoop人工智能
    做了那么多年开发，自学了很多门编程语言，我很明白学习资源对于学一门新语言的重要性，这些年也收藏了不少的Python干货，对我来说这些东西确实已经用不到了，但对于准备自学Python的人来说，或许它就是一个宝藏，可以给你省去很多的时间和精力。别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。我先来介绍一下这些东西怎么用，文末抱走。（1）Python所有方向的学习路线（
  • 《星辰的倾诉》 光敏low
    近日正值中秋时节，圆月明亮光星闪烁，星辰们正在倾诉人们的恶劣行为……其中有一颗闪亮而灿烂的星星对大家说:“人类其实并不坏，你们也可以看人的优点，“说完，其他闪亮的星星便纷纷说道，人类是自私的，他们大量捕杀动物，污染空气，将废水排在河流里，让我们星星家族的成员无处可立足而坠落，所以你不必为人类找借口，我们不会听信你一面之词，那颗闪亮而灿烂的星星，替人类辩解道，人类是会改变的，我相信人类，随后便坠落到
  • 不论好与坏最终都会产生积极影响 姚Fay
    昨天又是密集性抽空学习的一天，如饥似渴的读书，感觉离自己理想的状态又近了一步。读巴菲特的成长背景以及幼年家庭环境，感受到他父亲的家族中的商业成功之道，以及成长中的痛点-神经质的母亲。也许人们看到的都只是因为父亲的成功让他出生在一个家境优越的家庭，才有了现在他的辉煌，他的母亲只不过是绊脚石。可真的是这样吗？如果没有他神经质的母亲，他就不会被塑造成那种特立独行的气质。一个三岁多的孩子就开始天天收集瓶盖
  • 《长安三万里》观后感 晨晨知否
    随着《长安三万里》的热播，身边的朋友都去看了，也告诉我去看一看。于是我带着孩子一起去看了。一、故事内容：我首先的一个疑惑就是为什么叫《长安三万里》这个名字呢？带着这个疑惑，走进影院观看。影片的开头是高适带领队伍攻打吐蕃人。然后遇到程公公，便开始讲述和李白的相遇，相知。高适和李白的出身不同。高适的爷爷高侃是唐朝的名将，随着家族的落破，高适想被别人举荐也没人帮助。而李白出身商股之家更是别人不愿举荐。两
  • 小肠是身体的加油站，大肠是资源回收利用专家 乐乐飞扬
    肠营养肠健康。近期，专家介绍目前有不少青少年肠道有问题，18岁得直肠癌的有家族遗传基因，也有经常烧烤吃腌制食品的，都是得直肠癌的因素。预防结直肠癌多吃新鲜食物、蔬菜和果。小肠是身体的加油站,大肠是资源回收利用专家，它的环境清洁能力十分重要。消化是一场神奇之旅，从口腔开始,到肛门结束，全长8---10米长，有一间教室那儿长。从你看到食物的那一刻起,消化就开始了。先遗军---口腔分泌唾液,胃分泌胃酸排
  • 留大城市还是回小家乡？过来人掏心窝子说“三点”，好歹总结透彻了 职场火锅
    又到毕业入职季，无数人问：选北京20万年薪，还是家乡5000月薪？归根到底是，闯大都市，还是回家乡。选择工作城市，不仅仅是职业事业的定位，还有家族生活延续的地位。先想明白一件事再下决心：你想在国际一线都市安居，作为第一代开拓者，恩泽祖祖辈辈，还是在三线小城“择一城终、老岁月静好”。这两种选择没有对错、好坏之分，只有是不是适合自己的人生。具体意见如下：第一，可逆PK不可逆。有人说，父母在不远游。回到
  • 《红楼梦》观后感 余晖遐照
    中国古典名著《红楼梦》的开篇词中这样写到：“满纸荒唐言，一把辛酸泪。都云作者痴，谁解其中味？”曹雪芹倾尽一生完成了这部“前无古人，后无来者”的巨著。其文学价值贯穿今古，誉满华夏，在文学史上有着举足轻重的地位。《红楼梦》以四大家族——贾，史，王，薛为背景，描写了四大家族从兴盛走向衰亡的过程。刻画人物上千个，人物形象鲜明生动，栩栩如生。以贾宝玉，林黛玉的爱情故事为主线，体现了人性美和悲剧美。在第一回第
  • Spark集群的三种模式 MelodyYN #Sparksparkhadoopbigdata
    文章目录1、Spark的由来1.1Hadoop的发展1.2MapReduce与Spark对比2、Spark内置模块3、Spark运行模式3.1Standalone模式部署配置历史服务器配置高可用运行模式3.2Yarn模式安装部署配置历史服务器运行模式4、WordCount案例1、Spark的由来定义：Hadoop主要解决，海量数据的存储和海量数据的分析计算。Spark是一种基于内存的快速、通用、可
  • 2022-05-28 5374845a71a6
    遇见孩子第一辑父母你要知道四件事第一章你知道孩子的教育源头是什么吗？父母就像泉眼，要想流淌出清澈甘甜的泉水，浇灌出健康茁壮的生命，就得保持自身和周围环境的纯洁，若是自身被污染了，流出来的就只会是污水，不仅不能滋润万物，还会在流经的所有事物的身上留下斑斑污渍。长辈有什么样的思想言行，就会形成什么样的家风，每一个人的成长，都离不开家风的影响，祖辈留下来的精神气质会影响家庭乃至家族里每一个人的价值观和为
  • 月度总结 | 2022年03月 | 考研与就业的抉择 | 确定未来走大数据开发路线 「已注销」 个人总结hadoop
    一、时间线梳理3月3日，寻找到同专业的就业伙伴3月5日，着手准备Java八股文，决定先走Java后端路线3月8月，申请到了校图书馆的考研专座，决定暂时放弃就业，先准备考研，买了数学和408的资料书3月9日-3月13日，因疫情原因，宿舍区暂封，这段时间在准备考研，发现内容特别多3月13日-3月19日，大部分时间在刷Hadoop、Zookeeper、Kafka的视频，同时在准备实习的项目3月20日，退
  • 选择不选择|观影《小偷家族》 anpu的地下女友
    在经过漫长等待之后，是枝裕和额的《小偷家族》终于在大陆上映了。在之前的日子里，我断断续续的看了他的大部分作品，巧合的是，几乎每一次都是在临近黄昏的时候看完，常常思绪万千又郁闷压抑。在他的每一部电影里，都可以感受到家庭亲人的美好，以及这美好无法掩盖的伤痕与腐臭。潦倒而邋遢的丈夫柴田治带着偷来的小孩祥太在超市熟练地偷着各式各样的商品，从食物到服装，从零食到日用品小心翼翼又无所顾忌的统统偷来。幸福而满足
  • HBase介绍 mingyu1016 数据库
    概述HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。HBase是GoogleBigtable的开源实现，它利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。HBase的表结构HBase以表的形式存储数据。表有行和列组成。列划分为
  • 第二章 先天满魂力 佣兵_e508
    第二章先天满魂力火燚是火神府邸里最小的孩子，他的父母在他很小的时候就已经不在了。他们是在一次魂兽进攻攻镇时的保卫战中失踪的。当时战场只发现他们夫妻的破碎外套和他父亲的一条手臂，之后家族也是到处寻找他们的踪迹一直没有消息。直到两年前才放弃，最终宣布他们已经为本镇牺牲，只留下一子名燚，小名小燚。这名字是他爷爷起名的，希望他将来能觉醒烧不完的火，给他起名四把火。火山是当代族长，因为他还没达到封号斗罗境界
  • Java中的大数据处理框架对比分析 省赚客app开发者 java开发语言
    Java中的大数据处理框架对比分析大家好，我是微赚淘客系统3.0的小编，是个冬天不穿秋裤，天冷也要风度的程序猿！今天，我们将深入探讨Java中常用的大数据处理框架，并对它们进行对比分析。大数据处理框架是现代数据驱动应用的核心，它们帮助企业处理和分析海量数据，以提取有价值的信息。本文将重点介绍ApacheHadoop、ApacheSpark、ApacheFlink和ApacheStorm这四种流行的
  • 2021-12-08 爱善
    中原焦点团队网络初级32期爱善坚持分享】第21天（20211208周三）【StevedeShazer的生平简介】StevedeShazer生于1940年6月25日,2005年9月11日突然病逝于奥地利维也纳，享年65岁。Steve是焦点解决短期治疗的创始人之一，也被视为是家族治疗重要的代表人物。从20世纪70年代末期开始，他和他的妻子、同伴以及长期合作者InsooKimBerg一起，花了近三十年的
  • 《九鼎风水师》第一千零一十九章 昆仑秘境完结篇（二） 先峰老师
    尚文龙不敢想下去了。如果真的是自己所猜测这样的话，那么就能够解释清楚，为什么千百年来，九大家族的传人进入到这昆仑秘境之中没有一个人出来。尚文龙不敢继续想下去。因为这个猜测如果真的是事实的话，那么太可怕了。而且，如果是真的的话，自己进了昆仑秘境之后就注定无非走出来。哪怕自己的修为境界再高一个层次，都无法走出来，除非，能够达到那传说中的境界，或许有希望。尚文龙摇了摇头。将脑海中那可怕的猜测给甩出去。原
  • 飞行跳蚤 A小文日记
    飞行跳蚤超轻型飞机由法国人HenriMignet设计，首飞于1933年9月10日，已经发展成一个大家族。HenriMignet从小就是个航空迷，希望设计一款飞机，像福特T型汽车一样，价格低廉、操作简单，人人都能拥有，人人都能驾驶。飞行跳蚤本来是他设计的HM.14型飞机的名字。现在，人们把类似布局的飞机都称作飞行跳蚤，不论是Mignet设计的，还是其他人设计的。从1920年到1928年，Mignet
  • Hadoop windows intelij 跑 MR WordCount piziyang12138
    一、软件环境我使用的软件版本如下:IntellijIdea2017.1Maven3.3.9Hadoop分布式环境二、创建maven工程打开Idea,file->new->Project,左侧面板选择maven工程。(如果只跑MapReduce创建java工程即可，不用勾选Creatfromarchetype，如果想创建web工程或者使用骨架可以勾选)image.png设置GroupId和Artif
  • 桌面上有多个球在同时运动，怎么实现球之间不交叉，即碰撞？ 换个号韩国红果果 html小球碰撞
    稍微想了一下，然后解决了很多bug，最后终于把它实现了。其实原理很简单。在每改变一个小球的x y坐标后，遍历整个在dom树中的其他小球，看一下它们与当前小球的距离是否小于球半径的两倍？若小于说明下一次绘制该小球（设为a）前要把他的方向变为原来相反方向（与a要碰撞的小球设为b），即假如当前小球的距离小于球半径的两倍的话，马上改变当前小球方向。那么下一次绘制也是先绘制b，再绘制a，由于a的方向已经改变
  • 《高性能HTML5》读后整理的Web性能优化内容 白糖_ html5
    读后感         先说说《高性能HTML5》这本书的读后感吧，个人觉得这本书前两章跟书的标题完全搭不上关系，或者说只能算是讲解了“高性能”这三个字，HTML5完全不见踪影。个人觉得作者应该首先把HTML5的大菜拿出来讲一讲，再去分析性能优化的内容，这样才会有吸引力。因为只是在线试读，没有机会看后面的内容，所以不胡乱评价了。  
  • [JShop]Spring MVC的RequestContextHolder使用误区 dinguangx jeeshop商城系统jshop电商系统
        在spring mvc中，为了随时都能取到当前请求的request对象，可以通过RequestContextHolder的静态方法getRequestAttributes()获取Request相关的变量，如request, response等。         在jshop中，对RequestContextHolder的
  • 算法之时间复杂度 周凡杨 java算法时间复杂度效率
          在 计算机科学 中， 算法 的时间复杂度是一个 函数 ，它定量描述了该算法的运行时间。这是一个关于代表算法输入值的 字符串 的长度的函数。时间复杂度常用 大O符号 表述，不包括这个函数的低阶项和首项系数。使用这种方式时，时间复杂度可被称为是 渐近 的，它考察当输入值大小趋近无穷时的情况。 这样用大写O()来体现算法时间复杂度的记法，
  • Java事务处理 g21121 java
    一、什么是Java事务 通常的观念认为，事务仅与数据库相关。 事务必须服从ISO/IEC所制定的ACID原则。ACID是原子性（atomicity）、一致性（consistency）、隔离性（isolation）和持久性（durability）的缩写。事务的原子性表示事务执行过程中的任何失败都将导致事务所做的任何修改失效。一致性表示当事务执行失败时，所有被该事务影响的数据都应该恢复到事务执行前的状
  • Linux awk命令详解 510888780 linux
    一.  AWK 说明   awk是一种编程语言，用于在linux/unix下对文本和数据进行处理。数据可以来自标准输入、一个或多个文件，或其它命令的输出。它支持用户自定义函数和动态正则表达式等先进功能，是linux/unix下的一个强大编程工具。它在命令行中使用，但更多是作为脚本来使用。    awk的处理文本和数据的方式：它逐行扫描文件，从第一行到
  • android permission 布衣凌宇 Permission
    <uses-permission android:name="android.permission.ACCESS_CHECKIN_PROPERTIES" ></uses-permission>允许读写访问"properties"表在checkin数据库中，改值可以修改上传 <uses-permission android:na
  • Oracle和谷歌Java Android官司将推迟 aijuans javaoracle
    北京时间 10 月 7 日，据国外媒体报道，Oracle 和谷歌之间一场等待已久的官司可能会推迟至 10 月 17 日以后进行，这场官司的内容是 Android 操作系统所谓的 Java 专利权之争。本案法官 William Alsup 称根据专利权专家 Florian Mueller 的预测，谷歌 Oracle 案很可能会被推迟。　　该案中的第二波辩护被安排在 10 月 17 日出庭，从目前看来
  • linux shell 常用命令 antlove linuxshellcommand
    grep [options] [regex] [files] /var/root # grep -n "o" * hello.c:1:/* This C source can be compiled with:
  • Java解析XML配置数据库连接(DOM技术连接 SAX技术连接) 百合不是茶 sax技术Java解析xml文档dom技术XML配置数据库连接
        XML配置数据库文件的连接其实是个很简单的问题,为什么到现在才写出来主要是昨天在网上看了别人写的,然后一直陷入其中,最后发现不能自拔 所以今天决定自己完成 ,,,,现将代码与思路贴出来供大家一起学习   XML配置数据库的连接主要技术点的博客; JDBC编程 : JDBC连接数据库 DOM解析XML:  DOM解析XML文件 SA
  • underscore.js 学习（二） bijian1013 JavaScriptunderscore
            Array Functions 所有数组函数对参数对象一样适用。1.first   _.first(array, [n])   别名: head, take       返回array的第一个元素，设置了参数n，就
  • plSql介绍 bijian1013 oracle数据库plsql
    /* * PL/SQL 程序设计学习笔记 * 学习plSql介绍.pdf * 时间：2010-10-05 */ --创建DEPT表 create table DEPT ( DEPTNO NUMBER(10), DNAME NVARCHAR2(255), LOC NVARCHAR2(255) ) delete dept; select
  • 【Nginx一】Nginx安装与总体介绍 bit1129 nginx
    启动、停止、重新加载Nginx nginx 启动Nginx服务器，不需要任何参数u nginx -s stop 快速(强制)关系Nginx服务器 nginx -s quit 优雅的关闭Nginx服务器 nginx -s reload 重新加载Nginx服务器的配置文件 nginx -s reopen 重新打开Nginx日志文件  
  • spring mvc开发中浏览器兼容的奇怪问题 bitray jqueryAjaxspringMVC浏览器上传文件
        最近个人开发一个小的OA项目,属于复习阶段.使用的技术主要是spring mvc作为前端框架,mybatis作为数据库持久化技术.前台使用jquery和一些jquery的插件.     在开发到中间阶段时候发现自己好像忽略了一个小问题,整个项目一直在firefox下测试,没有在IE下测试,不确定是否会出现兼容问题.由于jquer
  • Lua的io库函数列表 ronin47 lua io
    1、io表调用方式：使用io表，io.open将返回指定文件的描述，并且所有的操作将围绕这个文件描述 　　io表同样提供三种预定义的文件描述io.stdin,io.stdout,io.stderr 　　2、文件句柄直接调用方式,即使用file:XXX()函数方式进行操作,其中file为io.open()返回的文件句柄 　　多数I/O函数调用失败时返回nil加错误信息,有些函数成功时返回nil
  • java-26-左旋转字符串 bylijinnan java
    public class LeftRotateString { /** * Q 26 左旋转字符串 * 题目：定义字符串的左旋转操作：把字符串前面的若干个字符移动到字符串的尾部。 * 如把字符串abcdef左旋转2位得到字符串cdefab。 * 请实现字符串左旋转的函数。要求时间对长度为n的字符串操作的复杂度为O(n)，辅助内存为O(1)。 */ pu
  • 《vi中的替换艺术》-linux命令五分钟系列之十一 cfyme linux命令
    vi方面的内容不知道分类到哪里好，就放到《Linux命令五分钟系列》里吧！ 今天编程，关于栈的一个小例子，其间我需要把”S.”替换为”S->”(替换不包括双引号)。 其实这个不难，不过我觉得应该总结一下vi里的替换技术了，以备以后查阅。   1 所有替换方案都要在冒号“:”状态下书写。 2 如果想将abc替换为xyz，那么就这样 :s/abc/xyz/ 不过要特别
  • [轨道与计算]新的并行计算架构 comsci 并行计算
         我在进行流程引擎循环反馈试验的过程中，发现一个有趣的事情。。。如果我们在流程图的每个节点中嵌入一个双向循环代码段，而整个流程中又充满着很多并行路由，每个并行路由中又包含着一些并行节点，那么当整个流程图开始循环反馈过程的时候，这个流程图的运行过程是否变成一个并行计算的架构呢？      
  • 重复执行某段代码 dai_lm android
    用handler就可以了 private Handler handler = new Handler(); private Runnable runnable = new Runnable() { public void run() { update(); handler.postDelayed(this, 5000); } }; 开始计时 h
  • Java实现堆栈（list实现） datageek 数据结构——堆栈
    public interface IStack<T> { //元素出栈，并返回出栈元素 public T pop(); //元素入栈 public void push(T element); //获取栈顶元素 public T peek(); //判断栈是否为空 public boolean isEmpty
  • 四大备份MySql数据库方法及可能遇到的问题 dcj3sjt126com DBbackup
    一：通过备份王等软件进行备份前台进不去？ 用备份王等软件进行备份是大多老站长的选择，这种方法方便快捷，只要上传备份软件到空间一步步操作就可以，但是许多刚接触备份王软件的客用户来说还原后会出现一个问题：因为新老空间数据库用户名和密码不统一，网站文件打包过来后因没有修改连接文件，还原数据库是好了，可是前台会提示数据库连接错误，网站从而出现打不开的情况。 解决方法：学会修改网站配置文件，大多是由co
  • github做webhooks：[1]钩子触发是否成功测试 dcj3sjt126com githubgitwebhook
    转自: http://jingyan.baidu.com/article/5d6edee228c88899ebdeec47.html github和svn一样有钩子的功能，而且更加强大。例如我做的是最常见的push操作触发的钩子操作，则每次更新之后的钩子操作记录都会在github的控制板可以看到！ 工具/原料 github 方法/步骤
  • ">的作用" target="_blank">JSP中的作用 蕃薯耀
    JSP中<base href="<%=basePath%>">的作用 >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>
  • linux下SAMBA服务安装与配置 hanqunfeng linux
    局域网使用的文件共享服务。 一.安装包： rpm -qa | grep samba samba-3.6.9-151.el6.x86_64 samba-common-3.6.9-151.el6.x86_64 samba-winbind-3.6.9-151.el6.x86_64 samba-client-3.6.9-151.el6.x86_64 samba-winbind-clients
  • guava cache IXHONG cache
    缓存，在我们日常开发中是必不可少的一种解决性能问题的方法。简单的说，cache 就是为了提升系统性能而开辟的一块内存空间。 　　缓存的主要作用是暂时在内存中保存业务系统的数据处理结果，并且等待下次访问使用。在日常开发的很多场合，由于受限于硬盘IO的性能或者我们自身业务系统的数据处理和获取可能非常费时，当我们发现我们的系统这个数据请求量很大的时候，频繁的IO和频繁的逻辑处理会导致硬盘和CPU资源的
  • Query的开始--全局变量,noconflict和兼容各种js的初始化方法 kvhur JavaScriptjquerycss
    这个是整个jQuery代码的开始，里面包含了对不同环境的js进行的处理，例如普通环境，Nodejs，和requiredJs的处理方法。 还有jQuery生成$, jQuery全局变量的代码和noConflict代码详解  完整资源： http://www.gbtags.com/gb/share/5640.htm jQuery 源码：   (
  • 美国人的福利和中国人的储蓄 nannan408
       今天看了篇文章，震动很大，说的是美国的福利。    美国医院的无偿入院真的是个好措施。小小的改善，对于社会是大大的信心。小孩，税费等，政府不收反补，真的体现了人文主义。    美国这么高的社会保障会不会使人变懒？答案是否定的。正因为政府解决了后顾之忧，人们才得以倾尽精力去做一些有创造力，更造福社会的事情，这竟成了美国社会思想、人
  • N阶行列式计算(JAVA) qiuwanchi N阶行列式计算
    package gaodai; import java.util.List; /** * N阶行列式计算 * @author 邱万迟 * */ public class DeterminantCalculation { public DeterminantCalculation(List<List<Double>> determina
  • C语言算法之打渔晒网问题 qiufeihu c算法
    如果一个渔夫从2011年1月1日开始每三天打一次渔，两天晒一次网，编程实现当输入2011年1月1日以后任意一天，输出该渔夫是在打渔还是在晒网。 代码如下：   #include <stdio.h> int leap(int a) /*自定义函数leap()用来指定输入的年份是否为闰年*/ { if((a%4 == 0 && a%100 != 0
  • XML中DOCTYPE字段的解析 wyzuomumu xml
    DTD声明始终以!DOCTYPE开头,空一格后跟着文档根元素的名称,如果是内部DTD,则再空一格出现[],在中括号中是文档类型定义的内容. 而对于外部DTD,则又分为私有DTD与公共DTD,私有DTD使用SYSTEM表示,接着是外部DTD的URL. 而公共DTD则使用PUBLIC,接着是DTD公共名称,接着是DTD的URL.   私有DTD <!DOCTYPErootSYST
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他