michael_roshen
michael_roshen

Hadoop家族学习路线图

 

Hadoop家族学习路线图

Hadoop家族系列文章， 主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, Flume, Bigtop, Crunch, Hue等。

从2011年开始，中国进入大数据风起云涌的时代，以Hadoop为代表的家族软件，占据了大数据处理的广阔地盘。开源界及厂商，所有数据软件，无 一不向Hadoop靠拢。Hadoop也从小众的高富帅领域，变成了大数据开发的标准。在Hadoop原有技术基础之上，出现了Hadoop家族产品，通 过“大数据”概念不断创新，推出科技进步。

作为IT界的开发人员，我们也要跟上节奏，抓住机遇，跟着Hadoop一起雄起！

关于作者：

转载请注明出处：
http://blog.fens.me/hadoop-family-roadmap/

hadoopFamilyRoadmap

前言

使用Hadoop已经有一段时间了，从开始的迷茫，到各种的尝试，到现在组合应用….慢慢地涉及到数据处理的事情，已经离不开hadoop了。Hadoop在大数据领域的成功，更引发了它本身的加速发展。现在Hadoop家族产品，已经达到20个了之多。

有必要对自己的知识做一个整理了，把产品和技术都串起来。不仅能加深印象，更可以对以后的技术方向，技术选型做好基础准备。

本文为“Hadoop家族”开篇，Hadoop家族学习路线图

目录

  1. Hadoop家族产品
  2. Hadoop家族学习路线图

1. Hadoop家族产品

截止到2013年，根据cloudera的统计，Hadoop家族产品已经达到20个！
http://blog.cloudera.com/blog/2013/01/apache-hadoop-in-2013-the-state-of-the-platform/

接下来，我把这20个产品，分成了2类。

  • 第一类，是我已经掌握的
  • 第二类，是TODO准备继续学习的

HadoopFamilySmall

一句话产品介绍:

  • Apache Hadoop: 是Apache开源组织的一个分布式计算开源框架，提供了一个分布式文件系统子项目(HDFS)和支持MapReduce分布式计算的软件架构。
  • Apache Hive: 是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。
  • Apache Pig: 是一个基于Hadoop的大规模数据分析工具，它提供的SQL-LIKE语言叫Pig Latin，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。
  • Apache HBase: 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。
  • Apache Sqoop: 是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。
  • Apache Zookeeper: 是一个为分布式应用所设计的分布的、开源的协调服务，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，简化分布式应用协调及其管理的难度，提供高性能的分布式服务
  • Apache Mahout:是基于Hadoop的机器学习和数据挖掘的一个分布式框架。Mahout用MapReduce实现了部分数据挖掘算法，解决了并行挖掘的问题。
  • Apache Cassandra:是一套开源分布式NoSQL数据库系统。它最初由Facebook开发，用于储存简单格式数据，集Google BigTable的数据模型与Amazon Dynamo的完全分布式的架构于一身
  • Apache Avro: 是一个数据序列化系统，设计用于支持数据密集型，大批量数据交换的应用。Avro是新的数据序列化格式与传输工具，将逐步取代Hadoop原有的IPC机制
  • Apache Ambari: 是一种基于Web的工具，支持Hadoop集群的供应、管理和监控。
  • Apache Chukwa: 是一个开源的用于监控大型分布式系统的数据收集系统，它可以将各种各样类型的数据收集成适合 Hadoop 处理的文件保存在 HDFS 中供 Hadoop 进行各种 MapReduce 操作。
  • Apache Hama: 是一个基于HDFS的BSP（Bulk Synchronous Parallel)并行计算框架, Hama可用于包括图、矩阵和网络算法在内的大规模、大数据计算。
  • Apache Flume: 是一个分布的、可靠的、高可用的海量日志聚合的系统，可用于日志数据收集，日志数据处理，日志数据传输。
  • Apache Giraph: 是一个可伸缩的分布式迭代图处理系统， 基于Hadoop平台，灵感来自 BSP (bulk synchronous parallel) 和 Google 的 Pregel。
  • Apache Oozie: 是一个工作流引擎服务器, 用于管理和协调运行在Hadoop平台上（HDFS、Pig和MapReduce）的任务。
  • Apache Crunch: 是基于Google的FlumeJava库编写的Java库，用于创建MapReduce程序。与Hive，Pig类似，Crunch提供了用于实现如连接数据、执行聚合和排序记录等常见任务的模式库
  • Apache Whirr: 是一套运行于云服务的类库（包括Hadoop），可提供高度的互补性。Whirr学支持Amazon EC2和Rackspace的服务。
  • Apache Bigtop: 是一个对Hadoop及其周边生态进行打包，分发和测试的工具。
  • Apache HCatalog: 是基于Hadoop的数据表和存储管理，实现中央的元数据和模式管理，跨越Hadoop和RDBMS，利用Pig和Hive提供关系视图。
  • Cloudera Hue: 是一个基于WEB的监控和管理系统，实现对HDFS，MapReduce/YARN, HBase, Hive, Pig的web化操作和管理。

2. Hadoop家族学习路线图

下面我将分别介绍各个产品的安装和使用，以我经验总结我的学习路线。

Hadoop

Hive

Pig

  • Pig学习路线图

Zookeeper

HBase

Mahout

Sqoop

  • Sqoop学习路线图

Cassandra

 

跟上创新的脚步，不断坚持：(TODO列表，不定期更新)

Avro, Ambari, Chukwa, Hama, Flume, Giraph, Oozie, Crunch, Whirr, Bigtop, HCatalog, Hue

欢迎大家留言，提出宝贵建议！

 

 

转载请注明出处：
http://blog.fens.me/hadoop-family-roadmap/

你可能感兴趣的:(Hadoop家族)

  • 浅谈MapReduce Android路上的人 Hadoop分布式计算mapreduce分布式框架hadoop
    从今天开始，本人将会开始对另一项技术的学习，就是当下炙手可热的Hadoop分布式就算技术。目前国内外的诸多公司因为业务发展的需要，都纷纷用了此平台。国内的比如BAT啦，国外的在这方面走的更加的前面，就不一一列举了。但是Hadoop作为Apache的一个开源项目，在下面有非常多的子项目，比如HDFS，HBase,Hive，Pig,等等，要先彻底学习整个Hadoop，仅仅凭借一个的力量，是远远不够的。
  • Hadoop 傲雪凌霜，松柏长青 后端大数据hadoop大数据分布式
    ApacheHadoop是一个开源的分布式计算框架，主要用于处理海量数据集。它具有高度的可扩展性、容错性和高效的分布式存储与计算能力。Hadoop核心由四个主要模块组成，分别是HDFS（分布式文件系统）、MapReduce（分布式计算框架）、YARN（资源管理）和HadoopCommon（公共工具和库）。1.HDFS（HadoopDistributedFileSystem）HDFS是Hadoop生
  • Hadoop架构 henan程序媛 hadoop大数据分布式
    一、案列分析1.1案例概述现在已经进入了大数据(BigData)时代，数以万计用户的互联网服务时时刻刻都在产生大量的交互，要处理的数据量实在是太大了，以传统的数据库技术等其他手段根本无法应对数据处理的实时性、有效性的需求。HDFS顺应时代出现，在解决大数据存储和计算方面有很多的优势。1.2案列前置知识点1.什么是大数据大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的大量数据集合，
  • ❤️午间能量加油站～360 16b243081175
    改变家族命运只有一个字“胆”一、胆量决定财富1、想常人之不敢想，做常人之不敢做2、不拼，怎么知道不行3、有没有勇气走出第一步，往往是人生的分水岭4、人的成功是被冒险逼出来的5、不冒险就是最大的冒险，我们坚决不做老实人6、害怕失败，就等于拒绝成功7、要想知道梨子的味道，就要亲口尝一尝二、机会青睐于果断（果断法则）1、一个有魅力的人，必定毫不犹豫，说到做到2、你一旦拖延，你就总是会拖延3、当你做了不属
  • 《九鼎风水师》第五百八十二章 和赵家的交易 先峰老师
    眼前的一幕入眼，自己也大概能够猜测到是什么情况了。大家族之中就是麻烦多，没有想到一点点的小事情，居然能够有如此多的纠结。场地之中，两人就静静的对视而望。气氛稍微显得有些诡异而又沉默。这平静的气氛并没有持续多久，最多也就是一分钟的样子，就被打破了。“哈哈！少年可谓啊！没有想到，林老头居然有着这么一个出色的孙子，小五，还不快快请尚公子进来？”从大门中走出来出声的是一位白发苍苍的老者，身着一身灰色长衫，
  • 分享一个基于python的电子书数据采集与可视化分析 hadoop电子书数据分析与推荐系统 spark大数据毕设项目（源码、调试、LW、开题、PPT) 计算机源码社 Python项目大数据大数据pythonhadoop计算机毕业设计选题计算机毕业设计源码数据分析spark毕设
    作者：计算机源码社个人简介：本人八年开发经验，擅长Java、Python、PHP、.NET、Node.js、Android、微信小程序、爬虫、大数据、机器学习等，大家有这一块的问题可以一起交流！学习资料、程序开发、技术解答、文档报告如需要源码，可以扫取文章下方二维码联系咨询Java项目微信小程序项目Android项目Python项目PHP项目ASP.NET项目Node.js项目选题推荐项目实战|p
  • 说话三思而后行（三） 超越凡尘118
    『比喻力』“父亲是一座山。”“老师是辛勤的园丁，我们是祖国的花朵。”上小学时，我们就接触过“比喻”这个概念，也练习过如何把一个人、一个物比喻成其他事物，但在日常沟通中，能把比喻用得恰到好处的并不多。《奇葩说》有一期的辩题是“结婚前让对方在房本上加自己名字，有错吗？”，薛教授把婚姻比喻成创办家族企业，由于双方给出的资源不同，发挥作用的时间点不同，所以他认为，在结婚前有必要在房本上加女方名字。他曾在《
  • 孱夫子言语（221） 孱夫子
    人人的私邪欲望从哪里来的？人人的祖宗是谁？人人的儿孙子嗣到底归谁？人的私邪欲望应该归功于低级趣味的动物流程。每个人的祖宗到底是谁？有说是女娃造人，有说是耶稣，有说是天主，有人说生死轮回，有人说是猴子演变。人人的子嗣后裔到底是人。人人的私邪欲望总是离不开个体这个小东西。人比人强盛把人人引向自私的沟壑，一人一事胜利了强盛了，人人已经不能是人而比人人高出，脱离了是人的范围，再把家族强调分出姓氏名讳，自私
  • Xilinx 7系列FPGA架构之器件配置（一） FPGA技术实战 FPGA器件架构XinxFPGA硬件设计fpga开发
    引言：本系列博文描述7系列FPGA配置的技术参考。作为开篇，简要概述了7系列FPGA的配置方法和功能。随后的博文将对每种配置方法和功能进行更详细的描述。本文描述的配置方法和功能适用于所有7系列家族器件，只有少数例外。1.概述Xilinx®7系列FPGA通过将特定于应用程序的配置数据（位流）加载到内存中进行配置。7系列FPGA可以主动从外部非易失性存储设备加载，也可以通过外部智能源（如微处理器、DS
  • 经济变化的转折 悟道修行
    中国正在经历百年未有之大变局，这一年将是中国新的起点，也将是无数人开始逆袭的一年。无论你从事什么行业，都必须对社会发展有全面理解，这篇文章旨在扩充大家的视野，一起提升格局！本文先后从个人，商业，世界三个角度诠释：第一部分：个人篇人类社会的发展路径：部落社会——村落社会——家族社会——家庭社会——个体社会。世界正变的越来越细致、周密。以前各种关系是面对面发生的，后来发展成了线对线，未来的世界，由各种
  • hbase介绍 CrazyL- 云计算+大数据hbase
    hbase是一个分布式的、多版本的、面向列的开源数据库hbase利用hadoophdfs作为其文件存储系统，提供高可靠性、高性能、列存储、可伸缩、实时读写、适用于非结构化数据存储的数据库系统hbase利用hadoopmapreduce来处理hbase、中的海量数据hbase利用zookeeper作为分布式系统服务特点：数据量大：一个表可以有上亿行，上百万列（列多时，插入变慢）面向列：面向列（族）的
  • 影片《小偷家族》 小小投资人
    看过《西虹市首富》后再来看《小偷家族》，可能会觉得平凡乏味单调，但不得不说，一个是感观上的震撼，另一个却是心灵上的震撼。1.黑暗与明亮屋子里的生活要不在晚上，要不就是昏暗的，正如小偷家族，他们在社会的底层，一个我们根本看不见的地方。我相信中国也有很多这样的底层家庭，但是我们平时看不到，媒体上甚至都看不到，他们就像不存在一样。而孩子在外面与全家去海边的时候，又是那么的明亮，这样的明暗变化，让观众在黑
  • 大数据毕业设计hadoop+spark+hive知识图谱租房数据分析可视化大屏 租房推荐系统 58同城租房爬虫 房源推荐系统 房价预测系统 计算机毕业设计 机器学习 深度学习 人工智能 2401_84572577 程序员大数据hadoop人工智能
    做了那么多年开发，自学了很多门编程语言，我很明白学习资源对于学一门新语言的重要性，这些年也收藏了不少的Python干货，对我来说这些东西确实已经用不到了，但对于准备自学Python的人来说，或许它就是一个宝藏，可以给你省去很多的时间和精力。别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。我先来介绍一下这些东西怎么用，文末抱走。（1）Python所有方向的学习路线（
  • 《星辰的倾诉》 光敏low
    近日正值中秋时节，圆月明亮光星闪烁，星辰们正在倾诉人们的恶劣行为……其中有一颗闪亮而灿烂的星星对大家说:“人类其实并不坏，你们也可以看人的优点，“说完，其他闪亮的星星便纷纷说道，人类是自私的，他们大量捕杀动物，污染空气，将废水排在河流里，让我们星星家族的成员无处可立足而坠落，所以你不必为人类找借口，我们不会听信你一面之词，那颗闪亮而灿烂的星星，替人类辩解道，人类是会改变的，我相信人类，随后便坠落到
  • 不论好与坏最终都会产生积极影响 姚Fay
    昨天又是密集性抽空学习的一天，如饥似渴的读书，感觉离自己理想的状态又近了一步。读巴菲特的成长背景以及幼年家庭环境，感受到他父亲的家族中的商业成功之道，以及成长中的痛点-神经质的母亲。也许人们看到的都只是因为父亲的成功让他出生在一个家境优越的家庭，才有了现在他的辉煌，他的母亲只不过是绊脚石。可真的是这样吗？如果没有他神经质的母亲，他就不会被塑造成那种特立独行的气质。一个三岁多的孩子就开始天天收集瓶盖
  • 《长安三万里》观后感 晨晨知否
    随着《长安三万里》的热播，身边的朋友都去看了，也告诉我去看一看。于是我带着孩子一起去看了。一、故事内容：我首先的一个疑惑就是为什么叫《长安三万里》这个名字呢？带着这个疑惑，走进影院观看。影片的开头是高适带领队伍攻打吐蕃人。然后遇到程公公，便开始讲述和李白的相遇，相知。高适和李白的出身不同。高适的爷爷高侃是唐朝的名将，随着家族的落破，高适想被别人举荐也没人帮助。而李白出身商股之家更是别人不愿举荐。两
  • 小肠是身体的加油站，大肠是资源回收利用专家 乐乐飞扬
    肠营养肠健康。近期，专家介绍目前有不少青少年肠道有问题，18岁得直肠癌的有家族遗传基因，也有经常烧烤吃腌制食品的，都是得直肠癌的因素。预防结直肠癌多吃新鲜食物、蔬菜和果。小肠是身体的加油站,大肠是资源回收利用专家，它的环境清洁能力十分重要。消化是一场神奇之旅，从口腔开始,到肛门结束，全长8---10米长，有一间教室那儿长。从你看到食物的那一刻起,消化就开始了。先遗军---口腔分泌唾液,胃分泌胃酸排
  • 留大城市还是回小家乡？过来人掏心窝子说“三点”，好歹总结透彻了 职场火锅
    又到毕业入职季，无数人问：选北京20万年薪，还是家乡5000月薪？归根到底是，闯大都市，还是回家乡。选择工作城市，不仅仅是职业事业的定位，还有家族生活延续的地位。先想明白一件事再下决心：你想在国际一线都市安居，作为第一代开拓者，恩泽祖祖辈辈，还是在三线小城“择一城终、老岁月静好”。这两种选择没有对错、好坏之分，只有是不是适合自己的人生。具体意见如下：第一，可逆PK不可逆。有人说，父母在不远游。回到
  • 《红楼梦》观后感 余晖遐照
    中国古典名著《红楼梦》的开篇词中这样写到：“满纸荒唐言，一把辛酸泪。都云作者痴，谁解其中味？”曹雪芹倾尽一生完成了这部“前无古人，后无来者”的巨著。其文学价值贯穿今古，誉满华夏，在文学史上有着举足轻重的地位。《红楼梦》以四大家族——贾，史，王，薛为背景，描写了四大家族从兴盛走向衰亡的过程。刻画人物上千个，人物形象鲜明生动，栩栩如生。以贾宝玉，林黛玉的爱情故事为主线，体现了人性美和悲剧美。在第一回第
  • Spark集群的三种模式 MelodyYN #Sparksparkhadoopbigdata
    文章目录1、Spark的由来1.1Hadoop的发展1.2MapReduce与Spark对比2、Spark内置模块3、Spark运行模式3.1Standalone模式部署配置历史服务器配置高可用运行模式3.2Yarn模式安装部署配置历史服务器运行模式4、WordCount案例1、Spark的由来定义：Hadoop主要解决，海量数据的存储和海量数据的分析计算。Spark是一种基于内存的快速、通用、可
  • 2022-05-28 5374845a71a6
    遇见孩子第一辑父母你要知道四件事第一章你知道孩子的教育源头是什么吗？父母就像泉眼，要想流淌出清澈甘甜的泉水，浇灌出健康茁壮的生命，就得保持自身和周围环境的纯洁，若是自身被污染了，流出来的就只会是污水，不仅不能滋润万物，还会在流经的所有事物的身上留下斑斑污渍。长辈有什么样的思想言行，就会形成什么样的家风，每一个人的成长，都离不开家风的影响，祖辈留下来的精神气质会影响家庭乃至家族里每一个人的价值观和为
  • 月度总结 | 2022年03月 | 考研与就业的抉择 | 确定未来走大数据开发路线 「已注销」 个人总结hadoop
    一、时间线梳理3月3日，寻找到同专业的就业伙伴3月5日，着手准备Java八股文，决定先走Java后端路线3月8月，申请到了校图书馆的考研专座，决定暂时放弃就业，先准备考研，买了数学和408的资料书3月9日-3月13日，因疫情原因，宿舍区暂封，这段时间在准备考研，发现内容特别多3月13日-3月19日，大部分时间在刷Hadoop、Zookeeper、Kafka的视频，同时在准备实习的项目3月20日，退
  • 选择不选择|观影《小偷家族》 anpu的地下女友
    在经过漫长等待之后，是枝裕和额的《小偷家族》终于在大陆上映了。在之前的日子里，我断断续续的看了他的大部分作品，巧合的是，几乎每一次都是在临近黄昏的时候看完，常常思绪万千又郁闷压抑。在他的每一部电影里，都可以感受到家庭亲人的美好，以及这美好无法掩盖的伤痕与腐臭。潦倒而邋遢的丈夫柴田治带着偷来的小孩祥太在超市熟练地偷着各式各样的商品，从食物到服装，从零食到日用品小心翼翼又无所顾忌的统统偷来。幸福而满足
  • HBase介绍 mingyu1016 数据库
    概述HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。HBase是GoogleBigtable的开源实现，它利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。HBase的表结构HBase以表的形式存储数据。表有行和列组成。列划分为
  • 第二章 先天满魂力 佣兵_e508
    第二章先天满魂力火燚是火神府邸里最小的孩子，他的父母在他很小的时候就已经不在了。他们是在一次魂兽进攻攻镇时的保卫战中失踪的。当时战场只发现他们夫妻的破碎外套和他父亲的一条手臂，之后家族也是到处寻找他们的踪迹一直没有消息。直到两年前才放弃，最终宣布他们已经为本镇牺牲，只留下一子名燚，小名小燚。这名字是他爷爷起名的，希望他将来能觉醒烧不完的火，给他起名四把火。火山是当代族长，因为他还没达到封号斗罗境界
  • Java中的大数据处理框架对比分析 省赚客app开发者 java开发语言
    Java中的大数据处理框架对比分析大家好，我是微赚淘客系统3.0的小编，是个冬天不穿秋裤，天冷也要风度的程序猿！今天，我们将深入探讨Java中常用的大数据处理框架，并对它们进行对比分析。大数据处理框架是现代数据驱动应用的核心，它们帮助企业处理和分析海量数据，以提取有价值的信息。本文将重点介绍ApacheHadoop、ApacheSpark、ApacheFlink和ApacheStorm这四种流行的
  • 2021-12-08 爱善
    中原焦点团队网络初级32期爱善坚持分享】第21天（20211208周三）【StevedeShazer的生平简介】StevedeShazer生于1940年6月25日,2005年9月11日突然病逝于奥地利维也纳，享年65岁。Steve是焦点解决短期治疗的创始人之一，也被视为是家族治疗重要的代表人物。从20世纪70年代末期开始，他和他的妻子、同伴以及长期合作者InsooKimBerg一起，花了近三十年的
  • 《九鼎风水师》第一千零一十九章 昆仑秘境完结篇（二） 先峰老师
    尚文龙不敢想下去了。如果真的是自己所猜测这样的话，那么就能够解释清楚，为什么千百年来，九大家族的传人进入到这昆仑秘境之中没有一个人出来。尚文龙不敢继续想下去。因为这个猜测如果真的是事实的话，那么太可怕了。而且，如果是真的的话，自己进了昆仑秘境之后就注定无非走出来。哪怕自己的修为境界再高一个层次，都无法走出来，除非，能够达到那传说中的境界，或许有希望。尚文龙摇了摇头。将脑海中那可怕的猜测给甩出去。原
  • 飞行跳蚤 A小文日记
    飞行跳蚤超轻型飞机由法国人HenriMignet设计，首飞于1933年9月10日，已经发展成一个大家族。HenriMignet从小就是个航空迷，希望设计一款飞机，像福特T型汽车一样，价格低廉、操作简单，人人都能拥有，人人都能驾驶。飞行跳蚤本来是他设计的HM.14型飞机的名字。现在，人们把类似布局的飞机都称作飞行跳蚤，不论是Mignet设计的，还是其他人设计的。从1920年到1928年，Mignet
  • Hadoop windows intelij 跑 MR WordCount piziyang12138
    一、软件环境我使用的软件版本如下:IntellijIdea2017.1Maven3.3.9Hadoop分布式环境二、创建maven工程打开Idea,file->new->Project,左侧面板选择maven工程。(如果只跑MapReduce创建java工程即可，不用勾选Creatfromarchetype，如果想创建web工程或者使用骨架可以勾选)image.png设置GroupId和Artif
  • Java常用排序算法/程序员必须掌握的8大排序算法 cugfy java
    分类： 1）插入排序（直接插入排序、希尔排序） 2）交换排序（冒泡排序、快速排序） 3）选择排序（直接选择排序、堆排序） 4）归并排序 5）分配排序（基数排序） 所需辅助空间最多：归并排序 所需辅助空间最少：堆排序 平均速度最快：快速排序 不稳定：快速排序，希尔排序，堆排序。 先来看看8种排序之间的关系：   1.直接插入排序 （1
  • 【Spark102】Spark存储模块BlockManager剖析 bit1129 manager
    Spark围绕着BlockManager构建了存储模块，包括RDD，Shuffle，Broadcast的存储都使用了BlockManager。而BlockManager在实现上是一个针对每个应用的Master/Executor结构，即Driver上BlockManager充当了Master角色，而各个Slave上(具体到应用范围，就是Executor)的BlockManager充当了Slave角色
  • linux 查看端口被占用情况详解 daizj linux端口占用netstatlsof
    经常在启动一个程序会碰到端口被占用，这里讲一下怎么查看端口是否被占用，及哪个程序占用，怎么Kill掉已占用端口的程序   1、lsof -i:port port为端口号   [root@slave /data/spark-1.4.0-bin-cdh4]# lsof -i:8080 COMMAND   PID USER   FD   TY
  • Hosts文件使用 周凡杨 hostslocahost
         一切都要从localhost说起，经常在tomcat容器起动后，访问页面时输入http://localhost:8088/index.jsp，大家都知道localhost代表本机地址，如果本机IP是10.10.134.21，那就相当于http://10.10.134.21:8088/index.jsp，有时候也会看到http: 127.0.0.1:
  • java excel工具 g21121 Java excel
    直接上代码，一看就懂，利用的是jxl： import java.io.File; import java.io.IOException; import jxl.Cell; import jxl.Sheet; import jxl.Workbook; import jxl.read.biff.BiffException; import jxl.write.Label; import
  • web报表工具finereport常用函数的用法总结（数组函数） 老A不折腾 finereportweb报表函数总结
    ADD2ARRAY ADDARRAY(array,insertArray, start):在数组第start个位置插入insertArray中的所有元素，再返回该数组。 示例： ADDARRAY([3,4, 1, 5, 7], [23, 43, 22], 3)返回[3, 4, 23, 43, 22, 1, 5, 7]. ADDARRAY([3,4, 1, 5, 7], "测试&q
  • 游戏服务器网络带宽负载计算 墙头上一根草 服务器
    家庭所安装的4M，8M宽带。其中M是指，Mbits/S 其中要提前说明的是： 8bits = 1Byte 即8位等于1字节。我们硬盘大小50G。意思是50*1024M字节，约为 50000多字节。但是网宽是以“位”为单位的，所以，8Mbits就是1M字节。是容积体积的单位。 8Mbits/s后面的S是秒。8Mbits/s意思是 每秒8M位，即每秒1M字节。 我是在计算我们网络流量时想到的
  • 我的spring学习笔记2-IoC（反向控制 依赖注入） aijuans Spring 3 系列
    IoC（反向控制 依赖注入）这是Spring提出来了，这也是Spring一大特色。这里我不用多说，我们看Spring教程就可以了解。当然我们不用Spring也可以用IoC，下面我将介绍不用Spring的IoC。 IoC不是框架，她是java的技术，如今大多数轻量级的容器都会用到IoC技术。这里我就用一个例子来说明： 如：程序中有 Mysql.calss 、Oracle.class 、SqlSe
  • 高性能mysql 之 选择存储引擎(一) annan211 mysqlInnoDBMySQL引擎存储引擎
    1 没有特殊情况，应尽可能使用InnoDB存储引擎。   原因：InnoDB 和 MYIsAM 是mysql 最常用、使用最普遍的存储引擎。其中InnoDB是最重要、最广泛的存储引擎。她   被设计用来处理大量的短期事务。短期事务大部分情况下是正常提交的，很少有回滚的情况。InnoDB的性能和自动崩溃   恢复特性使得她在非事务型存储的需求中也非常流行，除非有非常
  • UDP网络编程 百合不是茶 UDP编程局域网组播
      UDP是基于无连接的,不可靠的传输   与TCP/IP相反       UDP实现私聊,发送方式客户端,接受方式服务器 package netUDP_sc; import java.net.DatagramPacket; import java.net.DatagramSocket; import java.net.Ine
  • JQuery对象的val()方法执行结果分析 bijian1013 JavaScriptjsjquery
            JavaScript中，如果id对应的标签不存在（同理JAVA中，如果对象不存在），则调用它的方法会报错或抛异常。在实际开发中，发现JQuery在id对应的标签不存在时，调其val()方法不会报错，结果是undefined。        
  • http请求测试实例（采用json-lib解析） bijian1013 jsonhttp
            由于fastjson只支持JDK1.5版本，因些对于JDK1.4的项目，可以采用json-lib来解析JSON数据。如下是http请求的另外一种写法，仅供参考。 package com; import java.util.HashMap; import java.util.Map; import
  • 【RPC框架Hessian四】Hessian与Spring集成 bit1129 hessian
    在【RPC框架Hessian二】Hessian 对象序列化和反序列化一文中介绍了基于Hessian的RPC服务的实现步骤，在那里使用Hessian提供的API完成基于Hessian的RPC服务开发和客户端调用，本文使用Spring对Hessian的集成来实现Hessian的RPC调用。   定义模型、接口和服务器端代码 |---Model    &nb
  • 【Mahout三】基于Mahout CBayes算法的20newsgroup流程分析 bit1129 Mahout
    1.Mahout环境搭建  1.下载Mahout http://mirror.bit.edu.cn/apache/mahout/0.10.0/mahout-distribution-0.10.0.tar.gz    2.解压Mahout  3. 配置环境变量 vim /etc/profile export HADOOP_HOME=/home
  • nginx负载tomcat遇非80时的转发问题 ronin47
    　　nginx负载后端容器是tomcat（其它容器如WAS,JBOSS暂没发现这个问题）非８０端口，遇到跳转异常问题。解决的思路是：$host:port        详细如下： 　　 该问题是最先发现的，由于之前对nginx不是特别的熟悉所以该问题是个入门级别的： ? 1 2 3 4 5
  • java-17-在一个字符串中找到第一个只出现一次的字符 bylijinnan java
    public class FirstShowOnlyOnceElement { /**Q17.在一个字符串中找到第一个只出现一次的字符。如输入abaccdeff，则输出b * 1.int[] count:count[i]表示i对应字符出现的次数 * 2.将26个英文字母映射：a-z <--> 0-25 * 3.假设全部字母都是小写 */ pu
  • mongoDB 复制集 开窍的石头 mongodb
    mongo的复制集就像mysql的主从数据库，当你往其中的主复制集(primary)写数据的时候，副复制集(secondary)会自动同步主复制集(Primary)的数据,当主复制集挂掉以后其中的一个副复制集会自动成为主复制集。提供服务器的可用性。和防止当机问题             mo
  • [宇宙与天文]宇宙时代的经济学 comsci 经济
        宇宙尺度的交通工具一般都体型巨大，造价高昂。。。。。      在宇宙中进行航行，近程采用反作用力类型的发动机，需要消耗少量矿石燃料，中远程航行要采用量子或者聚变反应堆发动机，进行超空间跳跃，要消耗大量高纯度水晶体能源      以目前地球上国家的经济发展水平来讲，
  • Git忽略文件 Cwind git
         有很多文件不必使用git管理。例如Eclipse或其他IDE生成的项目文件，编译生成的各种目标或临时文件等。使用git status时，会在Untracked files里面看到这些文件列表，在一次需要添加的文件比较多时（使用git add . / git add -u），会把这些所有的未跟踪文件添加进索引。 ==== ==== ==== 一些牢骚
  • MySQL连接数据库的必须配置 dashuaifu mysql连接数据库配置
    MySQL连接数据库的必须配置   1.driverClass：com.mysql.jdbc.Driver   2.jdbcUrl：jdbc:mysql://localhost:3306/dbname   3.user：username   4.password：password   其中1是驱动名；2是url，这里的‘dbna
  • 一生要养成的60个习惯 dcj3sjt126com 习惯
    一生要养成的60个习惯 第1篇 让你更受大家欢迎的习惯 1 守时，不准时赴约,让别人等,会失去很多机会。 如何做到： ①该起床时就起床， ②养成任何事情都提前15分钟的习惯。 ③带本可以随时阅读的书，如果早了就拿出来读读。 ④有条理，生活没条理最容易耽误时间。 ⑤提前计划：将重要和不重要的事情岔开。 ⑥今天就准备好明天要穿的衣服。 ⑦按时睡觉，这会让按时起床更容易。 2 注重
  • [介绍]Yii 是什么 dcj3sjt126com PHPyii2
    Yii 是一个高性能，基于组件的 PHP 框架，用于快速开发现代 Web 应用程序。名字 Yii （读作 易）在中文里有“极致简单与不断演变”两重含义，也可看作 Yes It Is! 的缩写。 Yii 最适合做什么？ Yii 是一个通用的 Web 编程框架，即可以用于开发各种用 PHP 构建的 Web 应用。因为基于组件的框架结构和设计精巧的缓存支持，它特别适合开发大型应
  • Linux SSH常用总结 eksliang linux sshSSHD
    转载请出自出处：http://eksliang.iteye.com/blog/2186931 一、连接到远程主机   格式： ssh name@remoteserver 例如： ssh [email protected]   二、连接到远程主机指定的端口   格式： ssh name@remoteserver -p 22 例如： ssh i
  • 快速上传头像到服务端工具类FaceUtil gundumw100 android
    快速迭代用 import java.io.DataOutputStream; import java.io.File; import java.io.FileInputStream; import java.io.FileNotFoundException; import java.io.FileOutputStream; import java.io.IOExceptio
  • jQuery入门之怎么使用 ini JavaScripthtmljqueryWebcss
    jQuery的强大我何问起（个人主页：hovertree.com）就不用多说了，那么怎么使用jQuery呢？   首先，下载jquery。下载地址：http://hovertree.com/hvtart/bjae/b8627323101a4994.htm，一个是压缩版本，一个是未压缩版本，如果在开发测试阶段，可以使用未压缩版本，实际应用一般使用压缩版本(min)。然后就在页面上引用。
  • 带filter的hbase查询优化 kane_xie 查询优化hbaseRandomRowFilter
    问题描述 hbase scan数据缓慢，server端出现LeaseException。hbase写入缓慢。   问题原因 直接原因是： hbase client端每次和regionserver交互的时候，都会在服务器端生成一个Lease,Lease的有效期由参数hbase.regionserver.lease.period确定。如果hbase scan需
  • java设计模式-单例模式 men4661273 java单例枚举反射IOC
             单例模式1，饿汉模式 //饿汉式单例类.在类初始化时，已经自行实例化 public class Singleton1 { //私有的默认构造函数 private Singleton1() {} //已经自行实例化 private static final Singleton1 singl
  • mongodb 查询某一天所有信息的3种方法，根据日期查询 qiaolevip 每天进步一点点学习永无止境mongodb纵观千象
    // mongodb的查询真让人难以琢磨，就查询单天信息，都需要花费一番功夫才行。 // 第一种方式： coll.aggregate([ {$project:{sendDate: {$substr: ['$sendTime', 0, 10]}, sendTime: 1, content:1}}, {$match:{sendDate: '2015-
  • 二维数组转换成JSON tangqi609567707 java二维数组json
    原文出处：http://blog.csdn.net/springsen/article/details/7833596 public class Demo {     public static void main(String[] args) {        String[][] blogL
  • erlang supervisor wudixiaotie erlang
    定义supervisor时，如果是监控celuesimple_one_for_one则删除children的时候就用supervisor:terminate_child (SupModuleName, ChildPid)，如果shutdown策略选择的是brutal_kill，那么supervisor会调用exit(ChildPid, kill)，这样的话如果Child的behavior是gen_
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他