Hadoop家族学习路线图

原文地址：http://blog.fens.me/hadoop-family-roadmap/

 

Sep 6, 2013
Tags:
Comments:
27 Comments

Hadoop家族学习路线图

Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, Flume, Bigtop, Crunch, Hue等。

从2011年开始，中国进入大数据风起云涌的时代，以Hadoop为代表的家族软件，占据了大数据处理的广阔地盘。开源界及厂商，所有数据软件，无一不向Hadoop靠拢。Hadoop也从小众的高富帅领域，变成了大数据开发的标准。在Hadoop原有技术基础之上，出现了Hadoop家族产品，通过“大数据”概念不断创新，推出科技进步。

作为IT界的开发人员，我们也要跟上节奏，抓住机遇，跟着Hadoop一起雄起！

关于作者：

转载请注明出处：
http://blog.fens.me/hadoop-family-roadmap/

hadoopFamilyRoadmap

前言

使用Hadoop已经有一段时间了，从开始的迷茫，到各种的尝试，到现在组合应用….慢慢地涉及到数据处理的事情，已经离不开hadoop了。Hadoop在大数据领域的成功，更引发了它本身的加速发展。现在Hadoop家族产品，已经达到20个了之多。

有必要对自己的知识做一个整理了，把产品和技术都串起来。不仅能加深印象，更可以对以后的技术方向，技术选型做好基础准备。

本文为“Hadoop家族”开篇，Hadoop家族学习路线图

目录

  1. Hadoop家族产品
  2. Hadoop家族学习路线图

1. Hadoop家族产品

截止到2013年，根据cloudera的统计，Hadoop家族产品已经达到20个！
http://blog.cloudera.com/blog/2013/01/apache-hadoop-in-2013-the-state-of-the-platform/

接下来，我把这20个产品，分成了2类。

  • 第一类，是我已经掌握的
  • 第二类，是TODO准备继续学习的

HadoopFamilySmall

一句话产品介绍:

  • Apache Hadoop: 是Apache开源组织的一个分布式计算开源框架，提供了一个分布式文件系统子项目(HDFS)和支持MapReduce分布式计算的软件架构。
  • Apache Hive: 是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。
  • Apache Pig: 是一个基于Hadoop的大规模数据分析工具，它提供的SQL-LIKE语言叫Pig Latin，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。
  • Apache HBase: 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。
  • Apache Sqoop: 是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。
  • Apache Zookeeper: 是一个为分布式应用所设计的分布的、开源的协调服务，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，简化分布式应用协调及其管理的难度，提供高性能的分布式服务
  • Apache Mahout:是基于Hadoop的机器学习和数据挖掘的一个分布式框架。Mahout用MapReduce实现了部分数据挖掘算法，解决了并行挖掘的问题。
  • Apache Cassandra:是一套开源分布式NoSQL数据库系统。它最初由Facebook开发，用于储存简单格式数据，集Google BigTable的数据模型与Amazon Dynamo的完全分布式的架构于一身
  • Apache Avro: 是一个数据序列化系统，设计用于支持数据密集型，大批量数据交换的应用。Avro是新的数据序列化格式与传输工具，将逐步取代Hadoop原有的IPC机制
  • Apache Ambari: 是一种基于Web的工具，支持Hadoop集群的供应、管理和监控。
  • Apache Chukwa: 是一个开源的用于监控大型分布式系统的数据收集系统，它可以将各种各样类型的数据收集成适合 Hadoop 处理的文件保存在 HDFS 中供 Hadoop 进行各种 MapReduce 操作。
  • Apache Hama: 是一个基于HDFS的BSP（Bulk Synchronous Parallel)并行计算框架, Hama可用于包括图、矩阵和网络算法在内的大规模、大数据计算。
  • Apache Flume: 是一个分布的、可靠的、高可用的海量日志聚合的系统，可用于日志数据收集，日志数据处理，日志数据传输。
  • Apache Giraph: 是一个可伸缩的分布式迭代图处理系统， 基于Hadoop平台，灵感来自 BSP (bulk synchronous parallel) 和 Google 的 Pregel。
  • Apache Oozie: 是一个工作流引擎服务器, 用于管理和协调运行在Hadoop平台上（HDFS、Pig和MapReduce）的任务。
  • Apache Crunch: 是基于Google的FlumeJava库编写的Java库，用于创建MapReduce程序。与Hive，Pig类似，Crunch提供了用于实现如连接数据、执行聚合和排序记录等常见任务的模式库
  • Apache Whirr: 是一套运行于云服务的类库（包括Hadoop），可提供高度的互补性。Whirr学支持Amazon EC2和Rackspace的服务。
  • Apache Bigtop: 是一个对Hadoop及其周边生态进行打包，分发和测试的工具。
  • Apache HCatalog: 是基于Hadoop的数据表和存储管理，实现中央的元数据和模式管理，跨越Hadoop和RDBMS，利用Pig和Hive提供关系视图。
  • Cloudera Hue: 是一个基于WEB的监控和管理系统，实现对HDFS，MapReduce/YARN, HBase, Hive, Pig的web化操作和管理。

2. Hadoop家族学习路线图

下面我将分别介绍各个产品的安装和使用，以我经验总结我的学习路线。

Hadoop

Hive

Pig

  • Pig学习路线图

Zookeeper

HBase

Mahout

Sqoop

  • Sqoop学习路线图

Cassandra

 

跟上创新的脚步，不断坚持：(TODO列表，不定期更新)

Avro, Ambari, Chukwa, Hama, Flume, Giraph, Oozie, Crunch, Whirr, Bigtop, HCatalog, Hue

欢迎大家留言，提出宝贵建议！

你可能感兴趣的:(Hadoop家族)

  • 浅谈MapReduce Android路上的人 Hadoop分布式计算mapreduce分布式框架hadoop
    从今天开始，本人将会开始对另一项技术的学习，就是当下炙手可热的Hadoop分布式就算技术。目前国内外的诸多公司因为业务发展的需要，都纷纷用了此平台。国内的比如BAT啦，国外的在这方面走的更加的前面，就不一一列举了。但是Hadoop作为Apache的一个开源项目，在下面有非常多的子项目，比如HDFS，HBase,Hive，Pig,等等，要先彻底学习整个Hadoop，仅仅凭借一个的力量，是远远不够的。
  • Hadoop 傲雪凌霜，松柏长青 后端大数据hadoop大数据分布式
    ApacheHadoop是一个开源的分布式计算框架，主要用于处理海量数据集。它具有高度的可扩展性、容错性和高效的分布式存储与计算能力。Hadoop核心由四个主要模块组成，分别是HDFS（分布式文件系统）、MapReduce（分布式计算框架）、YARN（资源管理）和HadoopCommon（公共工具和库）。1.HDFS（HadoopDistributedFileSystem）HDFS是Hadoop生
  • Hadoop架构 henan程序媛 hadoop大数据分布式
    一、案列分析1.1案例概述现在已经进入了大数据(BigData)时代，数以万计用户的互联网服务时时刻刻都在产生大量的交互，要处理的数据量实在是太大了，以传统的数据库技术等其他手段根本无法应对数据处理的实时性、有效性的需求。HDFS顺应时代出现，在解决大数据存储和计算方面有很多的优势。1.2案列前置知识点1.什么是大数据大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的大量数据集合，
  • ❤️午间能量加油站～360 16b243081175
    改变家族命运只有一个字“胆”一、胆量决定财富1、想常人之不敢想，做常人之不敢做2、不拼，怎么知道不行3、有没有勇气走出第一步，往往是人生的分水岭4、人的成功是被冒险逼出来的5、不冒险就是最大的冒险，我们坚决不做老实人6、害怕失败，就等于拒绝成功7、要想知道梨子的味道，就要亲口尝一尝二、机会青睐于果断（果断法则）1、一个有魅力的人，必定毫不犹豫，说到做到2、你一旦拖延，你就总是会拖延3、当你做了不属
  • 《九鼎风水师》第五百八十二章 和赵家的交易 先峰老师
    眼前的一幕入眼，自己也大概能够猜测到是什么情况了。大家族之中就是麻烦多，没有想到一点点的小事情，居然能够有如此多的纠结。场地之中，两人就静静的对视而望。气氛稍微显得有些诡异而又沉默。这平静的气氛并没有持续多久，最多也就是一分钟的样子，就被打破了。“哈哈！少年可谓啊！没有想到，林老头居然有着这么一个出色的孙子，小五，还不快快请尚公子进来？”从大门中走出来出声的是一位白发苍苍的老者，身着一身灰色长衫，
  • 分享一个基于python的电子书数据采集与可视化分析 hadoop电子书数据分析与推荐系统 spark大数据毕设项目（源码、调试、LW、开题、PPT) 计算机源码社 Python项目大数据大数据pythonhadoop计算机毕业设计选题计算机毕业设计源码数据分析spark毕设
    作者：计算机源码社个人简介：本人八年开发经验，擅长Java、Python、PHP、.NET、Node.js、Android、微信小程序、爬虫、大数据、机器学习等，大家有这一块的问题可以一起交流！学习资料、程序开发、技术解答、文档报告如需要源码，可以扫取文章下方二维码联系咨询Java项目微信小程序项目Android项目Python项目PHP项目ASP.NET项目Node.js项目选题推荐项目实战|p
  • 说话三思而后行（三） 超越凡尘118
    『比喻力』“父亲是一座山。”“老师是辛勤的园丁，我们是祖国的花朵。”上小学时，我们就接触过“比喻”这个概念，也练习过如何把一个人、一个物比喻成其他事物，但在日常沟通中，能把比喻用得恰到好处的并不多。《奇葩说》有一期的辩题是“结婚前让对方在房本上加自己名字，有错吗？”，薛教授把婚姻比喻成创办家族企业，由于双方给出的资源不同，发挥作用的时间点不同，所以他认为，在结婚前有必要在房本上加女方名字。他曾在《
  • 孱夫子言语（221） 孱夫子
    人人的私邪欲望从哪里来的？人人的祖宗是谁？人人的儿孙子嗣到底归谁？人的私邪欲望应该归功于低级趣味的动物流程。每个人的祖宗到底是谁？有说是女娃造人，有说是耶稣，有说是天主，有人说生死轮回，有人说是猴子演变。人人的子嗣后裔到底是人。人人的私邪欲望总是离不开个体这个小东西。人比人强盛把人人引向自私的沟壑，一人一事胜利了强盛了，人人已经不能是人而比人人高出，脱离了是人的范围，再把家族强调分出姓氏名讳，自私
  • Xilinx 7系列FPGA架构之器件配置（一） FPGA技术实战 FPGA器件架构XinxFPGA硬件设计fpga开发
    引言：本系列博文描述7系列FPGA配置的技术参考。作为开篇，简要概述了7系列FPGA的配置方法和功能。随后的博文将对每种配置方法和功能进行更详细的描述。本文描述的配置方法和功能适用于所有7系列家族器件，只有少数例外。1.概述Xilinx®7系列FPGA通过将特定于应用程序的配置数据（位流）加载到内存中进行配置。7系列FPGA可以主动从外部非易失性存储设备加载，也可以通过外部智能源（如微处理器、DS
  • 经济变化的转折 悟道修行
    中国正在经历百年未有之大变局，这一年将是中国新的起点，也将是无数人开始逆袭的一年。无论你从事什么行业，都必须对社会发展有全面理解，这篇文章旨在扩充大家的视野，一起提升格局！本文先后从个人，商业，世界三个角度诠释：第一部分：个人篇人类社会的发展路径：部落社会——村落社会——家族社会——家庭社会——个体社会。世界正变的越来越细致、周密。以前各种关系是面对面发生的，后来发展成了线对线，未来的世界，由各种
  • hbase介绍 CrazyL- 云计算+大数据hbase
    hbase是一个分布式的、多版本的、面向列的开源数据库hbase利用hadoophdfs作为其文件存储系统，提供高可靠性、高性能、列存储、可伸缩、实时读写、适用于非结构化数据存储的数据库系统hbase利用hadoopmapreduce来处理hbase、中的海量数据hbase利用zookeeper作为分布式系统服务特点：数据量大：一个表可以有上亿行，上百万列（列多时，插入变慢）面向列：面向列（族）的
  • 影片《小偷家族》 小小投资人
    看过《西虹市首富》后再来看《小偷家族》，可能会觉得平凡乏味单调，但不得不说，一个是感观上的震撼，另一个却是心灵上的震撼。1.黑暗与明亮屋子里的生活要不在晚上，要不就是昏暗的，正如小偷家族，他们在社会的底层，一个我们根本看不见的地方。我相信中国也有很多这样的底层家庭，但是我们平时看不到，媒体上甚至都看不到，他们就像不存在一样。而孩子在外面与全家去海边的时候，又是那么的明亮，这样的明暗变化，让观众在黑
  • 大数据毕业设计hadoop+spark+hive知识图谱租房数据分析可视化大屏 租房推荐系统 58同城租房爬虫 房源推荐系统 房价预测系统 计算机毕业设计 机器学习 深度学习 人工智能 2401_84572577 程序员大数据hadoop人工智能
    做了那么多年开发，自学了很多门编程语言，我很明白学习资源对于学一门新语言的重要性，这些年也收藏了不少的Python干货，对我来说这些东西确实已经用不到了，但对于准备自学Python的人来说，或许它就是一个宝藏，可以给你省去很多的时间和精力。别在网上瞎学了，我最近也做了一些资源的更新，只要你是我的粉丝，这期福利你都可拿走。我先来介绍一下这些东西怎么用，文末抱走。（1）Python所有方向的学习路线（
  • 《星辰的倾诉》 光敏low
    近日正值中秋时节，圆月明亮光星闪烁，星辰们正在倾诉人们的恶劣行为……其中有一颗闪亮而灿烂的星星对大家说:“人类其实并不坏，你们也可以看人的优点，“说完，其他闪亮的星星便纷纷说道，人类是自私的，他们大量捕杀动物，污染空气，将废水排在河流里，让我们星星家族的成员无处可立足而坠落，所以你不必为人类找借口，我们不会听信你一面之词，那颗闪亮而灿烂的星星，替人类辩解道，人类是会改变的，我相信人类，随后便坠落到
  • 不论好与坏最终都会产生积极影响 姚Fay
    昨天又是密集性抽空学习的一天，如饥似渴的读书，感觉离自己理想的状态又近了一步。读巴菲特的成长背景以及幼年家庭环境，感受到他父亲的家族中的商业成功之道，以及成长中的痛点-神经质的母亲。也许人们看到的都只是因为父亲的成功让他出生在一个家境优越的家庭，才有了现在他的辉煌，他的母亲只不过是绊脚石。可真的是这样吗？如果没有他神经质的母亲，他就不会被塑造成那种特立独行的气质。一个三岁多的孩子就开始天天收集瓶盖
  • 《长安三万里》观后感 晨晨知否
    随着《长安三万里》的热播，身边的朋友都去看了，也告诉我去看一看。于是我带着孩子一起去看了。一、故事内容：我首先的一个疑惑就是为什么叫《长安三万里》这个名字呢？带着这个疑惑，走进影院观看。影片的开头是高适带领队伍攻打吐蕃人。然后遇到程公公，便开始讲述和李白的相遇，相知。高适和李白的出身不同。高适的爷爷高侃是唐朝的名将，随着家族的落破，高适想被别人举荐也没人帮助。而李白出身商股之家更是别人不愿举荐。两
  • 小肠是身体的加油站，大肠是资源回收利用专家 乐乐飞扬
    肠营养肠健康。近期，专家介绍目前有不少青少年肠道有问题，18岁得直肠癌的有家族遗传基因，也有经常烧烤吃腌制食品的，都是得直肠癌的因素。预防结直肠癌多吃新鲜食物、蔬菜和果。小肠是身体的加油站,大肠是资源回收利用专家，它的环境清洁能力十分重要。消化是一场神奇之旅，从口腔开始,到肛门结束，全长8---10米长，有一间教室那儿长。从你看到食物的那一刻起,消化就开始了。先遗军---口腔分泌唾液,胃分泌胃酸排
  • 留大城市还是回小家乡？过来人掏心窝子说“三点”，好歹总结透彻了 职场火锅
    又到毕业入职季，无数人问：选北京20万年薪，还是家乡5000月薪？归根到底是，闯大都市，还是回家乡。选择工作城市，不仅仅是职业事业的定位，还有家族生活延续的地位。先想明白一件事再下决心：你想在国际一线都市安居，作为第一代开拓者，恩泽祖祖辈辈，还是在三线小城“择一城终、老岁月静好”。这两种选择没有对错、好坏之分，只有是不是适合自己的人生。具体意见如下：第一，可逆PK不可逆。有人说，父母在不远游。回到
  • 《红楼梦》观后感 余晖遐照
    中国古典名著《红楼梦》的开篇词中这样写到：“满纸荒唐言，一把辛酸泪。都云作者痴，谁解其中味？”曹雪芹倾尽一生完成了这部“前无古人，后无来者”的巨著。其文学价值贯穿今古，誉满华夏，在文学史上有着举足轻重的地位。《红楼梦》以四大家族——贾，史，王，薛为背景，描写了四大家族从兴盛走向衰亡的过程。刻画人物上千个，人物形象鲜明生动，栩栩如生。以贾宝玉，林黛玉的爱情故事为主线，体现了人性美和悲剧美。在第一回第
  • Spark集群的三种模式 MelodyYN #Sparksparkhadoopbigdata
    文章目录1、Spark的由来1.1Hadoop的发展1.2MapReduce与Spark对比2、Spark内置模块3、Spark运行模式3.1Standalone模式部署配置历史服务器配置高可用运行模式3.2Yarn模式安装部署配置历史服务器运行模式4、WordCount案例1、Spark的由来定义：Hadoop主要解决，海量数据的存储和海量数据的分析计算。Spark是一种基于内存的快速、通用、可
  • 2022-05-28 5374845a71a6
    遇见孩子第一辑父母你要知道四件事第一章你知道孩子的教育源头是什么吗？父母就像泉眼，要想流淌出清澈甘甜的泉水，浇灌出健康茁壮的生命，就得保持自身和周围环境的纯洁，若是自身被污染了，流出来的就只会是污水，不仅不能滋润万物，还会在流经的所有事物的身上留下斑斑污渍。长辈有什么样的思想言行，就会形成什么样的家风，每一个人的成长，都离不开家风的影响，祖辈留下来的精神气质会影响家庭乃至家族里每一个人的价值观和为
  • 月度总结 | 2022年03月 | 考研与就业的抉择 | 确定未来走大数据开发路线 「已注销」 个人总结hadoop
    一、时间线梳理3月3日，寻找到同专业的就业伙伴3月5日，着手准备Java八股文，决定先走Java后端路线3月8月，申请到了校图书馆的考研专座，决定暂时放弃就业，先准备考研，买了数学和408的资料书3月9日-3月13日，因疫情原因，宿舍区暂封，这段时间在准备考研，发现内容特别多3月13日-3月19日，大部分时间在刷Hadoop、Zookeeper、Kafka的视频，同时在准备实习的项目3月20日，退
  • 选择不选择|观影《小偷家族》 anpu的地下女友
    在经过漫长等待之后，是枝裕和额的《小偷家族》终于在大陆上映了。在之前的日子里，我断断续续的看了他的大部分作品，巧合的是，几乎每一次都是在临近黄昏的时候看完，常常思绪万千又郁闷压抑。在他的每一部电影里，都可以感受到家庭亲人的美好，以及这美好无法掩盖的伤痕与腐臭。潦倒而邋遢的丈夫柴田治带着偷来的小孩祥太在超市熟练地偷着各式各样的商品，从食物到服装，从零食到日用品小心翼翼又无所顾忌的统统偷来。幸福而满足
  • HBase介绍 mingyu1016 数据库
    概述HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。HBase是GoogleBigtable的开源实现，它利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。HBase的表结构HBase以表的形式存储数据。表有行和列组成。列划分为
  • 第二章 先天满魂力 佣兵_e508
    第二章先天满魂力火燚是火神府邸里最小的孩子，他的父母在他很小的时候就已经不在了。他们是在一次魂兽进攻攻镇时的保卫战中失踪的。当时战场只发现他们夫妻的破碎外套和他父亲的一条手臂，之后家族也是到处寻找他们的踪迹一直没有消息。直到两年前才放弃，最终宣布他们已经为本镇牺牲，只留下一子名燚，小名小燚。这名字是他爷爷起名的，希望他将来能觉醒烧不完的火，给他起名四把火。火山是当代族长，因为他还没达到封号斗罗境界
  • Java中的大数据处理框架对比分析 省赚客app开发者 java开发语言
    Java中的大数据处理框架对比分析大家好，我是微赚淘客系统3.0的小编，是个冬天不穿秋裤，天冷也要风度的程序猿！今天，我们将深入探讨Java中常用的大数据处理框架，并对它们进行对比分析。大数据处理框架是现代数据驱动应用的核心，它们帮助企业处理和分析海量数据，以提取有价值的信息。本文将重点介绍ApacheHadoop、ApacheSpark、ApacheFlink和ApacheStorm这四种流行的
  • 2021-12-08 爱善
    中原焦点团队网络初级32期爱善坚持分享】第21天（20211208周三）【StevedeShazer的生平简介】StevedeShazer生于1940年6月25日,2005年9月11日突然病逝于奥地利维也纳，享年65岁。Steve是焦点解决短期治疗的创始人之一，也被视为是家族治疗重要的代表人物。从20世纪70年代末期开始，他和他的妻子、同伴以及长期合作者InsooKimBerg一起，花了近三十年的
  • 《九鼎风水师》第一千零一十九章 昆仑秘境完结篇（二） 先峰老师
    尚文龙不敢想下去了。如果真的是自己所猜测这样的话，那么就能够解释清楚，为什么千百年来，九大家族的传人进入到这昆仑秘境之中没有一个人出来。尚文龙不敢继续想下去。因为这个猜测如果真的是事实的话，那么太可怕了。而且，如果是真的的话，自己进了昆仑秘境之后就注定无非走出来。哪怕自己的修为境界再高一个层次，都无法走出来，除非，能够达到那传说中的境界，或许有希望。尚文龙摇了摇头。将脑海中那可怕的猜测给甩出去。原
  • 飞行跳蚤 A小文日记
    飞行跳蚤超轻型飞机由法国人HenriMignet设计，首飞于1933年9月10日，已经发展成一个大家族。HenriMignet从小就是个航空迷，希望设计一款飞机，像福特T型汽车一样，价格低廉、操作简单，人人都能拥有，人人都能驾驶。飞行跳蚤本来是他设计的HM.14型飞机的名字。现在，人们把类似布局的飞机都称作飞行跳蚤，不论是Mignet设计的，还是其他人设计的。从1920年到1928年，Mignet
  • Hadoop windows intelij 跑 MR WordCount piziyang12138
    一、软件环境我使用的软件版本如下:IntellijIdea2017.1Maven3.3.9Hadoop分布式环境二、创建maven工程打开Idea,file->new->Project,左侧面板选择maven工程。(如果只跑MapReduce创建java工程即可，不用勾选Creatfromarchetype，如果想创建web工程或者使用骨架可以勾选)image.png设置GroupId和Artif
  • 对于规范和实现，你会混淆吗？ yangshangchuan HotSpot
    昨晚和朋友聊天，喝了点咖啡，由于我经常喝茶，很长时间没喝咖啡了，所以失眠了，于是起床读JVM规范，读完后在朋友圈发了一条信息： JVM Run-Time Data Areas：The Java Virtual Machine defines various run-time data areas that are used during execution of a program. So
  • android 网络 百合不是茶 网络
    android的网络编程和java的一样没什么好分析的都是一些死的照着写就可以了,所以记录下来  方便查找   ,  服务器使用的是TomCat   服务器代码;  servlet的使用需要在xml中注册 package servlet; import java.io.IOException; import java.util.Arr
  • [读书笔记]读法拉第传 comsci 读书笔记
          1831年的时候,一年可以赚到1000英镑的人..应该很少的...       要成为一个科学家,没有足够的资金支持,很多实验都无法完成       但是当钱赚够了以后....就不能够一直在商业和市场中徘徊......
  • 随机数的产生 沐刃青蛟 随机数
    c++中阐述随机数的方法有两种：   一是产生假随机数（不管操作多少次，所产生的数都不会改变）          这类随机数是使用了默认的种子值产生的，所以每次都是一样的。   //默认种子 for (int i = 0; i < 5; i++) { cout<<
  • PHP检测函数所在的文件名 IT独行者 PHP函数
    很简单的功能，用到PHP中的反射机制，具体使用的是ReflectionFunction类，可以获取指定函数所在PHP脚本中的具体位置。 创建引用脚本。 代码：   [php]   view plain copy // Filename: functions.php    <?php&nbs
  • 银行各系统功能简介 文强chu 金融
    银行各系统功能简介 　 业务系统 核心业务系统 业务功能包括：总账管理、卡系统管理、客户信息管理、额度控管、存款、贷款、资金业务、国际结算、支付结算、对外接口等 清分清算系统 以清算日期为准，将账务类交易、非账务类交易的手续费、代理费、网络服务费等相关费用，按费用类型计算应收、应付金额，经过清算人员确认后上送核心系统完成结算的过程 国际结算系
  • Python学习1(pip django 安装以及第一个project) 小桔子 pythondjangopip
        最近开始学习python,要安装个pip的工具。听说这个工具很强大，安装了它，在安装第三方工具的话so easy!然后也下载了，按照别人给的教程开始安装，奶奶的怎么也安装不上！ 第一步：官方下载pip-1.5.6.tar.gz, https://pypi.python.org/pypi/pip easy! 第二部：解压这个压缩文件，会看到一个setup.p
  • php 数组 aichenglong PHP排序数组循环多维数组
    1 php中的创建数组 $product = array('tires','oil','spark');//array()实际上是语言结构而不  是函数 2 如果需要创建一个升序的排列的数字保存在一个数组中，可以使用range()函数来自动创建数组 $numbers=range(1,10)//1 2 3 4 5 6 7 8 9 10 $numbers=range(1,10,
  • 安装python2.7 AILIKES python
    安装python2.7 1、下载可从 http://www.python.org/进行下载#wget https://www.python.org/ftp/python/2.7.10/Python-2.7.10.tgz 2、复制解压 #mkdir -p /opt/usr/python #cp  /opt/soft/Python-2
  • java异常的处理探讨 百合不是茶 JAVA异常
    //java异常  /* 1，了解java 中的异常处理机制，有三种操作 a,声明异常  b,抛出异常  c,捕获异常 2，学会使用try-catch-finally来处理异常 3，学会如何声明异常和抛出异常 4，学会创建自己的异常   */   //2，学会使用try-catch-finally来处理异常  
  • getElementsByName实例 bijian1013 element
    实例1： <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/1999/x
  • 探索JUnit4扩展：Runner bijian1013 java单元测试JUnit
            参加敏捷培训时，教练提到Junit4的Runner和Rule，于是特上网查一下，发现很多都讲的太理论，或者是举的例子实在是太牵强。多搜索了几下，搜索到两篇我觉得写的非常好的文章。         文章地址：http://www.blogjava.net/jiangshachina/archive/20
  • [MongoDB学习笔记二]MongoDB副本集 bit1129 mongodb
    1. 副本集的特性   1)一台主服务器(Primary),多台从服务器(Secondary)   2)Primary挂了之后，从服务器自动完成从它们之中选举一台服务器作为主服务器，继续工作，这就解决了单点故障，因此，在这种情况下，MongoDB集群能够继续工作   3)挂了的主服务器恢复到集群中只能以Secondary服务器的角色加入进来   2
  • 【Spark八十一】Hive in the spark assembly bit1129 assembly
    Spark SQL supports most commonly used features of HiveQL. However, different HiveQL statements are executed in different manners: 1. DDL statements (e.g. CREATE TABLE, DROP TABLE, etc.)
  • Nginx问题定位之监控进程异常退出 ronin47
    nginx在运行过程中是否稳定，是否有异常退出过？这里总结几项平时会用到的小技巧。 1. 在error.log中查看是否有signal项，如果有，看看signal是多少。 比如，这是一个异常退出的情况： $grep signal error.log 2012/12/24 16:39:56 [alert] 13661#0: worker process 13666 exited on s
  • No grammar constraints (DTD or XML schema).....两种解决方法 byalias xml
    方法一：常用方法   关闭XML验证 工具栏：windows => preferences => xml => xml files => validation => Indicate when no grammar is specified:选择Ignore即可。 方法二：（个人推荐） 添加 内容如下 <?xml version=
  • Netty源码学习-DefaultChannelPipeline bylijinnan netty
    package com.ljn.channel; /** * ChannelPipeline采用的是Intercepting Filter 模式 * 但由于用到两个双向链表和内部类，这个模式看起来不是那么明显，需要仔细查看调用过程才发现 * * 下面对ChannelPipeline作一个模拟，只模拟关键代码： */ public class Pipeline {
  • MYSQL数据库常用备份及恢复语句 chicony mysql
    备份MySQL数据库的命令，可以加选不同的参数选项来实现不同格式的要求。 mysqldump -h主机 -u用户名 -p密码 数据库名 > 文件 备份MySQL数据库为带删除表的格式，能够让该备份覆盖已有数据库而不需要手动删除原有数据库。 mysqldump -–add-drop-table -uusername -ppassword databasename > ba
  • 小白谈谈云计算--基于Google三大论文 CrazyMizzz Google云计算GFS
        之前在没有接触到云计算之前，只是对云计算有一点点模糊的概念，觉得这是一个很高大上的东西，似乎离我们大一的还很远。后来有机会上了一节云计算的普及课程吧，并且在之前的一周里拜读了谷歌三大论文。不敢说理解，至少囫囵吞枣啃下了一大堆看不明白的理论。现在就简单聊聊我对于云计算的了解。     我先说说GFS   &n
  • hadoop 平衡空间设置方法 daizj hadoopbalancer
    在hdfs-site.xml中增加设置balance的带宽，默认只有1M： <property>   <name>dfs.balance.bandwidthPerSec</name>     <value>10485760</value>     <description&g
  • Eclipse程序员要掌握的常用快捷键 dcj3sjt126com 编程
      判断一个人的编程水平，就看他用键盘多，还是鼠标多。用键盘一是为了输入代码（当然了，也包括注释），再有就是熟练使用快捷键。 曾有人在豆瓣评 《卓有成效的程序员》：“人有多大懒，才有多大闲”。之前我整理了一个 程序员图书列表，目的也就是通过读书，让程序员变懒。  程序员作为特殊的群体，有的人可以这么懒，懒到事情都交给机器去做，而有的人又可以那么勤奋，每天都孜孜不倦得
  • Android学习之路 dcj3sjt126com Android学习
    转自：http://blog.csdn.net/ryantang03/article/details/6901459 以前有J2EE基础，接触JAVA也有两三年的时间了，上手Android并不困难，思维上稍微转变一下就可以很快适应。以前做的都是WEB项目，现今体验移动终端项目，让我越来越觉得移动互联网应用是未来的主宰。 下面说说我学习Android的感受，我学Android首先是看MARS的视
  • java 遍历Map的四种方法 eksliang javaHashMapjava 遍历Map的四种方法
    转载请出自出处： http://eksliang.iteye.com/blog/2059996 package com.ickes; import java.util.HashMap; import java.util.Iterator; import java.util.Map; import java.util.Map.Entry; /** * 遍历Map的四种方式
  • 【精典】数据库相关相关 gengzg 数据库
    package C3P0; import java.sql.Connection; import java.sql.SQLException; import java.beans.PropertyVetoException; import com.mchange.v2.c3p0.ComboPooledDataSource; public class DBPool{
  • 自动补全 huyana_town 自动补全
    <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"><html xmlns="http://www.w3.org/1999/xhtml&quo
  • jquery在线预览PDF文件，打开PDF文件 天梯梦 jquery
    最主要的是使用到了一个jquery的插件jquery.media.js，使用这个插件就很容易实现了。   核心代码 <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.
  • ViewPager刷新单个页面的方法 lovelease androidviewpagertag刷新
      使用ViewPager做滑动切换图片的效果时，如果图片是从网络下载的，那么再子线程中下载完图片时我们会使用handler通知UI线程，然后UI线程就可以调用mViewPager.getAdapter().notifyDataSetChanged()进行页面的刷新，但是viewpager不同于listview，你会发现单纯的调用notifyDataSetChanged()并不能刷新页面
  • 利用按位取反（~）从复合枚举值里清除枚举值 草料场 enum
    以 C# 中的 System.Drawing.FontStyle 为例。   如果需要同时有多种效果， 如：“粗体”和“下划线”的效果，可以用按位或（|） FontStyle style = FontStyle.Bold | FontStyle.Underline;   如果需要去除 style 里的某一种效果，
  • Linux系统新手学习的11点建议 刘星宇 编程工作linux脚本
    　　随着Linux应用的扩展许多朋友开始接触Linux，根据学习Windwos的经验往往有一些茫然的感觉：不知从何处开始学起。这里介绍学习Linux的一些建议。 　　一、从基础开始：常常有些朋友在Linux论坛问一些问题，不过，其中大多数的问题都是很基础的。例如：为什么我使用一个命令的时候，系统告诉我找不到该目录，我要如何限制使用者的权限等问题，这些问题其实都不是很难的，只要了解了 Linu
  • hibernate dao层应用之HibernateDaoSupport二次封装 wangzhezichuan DAOHibernate
    /** * <p>方法描述:sql语句查询 返回List<Class> </p> * <p>方法备注: Class 只能是自定义类 </p> * @param calzz * @param sql * @return * <p>创建人：王川</p> * <p>创建时间：Jul
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他