Hadoop学习笔记（1）

Doug Cutting

Lucene（索引引擎）---Nutch（搜索Data抓取）---Hadoop

 

1997:Lucene

2003:GFS

2004:NDFS\MapReduce\Nutch

2006: (Yahoo! Facebook NewYorkTimes) Hadoop

2008: HBase Zookeeper  Mahout

2009: Pig\ Hive

 

Hadoop生态系统：

Common、HDFS、MapReduce

Avro：序列化；

Zookeeper：统一一致性；

Hive：数据仓库；

HBase：BigTable 结构化数据

Mahout：数据挖掘

X-Rtime：社会网络

Sqoop（SQL to Hadoop）

OOzie：工作流引擎（有向无环）

Pig、Crosslow、Ivory、Chukwa+Flume

 

Java语言关键字：代码同步synchronized，见：http://www.cnblogs.com/dorothychai/p/4172040.html

 

JAXP（Java API for XML Processing）

SAX：解析大文件

DOM：一次性读入内存

 

静态方法，如何访问非静态方法或元素：通过静态媒介

Hadoop源码关于配置文件的类中，包含两类resource和defaultResourses分别用来加载资源和默认资源（资源代表配置文件），加载后并非立刻将配置文件中的资源加载到properties和finalParameters中，而是通过调用loadResource。

addDefaultResource通过静态成员REGISTRY（记录了系统内的所有Configuration对象，每个Configuration对象在创建初就把自己添加到REGISTRY中）来加载。

 

Hadoop的配置文件支持XInclude机制：配置文档中包含其他的配置文档。

 

Hadoop序列化框架（Hadoop Avro），Apache Thrift，Google Protocol Buffer等。

Hadoop支持的压缩格式包括：gzip zip bzip LZO

Hadoop通过抽象工厂方法提供可扩展的框架