目录
一、基础环境准备
二、总体步骤
三、安装VMware Workstation.6
四、新建三台虚拟机并安装CentOS 6.4（64位）系统
五、安装jdk，完成Java环境变量配置
1、添加普通用户到sudo权限
2、在各节点的/etc/hosts文件中加入集群节点和IP地址的对应关系
3、检查系统位数，准备相应的jdk版本
4、安装配置jdk
六、配置SSH免密码登录配置...30
1、分别在三台机器上执行：ssh-keygen -t rsa.31
2、把master节点的公钥添加到authorized_keys中...31
3、把salve1和slave2节点的公钥拷贝到master节点...32
4、把含有所有节点公钥的authorized_keys文件分发给slave1和slave2.32
5、修改.ssh目录和authorized_keys文件的权限...32
6、测试免密码登录配置结果...33
七、安装配置hadoop.34
1、上传并解压hadoop的安装包...34
2、到Hadoop-2.4.1的解压目录的etc目录下的Hadoop目录下去修改配置文件...34
3、第一步：修改hadoop-env.sh加入jdk的环境变量...35
4、第二步：修改core-site.xml.35
5、第三步，配置hdfs-site.xml.36
6、第四步，mapred-site.xml.38
7、第五步，配置yarn框架...38
8、第六步，修改yarn-env.sh，添加jdk支持...40
9、修改masters和slaves文件...40
10、把以上主节点上配置好的文件发送给两个子节点...40
11、启动前的准备工作（防火墙）...40
12、启动Hadoop，启动之前先初始化HDFS文件系统...41
13、正式启动...42
八、hadoop集群测试...44
1、HDFS测试...44
2、测试mapreduce.46
3、测试Wordcount实例...48
九、安装配置spark集群...52
1、去官网下载相应的安装文件...52
2、首先安装Scala.52
3、解压...52
4、配置Scala的环境变量...53
5、安装配置spark环境...54
6、配置spark.54
7、验证启动spark集群...56
8、分别关闭集群即可...57
附录：hadoop搭建常见问题解决办法...59
一、解决hadoop启动本地库报错...59
hadoop学习笔记-weekend110-2.63
1、NameNode元数据管理机制...63
2、NN的工作机制...67
3、DN的工作机制...68
4、HDFS的JAVA客户端编写...69
4.1准备工作...69
4.2在Linux环境下编写代码...73
4.3 Windows环境增、删、改、查等操作代码...76
4.3.1准备工作...76
4.3.2上传文件upload（）...76
4.3.3上传文件upload2（）...80
4.3.4下载文件download().83
4.3.5创建目录mkdirs().85
4.3.6删除操作delete().87
4.3.7查看信息listFiles()和listStatus().89
5、FileSystem设计思想总结...97
6、hadoop中的RPC框架实现机制...98
7、hadoop中的RPC应用实例demo.100
hadoop学习笔记-weekend110-3.102
1、mapreduce介绍及wordcount.102
2、YARN框架的技术机制...107
hadoop学习笔记-weekend110-4.109
1、hadoop中的序列化机制...109
2、hadoop的自定义排序实现...116
3、mapreduce中自定义分组的实现...121
4、shuffle机制（map-reduce之间框架原理）...125
5、MR程序的组件全貌...127
6、TextInputFormat对切片划分的源码分析...128
hadoop学习笔记-weekend110-5.135
1、安装配置zookeeper.135
2、zookeeper管理数据的方法...140
3、NN高可用方案的要点...142
4、配置hadoop-HA.143
4.1 hadoop-HA集群配置准备工作...143
4.2安装步骤...144
5、启动hadoop-HA.154
5.1启动zookeeper集群...154
5.2启动journalnode.154
5.3格式化HDFS文件系统...155
5.4格式化zkfc.156
5.5启动HDFS.157
5.6启动yarn框架...158
6、HDFS-HA测试...161
7、HDFS-动态增加节点和副本数量管理...163
8、HA的JAVA-API访问要点...172
附件：sftp常用命令用法...173
hadoop学习笔记-weekend110-6.177
1、hive安装及配置...177
2、hive的使用...183
3、hive的常用语法...189
4、hql语法及自定义函数...197
附录：yum-安装MySQL.205