学习笔记总体目录

目录

一、基础环境准备

二、总体步骤

三、安装VMware Workstation.6

四、新建三台虚拟机并安装CentOS 6.4（64位）系统

五、安装jdk，完成Java环境变量配置

       1、添加普通用户到sudo权限

       2、在各节点的/etc/hosts文件中加入集群节点和IP地址的对应关系

       3、检查系统位数，准备相应的jdk版本

       4、安装配置jdk

六、配置SSH免密码登录配置...30

1、分别在三台机器上执行：ssh-keygen -t rsa.31

2、把master节点的公钥添加到authorized_keys中...31

3、把salve1和slave2节点的公钥拷贝到master节点...32

4、把含有所有节点公钥的authorized_keys文件分发给slave1和slave2.32

5、修改.ssh目录和authorized_keys文件的权限...32

6、测试免密码登录配置结果...33

七、安装配置hadoop.34

1、上传并解压hadoop的安装包...34

2、到Hadoop-2.4.1的解压目录的etc目录下的Hadoop目录下去修改配置文件...34

3、第一步：修改hadoop-env.sh加入jdk的环境变量...35

4、第二步：修改core-site.xml.35

5、第三步，配置hdfs-site.xml.36

6、第四步，mapred-site.xml.38

7、第五步，配置yarn框架...38

8、第六步，修改yarn-env.sh，添加jdk支持...40

9、修改masters和slaves文件...40

10、把以上主节点上配置好的文件发送给两个子节点...40

11、启动前的准备工作（防火墙）...40

12、启动Hadoop，启动之前先初始化HDFS文件系统...41

13、正式启动...42

八、hadoop集群测试...44

1、HDFS测试...44

2、测试mapreduce.46

3、测试Wordcount实例...48

九、安装配置spark集群...52

1、去官网下载相应的安装文件...52

2、首先安装Scala.52

3、解压...52

4、配置Scala的环境变量...53

5、安装配置spark环境...54

6、配置spark.54

7、验证启动spark集群...56

8、分别关闭集群即可...57

附录：hadoop搭建常见问题解决办法...59

一、解决hadoop启动本地库报错...59

hadoop学习笔记-weekend110-2.63

1、NameNode元数据管理机制...63

2、NN的工作机制...67

3、DN的工作机制...68

4、HDFS的JAVA客户端编写...69

4.1准备工作...69

4.2在Linux环境下编写代码...73

4.3 Windows环境增、删、改、查等操作代码...76

4.3.1准备工作...76

4.3.2上传文件upload（）...76

4.3.3上传文件upload2（）...80

4.3.4下载文件download().83

4.3.5创建目录mkdirs().85

4.3.6删除操作delete().87

4.3.7查看信息listFiles()和listStatus().89

5、FileSystem设计思想总结...97

6、hadoop中的RPC框架实现机制...98

7、hadoop中的RPC应用实例demo.100

hadoop学习笔记-weekend110-3.102

1、mapreduce介绍及wordcount.102

2、YARN框架的技术机制...107

hadoop学习笔记-weekend110-4.109

1、hadoop中的序列化机制...109

2、hadoop的自定义排序实现...116

3、mapreduce中自定义分组的实现...121

4、shuffle机制（map-reduce之间框架原理）...125

5、MR程序的组件全貌...127

6、TextInputFormat对切片划分的源码分析...128

hadoop学习笔记-weekend110-5.135

1、安装配置zookeeper.135

2、zookeeper管理数据的方法...140

3、NN高可用方案的要点...142

4、配置hadoop-HA.143

4.1 hadoop-HA集群配置准备工作...143

4.2安装步骤...144

5、启动hadoop-HA.154

5.1启动zookeeper集群...154

5.2启动journalnode.154

5.3格式化HDFS文件系统...155

5.4格式化zkfc.156

5.5启动HDFS.157

5.6启动yarn框架...158

6、HDFS-HA测试...161

7、HDFS-动态增加节点和副本数量管理...163

8、HA的JAVA-API访问要点...172

附件：sftp常用命令用法...173

hadoop学习笔记-weekend110-6.177

1、hive安装及配置...177

2、hive的使用...183

3、hive的常用语法...189

4、hql语法及自定义函数...197

附录：yum-安装MySQL.205