手工安装配置Cloudera组件-Hadoop

Cloudera Manager安装经常出现错误,而且一点小错误,常常需要整个过程重来,不熟悉其内部过程,错误常常无从下手,所有决定yum安装手工配置一个测试集群,顺便尝试下牛叉的Impala。

安装repo

http://archive-primary.cloudera.com/cdh/

存放着cdh1-3的所有文件

http://archive-primary.cloudera.com/cdh4/

存放着cdh4的所有文件

http://archive-primary.cloudera.com/cdh5/

存放着cdh5的所有文件

 

安装可以先从上边的地址下载对应的RPM包,然后安装,也可以直接yum安装

Yum安装需要将对应的“Linux源”文件,下载到对应的本地文件系统。

例如centos6就是将cloudera-cdh5.repo文件放到/etc/yum.repos.d目录下就行了。

安装Hadoop的组件

Yum安装Cloudera的组件都是类似的,比如安装hdfs,要先安装hdfs的base,这里边包含了hdfs的所有的文件,jar包啊,什么的;然后在安装我们需要组件,比如,想安装NameNode,就用yum安装hadoop-hdfs-namenode,安装这个文件包括两个部分,一个是在/etc/rc.d/init.d/文件夹下面安装一个hadoop-hdfs-namenode服务,另一部分是在/etc/default/目录下安装一个hadoop-hdfs-namenode文件,里边是原来hadoop-env.sh文件中关于hdfs-namenode的部分。

在了解了这个之后,就知道装什么了。

安装HDFS

1.      在所有节点上安装hdfs base

2.      Base 默认安装到/var/lib/目录下

3.      在master节点上安装hadoop-hdfs-namenode

4.      在另一台机器上安装hadoop-hdfs-secondarynamenode(或者在另一台机器上也安装hadoop-hdfs-namenode,HA用,还有HA相关的其他服务)

5.      在slaves节点上安装hadoop-hdfs-datanode

6.      安装其他需要的组件

7.      安装之后,环境变量相关的文件都在/etc/default/目录下,配置文件在/etc/hadoop/下,具体配置可以查看官网,步骤很精准

8.      在一个节点修改配置文件,然后scp分发配置文件到集群所有节点

9.      用service命令启动相关服务

安装YARN

1.      在所有节点安装hadoop-yarn base

2.      Base安装在/var/lib/目录下

3.      找个节点安装hadoop-yarn-resourcemanager

4.      在所有datanode节点安装hadoop-yarn-nodemanager

5.      安装其他需要的组件

6.      安装之后,环境变量相关的文件都在/etc/default/目录下,配置文件在/etc/hadoop/下

7.      在一个节点修改配置文件,然后scp分发配置文件到集群所有节点

8.      用service命令启动相关服务

安装MR

1.      在所有节点安装hadoop-mapreduce base

2.      找一个节点安装hadoop-mapreduce-historyserver

3.      安装其他需要的组件

4.      安装之后,环境变量相关的文件都在/etc/default/目录下,配置文件在/etc/hadoop/下

5.      在一个节点修改配置文件,然后scp分发配置文件到集群所有节点

6.      用service命令启动相关服务

注意

1.      安装相关的服务的rpm包时,会同时建立相关的用户,比如,安装hadoop-hdfs base时,会建立hdfs用户,hdfs的相关操作,都要su到hdfs用户下,其他类似,提交job,要su到mapred用户下,yarn的命令行操作要su到yarn下,hive,impala等等都一样。

2.      日志都在/var/log/xxx/目录下,都可以在/etc/default/xxx文件中以环境变量的形式配置。

3.      Cloudera是用alternatives工具来管理配置的。


你可能感兴趣的:(mapreduce,hadoop,hdfs,native,Cloudera)