CDH QuickStart VM基本使用

1.1 准备工作

1.       下载虚拟机镜像包。

下载地址：https://www.cloudera.com/downloads/quickstart_vms/5-12.html

后面步骤中使用的是VMWare的虚拟机镜像文件cloudera-quickstart-vm-5.12.0-0-vmware.zip。

2.       将虚拟机镜像文件压缩包解压得到cloudera-quickstart-vm-5.12.0-0-vmware文件夹。

3.       进入解压文件夹，单击cloudera-quickstart-vm-5.12.0-0-vmware.vmx，使用VMWare打开该虚拟机。

官网给的推荐配置是2cores、8G内存，建议在启动前先修改虚拟机配置。如果已经启动的虚拟机，则可以停止虚拟机后，删除本地的镜像文件（主要不要从VMware中删除，而是直接删除本地文件），然后重新解压一遍到上次删除的文件位置。此时，再修改VMware中的虚拟机配置，再启动即可。

1.1 cloudera-quickstart-vm的使用

1.1.1 用户说明

Ø  该镜像的OS用户包括root/cloudera和cloudera/cloudera。

Ø  Hue UI的用户名和密码是cloudera/cloudera。

Ø  如果还有其它用户，那么用户名和密码都应该是cloudera/cloudera，比如Cloudera Manager。

1.1.2 运行环境

启动后的VM截图如下所示：

Ø  虚拟机启动后，大数据的所有组件都是启动状态，可以在root账号下通过jsp命令查看已启动的服务。

[root@quickstart ~]# jps
3914 RunJar
2407 DataNode
2301 QuorumPeerMain
2916 JobHistoryServer
14388 HMaster
3677 RESTServer
10994 jar
4015 RunJar
3015 NodeManager
5355 Bootstrap
2496 JournalNode
4589 HistoryServer
2734 SecondaryNameNode
14679 HRegionServer
2865 Bootstrap
3264 ResourceManager
4552 Bootstrap
24905 Jps
5580 
5547 Bootstrap
5615 
2602 NameNode
8762 jar

Ø  Web环境查看。

打开VM自带的Firefox浏览器，通过收藏夹可以快速访问各个组件Web页面。

说明：可以把收藏夹导出成html的格式，并导入到宿主机的Firefox中，并在宿主机的hosts文件中添加一下主机名和ip的对应关系，然后就可以在宿主机中进行访问了。

Ø  查看服务状态

[root@quickstart ~]# service --status-all
...........................
Flume NG agent is not running                              [FAILED]
Hadoop datanode is running                                 [  OK  ]
Hadoop journalnode is running                              [  OK  ]
Hadoop namenode is running                                 [  OK  ]
...........................

如果有失败的服务，可以通过chkconfig –list命令查看具体的服务名，然后再通过service start命令启动该服务

Ø  查看所有服务

[root@quickstart ~]# chkconfig --list
flume-ng-agent 	0:off	1:off	2:off	3:off	4:off	5:off	6:off
hadoop-hdfs-datanode	0:off	1:off	2:off	3:on	4:on	5:on	6:off
hadoop-hdfs-journalnode	0:off	1:off	2:off	3:on	4:on	5:on	6:off

Ø  启动失败的服务

[root@quickstart ~]# service flume-ng-agent start 

1.1.3 Clouera Manager

虚拟机启动后ClouderManager是未启动的，可以通过在root用户下通过/home/cloudera/cloudera-manager--force  --express命令启动。但是启动过程中会先停止所有已启动的服务。这个对虚拟机的配置要求比较高，Cloudera Manager可以正常启动，但是通过其WEB启动其它大数据组件的时候，资源不足的话会导致启动失败。