【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(4)

7,在SparkWorker1和SparkWorker2上完成和SparkMaster同样的Hadoop 2.2.0操作,建议使用SCP命令把SparkMaster上安装和配置的Hadoop的各项内容拷贝到SparkWorker1和SparkWorker2上;

8,启动并验证Hadoop分布式集群

第一步:格式化hdfs文件系统:

wKiom1Q_ZjjznGKeAAFSIpDiUGo043.jpg

wKiom1Q_ZjiCLexKAAJC_fkz9s0630.jpg

wKioL1Q_Zm-DyQuJAAIg_ebG3OQ040.jpg

第二步:进入sbin中启动hdfs,执行如下命令:

wKiom1Q_ZjiymjU2AAJZTSy_Y9Q073.jpg

启动过程如下:

wKioL1Q_Zm-AZw0GAAKJCBJPhqw470.jpg

此时我们发现在SparkMaster上启动了NameNode和SecondaryNameNode;

在SparkWorker1和SparkWorker2上均启动了DataNode:

wKioL1Q_Zm-hUMkWAADhRKX1_nI925.jpg

wKiom1Q_ZjnyGhbLAADYXwDVI6M131.jpg

此时访问http://SparkMaster:50070 登录Web控制可以查看HDFS集群的状况:

wKioL1Q_ZnCziGt2AAIs1v__rwk095.jpg

wKiom1Q_ZjnwU8X9AAFLQpJPYSk817.jpg

wKioL1Q_ZnDzp__pAAKB6vFLbWM010.jpg


你可能感兴趣的:(spark,技术,书籍,热点)