Hadoop初体验

Hadoop初体验

    • HDFS初体验
      • shell命令操作
      • Web UI页面操作
      • 思考
    • Hadoop MapReduce +YARN初体验
      • 计算圆周率Pi的值--官方示例
      • 词频统计--官方示例
        • 通过webui查看运行结果

HDFS初体验

Hadoop初体验_第1张图片


shell命令操作

Hadoop初体验_第2张图片

# 在/目录创建一个目录
hdaoop fs -mkdir /itcast

# 上传文件到/itcast目录中
hadoop fs -put zookeeper.out /itcast

# 查看/目录
hadoop fs -ls /

Hadoop初体验_第3张图片


Web UI页面操作

Hadoop初体验_第4张图片


思考

image.png


Hadoop MapReduce +YARN初体验

# 官方自带的示例jar包目录
/export/server/hadoop-3.1.4/share/hadoop/mapreduce

hadoop-mapreduce-examples-3.1.4.jar是官方提供的示例jar包。


计算圆周率Pi的值–官方示例

# 进入到官方示例jar包目录下
cd /export/server/hadoop-3.1.4/share/hadoop/mapreduce

# 计算圆周率Pi的值
hadoop jar hadoop-mapreduce-examples-3.1.4.jar pi 2 4

第一步是先连接到YARN集群主角色ResourceManager,找YARN申请运算资源



词频统计–官方示例

# 进入到官方示例jar包目录下
cd /export/server/hadoop-3.1.4/share/hadoop/mapreduce

# 统计词频
## hadoop jar jar包名 统计词频参数 指定统计文件 结果输出文件
hadoop jar hadoop-mapreduce-examples-3.1.3.jar wordcount /input/hlm.txt /out/hlmcount

第一步是先连接到YARN集群主角色ResourceManager,找YARN申请运算资源

# 查看统计输出结果
hdfs dfs -cat /out/hlmcount/part-r-00000

Hadoop初体验_第5张图片


通过webui查看运行结果

你可能感兴趣的:(Hadoop,hadoop,大数据,mapreduce,hdfs)