linux 下hadoop的伪分布式安装

linux jdk安装   https://blog.csdn.net/qciwyy/article/details/77449369

hadoop下载路径  archive.apache.org/dist/hadoop/core/stable

pwd 获取当前目录

z代表gz文件  x代表减压  v代表详情 f 代表文件 -C  ／itcast/减压到itcast 文件夹下

tar -zxvf    hadoop-2.9.1.tar.gz  -C   /itcast/    //减压.gz 

tar -zc                 //创建.gz

 

hadoop-2.9.1/etc的文件下

 

第一个：

vim hadoop-env.sh

export JAVA_HOME=

: echo $JAVA_HOME

第二个：core-site.xml

vim core-site.xml

 

用来指定HDFS的老大（NameNode）的地址

            fs.defaultFS

            hdfs://主机名:9000

用来指定hadoop产生文件是存放的目录

              hadoop.tmp.dir

             /itcast/hadoop-2.9.1/tmp

 

 

第三个 

hdfs-site.xml

指定HDFS保存数据副本的数量

         dos.replication

         1

mv mapred-site.xml.template mapred-site.xml修改文件mapred-site.xml.template

为mapred-site.xml

第四个

mapred-site.xml

告诉Hadoop以后MR运行在YARN上

              mapreduce.framework.name

              yarn

 

第五个配置文件

yarn-site.xml

NodeManager获取数据的方式是shuffle的方式

             yarn.nodemanager.aux-services

              mapreduce_shuffle

指定yarn的老大（ResourceManager）地址

               yarn.resourcemanager.hostname

               主机名

 

vim /etc/profile

添加环境变量

export HADOOP_HOME=/itacast/hadoop-2.9.1

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

刷新配置

source /etc/profile

初始化HDFS(格式化文件系统)

cd /itcast/hadoop-2.9.1

which hdfs

hfs namenode -format

 

启动HDFS和YARN

cd sbin 

./start-all.sh

jps 查看配置是否成功

 

通过浏览器的方式验证

http://10.0.2.15:50070(hdfs管理界面)

http://10.0.2.15:8088(yarn管理界面)

 

//本地文件上传到hdfs

hadoop fs -put /tmp/mozilla_admin0/hadoop-2.9.1.tar.gz hdfs://k8s-master:9000/hadoop

从hdfs下载文件

hadoop fs -get hdfs://k8s-master:9000/hadoop  /home/jdk1.7

 

测试MR和YARN

wc 文件名

统计 行   单词数量  字符数 

more  文件名   查看文件内容

 

which hadoop 

 

hadoop 查看hadoop的命令

hadoop fs -put words.txt hdfs://k8s-master:9000/words 

 

hadoop fs -ls hdfs://k8s-master:9000/words

 

cd hadoop-2.9.1/share/hadoop/mapreduce

hadoop jar hadoop-mapreduce-examples-2.9.1.jar wordcount hdfs://k8s-master:9000/words hdfs://k8s-master:9000/wcount

 

 

停止Hadoop

cd sbin 

./stop-all.sh

 

hadoop免密码启动 停止  ssh免登录

 

ssh  k8s-master mkdir /itcast0718

 

 

ls -la 将当前目录下 所有的文件都显示出来

cd /root/.ssh/ 

ls

 

//生成密钥

ssh-keygen -t rsa

 

//查看公钥

more id_rsa.pub

 

//必须拷贝到authorized_keys 名字不能改变

cp id_rsa.pub authorized_keys

 

 

再次启动hadoop无需输入密码

 

jps查看 启动情况

 

 

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authoried_keys

将公钥拷贝到10.0.35.22机器后，本机器可以免密登陆到10.0.35.22  达到单项免密登陆

ssh-copy-id 10.0.35.22

ssh-copy-id -i ~/.ssh/id_rsa.pub root@slave03

 

hadoop fs 命令查看

启动hadoop

./start-dfs.sh

 

hadoop fs -copyFromLocal /root/install.log   /install.log

 

以￥￥分开，代表两条命令都可以用

hadoop fs -ls /  ￥￥  hdfs dfs -ls 查看 hdfs上的文件

hadoop fs -ls -r -h/  ￥￥  hdfs dfs -ls -r -h/   递归查看 hdfs上的文件

hadoop fs -count /   hdfs上的文件统计

hadoop fs -rm -r /tmp  移除hdfs上的文件夹，文件

hadoop fs -rm /hadoop 移除hdfs上的文件

hadoop fs -cat /in.log  ｜ more  查看hfs上文件的内容,  more可以分页

hadoop fs -cat  hdfs://k8s-master:9000/in.log

hadoop fs -get /in.log /home/ii.log

hadoop fs  -mkdir /itcast0718 创建文件夹在hdfs上

hadoop fs -tail /in.log

hadoop fs -help tail  查看tail的命令

hadoop fs -chown supergroup /in.log 改变author为supergroup

 

hadoop fs -chgrp root /in.log 改变其组用户