hadoop安装
Hadoop 安装
1、安装java jdk
版本 jdk1.8.0_141
步骤：
1、创建 /opt/SoftWare/java 并将jar包拉进去
命令 tar -zxvf jdk1.8.0_141.tar.gz 解压
2、配置
vi /etc/profile
#set java environment
export JAVA_HOME=/opt/software/java/jdk1.8.0_141
export JRE_HOME=/opt/software/java/jdk1.8.0_141/jre
export CLASSPATH=.:$JRE_HOME/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
3、 重新加载 命令 ： source /etc/profile
4、 java -version 查看
2、安装Hadoop
版本：hadoop-2.7.3
步骤：
1、创建 /opt/SoftWare/hadoop 并将jar包拉进去
命令 tar -zxvf hadoop-2.7.3.tar.gz 解压
2、配置
#hadoop
export HADOOP_HOME=/opt/software/hadoop/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
3、 重新加载 命令 ： source /etc/profile
4、hadoop version
Hadoop单机集群安装：
1. 修改主机名和ip映射
vi /etc/hosts 192.168.233.128 jsu
注释掉前两行
2、 修改配置文件
进入 cd /opt/software/hadoop/hadoop-2.7.3/etc/hadoop目录下
伪分布式需要修改5个配置文件
2.1 第一个：hadoop-env.sh
vi hadoop-env.sh
自己jdk的位置
2.2 第二个：core-site.xml
vi core-site.xml
<property>
<name>fs.defaultFSname>
<value>hdfs://jsu:9000value>
property>
<property>
<name>hadoop.tmp.dirname>
<value>/jsu/hadoop/tmpvalue>
property>
2.3 第三个：hdfs-site.xml
vi hdfs-site.xml
<property>
<name>dfs.replicationname>
<value>1value>
property>
<property>
<name>dfs.namenode.name.dirname> <value>/usr/local/hadoop/tmp/dfs/namevalue>
property>
<property>
<name>dfs.datanode.data.dirname> <value>/usr/local/hadoop/tmp/dfs/datavalue>
property>
2.4 第四个：mapred-site.xml
移动文件 mv mapred-site.xml.template mapred-site.xml
vi mapred-site.xml
<property>
<name>mapreduce.framework.namename>
<value>yarnvalue>
property>
2.5 第五个yarn-site.xml
<property>
<name>yarn.resourcemanager.hostnamename>
<value>jsuvalue>
property>
<property>
<name>yarn.nodemanager.aux-servicesname>
<value>mapreduce_shufflevalue>
property>
3、格式化namenode
hadoop namenode -format
4、启动hadoop
#先启动HDFS
sbin/start-dfs.sh
#再启动YARN
sbin/start-yarn.sh
#一路yes 加上输入自己的root密码
5、验证是否启动成功
[root@jsu sbin]# jps
3912 DataNode
4378 Jps
4331 NodeManager
4093 SecondaryNameNode
3822 NameNode
4239 ResourceManager
6. 关闭防火墙
#停止firewall
systemctl stop firewalld
systemctl disable firewalld.service #禁止firewall开机启动
7. 浏览器查看
http://192.168.21.116:50070 （HDFS管理界面）
http://192.168.21.116:8088 yarn管理界面）
SSH免密登录
cd ~/.ssh
ssh-keygen -t rsa （四个回车）
执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
将公钥拷贝到要免登陆的机器上
ssh-copy-id 192.168.233.128 #ip
HDFS shell常用命令
hadoop fs -help [cmd] #显示命令的帮助信息
hadoop fs -ls(r)<path> #显示当前目录下所有文件
hadoop fs -du(s)<path> #显示目录中所有文件大小
hadoop fs -count[-q] <path> #显示目录中文件数量
hadoop fs -mv <src> <dst> #移动多个文件到目标目录
hadoop fs -cp<src> <dst> #复制多个文件到目标目录
hadoop fs -rmr /t1 #删除文件(夹)
hadoop fs -put <localsrc> <dst> #本地文件复制到hdfs
hadoop fs -copyFromLocal #同put
hadoop fs -moveFromLocal #从本地文件移动到hdfs
hadoop fs -get [-ignoreCrc] <src> <localdst> #复制文件到本地，可以忽略crc校验
hadoop fs -getmerge <src> <localdst> #将源目录中的所有文件排序合并到一个文件中
hadoop fs -cat <src> #在终端显示文件内容
hadoop fs -ls / #查看HDFS系统根目录
hadoop fs -ls hdfs://192.168.233.129:9000/
hadoop fs -ls hdfs://zhiyou01:9000/
hadoop fs -mkdir /a #创建文件夹
hadoop fs -mkdir -p /aa/bb/cc #创建级联文件夹
hadoop fs -ls -R /aa #查看系统根目录下的所有文件包括子文件夹里面的文件
hadoop fs -put words.txt /aa #上传文件
hadoop fs -copyFromLocal words.txt /aa/bb #上传文件
:9000/
hadoop fs -mkdir /a #创建文件夹
hadoop fs -mkdir -p /aa/bb/cc #创建级联文件夹
hadoop fs -ls -R /aa #查看系统根目录下的所有文件包括子文件夹里面的文件
hadoop fs -put words.txt /aa #上传文件
hadoop fs -copyFromLocal words.txt /aa/bb #上传文件