剑指数据仓库-Hadoop一
一、上次课程回顾
二、初识Hadoop
- 2.1、Hadoop软件
- 2.2、Hadoop的伪分布式部署
- 2.3、Hadoop部署之密钥文件解析
- 2.4、Hadoop三进程都以hostname进行启动
- 2.5、Hadoop的安装过程总结
- 2.6、Hadoop的web页面解读
- 2.7、初识hdfs命令
三、本次课程作业
一、上次课程回顾
- https://blog.csdn.net/SparkOnYarn/article/details/104904205
二、初识Hadoop
Hadoop的官网：hadoop.apache.org、spark.apache.org、kafka.apache.org
广义：以apache hadoop软件为主的的生态圈（hive、SQOOP、flume、flink、hbase…）
狭义：单纯的指apache hadoop软件
apache hadoop软件：
1.x：基本不用
2.x：现在市场主流，对应的cdh5.X
3.x：有一些企业尝试使用，cdh对应的版本就是cdh6.X
-
cdh版的hadoop的下载网址，本次课程的组件主要使用cdh的官方提供的：
http://archive.cloudera.com/cdh5/cdh/5/
http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.16.2.tar.gz -
这就说明了hadoop的版本是2.6.0，我们使用的cdh版本的2.6.0，他可以媲美apache hadoop2.9
hadoop-2.6.0-cdh5.16.2.tar.gz
apache hadoop2.6.0 + 以后的patch==apache hadoop2.9 -
如下cdh hadoop的每一个版本都会进行升级打包，比如某个组件有bug，我们从cdh5.14升级到cdh5.16，进入到changes.log进行查看升级即可。
CDH5.14.0 hadoop-2.6.0
CDH5.16.2 hadoop-2.6.0 -
apache的hadoop2.9、3.X版本已经出现了，apache基金会的hadoop是开源的，其主要bug是由cloudera公司的人员进行提交代码、推进的。
-
使用cdh版本hadoop的好处：版本兼容性不必考虑，比如未来要安装hbase，hbase安装的分支也需要和hadoop一样在cdh5.16.2这个分支下。
http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.16.2-changes.log
http://archive.cloudera.com/cdh5/cdh/5/hbase-1.2.0-cdh5.16.2-changes.log
2.1、Hadoop软件
hdfs 存储
mapreduce 计算 作业 挖掘出有价值的数据进行挖掘 --> hive sql spark flink
yarn 资源（内存、Vcore）调度+作业调度
大数据就是由海量数据组成，一台机器完成不了存储，一台机器是一个单点计算；比如我们有1000台的机器，是由hdfs进行存储，mapreduce进行分布式存储，yarn根据cpu、内存来进行资源
作业调度。
为什么mapreduce在业界不用呢？
- 开发难度大，代码量大，维护困难，计算慢，所以大家基本不会使用MR
- 课程版本：hadoop-2.6.0-cdh5.16.2
2.2、Hadoop的部署
1、创建用户、解压软件
1、创建hadoop用户：
- useradd hadoop
2、mkdir app data lib log software sourcecode tmp
[hadoop@hadoop ~]$ ll
total 28
drwxrwxr-x 3 hadoop hadoop 4096 Mar 20 16:21 app 压缩包解压后的文件夹 尽量做软连接
drwxrwxr-x 2 hadoop hadoop 4096 Mar 8 17:49 data 数据目录
drwxrwxr-x 2 hadoop hadoop 4096 Mar 20 16:23 lib 第三方的jar
drwxrwxr-x 2 hadoop hadoop 4096 Mar 20 16:23 log 日志文件夹爱
drwxrwxr-x 2 hadoop hadoop 4096 Mar 8 20:27 software 压缩包
drwxrwxr-x 2 hadoop hadoop 4096 Mar 20 16:23 sourcecode 源代码编译
drwxrwxr-x 2 hadoop hadoop 4096 Mar 20 16:23 tmp 临时文件夹
//linux本身已经自带了tmp目录，为什么我们还要建一个tmp目录呢，系统自带的会30天定期删除。
3、进行解压缩，并且做一个软连接：
[hadoop@hadoop ~]$ tar -xzvf hadoop-2.6.0-cdh5.16.2.tar.gz -C /home/hadoop/app/
[hadoop@hadoop app]$ ln -s hadoop-2.6.0-cdh5.16.2 hadoop
软件的安装前提：java环境、ssh无密码
2、安装java jdk环境：
1、mkdir /usr/java，创建这个目录
2、rz把软件进行上传，解压到这个目录以后配置环境变量，如下所示：
#env
export JAVA_HOME=/usr/java/jdk1.8.0_45
#export JAVA_HOME=/usr/java/jdk1.7.0_45
export PATH=$JAVA_HOME/bin:$PATH
"/etc/profile" 82L, 1900C written
3、使的环境变量生效：
[root@hadoop java]# source /etc/profile
[root@hadoop java]# which java
/usr/java/jdk1.8.0_45/bin/java
[root@hadoop java]# echo $JAVA_HOME
/usr/java/jdk1.8.0_45
[root@hadoop java]# java -version
java version "1.8.0_45"
Java(TM) SE Runtime Environment (build 1.8.0_45-b14)
Java HotSpot(TM) 64-Bit Server VM (build 25.45-b02, mixed mode)
3、编辑hadoop-env.sh
[hadoop@hadoop hadoop]$ vi hadoop-env.sh
# The java implementation to use.
export JAVA_HOME=/usr/java/jdk1.8.0_45
4、了解hadoop部署的几种模式：
- Local (Standalone) Mode 本地模式，不用
- Pseudo-Distributed Mode 伪分布式模式，学习，测试的时候只需要1台即可
- Fully-Distributed Mode 分布式模型在集群模式下，用于生产环境。
5、开始修改core-site.xml
//vi /etc/hosts，需要配置好ip和hostname的映射：
106.54.226.205 hadoop
1、修改etc/hadoop/core-site.xml:
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop:9000</value>
</property>
</configuration>
2、修改etc/hadoop/hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
6、配置ssh hadoop无密码：
[root@hadoop ~]# pwd
/root
[root@hadoop ~]# rm -rf .ssh
[root@hadoop ~]# ssh-keygen
//连续三次回车
[root@hadoop ~]# cd .ssh
[root@hadoop .ssh]# ll
total 8
-rw------- 1 root root 1671 Mar 20 17:26 id_rsa
-rw-r--r-- 1 root root 393 Mar 20 17:26 id_rsa.pub
//把公钥文件追加到信任文件中：
[root@hadoop .ssh]# cat id_rsa.pub >> authorized_keys
//权限修改为600
[root@hadoop .ssh]# chmod 600 authorized_keys
//测试如下没问题：
[hadoop@hadoop001 .ssh]$ ssh hadoop001 date
Tue Mar 24 15:19:49 CST 2020
遇到了个问题：
连接超时：
[hadoop@hadoop001 ~]$ ssh hadoop001 date
ssh: connect to host hadoop001 port 22: Connection timed out
本次原因（在/etc/hosts中内网ip+hostname配置错误）：
[hadoop@hadoop001 ~]$ ssh hadoop001 date
The authenticity of host 'hadoop001 (172.17.0.5)' can't be established.
RSA key fingerprint is 33:6f:23:f9:ff:10:39:2d:cd:42:72:66:c8:7d:5a:6a.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'hadoop001,172.17.0.5' (RSA) to the list of known hosts.
Tue Mar 24 15:25:19 CST 2020
坑：root用户部署ssh，600权限不需要修改；而使用其它用户的时候，需要进行600权限修改。
7、配置环境变量&&生效环境变量&&which hadoop：
#env
export HADOOP_HOME=/home/hadoop/app/hadoop
export PATH=${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH
source ~/.bashrc
[hadoop@hadoop001 app]$ source ~/.bashrc
[hadoop@hadoop001 app]$ which hadoop
~/app/hadoop/bin/hadoop
[hadoop@hadoop001 app]$ which hdfs
~/app/hadoop/bin/hdfs
8、格式化：
- hdfs namenode -format 出现如下这句话就说明没问题：20/03/24 15:42:16 INFO common.Storage: Storage directory /tmp/hadoop-hadoop/dfs/name has been successfully formatted.
9、进行启动：（第一次启动会让我们输入一个yes）
[hadoop@hadoop001 sbin]$ which start-dfs.sh
~/app/hadoop/sbin/start-dfs.sh
[hadoop@hadoop001 sbin]$ start-dfs.sh
20/03/24 15:50:56 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
20/03/24 15:50:57 WARN hdfs.DFSUtil: Namenode for null remains unresolved for ID null. Check your hdfs-site.xml file to ensure namenodes are configured properly.
Starting namenodes on [hadoop]
hadoop: ssh: Could not resolve hostname hadoop: Name or service not known
localhost: starting datanode, logging to /home/hadoop/app/hadoop-2.6.0-cdh5.16.2/logs/hadoop-hadoop-datanode-hadoop001.out
Starting secondary namenodes [0.0.0.0]
The authenticity of host '0.0.0.0 (0.0.0.0)' can't be established.
RSA key fingerprint is 33:6f:23:f9:ff:10:39:2d:cd:42:72:66:c8:7d:5a:6a.
Are you sure you want to continue connecting (yes/no)? yes
博客参考：
-
http://blog.itpub.net/30089851/viewspace-2127102/ 故障（修改用户和用户组）
ssh 除了第一次认证以外还是需要密码的话需要去查看系统日志。 -
http://blog.itpub.net/30089851/viewspace-1992210/ ssh多台 高级班会讲 坑
2.3、Hadoop部署之密钥文件解析
1、注意：
hadoop001是启动namenode，0.0.0.0上是启动secondarynamenode；localhost启动的是datanode；
为什么第一次要输入yes，查看~/.ssh/known_hosts
[hadoop@hadoop001 hadoop]$ start-dfs.sh
20/03/24 15:53:35 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Starting namenodes on [hadoop001]
hadoop001: starting namenode, logging to /home/hadoop/app/hadoop-2.6.0-cdh5.16.2/logs/hadoop-hadoop-namenode-hadoop001.out
localhost: starting datanode, logging to /home/hadoop/app/hadoop-2.6.0-cdh5.16.2/logs/hadoop-hadoop-datanode-hadoop001.out
Starting secondary namenodes [0.0.0.0]
0.0.0.0: starting secondarynamenode, logging to /home/hadoop/app/hadoop-2.6.0-cdh5.16.2/logs/hadoop-hadoop-secondarynamenode-hadoop001.out
20/03/24 15:53:54 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
查看这个信任文件记录，第一次输入yes那句话是维护在known_hosts文件；
[hadoop@hadoop001 .ssh]$ cat known_hosts
localhost ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEA0RbK9Erb/qkvjdPvION6G35oFhaS8ZfA13dyILU069Hzd36i2tgUZa9D4IPbvZNk6DvDFW2zH8jW/j1RS99ZZ4+9yl/CrcrJRP9GjjBS2W1rQCUjolRdLf9PzAZs/AbFvpjxwMbd7vSb5AOeqQ0pTC4BFlvX6IJLGdZmhUYTqNCWj0e40l409o/Hidy0oEXByDaJWmRvRuI6jc5V1v9/FZNze96W/oJC6FLR7MrVgSJA2MmZvzvS3zbCgKU/umgD4ENy+JRBiifHwBWVTkIADHhVq7Ob14eFlawVnEY6tQkdgrwSc2LWBgFQXAYbYmeFLOrEJQKi3e/h4fMLaoeubQ==
hadoop001,172.17.0.5 ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEA0RbK9Erb/qkvjdPvION6G35oFhaS8ZfA13dyILU069Hzd36i2tgUZa9D4IPbvZNk6DvDFW2zH8jW/j1RS99ZZ4+9yl/CrcrJRP9GjjBS2W1rQCUjolRdLf9PzAZs/AbFvpjxwMbd7vSb5AOeqQ0pTC4BFlvX6IJLGdZmhUYTqNCWj0e40l409o/Hidy0oEXByDaJWmRvRuI6jc5V1v9/FZNze96W/oJC6FLR7MrVgSJA2MmZvzvS3zbCgKU/umgD4ENy+JRBiifHwBWVTkIADHhVq7Ob14eFlawVnEY6tQkdgrwSc2LWBgFQXAYbYmeFLOrEJQKi3e/h4fMLaoeubQ==
0.0.0.0 ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEA0RbK9Erb/qkvjdPvION6G35oFhaS8ZfA13dyILU069Hzd36i2tgUZa9D4IPbvZNk6DvDFW2zH8jW/j1RS99ZZ4+9yl/CrcrJRP9GjjBS2W1rQCUjolRdLf9PzAZs/AbFvpjxwMbd7vSb5AOeqQ0pTC4BFlvX6IJLGdZmhUYTqNCWj0e40l409o/Hidy0oEXByDaJWmRvRuI6jc5V1v9/FZNze96W/oJC6FLR7MrVgSJA2MmZvzvS3zbCgKU/umgD4ENy+JRBiifHwBWVTkIADHhVq7Ob14eFlawVnEY6tQkdgrwSc2LWBgFQXAYbYmeFLOrEJQKi3e/h4fMLaoeubQ==
补充一个坑：
比如我们的公钥文件已经发生了变更，在执行命令的时候会出现一个记录，存在一个旧的连接，只要找到这条记录给他删掉就行；工作中如果碰到ssh信任的错误，下意识的要去这个文件中找。
测试修改localhost在known_hosts中的记录：
1、修改内容后尝试重新启动会发现失败了
localhost: key_from_blob: can't read key type
localhost: key_read: key_from_blob EEEEB3NzaC1yc2EAAAABIwAAAQEA0RbK9Erb/qkvjdPvION6G35oFhaS8ZfA13dyILU069Hzd36i2tgUZa9D4IPbvZNk6DvDFW2zH8jW/j1RS99ZZ4+9yl/CrcrJRP9GjjBS2W1rQCUjolRdLf9PzAZs/AbFvpjxwMbd7vSb5AOeqQ0pTC4BFlvX6IJLGdZmhUYTqNCWj0e40l409o/Hidy0oEXByDaJWmRvRuI6jc5V1v9/FZNze96W/oJC6FLR7MrVgSJA2MmZvzvS3zbCgKU/umgD4ENy+JRBiifHwBWVTkIADHhVq7Ob14eFlawVnEY6tQkdgrwSc2LWBgFQXAYbYmeFLOrEJQKi3e/h4fMLaoeubQ==
localhost: failed
2、解决：进入~/.ssh/known_hosts文件下，找到对应的localhost那一行，使用dd进行删除。
重新启动start-dfs.sh，然后再次输入yes进行认证，会再known_hosts中追加进去一条新的记录。
2.4、三个进程都以hadoop001进行启动
| 节点名称 | 对应文件名称 |
|---|---|
| namenode | core-site.xml |
| datanode | slaves |
| secondarynamenode | hdfs-site.xml |
1、cat /etc/hadoop
1、修改slaves，删除原有的，直接写入hadoop001
2、修改hdfs-site.xml，如下这两段话进行插入：
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop001:50090</value>
</property>
<property>
<name>dfs.namenode.secondary.https-address</name>
<value>hadoop001:50091</value>
</property>
[hadoop@hadoop001 .ssh]$ jps
11488 NameNode
13634 Jps
12308 DataNode
11805 SecondaryNameNode
[hadoop@hadoop001 .ssh]$ netstat -nlp|grep 11805
(Not all processes could be identified, non-owned process info
will not be shown, you would have to be root to see it all.)
tcp 0 0 0.0.0.0:50090 0.0.0.0:* LISTEN 11805/java
成果如下：Hadoop的三进程都以机器名hadoop001进行启动如下：
[hadoop@hadoop001 hadoop]$ start-dfs.sh
20/03/24 16:48:14 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Starting namenodes on [hadoop001]
hadoop001: starting namenode, logging to /home/hadoop/app/hadoop-2.6.0-cdh5.16.2/logs/hadoop-hadoop-namenode-hadoop001.out
hadoop001: starting datanode, logging to /home/hadoop/app/hadoop-2.6.0-cdh5.16.2/logs/hadoop-hadoop-datanode-hadoop001.out
Starting secondary namenodes [hadoop001]
hadoop001: starting secondarynamenode, logging to /home/hadoop/app/hadoop-2.6.0-cdh5.16.2/logs/hadoop-hadoop-secondarynamenode-hadoop001.out
20/03/24 16:48:31 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
2.5、总结hadoop的安装过程
1、创建用户及用户目录，su - hadoop进行切换
2、上传压缩包并进行解压，做一个软连接
3、环境要求：java1.8、ssh必须安装
4、java_home的显性配置
5、配置core-site.xml和hdfs-site.xml
6、ssh的无密码信任关系
7、Hadoop配置环境变量
8、格式话namenode
9、start-dfs.sh进行第一次启动，输入yes进行验证
10、datanode、secondarynamenode都要知道在官网的哪边去修改参数
11、namenode是名称节点，老大，读写请求都要先经过它；datanode是数据节点，小弟，存储数据，检索数据；secondarynamenode是第二名称节点，是n+1是时间进行备份。
- 因为单点问题，1个小时的力度所以以后会有高可用HA的配置。
注意：
- 大数据的组件基本都是主从架构，hdfs、hbase（读写请求不经过老大，master进程）
2.6、Hadoop的web页面
- 如何使用hostname访问，在/etc/hosts中配置的是内网ip+hostname，而在windows本地目录：C:\Windows\System32\drivers\etc\hosts，配置的是外网IP+hostname。
1、safemode is off，安全模式
2、磁盘空间解读：集群总容量49.21G，DFS的使用是12k，不是DFS使用的是13.39G，DFS预留是33.33G；如下图我们还剩34G，这个空间默认是我们dfs的使用空间。
[hadoop@hadoop001 hadoop]$ df -h
Filesystem Size Used Avail Use% Mounted on
/dev/vda1 50G 14G 34G 29% /
2、文件可视化系统界面：
2.7、hdfs上的命令
1、hdfs --help查看命令帮助：
eg：
1、[hadoop@hadoop001 data]$ hdfs dfs -mkdir ruozedata
2、[hadoop@hadoop001 data]$ hdfs dfs -put ruoze.log /ruozedata/
3、下载到本地目录下：
[hadoop@hadoop001 data]$ hdfs dfs -get /ruozedata/ruoze.log ./
20/03/24 17:37:31 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
[hadoop@hadoop001 data]$ ll
total 4
-rw-r--r-- 1 hadoop hadoop 10 Mar 24 17:37 ruoze.log
4、删除hdfs上的该文件：
[hadoop@hadoop001 data]$ hdfs dfs -rm -r /ruozedata/ruoze.log
20/03/24 17:38:11 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Deleted /ruozedata/ruoze.log
三、本次课程作业
1、hdfs上的基础命令尽心总结
2、安装hadoop的hdfs伪分布式部署