Hadoop:YARN、MapReduce、Hive操作

分布式计算概述

分散->汇总模式:MapReduce就是这种模式)

1. 将数据分片,多台服务器各自负责一部分数据处理

2. 然后将各自的结果,进行汇总处理

3. 最终得到想要的计算结果

中心调度->步骤执行模式:(大数据体系的SparkFlink等是这种模式)

1. 由一个节点作为中心调度管理者

2. 将任务划分为几个具体步骤

3. 管理者安排每个机器执行任务

4. 最终得到结果数据

YARN概述

YARN Hadoop内提供的进行分布式资源调度的组件

Hadoop:YARN、MapReduce、Hive操作_第1张图片

 一般来说,MapReduce最好是在YARN的管控下进行

Map任务喝Reduce任务分别向YARN申请资源,然后YARN根据现存的资源进行任务分配

YARN架构

核心架构

主从架构,有两个角色  ResourceManager(主),NodeManager(从)

  • ResourceManager:整个集群的资源调度者, 负责协调调度各个程序所需的资源。
  • NodeManager:单个服务器的资源调度者,负责调度单个服务器上的资源提供给应用程序使用

 当任务发起时,ResourceManager进行总的资源调度(每个服务器分配多少内存),然后NodeManager使用容器Container,预先占用这一部分资源,然后将这一部分资源提供给程序使用

辅助架构

除了这两个角色,还可以搭配两个辅助角色使得YARN更加稳定

  • 代理服务器(ProxyServer)Web Application Proxy Web应用程序代理
  • 历史服务器(JobHistoryServer) 应用程序历史信息记录服务

 Web应用代理(Web Application Proxy)

代理服务器,即Web应用代理是 YARN 的一部分。默认情况下,它将作为资源管理器(RM)的一部分运行,但是可以配置为在独立模式下运行。使用代理的原因是为了减少通过 YARN 进行基于网络的攻击的可能性。

JobHistoryServer历史服务器

历史服务器的功能很简单: 记录历史运行的程序的信息以及产生的日志并提供WEB UI站点供用户使用浏览器查看。

Hadoop:YARN、MapReduce、Hive操作_第2张图片

一般来说,日志运行在容器中,如果想查看日志则需要去不同的服务器调用不同意的容器,比较麻烦,于是就可以统一收集到HDFS,由历史服务器托管为WEB UI供用户在浏览器统一查看

  

MapReduce 概述

MapReduce Hadoop 中的分布式计算组件
MapReduce 可以以分散 -> 汇总(聚合)模式执行分布式计算任务,提供两个接口

map 接口,主要提供 分散 功能,由服务器分布式处理数据
reduce 接口,主要提供 汇总 功能,进行数据汇总统计得到结果

以一个统计问题为例子,例如要统计一个很长的字符串A里面有多少个字母a,那么假设我有四个服务器

设置三个服务器为分散服务器,一个服务器为汇总服务器,那么会把A map成三分,然后分别计算,最后把结果reduce到汇总服务器

配置相关文件

$HADOOP_HOME/etc/hadoop 文件夹内,修改:

mapred-env.sh 文件,添加如下环境变量
#设置JDK路径
export JAVA_HOME=/export /server /jdk
#设置JobHistoryServer进程内存为1G
export HADOOP_JOB_HISTORYSERVER_HEAPSIZE=1000
#设置日志级别为INFO
export HADO0P_MAPRED_ROOT_LOGGER=INFO,RFA

mapred-site.xml文件,添加如下配置信息

  
    mapreduce.framework.name
    yarn
    
  

  
    mapreduce.jobhistory.address
    node1:10020
    
  


  
    mapreduce.jobhistory.webapp.address
    node1:19888
    
  


  
    mapreduce.jobhistory.intermediate-done-dir
    /data/mr-history/tmp
    
  


  
    mapreduce.jobhistory.done-dir
    /data/mr-history/done
    
  

  yarn.app.mapreduce.am.env
  HADOOP_MAPRED_HOME=$HADOOP_HOME


  mapreduce.map.env
  HADOOP_MAPRED_HOME=$HADOOP_HOME


  mapreduce.reduce.env
  HADOOP_MAPRED_HOME=$HADOOP_HOME

$HADOOP_HOME/etc/hadoop 文件夹内,修改:

yarn-env.sh 文件,添加如下 4 行环境变量内容:
#设置JDK路径的环境变量
export JAVA_HOME=/export/server/jdk
#设置HADOOP_HOME的环境变量
export HADOOP_HOME=/export/server/hadoop
#设置配置文件路径的环境变量
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
#设置目志文件路径的环境变量
export HADOOP LOG DIR=$HADO0P_HOME/logs
yarn-site.xml 文件,配置如图属性

    yarn.log.server.url
    http://node1:19888/jobhistory/logs
    


  
    yarn.web-proxy.address
    node1:8089
    proxy server hostname and port
  


  
    yarn.log-aggregation-enable
    true
    Configuration to enable or disable log aggregation
  

  
    yarn.nodemanager.remote-app-log-dir
    /tmp/logs
    Configuration to enable or disable log aggregation
  



  
    yarn.resourcemanager.hostname
    node1
    
  

  
    yarn.resourcemanager.scheduler.class
    org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler
    
  

  
    yarn.nodemanager.local-dirs
    /data/nm-local
    Comma-separated list of paths on the local filesystem where intermediate data is written.
  


  
    yarn.nodemanager.log-dirs
    /data/nm-log
    Comma-separated list of paths on the local filesystem where logs are written.
  


  
    yarn.nodemanager.log.retain-seconds
    10800
    Default time (in seconds) to retain log files on the NodeManager Only applicable if log-aggregation is disabled.
  



  
    yarn.nodemanager.aux-services
    mapreduce_shuffle
    Shuffle service that needs to be set for Map Reduce applications.
  

然后复制到另外两个节点中去 

scp mapred-env.sh mapred-site.xml yarn-env.sh yarn-site.xml node2: `pwd`/
scp mapred-env.sh mapred-site.xml yarn-env.sh yarn-site.xml node3: `pwd`/

 最后启动:

一键启动YARN 集群 $HADOOP_HOME/sbin/start-yarn.sh
会基于yarn-site.xml中配置的yarn.resourcemanager.hostname来决定在哪台机器上启动resourcemanager
会基于 workers 文件配置的主机启动 NodeManager
一键停止YARN 集群 $HADOOP_HOME/sbin/stop-yarn.sh
在当前机器,单独启动或停止进程
        $HADOOP_HOME/bin/yarn --daemon  start|stop  resourcemanager|nodemanager|proxyserver
        start和stop决定启动和停止
        可控制resourcemanager、nodemanager、proxyserver三种进程
历史服务器启动和停止
        $HADOOP_HOME/bin/mapred --daemon start|stop historyserver

一般来说,运行下面就可以了

start-yarn.sh
mapred --daemon start historyserver

 可以通过 node1:8088这个端口检测yarn运行情况

提交MapReduce到YARN

一般来说不会直接写MapReduce代码,但是Hadoop官方内置了一些预置的MapReduce程序代码,我们无需编程,只需要通过命令即可使用。

这些内置的示例 MapReduce 程序代码,都在:

 $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar 这个文件内

可以通过 hadoop jar 命令来运行它,提交 MapReduce 程序到 YARN 中。

语法: hadoop jar 程序文件 java类名 [程序参数] ... [程序参数]

 这里举一个例子:

hadoop jar /export/server/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar wordcount /data/test.txt /data/wc

使用wordcount这个方法,对test.txt进行运算,意思就是统计单词的数量,把结果存储到wc文件夹中:

Hadoop:YARN、MapReduce、Hive操作_第3张图片

也可以进入node1:8088查看状态 

Hive

MapReduce支持程序开发(JavaPython等)但不支持SQL开发,Apache Hive是一款分布式SQL计算的工具, 其主要功能是:将SQL语句 翻译成MapReduce程序运行

Hive架构

要实现分布式SQL计算,起码需要两种过程:

元数据管理:管理数据的位置,数据结构,数据描述,例如select age from table1,这样一条语句,需要存储table1的位置,age列对应的数据等等

SQL解析器SQL分析,SQL到MapReduce程序的转换,提交MapReduce程序运行并收集执行结果

Hadoop:YARN、MapReduce、Hive操作_第4张图片

 元数据存储

通常是存储在关系数据库如 mysql/derby中。Hive 中的元数据包括表的名字,表的列和分区及其属性,表的属性(是否为外部表等),表的数据所在目录等。

-- Hive提供了 Metastore 服务进程提供元数据管理功能

Driver驱动程序,包括语法解析器、计划编译器、优化器、执行器

完成 HQL 查询语句从词法分析、语法分析、编译、优化以及查询计划的生成。生成的查询计划存储在 HDFS 中,并在随后有执行引擎调用执行。

这部分内容不是具体的服务进程,而是封装在Hive所依赖的Jar文件即Java代码中

用户接口

包括 CLIJDBC/ODBCWebGUI。其中,CLI(command line interface)shell命令行;Hive中的Thrift服务器允许外部客户端通过网络与Hive进行交互,类似于JDBCODBC协议。WebGUI是通过浏览器访问Hive

-- Hive提供了 Hive Shell ThriftServer等服务进程向用户提供操作接口

Hive在VMware部署

Hive是一个单机工具,只需要部署到一台服务器即可

以下步骤来自:第四章-04-[实操]Hive在VMware虚拟机中部署_哔哩哔哩_bilibili

1、在node1节点上配置Mysql

# 更新密钥
rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2022

# 安装Mysql yum库
rpm -Uvh http://repo.mysql.com//mysql57-community-release-el7-7.noarch.rpm

# yum安装Mysql
yum -y install mysql-community-server

# 启动Mysql设置开机启动
systemctl start mysqld
systemctl enable mysqld

# 检查Mysql服务状态
systemctl status mysqld

# 第一次启动mysql,会在日志文件中生成root用户的一个随机密码,使用下面命令查看该密码
grep 'temporary password' /var/log/mysqld.log

# 修改root用户密码
mysql -u root -p -h localhost
Enter password:
 
mysql> ALTER USER 'root'@'localhost' IDENTIFIED BY 'Root!@#$';

# 如果你想设置简单密码,需要降低Mysql的密码安全级别
set global validate_password_policy=LOW; # 密码安全级别低
set global validate_password_length=4;	 # 密码长度最低4位即可

# 然后就可以用简单密码了(课程中使用简单密码,为了方便,生产中不要这样)
ALTER USER 'root'@'localhost' IDENTIFIED BY 'root';

/usr/bin/mysqladmin -u root password 'root'

grant all privileges on *.* to root@"%" identified by 'root' with grant option;  
flush privileges;

2、配置hadoop

配置如下内容在Hadoopcore-site.xml中,并分发到其它节点,且重启HDFS集群

 Hadoop:YARN、MapReduce、Hive操作_第5张图片

3:下载解压Hive

切换到 hadoop 用户

su - hadoop

下载 Hive 安装包:

http://archive.apache.org/dist/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz

解压到 node1 服务器的: /export/server/

tar -zxvf apache-hive-3.1.3-bin.tar.gz -C /export/server/

设置软连接

ln -s /export/server/apache-hive-3.1.3-bin /export/server/hive

4:提供MySQL Driver

下载 MySQL 驱动包:

https://repo1.maven.org/maven2/mysql/mysql-connector-java/5.1.34/mysql-connector-java-5.1.34.jar

将下载好的驱动 jar 包,放入: Hive 安装文件夹的 lib 目录内

mv mysql-connector-java-5.1.34.jar /export/server/hive/lib/

5:配置Hive

Hive conf 目录内,新建 hive-env.sh 文件,填入以下环境变量内容:

export HADOOP_HOME=/export/server/hadoop

export HIVE_CONF_DIR=/export/server/hive/conf

export HIVE_AUX_JARS_PATH=/export/server/hive/lib

 

 •Hiveconf目录内,新建hive-site.xml文件,填入以下内容:


  
    javax.jdo.option.ConnectionURL
    jdbc:mysql://node1:3306/hive?createDatabaseIfNotExist=true&useSSL=false&useUnicode=true&characterEncoding=UTF-8
  

  
    javax.jdo.option.ConnectionDriverName
    com.mysql.jdbc.Driver
  

  
    javax.jdo.option.ConnectionUserName
    root
  

  
    javax.jdo.option.ConnectionPassword
    123456
  

  
    hive.server2.thrift.bind.host
    node1
  

  
    hive.metastore.uris
    thrift://node1:9083
  

  
    hive.metastore.event.db.notification.api.auth
    false
  

 步骤6:初始化元数据库

支持,Hive的配置已经完成,现在在启动Hive前,需要先初始化Hive所需的元数据库。

MySQL 中新建数据库: hive

CREATE DATABASE hive CHARSET UTF8;

执行元数据库初始化命令:

cd /export/server/hive

bin/schematool -initSchema -dbType mysql -verbos

# 初始化成功后,会在MySQ Lhive库中新建74元数据管理的表。

 

步骤7:启动Hive(使用Hadoop用户) 

确保 Hive 文件夹所属为 hadoop 用户
创建一个 hive 的日志文件夹:

mkdir /export/server/hive/logs

启动元数据管理服务(必须启动,否则无法工作)

前台启动:bin/hive --service metastore

后台启动:nohup bin/hive --service metastore >> logs/metastore.log 2>&1 &

启动客户端,二选一(当前先选择 Hive Shell 方式)

Hive Shell方式(可以直接写SQL): bin/hive

Hive ThriftServer方式(不可直接写SQL,需要外部客户端链接使用): bin/hive --service hiveserver2

 

. Hive中创建的库和表的数据,存储在HDFS中,默认存放在:hdfs://node1:8020/user/hive/warehouse中。

Hive的启动

上面说到启动hive有两种方式,即前台方式和后台方式

Hadoop:YARN、MapReduce、Hive操作_第6张图片

bin/hive这种就是直接 HiveShell客户端,写mysql代码

HiveServer2这种方式就是给第三方软件一个接口,可以使用第三方软件连接到hive,从而更方便的写mysql代码

HiveServer2Hive内置的一个ThriftServer服务,提供Thrift端口(默认10000)供其它客户端链接

可以连接ThriftServer的客户端有:

Hive 内置的 beeline 客户端工具(命令行工具)

第三方的图形化SQL工具,如DataGripDBeaverNavicat

启动方法:

#先启动metastore服务 然后启动hiveserver2服务
nohup bin/hive --service metastore 
nohup bin/hive --service hiveserver2 

测试一下接口:

 netstat -anp|grep 10000

说明 HiveServer2位于71625端口,且提供了端口号为10000的thrift端口

数据库操作

创建数据库

create database if not exists myhive;

use  myhive;

查看数据库详细信息

desc  database  myhive;

创建数据库并指定hdfs存储位置

create database myhive2 location '/myhive2';

使用location关键字,可以指定数据库在HDFS的存储路径。

删除一个空数据库,如果数据库下面有数据表,那么就会报错

drop  database  myhive;

强制删除数据库,包含数据库下面的表一起删除

drop  database  myhive2  cascade;

 数据表操作

创建表的语法:

Hadoop:YARN、MapReduce、Hive操作_第7张图片

  • EXTERNAL,创建外部表
  • PARTITIONED BY 分区表
  • CLUSTERED BY,分桶表
  • STORED AS,存储格式
  • LOCATION,存储位置

内部表操作 

hive中的表可以分为  内部表  外部表 分区表  分桶表

内部表( CREATE TABLE table_name ......

未被external关键字修饰的即是内部表, 即普通表。 内部表又称管理表,内部表数据存储的位置由hive.metastore.warehouse.dir参数决定(默认:/user/hive/warehouse),删除内部表会直接删除元数据(metadata)及存储数据,因此内部表不适合和其他工具共享数据。

外部表 CREATE EXTERNAL TABLE table_name ......LOCATION......

external关键字修饰的即是外部表, 即关联表。

外部表是指表数据可以在任何位置,通过LOCATION关键字指定。 数据存储的不同也代表了这个表在理念是并不是Hive内部管理的,而是可以随意临时链接到外部数据上的。

所以,在删除外部表的时候, 仅仅是删除元数据(表的信息),不会删除数据本身

 

在创建完内部表并赋值后,可以查看内容,一半默认是存储在/user/hive/warehouse中,也可使用location替换:

 

可以看到列之间没有分割,其实只是我们看不到,默认的数据分隔符是:”\001”是一种特殊字符,是ASCII值,键盘是打不出来

在某些文本编辑器中是显示为SOH的。

当然,分隔符我们是可以自行指定的。

在创建表的时候可以自己决定:

create table if not exists stu2(id int ,name string) row format delimited fields terminated by '\t';
row format delimited fields terminated by '\t' :表示以 \t 分隔
查看表的信息:
desc formatted table;

 外部表操作

外部表的数据和表是独立的,可以分别建立

比如先建立表,再建立数据文件

1、现在linux上建立文件date\test.txt:

vim test.txt
1    qqqq
2    wwww
3    eeee

2、 创建外部表,这里必须规定分隔符,且必须跟上述文件中的分隔符一样

create external table test_ext1(id int, name string)
row format delimited fields terminated by ‘\t’ location ‘/tmp/test_ext1’;

3、把linux的文件放入hive的表对应的文件夹中

 hdfs dfs -put -f test.txt /tmp/test_ext1/

此时查看表test_ext1就可以看到对应内容了

4、但是如果此时修改test.txt文件,表的数据也会变化

Hadoop:YARN、MapReduce、Hive操作_第8张图片  

但是在hive中删除表,不会删除数据文件

同理 先有数据文件再有表也可以

内部表和外部表可以相互转换

alter table stu set tblproperties('EXTERNAL'='TRUE');
alter table stu set tblproperties('EXTERNAL'='FALSE');

数据加载和导出

数据加载LOAD

LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename;

1、[LOCAL]:数据如果在linux本地,使用LOCAL,如果在hdfs中不使用

2、[OVERWRITE] 是否覆盖

 基于HDFS进行load加载数据,源数据文件会消失(本质是被移动到表所在的目录中)

数据加载 - INSERT SELECT 语法 

我们也可以通过SQL语句,从其它表中加载数据。

INSERT [OVERWRITE | INTO] TABLE tablename1 
[PARTITION (partcol1=val1, partcol2=val2 ...) 
[IF NOT EXISTS]] select_statement1 FROM from_statement;

例如想要数据翻倍:

insert into test_ext1 select * from test_ext1

这种方式会执行mapreduce,小数据下会比较慢

hive表数据导出 - insert overwrite 方式

insert overwrite [local] directory ‘path’ select_statement1 FROM from_statement;

如果要导出到linux系统,就带local

例如

insert overwrite local directory '/home/hadoop/export1' select * from test_load ;

此处导出时的分隔符还是默认的,也可以自己定义分隔符

insert overwrite local directory '/home/hadoop/export2' 
row format delimited fields terminated by '\t' select * from test_load;

分区表

在hive中可以把大的数据进行分类,放置在不同的文件夹中进行存储,那么在操作时就会变得更加快速和简便

比如要存储不同月份的销售数据,那么可以根据月份进行分区,不同的月份创建不同的文件夹存放数据

Hadoop:YARN、MapReduce、Hive操作_第9张图片Hadoop:YARN、MapReduce、Hive操作_第10张图片

 语句:

create table tablename(...) partitioned by (分区列 列类型, ......) 
row format delimited fields terminated by '';

实例:创建 partition_test表并按照month分区

create table partition_test(id int,name string) partitioned by (month string)
row format delimited fields terminated by '\t';

提前准备好test.txt文件:

 Hadoop:YARN、MapReduce、Hive操作_第11张图片

上传数据并设置月份: 

load data local inpath '/export/server/hive/date/test.txt' 
into table partition_test partition(month='202208');

最终: 

 Hadoop:YARN、MapReduce、Hive操作_第12张图片

又上传一遍 ,设置为202209: 

load data local inpath '/export/server/hive/date/test.txt' 
into table partition_test partition(month='202209');

 Hadoop:YARN、MapReduce、Hive操作_第13张图片

 但是在文件中,会按照月份进行分别存放

当然也可以创建多级分区

create table partition_test(id int,name string) 
partitioned by (year int,month int,day int)
row format delimited fields terminated by '\t';

这样就会按照年月日进行分区了

你可能感兴趣的:(Hadoop,hadoop,分布式,大数据)