实验五 熟悉 Hive 的基本操作

实验环境:
1.操作系统:CentOS 7。
2.Hadoop 版本:3.3.0。
3.Hive 版本:3.1.2。
4.JDK 版本:1.8。
实验内容与完成情况:

(1)创建一个内部表 stocks,字段分隔符为英文逗号,表结构如表 A-6 所示。

create table if not exists stocks ( `exchange` string, `symbol` string, `ymd` string, `price_open` float, `price_high` float, `price_low` float, `price_close` float, `volume` int, `price_adj_close` float ) row format delimited fields terminated by ',';

实验五 熟悉 Hive 的基本操作_第1张图片

打开数据库
实验五 熟悉 Hive 的基本操作_第2张图片

(2)创建一个外部分区表 dividends(分区字段为 exchange 和 symbol),字段分隔符为英 文逗号,表结构如表 A-7 所示。

create external table if not exists dividends ( `ymd` string, `dividend` float ) partitioned by(`exchange` string ,`symbol` string) row format delimited fields terminated by ',';

实验五 熟悉 Hive 的基本操作_第3张图片
实验五 熟悉 Hive 的基本操作_第4张图片

(3)从 stocks.csv 文件向 stocks 表中导入数据。

load data local inpath '/test/data/stocks/stocks.csv' overwrite into  table stocks;

实验五 熟悉 Hive 的基本操作_第5张图片

(4) 创建一个未分区的外部表 dividends_unpartitioned,并从 dividends.csv 向其中导入数 据,表结构如表 A-8 所示。

create external table if not exists dividends_unpartitioned ( `exchange` string , `symbol` string, `ymd` string, `dividend` float ) row format delimited fields terminated by ','; load data local inpath '/test/data/dividends/dividends.csv' overwrite into table dividends_unpartitioned;

实验五 熟悉 Hive 的基本操作_第6张图片

(5)通过对 dividends_unpartitioned 的查询语句,利用 Hive 自动分区特性向分区表 dividends 各个分区中插入对应数据。

select t2.`year`,symbol,t2.avg_price from ( select *,row_number() over(partition by t1.`year` order by t1.avg_price desc) as `rank`

实验五 熟悉 Hive 的基本操作_第7张图片

(6)查询 IBM 公司(symbol=IBM)从 2000 年起所有支付股息的交易日(dividends 表中有对应 记录)的收盘价(price_close)。

select s.ymd,s.symbol,s.price_close from stocks s LEFT SEMI JOIN dividends d ON s.ymd=d.ymd and s.symbol=d.symbol where s.symbol='IBM' and year(ymd)>=2000

实验五 熟悉 Hive 的基本操作_第8张图片

(7)查询苹果公司(symbol=AAPL)2008 年 10 月每个交易日的涨跌情况,涨显示 rise,跌显 示 fall,不变显示 unchange。

select ymd, case when price_close-price_open>0 then 'rise' when price_close-price_open

实验五 熟悉 Hive 的基本操作_第9张图片

(8)查询 stocks 表中收盘价(price_close)比开盘价(price_open)高得最多的那条记录的交易所 (exchange)、股票代码(symbol)、日期(ymd)、收盘价、开盘价及二者差价。

select `exchange`,symbol,ymd,price_close-price_open as `diff` from ( select * from stocks order by price_close-price_open desc limit 1 )t;

实验五 熟悉 Hive 的基本操作_第10张图片

(9)从 stocks 表中查询苹果公司(symbol=AAPL)年平均调整后收盘价(price_adj_close) 大 于 50 美元的年份及年平均调整后收盘价。

select year(ymd) as `year`, avg(price_adj_close) as avg_price from stocks where `exchange`='NASDAQ' and symbol='AAPL' group by year(ymd) having avg_price > 50

实验五 熟悉 Hive 的基本操作_第11张图片

(10)查询每年年平均调整后收盘价(price_adj_close)前三名的公司的股票代码及年平均调整 后收盘价。

select t2.`year`,symbol,t2.avg_price from ( select *,row_number() over(partition by t1.`year` order by t1.avg_price desc) as `rank` from ( select year(ymd) as `year`, symbol, avg(price_adj_close) as avg_price from stocks group by year(ymd),symbol )t1 )t2 where t2.`rank`<=3;

实验五 熟悉 Hive 的基本操作_第12张图片

你可能感兴趣的:(课程作业,软件质量保证+Java,web技术课程实验,hive,hadoop,数据仓库)