1.CentOS7安装Mysql:
cd /opt/
sudo yum install wget
wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm
rpm -ivh mysql-community-release-el7-5.noarch.rpm
sudo yum install mysql-community-server
上述命令会安装以下包:
apparmor
mysql-client-5.7
mysql-common
mysql-server
mysql-server-5.7
mysql-server-core-5.7
启动和关闭mysql服务器:
service mysql start
service mysql stop
确认是否启动成功,mysql节点处于LISTEN状态表示启动成功:
sudo netstat -tap | grep mysql
出现LISTEN说明启动成功
进入mysql shell界面:
mysql -u root -p
2.
Mysql常用命令:
解决利用sqoop导入MySQL中文乱码的问题(可以插入中文,但不能用sqoop导入中文)
导致导入时中文乱码的原因是character_set_server默认设置是latin1,
显示编码格式
show variables like "char%";
修改编码格式
set character_set_server=utf8;
显示数据库
show databases;
使用数据库
user mysql;
显示数据库
show tables;
显示数据表结构
describe user;
显示表中的记录
select * from 表名
创建数据库
create database aaa;
使用数据库aaa
use aaa;
创建表person
create table person(id int(3) auto_increment not null primary key,
xm varchar(10),xb varchar(2),csny date);
插入一条数据
insert into person values(null,'zhangsan','m','2018-8-24');
insert into person values(null,'lisi','f','2018-8-23');
查询出person表中所有的数据
select * from person;
修改xm=lisi的csny字段
select * from person;
update person set csny='2018-08-22' where xm='lisi';
select * from person;
删除张三那条数据
select * from person;
delete from person where xm='zhangsan';
select * from person;
删除表
show tables;
drop table person;
show tables;
删除数据库
show databases;
drop database aaa;
show databases;
显示mysql数据库版本
show variables like 'version';
select version();
3.安装Hive
3.1:首先上传apache-hive-1.2.1-bin.tar.gz到Master5的/opt/目录下
Master5:
cd /opt/
解压到指定/usr/local文件夹下
sudo tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /usr/local/
cd /usr/local/
重命名apache-hive-1.2.1-bin为hive
sudo mv apache-hive-1.2.1-bin hive
修改hive文件夹以及子文件夹下所有文件的权限
sudo chown -R hadoop:hadoop hive
3.2:配置环境变量
vi ~/.bashrc
在文件末尾加入:
export HIVE_HOME=/usr/local/hive
export PATH=$PATH:$HIVE_HOME/bin
生效配置文件
source ~/.bashrc
3.3:修改/usr/local/hive/conf下的hive-site.xml,将hive原来自带的derby改成mysql
cd /usr/local/hive/conf
重命名
mv hive-default.xml.template hive-default.xml
编辑hive-site.xml
vi hive-site.xml
3.4:启动mysql数据库,新建hive数据库
mysql -u root -p
show databases;
//新建一个Hive数据库,这个Hive数据库与hive-site.xml文件中//localhost:3306/hive
的hive对应,用来保存hive元数据信息
create database hive;
3.5:配置mysql允许hive接入
将所有数据库的所有表的所有权限都赋给hive用户,后面的hive适配hive-site.xml中配置的连接密码
grant all on *.* to hive@localhost identified by 'hive';
刷新mysql系统权限关系表
flush privileges;
3.6:启动Hive
在启动Hive之前,先启动hadoop集群,但是咱们现在装的是伪分布式的hive配置,所以先将集群改成伪分布式:
停掉之前的分布式集群
Master5:
cd /opt/hadoop-2.7.2/sbin/
./stop-all.sh (封装了stop-yarn.sh和stop-dfs.sh)
jps (保证只剩下一个jps进程)
cd /opt/dfs/
rm -rf *
hdfs namenode -format
cd /opt/hadoop-2.7.2/sbin/
./start-dfs.sh
jps(查看出来NameNode,DataNode, SecondaryNameNode)
cd /usr/local/hive/bin
启动Hive
./hive
hive常用HiveQL操作
创建、修改和删除数据库
创建数据库
create database if not exists hive;
显示hive中包含的数据库
show databases;
显示hive中以h开头的数据库
show databases like 'h.*';
使用hive数据库
use hive;
删除不包含表的数据库
drop database if exists hive;
删除数据库和它包含的表
drop database if exists hive cascade;
拓展研究任务:
1.HiveQL常用操作以及跟Mysql对比下常用操作区别+10分
2.分布式Hive如何搭建+10分
3.在分布式集群中加入从机slave2到集群
(注意:小组任务,整个过程用新建虚拟机slave2方式,
而且没做一步截图写入word文档)+30分
4.答辩个人表现+30分
5.平时考勤20分
6.平时成绩20分