大数据平台与架构笔记

快捷键

CTRL+alt+T   ==打开终端

ctrl+shift+esc    ==打开任务后台

~    ==/home/用户名

Linux简单命令

clear  清屏

ls 查看

cd ..

cd ./当前目录

cd /根目录

mkdir创建目录

mkdir 目录名

mkdir -p  目录名    //创建多级目录 

rm删除文件目录

rm -r 目录名    //删除目录及目录下的内容

rm 文件名    //删除文件

rm g*

rm *

cat把文件内容回显到终端

cat ./文件名

cp 复制文件

tar解压缩

chown给权限

Hadoop安装与配置:

创建Hadoop用户:

1.sudo useradd -m 名称 -s /bin/bash

2.sudo passwd 名称                    设置密码

3.sudo adduser 名称 sudo              为新用户添加权限

更新apt:

sudo apt-get update

更新vim：

Sudo apt-get install vim

vim使用方法：

vim ./名称    打开/创建文件/文档

i：编辑插入内容

esc：退出插入状态

:wq：保存并退出

安装SSH：

1.sudo apt-get install openssh-server 安装SSH

2.ssh localhost  登入

设置SSH免密码：（再次登入不需要密码）

1.exit 退出登录

2.cd ~/.ssh/  进入目录

3.ssh-keygen -t rsa   生成免密码密钥

4.cat ./id_rsa.pub >> ./authorized_keys  将密钥加载入对应的文件夹中/加入授权

安装JAVA

1.cd/usr/lib           #进入目录

  sudo mkdir jvm       #创建jvm文件夹

2.cd ~                 #进入主目录

  cd 下载              #进入下载目录

  sudo tar -zxvf ./jdk-8u162-linux-x64.tar.gz -C /usr/lib/jvm              #把JDK文件解压到新建的jvm文件中

3.cd ~                #回到家目录

vim ~/.bashrc       #修改配置文件

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

export PATH=${JAVA_HOME}/bin:$PATH

#将以上字符复制粘贴进去（JAVA版本可以改）

4. source ~/.bashrc   #使配置文件起作用

5.java -version       #查看Java是否安装好

单机配置

sudo tar -zxvf ./下载/hadoop文件名 -C /usr/local    #解压文件

cd /usr/local        #进入文件夹

ls   #查看文件夹文件

sudo mv ./hadoop文件名/ ./hadoop    #将Hadoop文件名改成hadoop

sudo chown -R 用户名 ./Hadoop      #给用户授权

cd /usr/local/hadoop    #进入文件夹

./bin/hadoop version    #查看Hadoop版本

mkdir ./input    #创建input目录，将大数据输入内容都放在这个文件下

Input （创建目录）

hadoop jia

Output（会被覆盖）

cp ./etc/hadoop/*.xml ./input    #将配置文件作为输入文件

cd .. #回到上一层目录

./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar grep ./input ./output 'dfs[a-z.]+'    #用grep匹配input和output中的内容

cat ./output/*  #查看运行结果

rm -r ./output  #Hadoop 默认不会覆盖结果文件，因此再次运行上面实例会提示出错，需要先将 ./output 删除

伪分布式配置

冗余数据：重复的数据数量

vim ./etc/hadoop/core-site.xml     #编辑配置文件1

vim ./etc/hadoop/hdfs-site.xml     #编辑配置文件2

./bin/hdfs namenode -format      #格式化NameNode

./sbin/start-dfs.sh     #启动hadoop

jps    #查看是否启动Hadoop

HDFS shell命令

火狐浏览器  localhost：9870

目录

./bin/hdfs dfs -mkdir 目录名称          #/user/当前用户/目录名称

hdfs dfs -mkdir /目录名称               #/目录名称

hdfs dfs -ls 目录名称                      #查看当前目录中目录名称的内容

hdfs dfs -tm -t 目录名称                #删除目录

hdfs dfs -rm -r 目录名称          #删除目录和目录下的所有内容

hdfs dfs -rm 文件名

hdfs dfs -rmdir 目录名            #删除单纯一个目录

文件操作

上传  hdfs dfs -put 本地文件目录 上传到的位置

查看  hdfs dfs -cat

下载  hdfs dfs -get 要下载的文件 要下载的位置

追加  hdfs dfs -appendToFile 源文件 目的文件

      cat 要追加的文件 >> 被追加的文件   #在文件后追加内容

覆盖  hdfs dfs -copyFromLocal -f 要覆盖的文件 被覆盖的文件

      hdfs dfs -copyFromLocal    #同-put

移动  hdfs dfs -mv 源文件位置 目的位置

课后第八题：1.先将被追加的文件下载到本地          2.用追加将内容追加进文件         3.用本地文件覆盖原文件

JAVA API运行与HDFS进行交互

Eclipse打开

cd /usr/local/eclipse      #打开eclipse所在文件位置

./eclipse                #打开eclipse

Hbase使用

启动HBase：

ssh localhost

start-dfs.sh

start-hbase.sh

停止顺序：

stop-hbase.sh

stop-dfs.sh

hbase命令 总结

hbase shell      #打开hbase命令行

create ‘表名’,’列簇’（列族不止一个）   //创建一个普通的表

put ‘表名’,’行键’,’列族：列限定符’,’值’

list----scan----describe ‘表名’

 list：查看有几个表几个行键

 describe：获取表细节的描述

get ‘表名’,’行键’     #查看行内容

create ‘表名’,{NAME=> ‘列族名’，VERSIONS=版本数}  //创建表某个列族可以存储版本数个版本

alter修改表

  alter ‘表名’,’列族名’       #增加一个列族

  alter ‘表名’,{NAME=>’列族名’,METHOD=>’delete’}    #删除列族

  alter ‘表名’,NAME=>’列族名’，VERSIONS=>n        #修改列族版本数

或alter ‘表名’,NAME=>’列族名:列’,VERSIONS=>n

  alter ‘表名’,max_filesize=>’n’                       #修改表region的大小

删除表

Disable ‘表名’    //使表不可用

Drop ‘表名’      //删除表

hive用法

打开mysql

sudo service mysql start

打开hive

hive

创建表

create database name1;   //创建数据库

use name1;     //使用数据库

create table name2(     //创建表

  a int,

b string,

edata string,

place string)

row format delimited fields terminated by ',';   //用逗号分隔一行

读取数据进表

load data local inpath '/usr/local/hadoop/examples/stu.txt' overwrite into table name2;

//将数据读取进表中，不加overwrite，就接着写，不加local，读的是hdfs中的内容

查询表中内容

select * from name2;    //查询表中所有内容

select a,b from name2;  //查询a，b列的内容

select a,b from name2 where place=‘数据’;   //查询名为数据那一行的内容

select * from name2 where b>100;    //查询b中大于100的数据内容

select * from name2 order by b;    //查询所有的内容并按照b排序

select * from name2 order by b limit 2;  //查询所有的内容并按照b排序后查询前2个

select b from name2 where a=2;   //查询当a=3时数据的b的内容

select a

插入内容

insert into table name2 values(要插入的内容,分割);    //插入内容

将表中内容插入到新表中

insert overwrite table name3

select a,b from name2;

数据的导出，导出到本地

insert overwrite local directory ‘想要导入的目录’

row format delimited fields terminated by ‘/t’   //增加格式化

select * from name2;

在终端用cat查看文件内容

hdfs dfs -get 文件所在地址 目标地址（需要创建）

//文件所在地址可以从浏览器localhost：9870中Utilities中看到