Hadoop、hive、spark、spark-sql基本操作

本教程适用于已经安装好hadoop，spark集群，需要利用的集群做简单的sql数据分析的用户。

终端显示快捷 ctrl+alt+t

# 启动hadoop后，查看Hadoop的网站
http://localhost:50070/dfshealth.html

#查看磁盘容量
df -l
#截图软件安装
sudo apt-get install shutter1

# 任务管理器
gnome-system-monitor

image.png

1.启动hadoop集群

start-all.sh

2. hdfs 操作

# hdfs 文件列表
hdfs dfs -ls /      
hdfs dfs -ls /dbtac/test

hdfs 列表

2.1. 将本地文件传到hdfs

#上传命令结构
hdfs dfs -put  本地文件路径   hdfs上传文件路径

hdfs dfs -put /home/hadoop/test20.csv  /dbtac/test/

hdfs上传数据

image.png

上传数据master资源管理器

3、hive操作

cd  /usr/local/hive
3.# 启动hive
./bin/hive

启动hive

hive操作

image.png

hive执行操作

hive执行操作master的资源管理器

image.png

4、spark操作

4.1 启动spark

start-master.sh
start-slaves.sh

4.2 master上的操作

image.png

在slave2上查看spark是否启动ssh slave2

#进入Scala语言交互式界面
spark-shell

image.png

hdfs上文件不存的报错情况

image.png

scala语言操作

进入spark-sql

spark-sql

image.png

image.png

image.png

spark交互式界面启动方式

#单机启动
spark-shell 

#集群启动
spark-shell --master spark://master:7077

#集群启动
spark-shell --master spark://master:7077   --master yarn

#集群启动spark-sql
spark-sql --master spark://master:7077  --driver-cores 8  --driver-java-options "-Dspark.driver.port=4050"  --conf spark.sql.warehouse.dir = hdfs://master:9000/user/hive/warehouse   --master yarn

输入scala代码

val textfile = sc.textFile("/dbtac/test/*.csv")
val textfile = sc.textFile("/user/hive/warehouse/dbtac.db/trajectory")
textfile.count()
text.first()

image.png

spark关闭命令

stop-master.sh
stop-slaves.sh

hadoop关闭

stop-hdfs.sh
stop-yarn.sh