猿创征文｜大数据之离线数仓各工具常用命令
离线数仓各工具常用命令
前言：近期学习大数据离线数仓，接触到了许多处理数据的应用及工具：Hadoop、hive、sqoop、azkaban、flume、datax、superset、zookeeper、Kafka、redis等，做项目需要开启节点、启动服务，结束关掉服务节点等操作，这里将我常用的进行总结，以便随时查看。后期接触更多则继续在这里更新#离线数仓各工具常用命令及操作！二更
Linux
虚拟机关机
shutdown -h now
同步更新时间
ntpdate -u ntp.api.bz
Hadoop
启动节点
start-all.sh
关闭节点
stop-all.sh
Hive
启动hive
hive
启动hive元数据
hive --service metastore &
远程连接启动
hiveserver2
HQL
查看方法
show functions;
查看方法如何使用
desc function xxx;
开启本地模式
set hive.exec.mode.local.auto=true;
开启动态分区
set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
Sqoop
导入数据
sqoop import --connect jdbc:mysql://192.168.109.101:3306/test_db \
--username root --password 123456 \
--table tname \
--target-dir hdfs://192.168.109.101:9820/sqoopdata/tname \
--delete-target-dir
sqoop import \
--connect jdbc:mysql://192.168.109.101:3306/dbname \
--username root --password 123456 \
--hive-import --hive-database hdbname \
--hive-table tname \
--query "select * from t1 where \$CONDITIONS" \
--target-dir hdfs文件路径 \
--delete-target-dir -m 1
Azkaban
启动Azkaban
...exec-server]# ./bin/start-exec.sh #三台 先起
...web-server]# ./bin/start-web.sh
Flume
启动flume-agent
...flume]# flume-ng agent -n a1 -c conf -f $FLUME_HOME/conf/confname.conf -Dflume.root.logger=INFO,console
Datax
执行任务脚本
...datax]# ./bin/datax.py job/first.json
Superset
启动环境
~]# source activate
(base)...~]# conda activate superset
(superset)...~]# gunicorn -w 1 -t 120 -b 192.168.109.101:8787 "superset.app:create_app()"
停止Superset
停掉gunicorn进程
ps -ef | awk '/gunicorn/ && !/awk/{print $2}' | xargs kill -9
退出Superset环境
conda deactivate
数据源配置
mysql://root:[email protected]/dbname?charset=utf8
Zookeeper
启动zookeeper(三台)
zkServer.sh start #启动
status #状态
Kafka
启动kafka服务:先保证已经启动Zookeeper集群
启动Kafka(三台)
...kafka]# /usr/local/kafka-2.4.1/bin/kafka-server-start.sh -daemon config/server.properties
Kafka服务测试
...kafka]# zkCli.sh
Topic操作
...kafka]# kafka-topics.sh --create \ ##创建topic
--topic hadoop \ ## 指定要创建的topic的名称
--zookeeper 192.168.109.101:2181,192.168.109.102:2181,192.168.109.103:2181/kafka \ ##指定kafka关联的zk地址
--partitions 3 \ ##指定该topic的分区个数
--replication-factor 3 ##指定副本因子
----------------------------------------------------------------
----------------------------------------------------------------
...kafka]# kafka-topics.sh --list \ ##查看topic
--zookeeper 192.168.109.101:2181,192.168.109.102:2181,192.168.109.103:2181/kafka
-------------------------------------------------------------------
------------------------------------------------------------------
...kafka]# kafka-topics.sh --describe \ ##查看topic信息
--topic hadoop \
--zookeeper 192.168.109.101:2181,192.168.109.102:2181,192.168.109.103:2181/kafka
---------------------------------------------------------------------
----------------------------------------------------------------------
...kafka]# kafka-topics.sh --alter \ ##修改topic
--topic hadoop \
--zookeeper 192.168.109.101:2181,192.168.109.102:2181,192.168.109.103:2181/kafka \
--partitions 4
------------------------------------------------------------------
--------------------------------------------------------------------
...kafka]# kafka-topics.sh --delete \ ##删除topic
--topic hadoop \
--zookeeper 192.168.109.101:2181,192.168.109.102:2181,192.168.109.103:2181/kafka
-----------------------------------------------------------------
-----------------------------------------------------------------
生产数据
...data]# kafka-console-producer.sh \
--topic hadoop \
--broker-list 192.168.109.101:9092,192.168.109.102:9092,192.168.109.103:9092
消费数据
...~]# kafka-console-consumer.sh \
--topic hadoop \
--bootstrap-server 192.168.109.101:9092,192.168.109.102:9092,192.168.109.103:9092
--from-beginning
发送数据
启动flume-agent
...~]# telnet 192.168.109.101 port ##port:confname.conf文件中设置的端口号
查看zookeeper目录
[zk:localhost:2181(CONNECTID)1] ls /kafka/brokers/topics
Kafka Eagle
Kafka Eagle系统命令
ke.sh start #启动Kafka Eagle
ke.sh stop #停止Kafka Eagle
ke.sh restart #重启Kafka Eagle
ke.sh status #查看Kafka Eagle系统状态
ke.sh stats #统计资源
ke.sh find [ClassName] #查看Kafka Eagle系统中的类是否存在
Redis
前端启动
...redis]# src/redis-server redis.conf
后端启动
修改redis.conf文件
...redis]# src/redis-server redis.conf
查看是否启动
...redis]# ps -ef | grep redis
关闭redis
kill -9 pid
进入客户端
...redis]# src/redis-cli -h 192.168.109.101 -p 6379 -a 123
进入指定数据库
...redis]# src/redis-cli -h 192.168.109.101 -p 6379 -a 123
切换数据库
192.168.10.101:6379[1]> select 0
Redis集群
启动实例
...cluster]# /usr/local/redis-3.0.6/src/redis-server 7001/redis.conf
进入集群
redis-cli -c -h 192.168.109.101 -p 7001
Openresty
后台启动
sudo openresty -p /opt/app/collect-app/
生产数据
/opt/soft/frp/frpc http --sd chlinrei -l 8802 -s frp.qfbigdata.com:7001 -u chlinrei
查看日志access
tail -f /opt/app/collect-app/logs/collect-app.access.log
Supervisor
启动supervisor
systemctl start supervisord
停止supervisor
systemctl stop supervisord
查看启动状态
systemctl status supervisord
启动节点命令
supervisorctl start xxx
Presto
先启动元数据
hive --service metastore &
启动/停止presto-server
/opt/soft/presto/presto-sever/bin/launcher start / stop
presto连接hive metastore
presto --server 192.168.109.101:9080 --catalog hive --schema dbname
查看Presto启动日志
...presto-server]# vi /data/presto/data/var/log/server.log
查询数据库
show schemas;
退出查询
按键Q
翻页查询
按键N或者Z
下一行
回车