hive(spark-sql) -e -f -d以及传参数, sh并行

1、统计hive一个库下的表的个数

hive -e"
use databases;
show tables;
--show tables like 'edw*';  
"| grep -v tmp |wc -l

1、hive -e"
use databases
show tables;
"> database_name_tables.txt
2、统计量
wc -l database_name_tables.txt

1. 使用“spark-sql -e”

与“Hive”一样,Spark SQL CLI也支持“-e”参数

spark-sql   -e "insert into table ***"

Spark-SQL导出查询结果到 results.txt

spark-sql --num-executors 100 -e "select * from table" > results.txt 

-- 也可以直接指定数据库名称,如下:

spark-sql --database mydb --num-executors 100 -e "select * from table" > results.txt 

2. 使用“spark-sql -f”

当SQL语句较长时,为了便于理解,我们可以将SQL语句放入单独的文件中,

如创建“sdk.sql”文件,如下:

select * from table 

你可能感兴趣的:(Hive,Spark,sql,hive,spark)