clickhouse 在hdfs 和本地推数据

CREATE TABLE test.democcc( id Int8, name String) ENGINE=Log;

hadoop fs -cat /test001/zgh/tmp/demoaaa/* | clickhouse-client --query="insert into test.demoaaa"

hadoop fs -cat hdfs://hadooptd1.novalocal:8020/test001/zgh/tmp/demoaaa/* | clickhouse-client --query="insert into test.demoaaa"

clickhouse-client -u default --password 123456 --port 9100

hadoop fs -cat hdfs://hadooptd1.novalocal:8020/test001/zgh/tmp/demoaaa/* | clickhouse-client --query="insert into test.demobbb FORMAT CSV"

hadoop fs -cat hdfs://hebing1.novalocal:8020/user/zgh/bigdata/* | clickhouse-client --query="insert into test.demoeee FORMAT CSV"

821400198707264694,曾锐偷,Alice,13161142600,[email protected],新疆维吾尔自治区哈密地区照剂脆路6125号化慷绞小区19单元2319室

CREATE TABLE test.demoeee(
a String,
a String,
b String,
c String,
d String,
e String
) ENGINE=Log;

可以建hdfs外表 但是不支持kerberos

可以根据csv 直接导入 命令为
https://www.jianshu.com/p/414ed68d86f9

数据量大推荐使用

//需要加入列名，推荐使用
cat ~/csv_fileName.csv| clickhouse-client --host=ip --port=19000 --user=username --password=pwd --format_csv_delimiter='\001' --query="INSERT INTO table_name FORMAT CSV"