doris使用笔记

1 将数据导到本地 csv

select * from tableName into outfile "file:///root/doris/data/dis_" format as CSV properties ("max_file_size" = "100MB","column_separator" = ",","line_delimiter" = "\n");

官方文档
注意：导出本地需要在fe.conf增加配置 enable_outfile_to_local=true

2 导入数据 Stream load

3 在使用时，如果发现报 Memory limit exceeded 错误，一般是超过内存限制了

#  BE 节点上默认使用不超过 2GB 内存, 修改全局变量 (单位byte)
SET GLOBAL exec_mem_limit = 8589934592;

5 本地导入报错too many filtered rows

网上答案
但都没解决我的问题
场景一：我导出csv时，增加了column_separator(分隔符）–逗号，但是导入时没有增加这个分隔符，默认分隔符"\t",不一致导致报此错。
场景二：设置错误率（我理解为容错率），-H “max_filter_ratio:0.2”，设置20%的错误率，就可以了

curl -u username:password -H "label:xxx" -H "column_separator:," -H "max_filter_ratio:0.2" -T ./xxx.csv http://127.0.0.1:8040/api/{db}/{table}/_stream_load

6 需要分析sql时，SET GLOBAL enable_profile=true; 可在fe的web页面上查询最近100条sql,便于分析

7 适配datax（包含DorisWriter 插件）的datax_web