Doris开启Stream Load记录

标题问题背景

  1. 有些用户想收集Stream Load的导入状态,以便能对导入失败的数据进行分析和处理。
  2. Doris 的 show load 命令默认不支持查看Stream Load导入记录。
  3. 要查询Stream Load导入记录需要在 be.conf 里加配置:enable_stream_load_record=true,并使用SHOW STREAM LOAD 命令查询。

Doris查询Stream Load记录实现

  1. 修改BE配置
# 1. 编辑be.conf
vim be/conf/be.conf
# 2. 添加enable_stream_load_record = true配置,开启记录stream_load_record
enable_stream_load_record = true
  1. 数据导入
curl --location-trusted -u bigdata:mypss  -T stream_load_data.csv -H "column_separator:," -H "label:alex-2" http://127.0.0.1:18030/api/php_doris/doris_test_sink/_stream_load

具体数据见:Doris Stream Load导入CSV文件

  1. 任务查看
mysql> SHOW STREAM LOAD \G;
*************************** 1. row ***************************
         Label: alex-2
            Db: php_doris
         Table: doris_test_sink
          User: bigdata
      ClientIp: 172.17.0.3
        Status: Success
       Message: OK
           Url: N/A
     TotalRows: 12
    LoadedRows: 12
  FilteredRows: 0
UnselectedRows: 0
     LoadBytes: 315
     StartTime: 2022-07-20 04:48:22.570
    FinishTime: 2022-07-20 04:48:22.681

5 rows in set (0.00 sec)

ERROR: 
No query specified

你可能感兴趣的:(Doris,大数据,数据仓库)