(二)Druid细节问题

我安装的druid的版本是 imply-2.8.6
1.测试数据上传,测试查询数据的json格式都是在一台机器中操作的:/data/upload
数据上传(如果上传的数据在hdfs中,不存在机器的问题,如果是在机器本地的文件进行上传,只能在flume-01机器和druid-01机器进行上传,因为只有这些机器是数据节点)
2。常用的网页的访问界面地址:
http://10.142.168.88:8458 sql和页面导入数据的前端页面
http://10.142.168.88:8459/console.html 任务运行的监控界面
http://10.142.168.88:8460/#/ 数据存储的查看页面

3.有个监测导入数据的监控脚本,在flume-01上,是痛过crontab运行的

1 12 * * * /data/upload/druid_upload_monitor.sh >> /data/upload/monitor.log >&1 &

druid_upload_monitor.sh内容:

#! /bin/bash

current_dir=$(cd $(dirname $0); pwd)
cd ${current_dir}

datasource='up_stu_tag'
start_time=$(date -d "yesterday" +%F)
end_time=$(date -d "today" +%F)
## 2019-04-03_2019-04-04
current_path=/data/upload/
readonly FILE_NAME="upload_file_check_time"
echo $(date +"%Y-%m-%d/%H") > ${current_path}/${FILE_NAME} > ${current_path}/${FILE_NAME}

result=$(curl http://prestoslave01:8081/druid/coordinator/v1/datasources/${datasource}/intervals/${start_time}_${end_time}?simple)
#result=$(curl http://prestoslave01:8081/druid/coordinator/v1/datasources/${datasource}/intervals/2019-04-03_2019-04-04?simple)
echo "--> ${result} "
if [[ ${result} == '{}' ]]; then
    echo "upload file to ${datasource} faile"
    python /data/upload/sendmail_alarm.py "[druid] upload file to ${datasource} faile" ${current_path}/${FILE_NAME} "发送邮件的人"
else
    echo "upload success"
fi

4.导入数据的官网的界面:(hadoop的导入数据的简介)
http://druid.io/docs/latest/ingestion/hadoop.html

5.现在hadoop的orc数据的导入是不支持的.

你可能感兴趣的:(duid,imply,druid问题)