前提:
---a、首先需要你自己搭建一个hadoop集群,该集群自带hdfs功能。
---b、第二点在你的druid的集群每一台机器配置hadoop-client。并且需要修改conf,可以直接将hadoop集群的conf目录拷贝过来。(注意:如果conf中的配置文件使用了机器名,这时你需要拷贝集群中机器的 /etc/hosts 中的必要内容,添加到本机的/etc/hosts中,假设192.168.121.100 NameNode )
步骤:
1、配置config/_common/common.runtime.properties:
druid.storage.type=hdfs druid.storage.storageDirectory=hdfs:/tmp/druid/Storage
3、使用命令直接查看 hdfs dfs -ls hdfs:/tmp/druid/Storage,发现什么也没有保存,排查问题原因。
4、最后在发现在 config/_common/common.runtime.properties 缺少一项配置,在druid.io的手册中没有提及到,导致问题排查了很久,配置druid.extensions.coordinates=[], 增加一项" io.druid.extensions:druid-hdfs-storage ",保存。
5、重新运行第2步的例子(由于配置了hdfs,所以需要最先运行coordination节点,不然先运行其他节点会卡住)。发现任务运行失败、查看日志失败原因(失败原因需要配置一下index服务的log日志,因为是后台线程不会consle 不会打印具体原因,需要配置 config/overlord/runtime.properties中添加下面两项
druid.indexer.logs.type=local druid.indexer.logs.directory=/tmp/druid/indexlog
)。配置后重新运行第2步的例子,失败后,可以查看/tmp/druid/indexlog下的log文件。
问题日志如下:
2016-03-23T10:04:36,733 INFO [task-runner-0] io.druid.storage.hdfs.HdfsDataSegmentPusher - Copying segment[wikipedia_2013-08-31T00:00:00.000Z_2013-09-01T00:00:00.000Z_2016-03-23T10:04:28.781Z] to HDFS at location[hdfs://tmp/druid/Storage/wikipedia/20130831T000000.000Z_20130901T000000.000Z/2016-03-23T10_04_28.781Z/0] 2016-03-23T10:04:44,089 WARN [task-runner-0] io.druid.indexing.common.index.YeOldePlumberSchool - Failed to merge and upload java.lang.IllegalArgumentException: java.net.UnknownHostException: tmp at org.apache.hadoop.security.SecurityUtil.buildTokenService(SecurityUtil.java:377) ~[?:?] at org.apache.hadoop.hdfs.NameNodeProxies.createNonHAProxy(NameNodeProxies.java:237) ~[?:?] at org.apache.hadoop.hdfs.NameNodeProxies.createProxy(NameNodeProxies.java:141) ~[?:?] at org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:569) ~[?:?]
问题原因是由于hdfs配置目录的问题,重新修改config/_common/common.runtime.properties中的
druid.storage.type=hdfs # druid.storage.storageDirectory=hdfs://tmp/druid/Storage #增加NameNode,这里必须要只能hdfs集群的nameNode,如果不知到NameNode,可以使用ip代替 druid.storage.storageDirectory=hdfs://Namenode/tmp/druid/Storage
6、重新运行第二步的例子。运行成功。查看hdfs中已经保存了segment的文件。
root@debian:~/druid-0.8.3# hdfs dfs -ls /tmp/druid/Storage Found 1 items drwxr-xr-x - root hdfs 0 2016-03-23 18:11 /tmp/druid/Storage/wikipedia root@debian:~/druid-0.8.3#
总结 :deep storage使用时 最重要的两点要注意在配置文件config/_common/common.runtime.properties:
1、" io.druid.extensions:druid-hdfs-storage ",这里要先指定使用hdfs,后面hdfs配置的选项才能生效。
2、druid.storage.storageDirectory=hdfs://Namenode/tmp/druid/Storage ,这里的NameNode很重要,如果要是忘记配了,则同样会失败,这里由于在/etc/hosts 文件中配置了NameNode 转换ip为 192.168.120.100。如果你要是没配置可以替换成ip即可。