storm 问题

Unable to access file:///log4j2/cluster.xml java.io.FileNotFoundException

2016-12-13

Storm 0.10.2 启动的时候日志配置出错

ERROR StatusLogger Invalid URL C:/Users/xyzabc/apache-storm-0.10.0-beta/log4j2/cluster.xml java.net.MalformedURLException: unknown protocol: c

Storm 1.0.2 启动的时候日志配置出错

ERROR StatusLogger Unable to access file:///log4j2/cluster.xml java.io.FileNotFoundException: \log4j2\cluster.xml (系统找不到指定的路径。)

修改bin/storm-config.cmd, 修改路径部分内容即可

0.10.x

1 2 3 4 5 6 7 8

FOR / F "delims=" % % i in ( % CMD_TEMP_FILE % ) do (      FOR / F "tokens=1,* delims= " % % a in ( "%%i" ) do (          if % % a == VALUE : (              set STORM_LOG4J2_CONFIGURATION_DIR = % STORM_HOME % \ % % b              del / F % CMD_TEMP_FILE % )          )      ) )

1.0.x

1 2 3 4 5 6 7

if not % STORM_LOGBACK_CONFIGURATION_DIR % == nil (      set STORM_LOGBACK_CONFIGURATION_FILE = file : //%STORM_LOGBACK_CONFIGURATION_DIR%\cluster.xml )   if not defined STORM_LOGBACK_CONFIGURATION_FILE (    set STORM_LOGBACK_CONFIGURATION_FILE = file : //%STORM_HOME%\log4j2\cluster.xml )

问题： KeeperErrorCode = NoNode for /brokers/topics/test3/partitions at org.apache.storm.kafka.DynamicBrokersReader.getBrokerInfo(DynamicBrokersReader.java:100)

原因：KeeperErrorCode = NoNode for /brokers
配置kafka时，如果使用zookeeper create /kafka创建了节点，kafka与storm集成时new ZkHosts(zks) 需要改成 new ZkHosts(zks,”/kafka/brokers”),不然会报java.lang.RuntimeException: java.lang.RuntimeException: org.apache.zookeeper.KeeperException$NoNodeException: KeeperErrorCode = NoNode for 

这与kafka的配置有关

ZooKeeper连接字符串的格式为：hostname:port，此处hostname和port分别是ZooKeeper集群中某个节点的host和port；为了当某个host宕掉之后你能通过其他ZooKeeper节点进行连接，你可以按照一下方式制定多个hosts：
hostname1:port1, hostname2:port2, hostname3:port3.

ZooKeeper 允许你增加一个“chroot”路径，将集群中所有kafka数据存放在特定的路径下。当多个Kafka集群或者其他应用使用相同ZooKeeper集群时，可以使用这个方式设置数据存放路径。这种方式的实现可以通过这样设置连接字符串格式，如下所示：
hostname1：port1，hostname2：port2，hostname3：port3/chroot/path
这样设置就将所有kafka集群数据存放在/chroot/path路径下。注意，在你启动broker之前，你必须创建这个路径，并且consumers必须使用相同的连接格式。