kafka、zookeeper、storm集群常用命令汇总

kafka命令：
0.查看有哪些主题： ./kafka-topics.sh --list --zookeeper 192.168.0.201:2181


1.查看topic的详细信息
./kafka-topics.sh -zookeeper 127.0.0.1:2181 -describe -topic testKJ1


2、为topic增加副本
./kafka-reassign-partitions.sh -zookeeper 127.0.0.1:2181 -reassignment-json-file json/partitions-to-move.json -execute


3、创建topic
./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testKJ1


4、为topic增加partition
./bin/kafka-topics.sh –zookeeper 127.0.0.1:2181 –alter –partitions 20 –topic testKJ1


5、kafka生产者客户端命令
./kafka-console-producer.sh --broker-list localhost:9092 --topic testKJ1




6、kafka消费者客户端命令
./kafka-console-consumer.sh -zookeeper localhost:2181 --from-beginning --topic testKJ1


7、kafka服务启动
./kafka-server-start.sh -daemon ../config/server.properties 


8、下线broker
./kafka-run-class.sh kafka.admin.ShutdownBroker --zookeeper 127.0.0.1:2181 --broker #brokerId# --num.retries 3 --retry.interval.ms 60 shutdown broker


9、删除topic
./kafka-run-class.sh kafka.admin.DeleteTopicCommand --topic testKJ1 --zookeeper 127.0.0.1:2181
./kafka-topics.sh --zookeeper localhost:2181 --delete --topic testKJ1


10、查看consumer组内消费的offset
./kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper localhost:2181 --group test --topic testKJ1
 ./kafka-consumer-offset-checker.sh --zookeeper 192.168.0.201:12181 --group group1 --topic group1
 
 
zookeeper命令：
1. 启动ZK服务: bin/zkServer.sh start
2. 查看ZK服务状态: bin/zkServer.sh status
3. 停止ZK服务: bin/zkServer.sh stop
4. 重启ZK服务: bin/zkServer.sh restart 
5. 连接服务器: zkCli.sh -server 127.0.0.1:2181
zookeeper客户端命令：
1.ls -- 查看某个目录包含的所有文件，例如：
[zk: 127.0.0.1:2181(CONNECTED) 1] ls /


2.ls2 -- 查看某个目录包含的所有文件，与ls不同的是它查看到time、version等信息，例如：
[zk: 127.0.0.1:2181(CONNECTED) 1] ls2 /


3.create -- 创建znode，并设置初始内容，例如：
[zk: 127.0.0.1:2181(CONNECTED) 1] create /test "test" 
Created /test


4.get -- 获取znode的数据，如下：
[zk: 127.0.0.1:2181(CONNECTED) 1] get /test


5.set -- 修改znode内容，例如：
[zk: 127.0.0.1:2181(CONNECTED) 1] set /test "ricky"


6.delete -- 删除znode，例如：
[zk: 127.0.0.1:2181(CONNECTED) 1] delete /test


7.quit -- 退出客户端


8.help -- 帮助命令


storm命令：
后台启动： bin/storm nimbus >/dev/null 2>&1 &


1.提交topology任务命令
storm jar xxx.jar com.daqsoft.TestMain testTopology
2.杀死topology任务
storm kill topology-name [-w wait-time-secs] -w 等待多少秒后杀死
3.启动nimbus守护进程
storm nimbus
4.启动supervisor守护进程
storm supervisor
5.启动ui守护进程
storm ui
6.启动drpc守护进程
storm drpc
7.提供一个Web接口查看Storm日志文件,在storm ui上就可以观看
storm logviewer
8.列出正在运行的拓扑及其状态
storm list
9.激活指定的topology的spout
storm activate topology-name
10.storm版本输出
storm version




关闭防火墙
查看状态
chkconfig --list iptables
永久关闭
chkconfig iptables off


Linux设置主机名和配置主机名跟IP地址映射
vi /etc/sysconfig/network
vi /etc/hosts
切换到root权限执行：hostname hadoop（使得名字里立即生效）


teamview 192.168.2.74虚拟机  账号 804 436 360 密码 5201314   登录  kafka
teamview 192.168.2.40虚拟机  账号 899 084 299 密码 5201314   登录  kafka




zookeeper常见错误：
 Error contacting service. It is probably not running：检查配置文件中 两个文件路径是否正确，检查myid文件位置、内容是否正确；注意查看zookeeper安装目录中的 zookeeper.out日志文件内容。
 特别是  如果是用主机名配置的情况，需要看主机名是否生效，不能用ping的方式，没有效果，需要执行一次，hostname hadoop命令，可以使配置文件生效。


kafka启动错误：
如果启动不起来，可能原因是  logs下面的东西需要删除，但是慎重，因为这个是数据。