kafka、zookeeper、storm集群常用命令汇总

kafka命令:
0.查看有哪些主题: ./kafka-topics.sh --list --zookeeper 192.168.0.201:2181


1.查看topic的详细信息
./kafka-topics.sh -zookeeper 127.0.0.1:2181 -describe -topic testKJ1


2、为topic增加副本
./kafka-reassign-partitions.sh -zookeeper 127.0.0.1:2181 -reassignment-json-file json/partitions-to-move.json -execute


3、创建topic
./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testKJ1


4、为topic增加partition
./bin/kafka-topics.sh –zookeeper 127.0.0.1:2181 –alter –partitions 20 –topic testKJ1


5、kafka生产者客户端命令
./kafka-console-producer.sh --broker-list localhost:9092 --topic testKJ1




6、kafka消费者客户端命令
./kafka-console-consumer.sh -zookeeper localhost:2181 --from-beginning --topic testKJ1


7、kafka服务启动
./kafka-server-start.sh -daemon ../config/server.properties 


8、下线broker
./kafka-run-class.sh kafka.admin.ShutdownBroker --zookeeper 127.0.0.1:2181 --broker #brokerId# --num.retries 3 --retry.interval.ms 60 shutdown broker


9、删除topic
./kafka-run-class.sh kafka.admin.DeleteTopicCommand --topic testKJ1 --zookeeper 127.0.0.1:2181
./kafka-topics.sh --zookeeper localhost:2181 --delete --topic testKJ1


10、查看consumer组内消费的offset
./kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper localhost:2181 --group test --topic testKJ1
 ./kafka-consumer-offset-checker.sh --zookeeper 192.168.0.201:12181 --group group1 --topic group1
 
 
zookeeper命令:
1. 启动ZK服务: bin/zkServer.sh start
2. 查看ZK服务状态: bin/zkServer.sh status
3. 停止ZK服务: bin/zkServer.sh stop
4. 重启ZK服务: bin/zkServer.sh restart 
5. 连接服务器: zkCli.sh -server 127.0.0.1:2181
zookeeper客户端命令:
1.ls -- 查看某个目录包含的所有文件,例如:
[zk: 127.0.0.1:2181(CONNECTED) 1] ls /


2.ls2 -- 查看某个目录包含的所有文件,与ls不同的是它查看到time、version等信息,例如:
[zk: 127.0.0.1:2181(CONNECTED) 1] ls2 /


3.create -- 创建znode,并设置初始内容,例如:
[zk: 127.0.0.1:2181(CONNECTED) 1] create /test "test" 
Created /test


4.get -- 获取znode的数据,如下:
[zk: 127.0.0.1:2181(CONNECTED) 1] get /test


5.set -- 修改znode内容,例如:
[zk: 127.0.0.1:2181(CONNECTED) 1] set /test "ricky"


6.delete -- 删除znode,例如:
[zk: 127.0.0.1:2181(CONNECTED) 1] delete /test


7.quit -- 退出客户端


8.help -- 帮助命令


storm命令:
后台启动: bin/storm nimbus >/dev/null 2>&1 &


1.提交topology任务命令
storm jar xxx.jar com.daqsoft.TestMain testTopology
2.杀死topology任务
storm kill topology-name [-w wait-time-secs] -w 等待多少秒后杀死
3.启动nimbus守护进程
storm nimbus
4.启动supervisor守护进程
storm supervisor
5.启动ui守护进程
storm ui
6.启动drpc守护进程
storm drpc
7.提供一个Web接口查看Storm日志文件,在storm ui上就可以观看
storm logviewer
8.列出正在运行的拓扑及其状态
storm list
9.激活指定的topology的spout
storm activate topology-name
10.storm版本输出
storm version




关闭防火墙
查看状态
chkconfig --list iptables
永久关闭
chkconfig iptables off


Linux设置主机名和配置主机名跟IP地址映射
vi /etc/sysconfig/network
vi /etc/hosts
切换到root权限执行:hostname hadoop(使得名字里立即生效)


teamview 192.168.2.74虚拟机  账号 804 436 360 密码 5201314   登录  kafka
teamview 192.168.2.40虚拟机  账号 899 084 299 密码 5201314   登录  kafka




zookeeper常见错误:
 Error contacting service. It is probably not running:检查配置文件中 两个文件路径是否正确,检查myid文件位置、内容是否正确;注意查看zookeeper安装目录中的 zookeeper.out日志文件内容。
 特别是  如果是用主机名配置的情况,需要看主机名是否生效,不能用ping的方式,没有效果,需要执行一次,hostname hadoop命令,可以使配置文件生效。


kafka启动错误:
如果启动不起来,可能原因是  logs下面的东西需要删除,但是慎重,因为这个是数据。

你可能感兴趣的:(kafka,storm,zookeeper集群)