Storm部署经验

1. storm强依赖于zookeeper, 要求zookeeper 能快速读写硬盘,建议zookeeper单独配置硬盘。

2. 增加zookeeper最大连接数,默认60,可以配置maxClientCnxns=500

3. nimbus 部署的机器,不建议部署supervisor

4. 定时批量重启 supervisor,因为supervisor是个daemon进程,会不停的创建自进程,当使用时间过长,会打开过多的文件句柄,导致worker变慢,可以一定周期重启一下

5. nimbus 存在单点问题,比较脆弱,需要用supervisord这样的daemon工具拉起来,并定时监控上报重启时间。

6. 安装配置软连接storm =》 storm 0.9.4,方便升级

7. 配置中 storm.local.dir指向的地址,应指向 storm安装目录以外的公共的地址,方便升级后数据保留

8. storm.messaging.netty.server_worker_threads 和 storm.messaging.netty.client_worker_threads 可适当增加数量

9. slot的配置数 可参照 CPU核数 - 1


以上经验部分参照阿里的运维部署经验。


你可能感兴趣的:(Storm部署经验)