streamset安装配置

下载streamset 安装包

https://streamsets.com/

tar xvzf streamsets-datacollector-core-3.4.0.tgz
streamsets-datacollector-3.4.0/bin/streamset dc

出现的问题及解决方法

linux内核修改

(1)暂时性修改,只对当前终端有效

$ ulimit -HSn 65536
(2)将ulimit -HSn 65536 写到/etc/profile中,因为每次登录终端时,都会自动执行/etc/profile

(3)永久生效

修改配置文件:/etc/security/limits.conf ,在文件后添加如下内容,并重启

  • soft nofile 65536
  • hard nofile 65536

##简单的例子

mysql binlog开启

参见文章mysql 使用

相关资料

streamset例子

你可能感兴趣的:(hadoop)