linux需关闭防火墙,
网络
获取方式 静态
IP 192.168.1.180
子网掩码255.255.255.0
网关192.168.1.1
DNS 114.114.114.114
挂载, 将11T硬盘挂载到opt目录下(注意ext4 和xfs格式区别)
格式化硬盘 mkfs -t ext4 /dev/sdb
挂载 mount /dev/sdb /opt
永久写入 blkid /dev/sdb | awk ‘{print $2,"/opt ext4 defaults 0 0"}’>> /etc/fstab
查看fstab文件写入是否成功 cat /etc/fstab
查看 mount
重启
安装jdk
上传JDK rpm包
部署streamsets
创建目录
将tar包上传至服务器,(将tar包放入opt或其他文件夹),
解压tar包 :# tar xvzf streamsets-datacollector-core-***.tgz
进入bin文件夹 :# cd streamsets-datacollector-***/bin/
执行命令:# ./streamsets dc
有可能会报错 :
Java 1.8 detected; adding $SDC_JAVA8_OPTS of “-XX:+UseConcMarkSweepGC -XX:+UseParNewGC -Djdk.nio.maxCachedBufferSize=262144” to $SDC_JAVA_OPTS
Configuration of maximum open file limit is too low: 1024 (expected at least 32768). Please consult https://goo.gl/6dmjXd
如果在运行的时候遇到上面的报错,修改操作系统的 open files 限制数量即可。
命令 #vi /etc/security/limits.conf
在 # End of file结束语上方 添加两行内容:
soft nofile 102400
hard nofile 102400
保存退出.然后重启机器reboot.
运行 ‘ulimit -n’ 既可以看到 open files 设置值已生效。
然后重新进入bin目录执行命令:# ./streamsets dc
StreamSets项目本身具有WEB界面,启动项目后如出现Running on URL : 'http://ip:18630’则说明项目启动成功.
部署完成!
修改密码
编辑 vim /opt/streamsets-datacollector-3.10.0/etc/basic-realm.properties 文件
将要更改的密码进行MD5加密 然后复制到要更改的用户,放开注释即可.添加用户同理
修改端口 vim /opt/streamsets-datacollector-3.10.0/etc/sdc.properties