cdh集成StreamSets安装配置

1.安装前准备

到StreamSets官网提供的下载址：https://archives.streamsets.com/index.html

下载以下文件：这里下载使用的是 3.0版本

1.manifest.json 文件

2.STREAMSETS_DATACOLLECTOR-3.0.0.0-el7.parcel文件（比较大约4G左右，包含比较完整的插件）

3.STREAMSETS-3.0.0.0.jar

 

2: 启动httpd-server（没安装过百度一下）

rpm -qa|grep httpd 查看是否安装http

service httpd start 启动httpd

3: 配置本地Parcel包

将下载的manifest.json和 STREAMSETS_DATACOLLECTOR-3.0.0.0-el7.parcel，放在一个新建文件夹streamsets3.0中，并移动到/var/www/html 目录中，做离线包的下载地址，用浏览器访问如下，表示成功

4.配置CSD

4.1:将STREAMSETS-3.0.0.0.jar拷贝到/opt/cloudera/csd,并更改权限，然后重启cloudera-scm-server服务

cp STREAMSETS-3.0.0.0.jar /opt/cloudera/csd

sudo chown cloudera-scm:cloudera-scm STREAMSETS-3.0.0.0.jar && sudo chmod 644 STREAMSETS-3.0.0.0.jar

/opt/cm-5.12.1/etc/init.d/cloudera-scm-server restart

5.下载分发激活Parcel包

        点击主机---Parcel---(右上角的)配置（http://192.168.6.171/streamsets3.0/）

并下载--分发--激活(省略该步骤，直接查看激活后的状态)

6.添加StreamSets服务

---

注意：

如果你安装centos基本网页服务器所有的程序都安装了，这块应该不会报错。如果安装StreamSets之后，在cdh出现什么未知服务，那就重启cdh就可以了

 

1.发现是竟然是jdk7,我的系统安装的jdk8.通过rpm发现系统有一个openjdk.

rpm -qa|grep jdk
rpm -e --nodeps java-1.7.0-openjdk
rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.91-2.6.2.3.el7.x86_64

2.继续安装还会报错找不到java_home.
原因：由于CDH不会使用系统默认JAVA_HOME环境变量，而是使用Bigtop进行管理，故我们需要安装Bigtop的规则在指定的位置安装jdk。已经有的JAVA_HOME  链接到 /usr/java/jdk1.8 就好了！

find / -name cloudera-config.sh
mkdir -p /usr/java/jdk1.8

ln -s 源文件 目标文件

ln -s /opt/jdk/jdk1.8.0_201/* /usr/java/jdk1.8/