StreamSets是一个大数据采集工具,数据源支持包括结构化和半/非结构化,目标源支持HDFS,HBase,Hive,Kudu,Cloudera Search, ElasticSearch等。它包括一个拖拽式的可视化数据流程设计界面,定时任务调度等功能。举例,它可以将数据源从Kafka+Spark Streaming连接到你的Hadoop集群,而不需要写一行代码。
StreamSets并没有集成在cdh中,因此需要我们自己去官方下载软件包
下载地址: https://archives.streamsets.com/index.html
下载下来的文件如下,软件包有4.6G左右,需要点耐心
配置本地yum源
新建一个目录,把STREAMSETS_DATACOLLECTOR-3.10.0-el7.parcel, manifest.json放目录里
mkdir /var/www/html/streamsets mv STREAMSETS_DATACOLLECTOR-3.10.0-el7.parcel /var/www/html/streamsets mv manifest.json /var/www/html/streamsets cd /var/www/html/streamsets createrepo .
配置yum
![](http://img.e-com-net.com/image/info8/b8d97b5613f94ed2ba791cad57d0b2ed.gif)
![](http://img.e-com-net.com/image/info8/2f88dd3f1cd145f59c0e47b51acdbd4b.gif)
[root@cm ~]# cat /etc/yum.repos.d/ss.repo [ssrepo] name = ss_repo baseurl = http://10.1.1.120/streamsets enable = true gpgcheck = false
把ss.repo拷贝到集群其他节点,然后执行 yum. repolist,可以看到配置的yum 源
下载分发激活Parcel包
主机---Parcel---配置
点击下载--分配--激活,因为包比较大,时间可能会稍微有点长
#######小坑##########
就是分配过程中cloudera server那台机一直卡在那里,其他节点没问题,进行了回滚操作
![](http://img.e-com-net.com/image/info8/b8d97b5613f94ed2ba791cad57d0b2ed.gif)
![](http://img.e-com-net.com/image/info8/2f88dd3f1cd145f59c0e47b51acdbd4b.gif)
#curl -u user:password -X POST http://cm.bigdata-heboan.com:7180/api/v18/clusters/cdh-heboan/parcels/products/{product}/versions/{version}/commands/deactivate curl -u admin:admin -X POST http://cm.bigdata-heboan.com:7180/api/v18/clusters/cdh-heboan/parcels/products/STREAMSETS_DATACOLLECTOR/versions/3.10.0/commands/deactivate
后面发现,是clouder server这台机器的/etc/cloudera-scm-agent/config.ini 中的server_host是localhost,后面改为如下问题解决
![](http://img.e-com-net.com/image/info8/b8d97b5613f94ed2ba791cad57d0b2ed.gif)
![](http://img.e-com-net.com/image/info8/2f88dd3f1cd145f59c0e47b51acdbd4b.gif)
...
# Hostname of the CM server.
server_host=cm.bigdata-heboan.com
中途遇到一次提示STREAMSETS_DATACOLLECTOR-3.10.0-el7.parcel哈希验证失败,解决办法是去到cm机器上的/opt/cloudera/parcel-repo目录
执行 sha1sum /opt/cloudera/parcel-repo, 把得出的哈希值替换STREAMSETS_DATACOLLECTOR-3.10.0-el7.parcel.sha里面的内容
添加服务
选择StreamSets
分配角色
数据目录
启动成功后
点击Data Collector Web UI
默认账号: admin/admin