Streamsets使用过程中遇到的问题及解决办法

1、streamsets添加外部jar包时报错

界面上加载不出来stageLibrary，后台日志报错：

 java.net.UnknownHostException: archives.streamsets.com

网上找的类似的问题，但没有给出解决办法：https://issues.streamsets.com/browse/SDC-10236?page=com.atlassian.jira.plugin.system.issuetabpanels%3Aworklog-tabpanel

我这边仔细排查日志，发现有如下信息：

 INFO  ClassLoaderStageLibraryTask - Reading from Repository Manifest URL:
 http://archives.streamsets.com/datacollector/3.7.1/tarball/repository.manifest.json

解决办法：

把链接复制到浏览器是可以访问的，在主机上用curl命令却半天出不来结果，ping这个主机名也反应一会，但还是ping通了，最后配置了主机名和ip 的映射，解决了问题。

2、StreamSets日志报错

2019-04-29 14:34:01,070 [user:*?] [pipeline:-] [runner:] [thread:runner-pool-2-thread-38] [stage:] ERROR SupportBundleManager - Support bundle upload failed:
com.amazonaws.SdkClientException: Unable to execute HTTP request: s3.us-west-2.amazonaws.com
        。。。
Caused by: java.net.UnknownHostException: s3.us-west-2.amazonaws.com
        at java.net.InetAddress.getAllByName0(InetAddress.java:1280)
。。。

注：该错误不影响StreamSets流程执行

解决办法：

报错是由于streamsets部署内网，访问不了这个主机 s3.us-west-2.amazonaws.com，可以通过修改配置解决

1、修改配置文件
sdc.properties

Uncomment if you need to disable the facility for automatic support bundle upload.
bundle.upload.enabled=false

配置之后应该会报如下错误，其实也不影响任务正常运行，不想看到的话可以通过2中的方法解决：

java.io.IOException: Uploading support bundles was disabled by administrator.

https://ask.streamsets.com/question/649/how-do-i-adjust-the-log-level-for-a-single-class-or-package-in-sdc/
2、修改日志配置文件,或者在界面上改：配置 / Logs / Log Config
sdc-log4j.properties

log4j.logger.com.streamsets.datacollector.bundles.SupportBundleManager=INFO

3、StreamSets推送Directory目录下数据到Kafka报错

解决办法：

修改Directory组件的Buffer Limit，默认为128M，修改大小根据文件的大小程度决定。

4、汉化streamsets之后，不支持中文组件名称

解决办法：

由之前的正则[0-9A-Za-z_\\s]+修改为 ^[\u4e00-\u9fa5_a-zA-Z0-9]+$，这个正则支持中文，数字，下划线，字母

支持空格、-、_的正则正确写法为：^[\u4e00-\u9fa5_a-zA-Z0-9\\s-_]+$

在修改时注意项目引用的api的JAR与streamsets-datacollector-api的版本问题