Oracle 数据同步至 Elasticsreach
数据同步使用的是：logstash
官方文档：
https://www.elastic.co/guide/en/logstash/7.6/plugins-inputs-jdbc.html
环境准备：
elasticsearch7.6、kibana7.6、logstash7.6.
这里没必要用docker， 因为太过麻烦， 只有依赖过多时，使用docker才方便。
oracle 版本：
对应的jar版本：
将jar包下载，上传至logstash/lib
新建一个jar文件夹。
在/software/es/logstash-7.6.0/config 目录下新建logstash.json的配置文件： logstash.json
转载： https://blog.csdn.net/u014646662/article/details/94736551
这个文件指定分片数量， 分词器等等。 将如下内容加入 logstash.json 文件中：
"shards": 主分片数量
"template": "*",是匹配所有索引的意思，
如果只想匹配以test-开头的索引， "template": "test-*"
"analyzer": "ik_smart",这里用的是ik分词器，如果想是有其他分词器，在这里修改即可
"match": "*",匹配字段名
"date_detection": true,识别日期类型
"numeric_detection": true,识别数字类型
{
"index_patterns": ["*"],
"order" : 0,
"version": 1,
"settings": {
"number_of_shards": 5,
"number_of_replicas":3
},
"mappings": {
"date_detection": true,
"numeric_detection": true,
"dynamic_templates": [
{
"string_fields": {
"match": "*",
"match_mapping_type": "string",
"mapping": {
"type": "text",
"norms": false,
"analyzer": "ik_smart",
"fields": {
"keyword": {
"type": "keyword"
}
}
}
}
}
]
}
}
在/software/es/logstash-7.6.0/config 目录下新建表名的配置文件： xxx.conf
将如下内容加入， 修改自己的路径， 表名。 这里使用的是更新时间判断数据是否修改。
配置转载： https://blog.csdn.net/huan_lxyd/article/details/103547686
# Sample Logstash configuration for creating a simple
# Beats -> Logstash -> Elasticsearch pipeline.
input{
jdbc{
# 数据库驱动包存放路径
# 此处遇到坑
jdbc_driver_library => "/software/es/logstash-7.6.0/lib/jar/ojdbc8-12.2.0.1.jar"
# 数据库驱动器；
jdbc_driver_class => "Java::oracle.jdbc.driver.OracleDriver"
# 数据库连接方式
jdbc_connection_string => "jdbc:oracle:thin:@192.168.10.128:1521/test"
# 数据库用户名
jdbc_user => "tests"
# 数据库密码
jdbc_password => "tests"
# 数据库重连尝试次数
connection_retry_attempts => "3"
# 判断数据库连接是否可用，默认false不开启
jdbc_validate_connection => "true"
# 数据库连接可用校验超时时间，默认3600s
jdbc_validation_timeout => "3600"
# 开启分页查询（默认false不开启）
jdbc_paging_enabled => "true"
# 单次分页查询条数（默认100000,若字段较多且更新频率较高，建议调低此值）
jdbc_page_size => "1000"
# statement为查询数据sql，如果sql较复杂，建议通过statement_filepath配置sql文件的存放路径
# statement_filepath => "E:\STUDY\elasticsearch\oralce2es\logstash-7.5.0\config\querysql.sql"
# sql_last_value为内置的变量，存放上次查询结果中最后一条数据tracking_column的值，此处即为rowid
statement => "SELECT * FROM T_TEST_JJDB WHERE GXSJ > :sql_last_value"
# 是否将字段名转换为小写，默认true（如果有数据序列化、反序列化需求，建议改为false）；
lowercase_column_names => false
# 是否记录上次执行结果，true表示会将上次执行结果的tracking_column字段的值保存到last_run_metadata_path指定的文件中
record_last_run => true
# 需要记录查询结果某字段的值时，此字段为true，否则默认tracking_column为timestamp的值
use_column_value => true
# 查询结果某字段的数据类型，仅包括numeric和timestamp，默认为numeric
tracking_column_type => timestamp
# 需要记录的字段，用于增量同步，需是数据库字段
tracking_column => "GXSJ"
# 记录上次执行结果数据的存放位置
last_run_metadata_path => "/software/es/logstash-7.6.0/path/jjdblast.log"
# 是否清除last_run_metadata_path的记录，需要增量同步时此字段必须为false
clean_run => false
# 同步频率(分 时 天 月 年)，默认每分钟同步一次
schedule => "* * * * *"
# ES索引的type
#type => "_doc"
}
}
output{
elasticsearch{
# ES地址，集群中多个地址可用数组形式：hosts => ["192.168.1.1:9200", "192.168.1.2:9200"]
hosts => "192.168.10.xxx:9200"
# 索引名称
index => "jjdb"
# 数据唯一索引（建议同数据库表的唯一ID对应）
document_id => "%{JJDBID}"
#模版名称
template_name => "logstash"
#模版文件路径
template => "/software/es/logstash-7.6.0/config/logstash.json"
#模版如果存在， 则覆盖
template_overwrite => true
#管理模版
manage_template => true
}
}
2： 在/software/es/logstash-7.6.0/config/pipelines.yml 文件中加入刚刚创建的xxx.conf文件路径。
如果是多个表，就创建多个 xxx.conf, 然后在pipelines.yml 的 pipeline.id 中配置路径。多个xx.conf就多个pipeline.id，path.config
3: 启动logstash:
./../bin/logstash -f 需要指定 xxx.conf， 没有指定xxx.conf则默认使用pipelines.yml中的配置。
报如下错误就是：
数据库驱动jdbc_driver_class前面少了Java::，导致启动报错：oracle.jdbc.driver.OracleDriver not loaded. Are you sure you’ve included the correct jdbc driver in :jdbc_driver_library?
如下为启动成功, logstash.json, pipe 都成功， 并执行sql.
kibana 中看见索引已经创建了。
kibana中， 分片数量， 分词器都是配置文件中配置的。 至此同步完成。
