logstash-input-jdbc 安装教程

logstash-input-jdbc 安装教程

  • 参考文档
  • 安装步骤
    • 安装 JRuby
    • 安装 logstash-input-jdbc 插件
    • 数据库同步测试

参考文档

  • https://github.com/logstash-plugins/logstash-input-jdbc
  • https://www.cnblogs.com/xuwenjin/p/8989043.html
  • https://blog.csdn.net/yeyuma/article/details/50240595#quote

安装步骤

安装 JRuby

  • 下载程序包:jruby_windows_x64_9_2_7_0.exe
    • https://www.jruby.org/download
  • 运行程序包,根据安装向导提示进行操作即可完成安装:
    • logstash-input-jdbc 安装教程_第1张图片

安装 logstash-input-jdbc 插件

  • 下载 logstash-input-jdbc源码。当前最新是 4.3.13 版本: logstash-input-jdbc-4.3.13.zip
    • https://github.com/logstash-plugins/logstash-input-jdbc/releases/tag/v4.3.13
  • 构建 logstash-input-jdbc插件
    • 解压 logstash-input-jdbc-4.3.13.zip
    • 进入解压目录,执行:gem build logstash-input-jdbc.gemspec
      • 最终得到:logstash-input-jdbc.gem
      • logstash-input-jdbc 安装教程_第2张图片
  • 安装 logstash-input-jdbc插件
    • 更换源:
      • gem sources -r https://rubygems.org/
      • gem sources -a https://gems.ruby-china.com/
    • 进入Logstash安装目录,执行命令:bin/logstash-plugin.bat install /your_local_plugin/logstash-input-jdbc.gem
      • /your_local_plugin/logstash-input-jdbc.gem是上一步构建得到的插件的路径
      • 安装时间有点久。可以先去倒杯咖啡。

数据库同步测试

  • 准备驱动包:mysql-connector-java-8.0.15.jar
  • 准备配置文件:
    • jdbc.conf
    • input {
      	jdbc {
          	# 数据库地址  端口  数据库名
          	jdbc_connection_string => "jdbc:mysql://localhost:3306/andy_test?serverTimezone=UTC"
          	# 数据库用户名      
          	jdbc_user => "root"
          	# 数据库密码
          	jdbc_password => "123456"
          	# mysql java驱动地址 
          	jdbc_driver_library => "D:/software/devTools/logstash-6.4.3/jdbc_files/mysql-connector-java-8.0.15.jar"
          	# 在 mysql-connector-java-8.0.15.jar 驱动类已经发生了变化   
      	    jdbc_driver_class => "com.mysql.cj.jdbc.Driver"
      	    jdbc_paging_enabled => "true"
          	jdbc_page_size => "50000"
          	# sql 语句
          	statement => "select * from computer"
          	schedule => "* * * * *"
      	    type => "computer"
          }
      
      	jdbc {
          	# 数据库地址  端口  数据库名
          	jdbc_connection_string => "jdbc:mysql://localhost:3306/andy_test?serverTimezone=UTC"
          	# 数据库用户名      
          	jdbc_user => "root"
          	# 数据库密码
          	jdbc_password => "123456"
          	# mysql java驱动地址 
          	jdbc_driver_library => "D:/software/devTools/logstash-6.4.3/jdbc_files/mysql-connector-java-8.0.15.jar"
          	# 在 mysql-connector-java-8.0.15.jar 驱动类已经发生了变化   
          	jdbc_driver_class => "com.mysql.cj.jdbc.Driver"
          	jdbc_paging_enabled => "true"
          	jdbc_page_size => "50000"
          	# sql 语句
          	statement => "select * from user"
          	schedule => "* * * * *"
          	type => "user"
      	}
      }
      output {
      	stdout {
      		codec => json_lines
      	}
      	if[type] == "computer" {
              elasticsearch {
                  hosts => ["localhost:9200"]
                  index => "computer"
                  document_id => "%{id}"
              }
          }
          if[type] == "user" {
              elasticsearch {
                  hosts => ["localhost:9200"]
                  index => "user"
                  document_id => "%{id}"
              }
          }
      }
      
  • 执行同步命令:bin/logstash.bat -f jdbc_files/jdbc.conf
    • logstash-input-jdbc 安装教程_第3张图片
  • 通过 Kibana 查看搜索引擎中的数据。Kibana 安装教程点击这里
    • logstash-input-jdbc 安装教程_第4张图片

你可能感兴趣的:(Elasticsearch)