logstash-input-jdbc 安装教程

参考文档

• https://github.com/logstash-plugins/logstash-input-jdbc
• https://www.cnblogs.com/xuwenjin/p/8989043.html
• https://blog.csdn.net/yeyuma/article/details/50240595#quote

安装步骤

安装 JRuby

• 下载程序包：jruby_windows_x64_9_2_7_0.exe
  • https://www.jruby.org/download
• 运行程序包，根据安装向导提示进行操作即可完成安装：
  • 

安装 logstash-input-jdbc 插件

• 下载 logstash-input-jdbc源码。当前最新是 4.3.13 版本: logstash-input-jdbc-4.3.13.zip
  • https://github.com/logstash-plugins/logstash-input-jdbc/releases/tag/v4.3.13
• 构建 logstash-input-jdbc插件
  • 解压 logstash-input-jdbc-4.3.13.zip。
  • 进入解压目录，执行：gem build logstash-input-jdbc.gemspec
    • 最终得到：logstash-input-jdbc.gem
    • 
• 安装 logstash-input-jdbc插件
  • 更换源：
    • gem sources -r https://rubygems.org/
    • gem sources -a https://gems.ruby-china.com/
  • 进入Logstash安装目录，执行命令：bin/logstash-plugin.bat install /your_local_plugin/logstash-input-jdbc.gem
    • /your_local_plugin/logstash-input-jdbc.gem是上一步构建得到的插件的路径
    • 

数据库同步测试

• 准备驱动包：mysql-connector-java-8.0.15.jar
• 准备配置文件：
  • jdbc.conf

  • input {
    	jdbc {
        	# 数据库地址  端口  数据库名
        	jdbc_connection_string => "jdbc:mysql://localhost:3306/andy_test?serverTimezone=UTC"
        	# 数据库用户名      
        	jdbc_user => "root"
        	# 数据库密码
        	jdbc_password => "123456"
        	# mysql java驱动地址 
        	jdbc_driver_library => "D:/software/devTools/logstash-6.4.3/jdbc_files/mysql-connector-java-8.0.15.jar"
        	# 在 mysql-connector-java-8.0.15.jar 驱动类已经发生了变化   
    	    jdbc_driver_class => "com.mysql.cj.jdbc.Driver"
    	    jdbc_paging_enabled => "true"
        	jdbc_page_size => "50000"
        	# sql 语句
        	statement => "select * from computer"
        	schedule => "* * * * *"
    	    type => "computer"
        }
    
    	jdbc {
        	# 数据库地址  端口  数据库名
        	jdbc_connection_string => "jdbc:mysql://localhost:3306/andy_test?serverTimezone=UTC"
        	# 数据库用户名      
        	jdbc_user => "root"
        	# 数据库密码
        	jdbc_password => "123456"
        	# mysql java驱动地址 
        	jdbc_driver_library => "D:/software/devTools/logstash-6.4.3/jdbc_files/mysql-connector-java-8.0.15.jar"
        	# 在 mysql-connector-java-8.0.15.jar 驱动类已经发生了变化   
        	jdbc_driver_class => "com.mysql.cj.jdbc.Driver"
        	jdbc_paging_enabled => "true"
        	jdbc_page_size => "50000"
        	# sql 语句
        	statement => "select * from user"
        	schedule => "* * * * *"
        	type => "user"
    	}
    }
    output {
    	stdout {
    		codec => json_lines
    	}
    	if[type] == "computer" {
            elasticsearch {
                hosts => ["localhost:9200"]
                index => "computer"
                document_id => "%{id}"
            }
        }
        if[type] == "user" {
            elasticsearch {
                hosts => ["localhost:9200"]
                index => "user"
                document_id => "%{id}"
            }
        }
    }
    

• 执行同步命令：bin/logstash.bat -f jdbc_files/jdbc.conf
  • 
• 通过 Kibana 查看搜索引擎中的数据。Kibana 安装教程点击这里
  •