ElasticSearch中 logstash安装和logstash-input-jdbc插件

参考老铁的一篇文章：https://blog.csdn.net/q15150676766/article/details/75949679，他这个是logstash 5.5.0版本的，我使用的版本是5.6.3，注意这个版本需要和elasticsearch的版本一致。

下载安装

wget https://artifacts.elastic.co/downloads/logstash/logstash-5.6.3.zip
   
   
   
   

   
   
   
   

    
    
    
    
1
   
   
   
   

下载完之后

unzip logstash-5.6.3.zip
   
   
   
   

   
   
   
   

    
    
    
    
1
   
   
   
   

之后将文件移动到自己存放的目录即可。

启动服务测试一下是否安装成功：

cd bin
./logstash -e 'input { stdin { } } output { stdout {} }'
   
   
   
   

   
   
   
   

    
    
    
    
1
    
    
    
    
2
   
   
   
   

如果出现下面的东西就表示成功：

输入随便什么内容：

HelloWorld
   
   
   
   

   
   
   
   

    
    
    
    
1
   
   
   
   

就会变成下面这样：

基本上这样就算是安装成功了
安装logstash是一件比较蛋疼的事，因为这东西适用ruby开发的，我对ruby这东西是一点也不懂，所以比较不好弄。
如果没有gem命令的话，需要先安装一下子（root用户才可以）

yum install gem
   
   
   
   

   
   
   
   

    
    
    
    
1
   
   
   
   

替换ruby镜像库为国内的库，因为国外的库，国内是访问不到的，然后国内有两个库，两个库都是可以用的：
替换成ruby-china的库

gem sources --add https://gems.ruby-china.com/ --remove https://rubygems.org/
#这里https://gems.ruby-china.com/ 是国内镜像地址
#原本是https://gems.ruby-china.org/，现在域名从org变成了com，一定要注意！！
$ gem sources -l
*** CURRENT SOURCES ***

https://gems.ruby-china.com
# 请确保只有 gems.ruby-china.com，就说明成功了
   
   
   
   

   
   
   
   

    
    
    
    
1
    
    
    
    
2
    
    
    
    
3
    
    
    
    
4
    
    
    
    
5
    
    
    
    
6
    
    
    
    
7
    
    
    
    
8
   
   
   
   

替换完之后，进入logstash-5.6.3，修改Gemfile文件里面的数据源：

vi Gemfile
   
   
   
   

   
   
   
   

    
    
    
    
1
   
   
   
   

修改成这个样子：

source "https://gems.ruby-china.com"
   
   
   
   

   
   
   
   

    
    
    
    
1
   
   
   
   

好了，这样ruby的安装环境就算是配好了。

进入到logstash的bin下

cd bin
./logstash-plugin install logstash-input-jdbc
   
   
   
   

   
   
   
   

    
    
    
    
1
    
    
    
    
2
   
   
   
   

这个过程会很久，如果成功如下图所示，如果不成功把上面命令多试几次。

在本机的logstash-5.6.3目录下 导入mysql数据库连接包，mysql-connector-java-5.1.41.jar，随便什么版本应该都是可以的，可以使用wget下下来，也可以从本地下下来之后rz上传到服务器，这里就省略了。

然后在logstash-5.6.3/bin下新建一个目录config-mysql创建mysql.conf文件：

mkdir config-mysql
cd config-mysql
vim mysql.conf 
   
   
   
   

   
   
   
   

    
    
    
    
1
    
    
    
    
2
    
    
    
    
3
   
   
   
   

在文件中输入下面的内容：

input {
    stdin {
    }
    jdbc {
      # 数据库
      jdbc_connection_string => "jdbc:mysql://localhost:3306/test01"
      # 用户名密码(你的数据库的用户名和密码)
      jdbc_user => "root"
      jdbc_password => "password"
      # jar包的位置
      jdbc_driver_library => "/usr/local/logstash-5.6.3/mysql-connector-java-5.1.41.jar"
      # mysql的Driver
      jdbc_driver_class => "com.mysql.jdbc.Driver"
      jdbc_paging_enabled => "true"
      jdbc_page_size => "50000"
      #statement_filepath => "config-mysql/test02.sql"
      statement => "select * from test02"
      schedule => "* * * * *"
      #索引的类型
      type => "test02"
    }
}

filter {
    json {
        source => "message"
        remove_field => ["message"]
    }
}

output {
    elasticsearch {
        hosts => "127.0.0.1:9200"
        # index名
        index => "test01"
        # 需要关联的数据库中有有一个id字段，对应索引的id号
        document_id => "%{id}"
    }
    stdout {
        codec => json_lines
    }
}
   
   
   
   

   
   
   
   

    
    
    
    
1
    
    
    
    
2
    
    
    
    
3
    
    
    
    
4
    
    
    
    
5
    
    
    
    
6
    
    
    
    
7
    
    
    
    
8
    
    
    
    
9
    
    
    
    
10
    
    
    
    
11
    
    
    
    
12
    
    
    
    
13
    
    
    
    
14
    
    
    
    
15
    
    
    
    
16
    
    
    
    
17
    
    
    
    
18
    
    
    
    
19
    
    
    
    
20
    
    
    
    
21
    
    
    
    
22
    
    
    
    
23
    
    
    
    
24
    
    
    
    
25
    
    
    
    
26
    
    
    
    
27
    
    
    
    
28
    
    
    
    
29
    
    
    
    
30
    
    
    
    
31
    
    
    
    
32
    
    
    
    
33
    
    
    
    
34
    
    
    
    
35
    
    
    
    
36
    
    
    
    
37
    
    
    
    
38
    
    
    
    
39
    
    
    
    
40
    
    
    
    
41
    
    
    
    
42
   
   
   
   

注意关联的数据库表中需要有id字段用来映射形成的索引的id号。

终于把工作都做完了。

进入bin目录下输入下面的命令：

./logstash -f config-mysql/mysql.conf
   
   
   
   

   
   
   
   

    
    
    
    
1
   
   
   
   

可能会出现以下错误：

这个是因为，mysql.conf 编码格式问题，进入config-mysql文件夹下，使用下面命令解决：

file --mime-encoding mysql.conf                       #输入这条命令会查看编码格式
mysql.conf: iso-8859-1                                #我的是iso-8859-1

iconv -f iso-8859-1 -t utf-8 mysql.conf    utf-8      #将mysql.conf的编码格式改为utf-8

   
   
   
   

   
   
   
   

    
    
    
    
1
    
    
    
    
2
    
    
    
    
3
    
    
    
    
4
    
    
    
    
5
   
   
   
   

更改成功后，进入bin/目录下，输入下面的命令

./logstash -f config-mysql/mysql.conf
   
   
   
   

   
   
   
   

    
    
    
    
1
   
   
   
   

不报错的话就是安装成功了。