windows下使用logstash同步跨网络集群的数据

  我们在开发环境过程中，可能会遇到这样的场景。我们可以通过VPN访问远端的机房。有可能还要跨机房访问。这篇文章演示使用logstash，在windows上，去同步跨网络环境的不同机房之间的数据。

  此方式受网络限制。适合同步小规模数据。

下载logstash并解压

es官方地址

Past Releases of Elastic Stack Software | Elastic

在个界面，找到和es对应的版本去下载即可

选windows

修改配置文件

config\logstash-sample.conf

指定两个索引的

# Sample Logstash configuration for creating a simple
# Beats -> Logstash -> Elasticsearch pipeline.

input {
  elasticsearch {
    hosts => ["http://fromIp:9200"]
    index => "my_index-000001"
    query => '{"query":{"term":{"file_id":{"value":"1734153971053027330"}}}}'
    scroll => "3m"
    size => 100
  }
}

output {
  elasticsearch {
    hosts => ["http://toIp:9200"]
    index => "my_index-000001"
    # 如果没有可以注释
    user => "elastic"
    password => "33333"
  }
}

打开控制台

进入解压后的bin目录中，然后在上边直接cmd，进入打开控制台

在控制台中，启动logstash，并指定配置文件

logstash.bat -f  D:\angus\es\logstash-8.8.0\config\logstash-sample.conf

我这里边的日志，是已经同步完数据了。