OpenSearch日志管理系统搭建

1. 环境准备

1.1 服务器与网络

• 购买阿里云 ECS 服务器

  • 至少准备一台用于部署 OpenSearch 集群（建议至少3台节点实现高可用）

  • 另一台或多台服务器用于部署 Logstash 和 Filebeat（Filebeat可部署在日志产生端，也可作为容器或DaemonSet部署于 Kubernetes 集群中）

• 网络要求

  • 所有组件（OpenSearch、Logstash、Filebeat、Dashboards）需处于同一 VPC 内，确保内网通信顺畅

  • 配置安全组，开放必要端口（如：OpenSearch 默认 9200、Dashboards 默认 5601、Logstash beats 输入端口 5044）

1.2 软件版本建议

• OpenSearch/OpenSearch Dashboards：建议使用与 Filebeat/Logstash 版本兼容的版本，例如 OpenSearch OSS 1.x 版本（基于 Elasticsearch 7.10 版本）。

• Logstash 和 Filebeat：推荐使用与 OpenSearch 版本匹配的 Filebeat/Logstash OSS 版本，例如 Filebeat OSS 7.10～7.16 版和 Logstash OSS 同版本。

• JDK：确保所有基于 Java 的组件使用同一版本（一般推荐 Java 8 或自带 JDK）。

---

2. OpenSearch 集群部署

2.1 下载与安装

1. 在阿里云 ECS 上准备至少 3 台服务器，并安装 OpenSearch OSS 版本（可以采用 tar 包部署或使用 Docker 部署）。

2. 下载 OpenSearch 安装包：

   wget https://artifacts.opensearch.org/releases/bundle/opensearch/1.2.0/opensearch-1.2.0-linux-x64.tar.gz
   tar -zxvf opensearch-1.2.0-linux-x64.tar.gz -C /opt/
   

2.2 配置 OpenSearch

1. 编辑每个节点的配置文件 /opt/opensearch-1.2.0/config/opensearch.yml（以下示例为单集群多节点配置）：

   cluster.name: my-logs-cluster
   node.name: node-1           # 修改为各自节点名称（node-1, node-2, node-3）
   network.host: 0.0.0.0       # 或指定内网IP
   http.port: 9200
   discovery.seed_hosts: ["192.168.1.101", "192.168.1.102", "192.168.1.103"]
   cluster.initial_master_nodes: ["node-1", "node-2", "node-3"]
   

2. 配置 JVM 参数（确保内存设置合理，建议为机器物理内存的一半，但不要超过32GB）。

3. 启动 OpenSearch：

   cd /opt/opensearch-1.2.0
   ./bin/opensearch &
   

4. 通过 http://<任一节点内网IP>:9200 测试集群状态。

---

3. OpenSearch Dashboards 部署

3.1 下载与安装

1. 下载 OpenSearch Dashboards 安装包：

   wget https://artifacts.opensearch.org/releases/bundle/opensearch-dashboards/1.2.0/opensearch-dashboards-1.2.0-linux-x64.tar.gz
   tar -zxvf opensearch-dashboards-1.2.0-linux-x64.tar.gz -C /opt/
   

3.2 配置 OpenSearch Dashboards

1. 编辑 /opt/opensearch-dashboards-1.2.0/config/opensearch-dashboards.yml：

   server.host: "0.0.0.0"   # 或指定内网IP
   server.port: 5601
   opensearch.hosts: ["http://192.168.1.101:9200", "http://192.168.1.102:9200", "http://192.168.1.103:9200"]
   

2. 启动 Dashboards：

   cd /opt/opensearch-dashboards-1.2.0
   ./bin/opensearch-dashboards &
   

3. 访问 http://:5601 验证仪表板是否正常工作。

---

4. Logstash 部署

4.1 下载与安装

1. 在阿里云 ECS 上下载 Logstash OSS 版本：

   wget https://artifacts.elastic.co/downloads/logstash/logstash-oss-7.10.2-linux-x64.tar.gz
   tar -zxvf logstash-oss-7.10.2-linux-x64.tar.gz -C /opt/
   

4.2 配置 Logstash 管道

1. 创建配置文件 /opt/logstash-7.10.2/config/logstash.conf，示例如下：

   input {
     beats {
       port => 5044
     }
   }
   
   filter {
     # 可根据实际需求配置 grok、json 等过滤器，例如：
     grok {
       match => { "message" => "\[%{TIMESTAMP_ISO8601:log_time}\]\s+\[%{WORD:log_level}\]\s+%{GREEDYDATA:log_content}" }
     }
     date {
       match => [ "log_time", "yyyy-MM-dd HH:mm:ss" ]
     }
   }
   
   output {
     opensearch {
       hosts => ["http://192.168.1.101:9200"]
       index => "logs-%{+YYYY.MM.dd}"
       # 如有认证需求，请设置用户名与密码
       # user => "username"
       # password => "password"
     }
     stdout { codec => rubydebug }
   }
   

2. 启动 Logstash：

   cd /opt/logstash-7.10.2
   ./bin/logstash -f config/logstash.conf &
   

---

5. Filebeat 部署

5.1 下载与安装

1. 在需要采集日志的服务器上下载 Filebeat OSS 版本：

   wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-oss-7.10.2-linux-x86_64.tar.gz
   tar -zxvf filebeat-oss-7.10.2-linux-x86_64.tar.gz -C /opt/
   

5.2 配置 Filebeat

1. 编辑 Filebeat 配置文件 /opt/filebeat-oss-7.10.2/filebeat.yml，示例配置如下：

   filebeat.inputs:
   - type: log
     enabled: true
     paths:
       - /var/log/apache2/*.log     # 例如采集 Apache 日志
     multiline.pattern: '^\['       # 如果日志是多行格式（如异常堆栈）
     multiline.negate: true
     multiline.match: after
     fields:
       log_source: apache
   
   # 指定 Logstash 输出，若不使用 Logstash 则直接输出到 OpenSearch
   output.logstash:
     hosts: [":5044"]
   # 若直接输出到 OpenSearch，请取消下面注释：
   # output.elasticsearch:
   #   hosts: ["http://:9200"]
   

2. 启动 Filebeat：

   cd /opt/filebeat-oss-7.10.2
   ./filebeat -e -c filebeat.yml &
   

---

6. 系统测试与验证

1. 日志采集

   • 在 Filebeat 所采集的日志路径下生成测试日志（例如 Apache 日志）。

   • 确认 Filebeat 日志中没有错误信息，并能将数据通过 Beats 协议发送到 Logstash。

2. 数据处理

   • 查看 Logstash 日志，确认能接收到来自 Filebeat 的数据，并且经过 grok 与 date 过滤后，数据输出至 OpenSearch。

3. 日志存储与查询

   • 通过 Kibana 或 OpenSearch Dashboards 登录后，创建相应的索引模式（例如 logs-*）。

   • 在 Discover 页面查询日志数据，验证数据完整性与字段解析情况。

4. 告警与监控

   • 配置 OpenSearch 集群监控和日志告警，确保在日志量剧增时能及时发现问题。

---

7. 注意事项与扩展

• 版本兼容性

  • 确保 OpenSearch、Filebeat、Logstash 以及 Dashboards 版本相互兼容，建议使用 OSS 版本系列。

• 安全配置

  • 如有安全需求，需配置 TLS/SSL 加密、用户名密码认证，或集成阿里云的安全产品。

• 性能调优

  • 根据日志量和集群负载，合理配置 Logstash 的 JVM 参数、OpenSearch 的分片和副本策略，以及 Filebeat 的 harvester 参数。

• 高可用与扩展

  • OpenSearch 集群建议采用多节点集群部署；Logstash 可采用分布式部署以分担处理压力；Filebeat 作为轻量采集器，可在多个日志源部署。

---

以上就是在阿里云环境下，基于 OpenSearch、Filebeat、Logstash 和 OpenSearch Dashboards 搭建一套日志管理系统的详细步骤与使用方法。希望对你有所帮助，如有问题请进一步讨论或参考各组件的官方文档。

参考资料：

• 阿里云文档与最佳实践

• AWS re:Post 上关于 Filebeat 与 Logstash 集成 OpenSearch 的教程

• 社区博客（如 CSDN、51CTO、CNBlogs 等）