elasticsearch部署

推荐到官网下载ES源码的打包，个人觉得比起通过yum等包管理工具安装更灵活，且方便管理，比如

• 目录自主可控，便于配置
• 安装插件更方便
• 同义词等词库词库维护

##ES长期运行

推荐使用进程管理工具来运行ES，这里使用supervisor，将es作为supervisor的子进程运行。

配置supervisord

[supervisord]
; ....
nodaemon=false               ; (start in foreground if true;default false)

[program:elk_01]
directory=/yikaoyan/elasticsearch-7.2.1
command=/usr/bin/bash bin/elasticsearch
user=elk  ; 注意，ES不能以root身份运行

注意，上面的nodaemon=false，如果为true，通过systemctl命令将无法启动supervisord服务。

安装并设置supervisord服务开机自启

systemctl enable supervisord  // 允许开机启动

允许开机启动后，将在/lib/systemd/system目录下生成supervisord.service文件，编辑该文件，可以编辑supervisord的启动命令，这里重新制定supervisor的配置文件目录：

[Service]
Type=forking
ExecStart=/usr/bin/supervisord -c /etc/supervisor/supervisord.conf

注意，每次修改完配置文件后（包括修改以上文件和supervisord.conf），都需要通过如下命令重载后再启动服务：

systemctl daemon-reload
systemctl start supervisord

这样每次启动supervisord，就可以自动运行ES

ES非root用户运行问题

es默认不允许以root身份运行，可以通过添加用户并授权该用户对es目录的操作权限来解决：

# 添加用户
useadd elk
# 授权该用户和用户组对es目录的操作权限
chown -R elk:elk elasticsearch-folder

##ES认证和NGINX

es默认没有认证，有未授权访问漏洞的危险。商业套件x-pack中提供认证功能，但是需要授权，试用只有一个月。另外ES也有第三方插件search-guard提供安全方面的功能，但是生产环境中配置比较复杂。这里我采用nginx的Http Basic Authentication来做认证功能（官网文档参考），并利用nginx将搜索请求通过端口转发给es。下面是我的nginx配置参考：

upstream elk {
    server 127.0.0.1:9200;
}

server {
    listen 8080;  # 监听8080端口，并将请求转发到本机9200端口
    access_log  /var/log/nginx/statistics_access.log;

    client_max_body_size 4G;
    fastcgi_buffers 64 8K;
    client_body_buffer_size 1024k;
    keepalive_timeout 5;
    client_body_timeout 15;
    client_header_timeout 15;

    send_timeout 15;
    sendfile on;
    tcp_nopush on;
    tcp_nodelay on;

    location / {
        proxy_pass http://elk;  # 重要，http://不可少
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_buffers 8 32k;
        proxy_buffer_size 64k;

        # 配置访问账号密码
        auth_basic "auth required";
        auth_basic_user_file /etc/nginx/conf.d/htpasswd/es;
    }
}

出于安全考虑，再采取如下两个措施：

• 编辑ES配置文件.../elasticsearch-7.2.1/config/elasticsearch.yml，绑定ES仅限本机访问：

  
  # ---------------------------------- Network -----------------------------------
  #
  # Set the bind address to a specific IP (IPv4 or IPv6):
  #
  network.host: 127.0.0.1
  #
  # Set a custom port for HTTP:
  #
  # http.port: 9200
  

• 在安全组中关闭其他端口的访问，只开放上面8080端口的访问。

连接ES

Kibana修改连接配置：

# elasticsearch.hosts: ["http://localhost:9200"]
elasticsearch.hosts: ["http://xx.xx.xx.xxx:8080"]

# ...

# If your Elasticsearch is protected with basic authentication, these settings provide
# the username and password that the Kibana server uses to perform maintenance on the Kibana
# index at startup. Your Kibana users still need to authenticate with Elasticsearch, which
# is proxied through the Kibana server.
elasticsearch.username: "user"
elasticsearch.password: "pwd"

Python客户端连接：

ES_CLIENT = Elasticsearch(['http://user:[email protected]:8080'])

注意，ES貌似不支持通过域名的方式访问，必须指定IP和端口。