Linux虚拟机中ELK的安装配置

1.ELK的简介

ELK是Elasticsearch、Logstash、Kibana三大开源框架首字母大写简称。市面上也被成为Elastic Stack。其中：

• Elasticsearch是一个基于Lucene、分布式、通过Restful方式进行交互的近实时搜索平台框架。像类似百度、谷歌这种大数据全文搜索引擎的场景都可以使用Elasticsearch作为底层支持框架，可见Elasticsearch提供的搜索能力确实强大,市面上很多时候我们简称Elasticsearch为es。
• Logstash是ELK的中央数据流引擎，用于从不同目标（文件/数据存储/MQ）收集的不同格式数据，经过过滤后支持输出到不同目的地（文件/MQ/redis/elasticsearch/kafka等）。
• Kibana可以将elasticsearch的数据通过友好的页面展示出来，提供实时分析的功能。

转载自简书ELK概念的简单介绍

2.ELK的安装

• 在安装前需要提前下好以下安装包：
  elasticsearch-6.2.2.tar.gz
  elasticsearch-head-master.zip
  kibana-6.2.2-linux-x86_64.tar.gz
  logstash-6.2.2.tar.gz
  node-v8.9.1-linux-x64.tar.gz
  jdk-8u221-linux-x64.tar.gz

• 在cd / 根目录新建software软件包的目录:mkdir -p /software,把下载好的上述安装包，拖拽到/software目录中

• 下载解压缩工具unzip：yum install -y unzip

• 进入安装包目录，输入ll(小写L)可以查看目录中的文件：cd /software 然后 ll。

• 安装jdk-8u221-linux-x64.tar.gz到/opt目录下：
  tar -zxvf jdk-8u221-linux-x64.tar.gz -C /opt

• 安装elasticsearch到/opt目录下：
  tar -zxvf elasticsearch-6.2.2.tar.gz -C /opt

• 安装kibana到/opt目录下：
  tar -zxvf kibana-6.2.2-linux-x86_64.tar.gz -C/opt

• 安装logstash到/opt目录下：
  tar -zxvf logstash-6.2.2.tar.gz -C /opt

• 安装node到/opt目录下：
  tar -zxvf node-v8.9.1-linux-x64.tar.gz -C/opt

• 解压elasticsearch-head-master文件：
  unzip elasticsearch-head-master.zip

• 把解压的文件夹移动并改名:
  mv elasticsearch-head-master /opt/eshead

• 进入opt目录：cd /opt

• 对kilbana改名：mv kibana-6.2.2-linux-x86_64/ kilbana622

• 对logstash改名：mv logstash-6.2.2/ logstash622

• 对node改名：mv node-v8.9.1-linux-x64/ node891

• 对elasticsearch改名: mv elasticsearch-6.2.2/ es622

• 对jdk-8u221-linux-x64.tar.gz改名:mv jdk-8u221-linux-x64.tar.gz/ java8
  最后会获得如上图所示结果，改名是为了方便后期操作和查看

3.ELK的配置

1.ES的配置

• 修改主机名：输入vi /etc/hostname将localhost.localdoumain修改为bigdata
• 修改主机列表：输入vi /etc/hosts新增主机地址和主机名如下:

192.168.56.101 bigdatda01
192.168.56.102 bigdatda02
192.168.56.103 bigdatda03

• 配置es的参数
  输入: vi /opt/es622/config/elasticsearch.yml,进入后按shift+g快速定位到尾部,按o(小写)在下一行插入以下内容：

cluster.name: bigdata               --集群名
node.name: master              --节点名
node.master: true               --是否是主节点
network.host: 192.168.56.101     --本机地址
discovery.zen.ping.unicast.hosts: ["192.168.56.101"]      --同上
http.cors.enabled: true                       
http.cors.allow-origin: "*"

• 配置系统参数
  (1)输入:vi /etc/sysctl.conf,插入内容:vm.max_map_count=655360,保存退出
  (2)输入:sysctl -w vm.max_map_count=655360 若出现vm.max_map_count = 655360即配置成公
  (3)输入:vi /etc/security/limits.conf(部分人的机器可能需要重启才会生效),插入如下内容,保存退出

 - soft nofile 65536
 - hard nofile 65536
 - soft nproc 4096
 - hard nproc 4096

• 添加普通用户:useradd es（这里的es可以是任何名字）
• 修改es622目录的属组(因为ES不可使用root用户启动):chown -R es:es es622
• 切换到es普通用户:su es
• 进入opt目录: cd /opt
• 启动elasticsearch(前提要安装好Java,jdk的配置请看下方链接)：./es622/bin/elasticsearch ,若底部出现 started即是启动成功
  jdk的安装请在此文中查找
• 在windows界面打开网页(最好使用chrome浏览器)，输入http://192.168.56.101:9200，可以正常出页面，切有节点的信息,即启动成功
  

2.Head-master及node的配置

• 输入：vi /etc/profile 找到export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROL行，在其下方添加如下代码：

 export JAVA_HOME=/opt/java8
export CLASSPATH=.:$JAVA_HOME/rt.jar:$JAVA_HOME/tools.jar:$JAVA_HOME/dt.jar
export JRE_HOME=$JAVA_HOME/jre
export NODE_HOME=/opt/node891
export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$NODE_HOME/bin

• 输入:source /etc/profile使该文件生效,输入node -v 查看版本号若能出现版本号即配置成功
• 进入head-master文件中:cd /opt/head
• 输入 : npm install -g grunt-cli --等待的时间可能比较长，要有点耐心
• 输入：npm install 若等待时间过长按ctrl+c强制退出执行以下命令:npm install [email protected] --ignore-scripts
• 输入:vi Gruntfile.js,port: 9100,下面加入一行代码hostname: '*',(进入文件可按93gg快速定位):
  如下:

connect: {
    server: {
        options: {
            port: 9100,
            hostname: '*',
            base: '.',
            keepalive: true        }
    }

• 输入：vi _site/app.js ,找到如下代码(进入文件输入4360gg快速定位,找行号的代码为:cat app.js | grep localhost -n,进行修改,将localhost改为主机地址:192.168.56.101

this.base_uri =this.config.base_uri ||this.prefs.get("app-base_uri") || "http://localhost:9200";
修改成为：
this.base_uri =this.config.base_uri ||this.prefs.get("app-base_uri") || "http://192.168.56.110:9200";

• 启动head-master: npm run start
• 在windows界面，打开网页，输入：http://192.168.56.101:9100若能正常显示则无问题

3.Kibana的配置

• 进入kibana目录: cd /opt/kilbana
• 输入: vi config/kibana.yml ,按shift+g跳转到行末，按o(小写)增加以下内容：

server.host: "192.168.56.101"
elasticsearch.url : "http://192.168.56.101:9200"

• 启动kilbana: ./bin/kibana
• 在windows界面打开网页(推荐chrome浏览器)，输入http://192.168.56.101:5601/能出页面代码即可,效果如下:

PS：Logstash的安装和配置会在明天的文章中放出来