Linux搭建ELK环境并整合ossfs

ELK环境搭建

一、 JDK环境搭建

1.     下载相关版本的JDK文件，最好是高版本，因为ELK的相关组件不支持低版本JDK

直接通过命令下载：

wget http://download.oracle.com/otn-pub/java/jdk/8u171-b11/512cd62ec5174c3487ac17c61aaa89e8/jdk-8u171-linux-x64.tar.gz?AuthParam=1527835497_6aebab7bcc1d289febc4abec8228f5a9

2.     环境变量配置

a)      命令行 vim etc/profile

b)      在底部加入如下配置（JAVA_HOME注意路径，为你自己安装路径）

                               i.           export JAVA_HOME=/jdk1.8.0_171

                              ii.           export JRE_HOME=${JAVA_HOME}/jre 

                             iii.           exportCLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib 

                             iv.           export PATH=${JAVA_HOME}/bin:$PATH

3.     测试是否配置成功

命令行：java-version

出现版本号说明配置成功

 

二、 nodejs环境搭建

1.     下载相关版本的nodejs，命令行

wget http://cdn.npm.taobao.org/dist/node/v10.2.0/node-v10.2.0-linux-x64.tar.xz

2.     解压之后到指定文件夹

3.     执行软连接

a)      ln -s /路径/bin/npm /usr/local/bin/ 

b)      ln -s /路径/bin/node /usr/local/bin/

4.     测试是否成功

命令行：node -v

出现版本号说明配置成功

 

三、 elasticdump下载安装

基于nodejs，在nodejs安装成功之后，并且npm没问题，安装elasticdump就很简单了。

命令行：npm install elasticdump

问题：可能会下载的很慢，可以换成淘宝的npm镜像

命令行：npm config set registry https://registry.npm.taobao.org
npm info underscore （如果上面配置正确这个命令会有字符串response）

启动文件在node-v10.2.0-linux-x64/bin/node_modules/elasticdump/bin

执行命令:

./elasticdump  --input=http://172.31.2.168:9200/logs_cornerstone_20180530

--output=http://localhost:9200/logs_cornerstone_20180601

 

四、 elasticserch下载安装

1． 下载相关版本的elasticserch，解压到指定目录

2． 通过root权限给某一用户读写执行解压文件的权限（因为root用户不能启动elasticserch）

3． 启动时会出现内存不足的情况，修改解压文件config下面的jvm.options，修改Xms以及Xmx

-Xms512M

-Xmx512M

4． 启动中可能会出现很多错误，不过一般都是配置项设置的太小

a)      如果报错max file descriptors [4096]for elasticsearch process likely too low, increase to at least [65536]，修改如下配置soft nofile以及hard nofile

修改etc/security/limits.conf

          * soft nofile 131072

          * hard nofile 131072

          * soft nproc 2048

* hard nproc 4096

b)      如果启动报错max number of threads[1024] for user [zuperman] likely too low

修改/etc/security/limits.d/90-nproc.conf

          修改如下内容：

          * soft nproc 1024

         

          #修改为（如果没有上面的，则直接增加如下配置即可）

          * soft nproc 2048

c)       中间可能会出很多这种问题，不过都问题不大，百度一下都能解决，修改好之后

执行命令行：.sysctl -p

5． 然后kill掉刚刚启动的进程（如果启动过，没有的话则直接启动），然后启动

6． 验证是否配置完成（有如下情况说明成功）

命令行：curl:localhost:9200

7． 这里可以修改elasticserch.yum，不过需要特别注意格式，空格什么的，不然启动会报错。

 

五、 kibana下载安装

1.       kibana下载

2.       将压缩文件解压在指定目录

3.       修改修改配置文件kibana.yml

4.       启动elasticserch服务，不然启动kibana会出现找不到elasticserch.url

5.       确认下载安装完成

命令行curl:localhost:5601

 

六、 ossfs下载安装

1.     下载ossfs安装文件

2.     注意区分Ubuntu与centos的安装包

3.     使用方法

a)      设置bucket name 和 AccessKeyId/Secret信息，将其存放在/etc/passwd-ossfs文件中，注意这个文件的权限必须正确设置，建议设为640。

                                i.           bucket name 和 AccessKeyId/Secret公司都有提供，一定别搞错了，不然挂载会出问题

                              ii.           而且文件一定得放在/etc/passwd-ossfs，因为后面去挂载的时候默认读的是etc文件下的文件

                             iii.           执行命令行

1.       echo 你的bucket名字:ID:SECRET > /etc/passwd-ossfs

2.       chmod 640 /etc/passwd-ossfs

3.       mkdir ossfs

4.       ./ossfs 你的bucket名字 /home/elk/你的oss地址(./ossfs命令默认安装在目录/usr/local/bin下面)