ELK linux 部署手机 centos6.5

参考文献: https://my.oschina.net/itblog/blog/547250#OSC_h4_3
ELK平台搭建
系统环境
System: Centos release 6.7 (Final)
ElasticSearch: 2.3.3
Logstash: 2.1.1
Kibana: 4.3.0
Java: openjdk version "1.8.0_65"
################################################ 下载:Elasticsearch https://download.elastic.co/elasticsearch/release/org/elasticsearch/distribution/tar/elasticsearch/2.1.0/elasticsearch-2.1.0.tar.gz
https://download.elastic.co/elasticsearch/release/org/elasticsearch/distribution/tar/elasticsearch/2.3.3/elasticsearch-2.3.3.tar.gz
下载:Logstash https://download.elastic.co/logstash/logstash/logstash-all-plugins-2.3.1.tar.gz
下载:Kibana 4.5.1 https://download.elastic.co/kibana/kibana/kibana-4.5.1-linux-x64.tar.gz
E elasticsearch
============elasticsearch 安装
cd /usr/local
mkdir elk ### 把安装包上传到这个目录
tar -zxvf elasticsearch-2.1.0.tar.gz
cd elasticsearch-2.1.0
mv elasticsearch-2.1.0 elasticsearch
可视化ela-head组件安装
cd elasticsearch
./bin/plugin install mobz/elasticsearch-head
查看: http://192.168.102.176:9200/_plugin/head/
Paramedic工具 es监控插件
./bin/plugin install karmi/elasticsearch-paramedic
查看: http://192.168.102.176:9200/_plugin/paramedic/index.html
查询 Elasticsearch 中的数据工具 同ela-head
./bin/plugin install lmenezes/elasticsearch-kopf
查看: http://192.168.102.176:9200/_plugin/kopf
vim config/elasticsearch.yml
-----------------修改配置文件
cluster.name : es_cluster
node.name : node0
path.data: /tmp/elasticsearch/data
path.logs: /tmp/elasticsearch/logs
#当前hostname或IP,我这里是centos2 #原文博客说的 host或者ip,但是我写本机的ip的话,除了服务器本机可以正常访问9200以外,其他电脑无法访问,网上说改成0.0.0.0,试了好用。
network.host: 0.0.0.0
network.port: 9200

这时候执行 ./bin/elasticsearch 报错
查看错误信息,大概说是,不能以root用户的身份执行,那好吧。。添加用户,分配权限

----------------新增elsearch用户和组`
创建elsearch用户组及elsearch用户
groupadd elsearch
useradd elsearch -g elsearch -p elasticsearch
passwd 设置密码 这里是123456
更改elasticsearch文件夹及内部文件的所属用户及组为elsearch:elsearch
chown -R elsearch:elsearch elasticsearch
-------------切换到新用户
su elsearch
123456
--------------运行
./bin/elasticsearch & 或
./bin/elasticsearch -d

这时候会报错如下:

好吧。目测是 elasticsearch.yml里的data和log的目录权限没有给elsearch,那么接着。。

首先 切换到root用户,
su root
123456

然后增加文件夹的权限chown -R elsearch:elsearch /tmp/elasticsearc

然后再切换到elsearch用户
执行 ./bin/elasticsearch 然后访问 ip:9200 ,访问ok
这里有一点需要说明:执行 ./bin/elasticsearch 之后,你会发现压根退不出去有没有。。
其实 :这就是 ./bin/elasticsearch 和 ./bin/elasticsearch -d 的区别,执行./bin/elasticsearch -d,你会发现,命名窗口是不输出 东西的

由此。其实我开启了 两个elasticsearch
netstat -tnlp

这时候需要 kill -9 PID 杀掉多余的,一般是保留 9200

重点: ElasticSearch安装ik分词插件
参考地址: https://my.oschina.net/xiaohui249/blog/232784

IK Analyzer是一个开源的,基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始, IKAnalyzer已经推出了4个大版本。最初,它是以开源项目Luence为应用主体的,结合词典分词和文法分析算法的中文分词组件。从3.0版本开 始,IK发展为面向Java的公用分词组件,独立于Lucene项目,同时提供了对Lucene的默认优化实现。在2012版本中,IK实现了简单的分词 歧义排除算法,标志着IK分词器从单纯的词典分词向模拟语义分词衍化。

git 地址: https://github.com/medcl/elasticsearch-analysis-ik/releases

注意: ik分词插件的版本与ElasticSearch的版本是有对应关系的,笔者第一次安装用的是ElasticSearch 2.1.0 ,IK 1.9.1 结果报错,大概的意思1.9.1是在 ElasticSearch 2.3.1的版本上开发的,需要下载匹配版本,所以后来我把版本换成了 ElasticSearch 2.3.3,IK 1.9.3,可以查看地址 https://github.com/medcl/elasticsearch-analysis-ik/releases?after=v1.10.0 ,这里有完整的对应关系。

关于IK的安装,笔者主要是对照git的安装步骤说明来的,官网的步骤是:
通过git clone https://github.com/medcl/elasticsearch-analysis-ik,下载分词器源码,然后进入下载目录,执行命令:mvn clean package 打包生成 zip包,zip包的生成u目录是 target/releases/elasticsearch-analysis-ik-{version}.zip ,然后再 elasticsearch的 plugins下新建ik文件夹,将 target/releases/elasticsearch-analysis-ik-{version}.zip 拷贝被 elasticsearch/ plugins/ik 目录下,执行unzip 解压缩即可。
推荐:笔者发现了一个简单的方式,不需要安装maven 执行打包的过程,直接到 https://github.com/medcl/elasticsearch-analysis-ik/releases 找对应版本的zip文件,然后上传即可。
另外:按理说 ik组件的 安装也可以 参照 ela-head组件的安装方式安装,
./bin/plugin install mobz/elasticsearch-head 红色部分与 红框对应,但是报错,
plugin-descriptor.properties 找不到。。。所以这种方式pass了,但是要会看。

ctrl z 暂停当前切换到控制
bg 后台执行
fg 前台


Logstash

关于这部分请先查看:【转】Logstash的安装部署 文章,其实主要还是参照了上面的博客。

我的实际配置Logstash:
tar -zxvf logstash-2.1.1.tar.gzcd logstash-2.1.1
编写配置文件(名字和位置可以随意,这里我放在config目录下,取名为log4j_to_es.conf):

mkdir configvi config/log4j_to_es.conf # Set: https://www.elastic.co/guide/en/logstash/current/configuration-file-structure.html input { redis{ host => "127.0.0.1" port => 6379 type => "weds-pay-api" data_type => "list" key => "weds-pay-api" } } filter { date { match => [ "addtime" , "yyyy-MM-dd HH:mm:ss" ] target => "@timestamp" }}output{ stdout { codec => rubydebug } elasticsearch { index => "%{type}-%{+YYYY.MM}" hosts => "192.168.30.129:9200" workers => 5 }}

启动方式: ./bin/logstash agent -f config/log4j_to_es.conf &
加了&是后台启动,不加是直接启动

解释:配置连接reids,项目程序将请求的日志信息写入到redis,然后 logstash监听redis的list,redis里list的key为 weds-pay-api, logstash会监听redis的list,当发现数据以后就会批量的通过logstash写入到elasticsearch。

附java代码的实现 重写Appender

package com.weds.framework.utils.elk; import java.util.Map; import java.util.concurrent.CompletableFuture; import org.apache.log4j.AppenderSkeleton; import org.apache.log4j.spi.LocationInfo; import org.apache.log4j.spi.LoggingEvent; import com.weds.framework.core.utils.JsonUtil; import com.weds.framework.core.utils.redis.RedisService; /** * *

Title: ApiAppender

*

Description: 重写Appender 调用log4就时,将记录存入redis

*

Company: Leyou(China) Chain Store Co.,Ltd

*

版权所有: Copyright?1999-2016 leyou.com. All Rights Reserved

*
@author Illidan * @date 2016年5月19日 上午10:25:59 * @version V1.0 */ public class ApiAppender extends AppenderSkeleton{ /** * Jredis连接redis的client */ private RedisService redisService; /** * 记录接口方法调用次数日志需要先写入redis中,redis的key不能为空,这个key需要同步在logstash配置文件中配置 */ private String writeLogKey; @Override public void close() { // TODO Auto-generated method stub } @Override public boolean requiresLayout() { // TODO Auto-generated method stub return false ; } /** * 重写日志输出输出 */ @Override protected void append(LoggingEvent event) { LocationInfo locationInfo = event.getLocationInformation(); Map map =(Map)event.getMessage(); map.put("levl", event.getLevel().toString()); writeLogAsync(writeLogKey,map); } /** * 异步记录日志 * @param key 记录到redis的中key,key需要同步在logstash配置文件中配置 * @param value 日志的值,Map格式 */ public void writeLogAsync(String key,Map map){ CompletableFuture.runAsync(() -> { writeLog(key,map); }); } /** * * @Title: writeLogAsync * @Description: 异步存储日志 * @param * @return void 返回类型 * @throws * @author Illidan * @date 2016年5月18日 下午1:51:56 */ public void writeLogAsync(String key,String value){ CompletableFuture.runAsync(() -> { writeLog(key,value); }); } /** *记录日志到redis的List集合中,值为Map集合方式 * @param key 记录redis的key,key需要同步在logstash配置文件中配置 * @param map value为Map值 */ public void writeLog(String key,Map map){ String value = JsonUtil.obj2string(map); writeLog(key, value); } /** * 记录日志到redis的List集合中 * @param key 记录redis的key,key需要同步在logstash配置文件中配置 * @param value 记录的值 */ public void writeLog(String key, String value) { if (key != null ){ redisService =(RedisService)SpringContextUtil.getBean("redisService",RedisService. class ); redisService.setList(key, value); } } public RedisService getRedisService() { return redisService; } public void setRedisService(RedisService redisService) { this .redisService = redisService; } public String getWriteLogKey() { return writeLogKey; } public void setWriteLogKey(String writeLogKey) { this .writeLogKey = writeLogKey; }}

log4j.properties 增加配置:
log4j.logger.weds-pay-Log=INFO,aip log4j.appender.aip=com.weds.framework.utils.elk.ApiAppender log4j.appender.aip.writeLogKey= weds-pay-api log4j.appender.aip.layout=org.apache.log4j.PatternLayoutlog4j.appender.aip.layout.ConversionPattern=%d %p [%c] - %m%n

注意:这里 log4j_to_es.conf 中 redis的key 与 log4j.properties 的 log4j.appender.aip.writeLogKey以及ApiAppender 的writeLogKey 属性有对象关系。

java代码的使用
protected static final Logger log = Logger.getLogger("weds-pay-Log"); log.info(map); //记录日志到 elk日志中心
注意:这里的 weds-pay-Log与 log4j.properties的 log4j.logger.weds-pay-Log是有关系的。

Kibana
这部分基本的参照文章顶部的连接即可:
===========================安装kibana
tar -zxvf kibana-4.3.0-linux-x86.tar.gz
cd kibana-4.3.0-linux-x86
vim config/kibana.yml
-------修改配置
server.port: 5601
server.host: "192.168.30.129"
elasticsearch.url: "http://192.168.30.129:9200"
kibana.index: ".kibana"
-------运行
./bin/kibana &

加了&是后台启动,不加是直接启动

你可能感兴趣的:(java)