说来话长,网上的安装版本太坑爹了,很多是问题是版本兼容性,导致我在测试时一直有问题,好了,现在总结一个简单又完美的安装文档

安装版本:

先下载好以下软件包

【jdk-7u75-linux-x64.gz】

【redis-2.6.16.tar.gz】

wget http://download.redis.io/releases/redis-2.6.16.tar.gz

【elasticsearch-1.3.2.tar.gz】

wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.5.2.tar.gz

【logstash-1.4.2.tar.gz】

wget https://download.elasticsearch.org/logstash/logstash/logstash-1.4.2.tar.gz

【kibana-latest.zip】

wget http://download.elasticsearch.org/kibana/kibana/kibana-latest.zip

好了,直接开工:

一、JAVA环境安装

tar -zxvf jdk-7u75-linux-x64.gz -C /opt
vi /etc/profile
export JAVA_HOME=/usr/local/jdk1.7.0_75
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
source /etc/profile

二、安装redis

tar -zxvf redis-2.6.16.tar.gz
cd redis-2.6.16
make –j24
make install
mkdir -p /data/redis
cd /data/redis/
mkdir {db,log,etc}

编辑配置文件

vim /data/redis/etc/redis.conf
#----------------------------------------------------
#this is the config file for redis
pidfile /var/run/redis.pid
port 6379
timeout 0
loglevel verbose
logfile /data/redis/log/redis.log
databases 16
save 900 1
save 300 10
save 60 10000
rdbcompression yes
dbfilename dump.rdb
dir /data/redis/db/
slave-serve-stale-data yes
appendonly no
appendfsync everysec
no-appendfsync-on-rewrite no
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
slowlog-log-slower-than 10000
slowlog-max-len 128
#vm-enabled no
#vm-swap-file /tmp/redis.swap
#vm-max-memory 0
#vm-page-size 32
#vm-pages 134217728
#vm-max-threads 4
#hash-max-zipmap-entries 512
#hash-max-zipmap-value 64
#list-max-ziplist-entries 512
#list-max-ziplist-value 64
set-max-intset-entries 512
zset-max-ziplist-entries 128
zset-max-ziplist-value 64
activerehashing yes

启动和验证redis

[logstash@Logstash_2 redis]# redis-server /data/redis/etc/redis.conf &
[logstash@Logstash_2 redis]# redils-cli
redis 127.0.0.1:6379> keys *

三、安装elasticsearch

#tar zxvf elasticsearch-1.5.2.tar.gz
#mv elasticsearch-1.5.2 /usr/local/
#cd /usr/local/
#ln -s elasticsearch-1.5.2 elasticsearch
在最下面文件增加如下内容(权限管理和防跨站***):
#vi config/elasticsearch.yml
http.cors.allow-origin: "/.*/"
http.cors.enabled: true
script.disable_dynamic: true

保存后,我们可以用以下命令启动
#/usr/local/elasticsearch/bin/elasticsearch -f

ctrl+c退出

以后台方式运行

#/usr/local/elasticsearch/bin/elasticsearch -d

验证安装,访问默认的9200端口

curl -X GET http://localhost:9200
 
{
  "status" : 200,
  "name" : "Eros",
  "version" : {
    "number" : "1.3.2",
    "build_hash" : "dee175dbe2f254f3f26992f5d7591939aaefd12f",
    "build_timestamp" : "2014-08-13T14:29:30Z",
    "build_snapshot" : false,
    "lucene_version" : "4.9"
  },
  "tagline" : "You Know, for Search"
}

四、安装logstash

#tar zxvf logstash-1.4.2.tar.gz
#mv logstash-1.4.2 /usr/local
#cd /usr/local
#ln -s logstash-1.4.2 logstash
#mkdir logstash/conf
#chown -R root:root logstash

logstash分为两种:一个是服务器,一个是代理端,我们在中心服务器都要启动

先说中心服务器

启动之前我们要先配置一下文件,这个配置主要是从REDIS取出键值

#vi logstash.conf
input {
  redis {
    host => "127.0.0.1"
    port => "6379"
    key => "nginx_logs"
    data_type => "list"
    codec  => "json"
    type => "nginx_logs"
    tags => ["nginx_logs"]
  }
}
  
output {
  elasticsearch {
    host => "127.0.0.1"
  }
  
}

好了,保存后就可以启动了

#logstash/bin/logstash agent -f logstash.conf &

同样,我们要启动logstash的服务器端,也就是网页版,会启动9292

当然了,这一步也可以省去,因为后面我们配置kibana,用kibana做网页访问展示

#logstash/bin/logstash web &

以上配置完,我们的中心服务就配置完了,看下我们的进程

root@admin:/yundata/data/logstash# ps -ef|grep java
root     11885 11724  0 09:20 pts/0    00:00:25 /usr/local/jdk1.7.0_75/bin/java -Xmx500m -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -Djava.awt.headless=true -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly -jar /yundata/data/logstash/vendor/jar/jruby-complete-1.7.11.jar -I/yundata/data/logstash/lib /yundata/data/logstash/lib/logstash/runner.rb web
root     12619     1  0 09:34 pts/3    00:00:13 /usr/local/jdk1.7.0_75/bin/java -Xms256m -Xmx1g -Xss256k -Djava.awt.headless=true -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly -XX:+HeapDumpOnOutOfMemoryError -XX:+DisableExplicitGC -Delasticsearch -Des.path.home=/yundata/data/elasticsearch-1.3.2 -cp :/yundata/data/elasticsearch-1.3.2/lib/elasticsearch-1.3.2.jar:/yundata/data/elasticsearch-1.3.2/lib/*:/yundata/data/elasticsearch-1.3.2/lib/sigar/* org.elasticsearch.bootstrap.Elasticsearch
root     13768 12251  0 10:04 pts/3    00:00:00 grep --color=auto java
root     21322     1  0 Apr15 ?        00:01:51 /usr/local/jdk1.7.0_75/bin/java -Xmx500m -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -Djava.awt.headless=true -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly -jar /yundata/data/logstash/vendor/jar/jruby-complete-1.7.11.jar -I/yundata/data/logstash/lib /yundata/data/logstash/lib/logstash/runner.rb agent -f redis.conf

以上配置完,就可以访问我们的服务了,

http://127.0.0.1:9292/index.html#/dashboard/file/logstash.json

以这里就不上图了,不过只能正常访问还看不到数据,后面我们再采集数据

五、安装kibana

这一步可以安装,也可以不用,因为:

logstash的最新版已经内置kibana,你也可以单独部署kibana。kibana3是纯粹JavaScript+html的客户端,所以可以部署到任意http服务器上。

前提安装好APACHE,我们直接放到目录下

unzip kibana-latest.zip
cp -r  kibana-latest /var/www/html

可以修改config.js来配置elasticsearch的地址和索引。

用浏览器访问试试看 http://127.0.0.1/html/kibana-latest/index.html

好了,至此已经安装完了,很简单吧

我们接下来采集数据:在我们的NGINX服务器,

1、安装好JAVA环境,

2、拷贝logstash

3、编写采集脚本

10.252.35.170是我们有中心服器,我们现在把数据写入到中心服务器的redis

#vi nginx.conf
input {
        file {
                type => "nginx_logs"
                path => ["/alidata/log/nginx/access/default.log"]
                exclude => ["*.gz", "access.log"]
        } 
}
  
output {
        stdout {}
        redis {
                host => "10.252.35.170"
                port => 6379
                data_type => "list"
                key => "nginx_logs"
        } 
}

启动

logstash/bin/logstash agent -f nginx.conf &

当然以上是我们测试写的一个配置,如果要具体的配置

可以参考《logstash 过虑nginx访问日志

好了,在中心服务器我们启动redis监控,看数据有没有写入

# redis-cli monitor

这样一个比较快速 简单的日志服务器就搭建好了,当然这个采集脚本还要改进,后续我们再谈,

采集到数据后,我们刷新页面,就可以看到数据了

小小激动下~~~

ElasticSearch+LogStash+Kibana+Redis搭建日志管理服务_第1张图片