说来话长,网上的安装版本太坑爹了,很多是问题是版本兼容性,导致我在测试时一直有问题,好了,现在总结一个简单又完美的安装文档
安装版本:
先下载好以下软件包
【jdk-7u75-linux-x64.gz】
【redis-2.6.16.tar.gz】
wget http://download.redis.io/releases/redis-2.6.16.tar.gz
【elasticsearch-1.3.2.tar.gz】
wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.5.2.tar.gz
【logstash-1.4.2.tar.gz】
wget https://download.elasticsearch.org/logstash/logstash/logstash-1.4.2.tar.gz
【kibana-latest.zip】
wget http://download.elasticsearch.org/kibana/kibana/kibana-latest.zip
好了,直接开工:
一、JAVA环境安装
tar -zxvf jdk-7u75-linux-x64.gz -C /opt vi /etc/profile export JAVA_HOME=/usr/local/jdk1.7.0_75 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH source /etc/profile
二、安装redis
tar -zxvf redis-2.6.16.tar.gz cd redis-2.6.16 make –j24 make install mkdir -p /data/redis cd /data/redis/ mkdir {db,log,etc}
编辑配置文件
vim /data/redis/etc/redis.conf #---------------------------------------------------- #this is the config file for redis pidfile /var/run/redis.pid port 6379 timeout 0 loglevel verbose logfile /data/redis/log/redis.log databases 16 save 900 1 save 300 10 save 60 10000 rdbcompression yes dbfilename dump.rdb dir /data/redis/db/ slave-serve-stale-data yes appendonly no appendfsync everysec no-appendfsync-on-rewrite no auto-aof-rewrite-percentage 100 auto-aof-rewrite-min-size 64mb slowlog-log-slower-than 10000 slowlog-max-len 128 #vm-enabled no #vm-swap-file /tmp/redis.swap #vm-max-memory 0 #vm-page-size 32 #vm-pages 134217728 #vm-max-threads 4 #hash-max-zipmap-entries 512 #hash-max-zipmap-value 64 #list-max-ziplist-entries 512 #list-max-ziplist-value 64 set-max-intset-entries 512 zset-max-ziplist-entries 128 zset-max-ziplist-value 64 activerehashing yes
启动和验证redis
[logstash@Logstash_2 redis]# redis-server /data/redis/etc/redis.conf & [logstash@Logstash_2 redis]# redils-cli redis 127.0.0.1:6379> keys *
三、安装elasticsearch
#tar zxvf elasticsearch-1.5.2.tar.gz #mv elasticsearch-1.5.2 /usr/local/ #cd /usr/local/ #ln -s elasticsearch-1.5.2 elasticsearch 在最下面文件增加如下内容(权限管理和防跨站***): #vi config/elasticsearch.yml http.cors.allow-origin: "/.*/" http.cors.enabled: true script.disable_dynamic: true 保存后,我们可以用以下命令启动 #/usr/local/elasticsearch/bin/elasticsearch -f
ctrl+c退出
以后台方式运行
#/usr/local/elasticsearch/bin/elasticsearch -d
验证安装,访问默认的9200端口
curl -X GET http://localhost:9200 { "status" : 200, "name" : "Eros", "version" : { "number" : "1.3.2", "build_hash" : "dee175dbe2f254f3f26992f5d7591939aaefd12f", "build_timestamp" : "2014-08-13T14:29:30Z", "build_snapshot" : false, "lucene_version" : "4.9" }, "tagline" : "You Know, for Search" }
四、安装logstash
#tar zxvf logstash-1.4.2.tar.gz #mv logstash-1.4.2 /usr/local #cd /usr/local #ln -s logstash-1.4.2 logstash #mkdir logstash/conf #chown -R root:root logstash
logstash分为两种:一个是服务器,一个是代理端,我们在中心服务器都要启动
先说中心服务器
启动之前我们要先配置一下文件,这个配置主要是从REDIS取出键值
#vi logstash.conf input { redis { host => "127.0.0.1" port => "6379" key => "nginx_logs" data_type => "list" codec => "json" type => "nginx_logs" tags => ["nginx_logs"] } } output { elasticsearch { host => "127.0.0.1" } }
好了,保存后就可以启动了
#logstash/bin/logstash agent -f logstash.conf &
同样,我们要启动logstash的服务器端,也就是网页版,会启动9292
当然了,这一步也可以省去,因为后面我们配置kibana,用kibana做网页访问展示
#logstash/bin/logstash web &
以上配置完,我们的中心服务就配置完了,看下我们的进程
root@admin:/yundata/data/logstash# ps -ef|grep java root 11885 11724 0 09:20 pts/0 00:00:25 /usr/local/jdk1.7.0_75/bin/java -Xmx500m -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -Djava.awt.headless=true -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly -jar /yundata/data/logstash/vendor/jar/jruby-complete-1.7.11.jar -I/yundata/data/logstash/lib /yundata/data/logstash/lib/logstash/runner.rb web root 12619 1 0 09:34 pts/3 00:00:13 /usr/local/jdk1.7.0_75/bin/java -Xms256m -Xmx1g -Xss256k -Djava.awt.headless=true -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly -XX:+HeapDumpOnOutOfMemoryError -XX:+DisableExplicitGC -Delasticsearch -Des.path.home=/yundata/data/elasticsearch-1.3.2 -cp :/yundata/data/elasticsearch-1.3.2/lib/elasticsearch-1.3.2.jar:/yundata/data/elasticsearch-1.3.2/lib/*:/yundata/data/elasticsearch-1.3.2/lib/sigar/* org.elasticsearch.bootstrap.Elasticsearch root 13768 12251 0 10:04 pts/3 00:00:00 grep --color=auto java root 21322 1 0 Apr15 ? 00:01:51 /usr/local/jdk1.7.0_75/bin/java -Xmx500m -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -Djava.awt.headless=true -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly -jar /yundata/data/logstash/vendor/jar/jruby-complete-1.7.11.jar -I/yundata/data/logstash/lib /yundata/data/logstash/lib/logstash/runner.rb agent -f redis.conf
以上配置完,就可以访问我们的服务了,
http://127.0.0.1:9292/index.html#/dashboard/file/logstash.json
以这里就不上图了,不过只能正常访问还看不到数据,后面我们再采集数据
五、安装kibana
这一步可以安装,也可以不用,因为:
logstash的最新版已经内置kibana,你也可以单独部署kibana。kibana3是纯粹JavaScript+html的客户端,所以可以部署到任意http服务器上。
前提安装好APACHE,我们直接放到目录下
unzip kibana-latest.zip cp -r kibana-latest /var/www/html
可以修改config.js来配置elasticsearch的地址和索引。
用浏览器访问试试看 http://127.0.0.1/html/kibana-latest/index.html
好了,至此已经安装完了,很简单吧
我们接下来采集数据:在我们的NGINX服务器,
1、安装好JAVA环境,
2、拷贝logstash
3、编写采集脚本
10.252.35.170是我们有中心服器,我们现在把数据写入到中心服务器的redis
#vi nginx.conf input { file { type => "nginx_logs" path => ["/alidata/log/nginx/access/default.log"] exclude => ["*.gz", "access.log"] } } output { stdout {} redis { host => "10.252.35.170" port => 6379 data_type => "list" key => "nginx_logs" } }
启动
logstash/bin/logstash agent -f nginx.conf &
当然以上是我们测试写的一个配置,如果要具体的配置
可以参考《logstash 过虑nginx访问日志》
好了,在中心服务器我们启动redis监控,看数据有没有写入
# redis-cli monitor
这样一个比较快速 简单的日志服务器就搭建好了,当然这个采集脚本还要改进,后续我们再谈,
采集到数据后,我们刷新页面,就可以看到数据了
小小激动下~~~