elk 配置

docker 启动

参考:https://www.elastic.co/guide/en/elasticsearch/reference/5.1/docker.html#docker-cli-run-prod-mode

mac系统配置参数：

screen ~/Library/Containers/com.docker.docker/Data/com.docker.driver.amd64-linux/tty
# or screen ~/Library/Containers/com.docker.docker/Data/vms/0/tty
# find ~/Library/Containers/com.docker.docker/Data/ -name 'tty'

sysctl -w vm.max_map_count=262144

Exit by Control-A Control-

删除部分container

增加一个行yam文件

docker-compose -f docker-compose-production.yml down -v  # 同时删除volum

批量操作

一般建议是1000-5000个文档，如果你的文档很大，可以适当减少队列，大小建议是5-15MB，默认不能超过100M

logstash

input file error path.data
删除 data/.lock 文件
doe logstash ./bin/logstash -f custom_file/event_app.conf --path.data=path_data

同步 mysql 到elasticsearch
把jdbc docker cp 到 /usr/share/logstash/logstash-core/lib/jars

同步mongo monstache

doe monstache monstache -f ./custome_files/mongo_es.toml -verbose

搜索引擎 衡量 infomation retrieval

1. precision (查准率) - 尽可能返回较少的无关文档
   2.recall (查全率) - 尽量返回较多的相关文档
   3.ranking - 能否按照相关度进行排序

kibana 高亮highlight有[1000000]限制，且会减慢查询速度

关闭高亮显示 doc_table:highlight