ES学习构建EKL海量日志分析平台
下往上看
1.Gateway代表ES数据持久化概念，ES建立索引默认存储在内存，ES只有当内存不足或关闭重新启动的情况下才持久化到磁盘里面，支持多种Gateway。
2.lucene Directory它是lucene 索引文件组成的一些目录，负责管理一些索引文件和数据的读取写入（添加 删除 合并等等）
3.River 代表一个数据源，以插件的形式读取数据方式。
4.Mapping 映射 （申明类型）
5.Search Module 和 Index Module 搜索模块和索引模块
6.Discovery负责集群节点自动发现和msater节点选举（不会存在单点故障出现）广播的方式进行通信
7.Scripting 脚本语言，支持多种自定义查询语言
8.Transport传输协议默认使用TCP协议进行交互同时支持HTTP协议Thrift和memcached
9.上层有各种API对EC进行操作
es安装：
用es用户安装
JDK安装：
#安装java环境
vim /etc/profile
export JAVA_HOME=/usr/local/jdk11
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
source /etc/profile
EC安装：
1.下载
curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.9.0-linux-x86_64.tar.gz
2.解压
tar -xvf elasticsearch-7.9.0-linux-x86_64.tar.gz
3.配置：
3.安装
cd elasticsearch-7.9.0/bin ./elasticsearch -d
4.报错问题处理
问题1：ERROR: [1]max file descriptors [4096] for elasticsearch process is too low, increase to at least [65535]
解决办法： root用户
vim /etc/security/limits.conf
* soft nofile 65536
* hard nofile 131072
* soft nproc 2048
* hard nproc 4096
vim /etc/sysctl.conf
echo "vm.max_map_count=262144" >> /etc/sysctl.conf # sysctl -p #使修改立即生效
问题2：ERROR: [1] bootstrap checks failed
[1]: the default discovery settings are unsuitable for production use; at least one of [discovery.seed_hosts, discovery.seed_providers, cluster.initial_master_nodes] must be configured
解决办法： node.name: node-1
cluster.initial_master_nodes: ["node-1"]
yum install nodejs npm git -y
git clone git://github.com/mobz/elasticsearch-head.git
curl -XPUT 'http://master:9200/test/'
curl -H "Content-Type: application/json" -XPOST http://master:9200/test/user/1 -d'{"name":"jack","age":28}'
curl -H "Content-Type: application/json" -XPUT http://master:9200/test/user/1 -d'{"name":"js","age":29}'
curl -XGET http://master:9200/test/user/1
curl -XGET 'http://master:9200/test/user/1?_source=name&pretty'
查询所有
curl -XGET http://master:9200/test/user/_search?pretty
条件查找
curl -XGET 'http://master:9200/test/user/_search?q=name:jack&pretty=true'
curl -H "Content-Type: application/json" -XPUT http://master:9200/test/user/4/_create -d'{"name":"pipi","age":17}'
curl -H "Content-Type: application/json" -XGET http://master:9200/test/user/_search -d'{"query":{"match":{"name":"pipi"}}}'
curl -H "Content-Type: application/json" -XPOST http://master:9200/test2/user/1/_create -d'{"name":"nick","age":16}'
curl -H "Content-Type: application/json" -XGET http://master:9200/test/user/_mget?pretty -d'{"docs":[{"_id":1},{"_id":2}]}'
curl -H "Content-Type: application/json" -XGET http://master:9200/test/user/_mget?pretty -d'{"ids":["1","2"]}'
