Elasticsearch安装与简单配置
1. Elasticsearch基于java开发，所以需要安装JDK并设置$JAVA_HOME (Elasticsearch7开始内置了java)
2. 各版本对java的依赖
1. Elasticsearch5 需要从Java 8以上的版本
2. Elasticsearch 从6.5开始支持Java 11
3. Elasticsearch 7开始内置了java环境安装(以mac为例，不同系统可以参考官网的示例)
1. 下载源码包安装
1. 到官网下载源码包 官网地址 https://www.elastic.co/cn/downloads/elasticsearch
2. 双击安装
2. 使用brew安装
1. brew tap elastic/tap
2. brew install elastic/tap/elasticsearch-full
安装以后，Elasticsearch相关文件的安装目录如下图所示
相关目录解释：
| 目录 | 重要配置文件 | 描述 |
|---|---|---|
| bin | 脚本文件，包括启动Elasticsearch，安装插件，运行统计数据等 | |
| config | Elasticsearch.yml | 集群配置文件，user，role based相关配置 |
| JDK | java运行环境，7版本以后自带 | |
| data | path.data | 数据文件 |
| lib | java类库 | |
| logs | Path.log | 日志文件 |
| modules | 包含所有ES模块 | |
| Plugins | 包含所有已安装插件 |
额外注意：
1. 7.1下载的默认配置是1GB
生成环境配置建议：
1. Xmx和Xms设置成一样
2. Xmx不要超过机器内存的50%
3. 不要超过30GB在命令行输入 elasticsearch,启动集群：
在浏览器输入http://localhost:9200可以看到...：
elasticsearch 安装插件
1. 这里以安装analysis-icu为例，这是一个国际化分词插件
elasticsearch-plugin list 查看本机已安装插件
elasticsearch-plugin install analysis-icu 安装插件
我们可以使用插件的形式对elasticsearch进行扩展如何在开发机上运行多个elasticsearch实例
elasticsearch -E node.name=node1 -E cluster.name=adp -E path.data=node1_data -d
elasticsearch -E node.name=node2 -E cluster.name=adp -E path.data=node2_data -d
elasticsearch -E node.name=node3 -E cluster.name=adp -E path.data=node3_data -d
我们在启动elasticsearch服务的时候，指定节点名，集群名称以及每个节点存储数据的文件即可
可以通过浏览器访问 http://localhost:9200/_cat/nodes来查看集群节点Kibana的安装与界面快速浏览
安装与配置
1. kibaba的安装与elasticsearch类似，也可以通过下载源码包或者brew安装
brew install elastic/tap/kibana-full
注：需要先添加elastic homebrew 的仓库
brew tap elastic/tap安装完成以后，各目录如下图所示
配置
1. 打开conf下面的kibana.yml文件，修改elasticsearch.hosts为指向你的elasticsearch实例
2. 可以将最后一行的配置改为 i18n.locale: "zh-CN"(默认注释)，即可汉化kibana运行kibana
1. 在命令行输入 kibana (先启动elasticsearch集群)
2. 在浏览器输入http://localhost:5601，看到以下界面即为安装配置成功
Logstash安装与导入数据
安装
1. logstash的安装与上面那俩没啥区别，官网下载源码包，或者brew
brew install elastic/tap/logstash-full
安装以后，各文件目录参考kibana(位置和kibana一样，只是根目录换成了logstash)导入数据
1. 开源数据集下载 https://files.grouplens.org/datasets/movielens/ml-latest-small.zip
2. 解压数据集，记住 movies.csv文件的路径
3. 重命名conf目录下logstash-sample.conf mv logstash-sample.conf logstash.conf
4. 修改logstash.conf为下面的代码
5. 以指定配置文件的方式运行logstash
logstash -f logstash.conf
需要java环境，启动会慢些，并且会在控制台看到打印出的索引数据(json)
6. 在kibana的索引管理界面可以看到索引信息# logstash.conf
input {
file {
path => "YOUR_FULL_PATH_OF_movies.csv"
start_position => "beginning"
sincedb_path => "/dev/null"
}
}
filter {
csv {
separator => ","
columns => ["id","content","genre"]
}
mutate {
split => { "genre" => "|" }
remove_field => ["path", "host","@timestamp","message"]
}
mutate {
split => ["content", "("]
add_field => { "title" => "%{[content][0]}"}
add_field => { "year" => "%{[content][1]}"}
}
mutate {
convert => {
"year" => "integer"
}
strip => ["title"]
remove_field => ["path", "host","@timestamp","message","content"]
}
}
output {
elasticsearch {
hosts => "http://localhost:9200"
index => "movies"
document_id => "%{id}"
}
stdout {}
}更多内容欢迎关注我的个人公众号“韩哥有话说”，100G人工智能学习资料，大量后端学习资料等你来拿。
更多内容欢迎关注我的个人公众号“韩哥有话说”，100G人工智能学习资料，大量后端学习资料等你来拿。