Elasticsearch安装及使用

Elasticsearch简介

  • Elasticsearch是一个开源的高扩展的分布式全文检索引擎,它可以近乎实时的存储、检索数据;本身扩展性很好,可以扩展到上百台服务器,处理PB级别的数据。
  • Elasticsearch也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能,但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性,从而让全文搜索变得简单。

Elasticsearch特点和优势

  • 分布式实时文件存储,可将每一个字段存入索引,使其可以被检索到。
  • 实时分析的分布式搜索引擎。
    • 分布式:索引分拆成多个分片,每个分片可有零个或多个副本。集群中的每个数据节点都可承载一个或多个分片,并且协调和处理各种操作;
    • 负载再平衡和路由在大多数情况下自动完成。
  • 可以扩展到上百台服务器,处理PB级别的结构化或非结构化数据。也可以运行在单台PC上(已测试)
  • 支持插件机制,分词插件、同步插件、Hadoop插件、可视化插件等。

Elasticsearch安装

  • 下载elasticsearch-6.2.1.tar.gz,上传服务器,解压
cd /usr/local/elk

上传elasticsearch-6.2.1.tar.gz

tar -zxvf elasticsearch-6.2.1.tar.gz
  • 修改配置文件
cd /usr/local/elk/elasticsearch-6.2.1/config

vi elasticsearch.yml

network.host: 172.30.1.45
  • 启动
cd /usr/local/elk/elasticsearch-6.2.1/bin

./elasticsearch

查看进程: ps -ef | grep elasticsearch

后台运行: nohup ./elasticsearch &

启动常见问题:

  • 问题一:内存不足
Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x0000000085330000, 2060255232, 0) failed; error='Cannot allocate memory' (errno=12)

原因:内存不足: 减少启动程序所需内存,或加大内存,如关闭一些程序。

由于elasticsearch5.0默认分配jvm空间大小为2g,修改jvm空间分配:

vi /usr/local/elk/elasticsearch-6.2.1/config/jvm.options  

-Xms2g  
-Xmx2g  

修改为  

-Xms512m  
-Xmx512m  
  • 问题二:格式问题(空格)
Exception in thread "main" SettingsException[Failed to load settings from [elasticsearch.yml]]; nested: ElasticsearchParseException[malformed, expected settings to start with 'object', instead was [VALUE_STRING]];

原因:
配置文件elasticsearch.yml中:network.host:172.30.1.45

冒号后面应该加空格:network.host: 172.30.1.45
  • 问题三:操作用户问题
org.elasticsearch.bootstrap.StartupException: java.lang.RuntimeException: can not run elasticsearch as root

这个错误,是因为使用root用户启动elasticsearch,elasticsearch是不允许使用root用户启动的,所以我们需要添加用户。


解决方案:新建用户elk-weifan

groupadd elktest
useradd -g elktest elk-weifan
passwd elk-weifan
密码: elk-weifan
再次输入密码: elk-weifan
chown -R elk-weifan:elktest /usr/local/elk/elasticsearch-6.2.1
chmod 755 /usr/local/elk/elasticsearch-6.2.1
su - elk-weifan

切换用户之后: 
cd /usr/local/elk/elasticsearch-6.2.1/bin
./elasticsearch
启动成功
  • 问题四: 系统版本过低(此警告可以忽略
java.lang.UnsupportedOperationException: seccomp unavailable: CONFIG_SECCOMP not compiled into kernel, CONFIG_SECCOMP and CONFIG_SECCOMP_FILTER are needed

原因:这个错误是因为centos6的内核不支持SecComp
解决:

查看centos版本
lsb_release -a

可以不必理会

补充问题:

ERROR: [1] bootstrap checks failed
[1]: system call filters failed to install; check the logs and fix your configuration or disable system call filters at your own risk

cd /usr/local/elk/elasticsearch-6.2.1/config

vi elasticsearch.yml

# 这个可以在配置文件中找到
bootstrap.memory_lock: false
# 这个找不到,复制粘贴就好,默认开启,由于内核问题,找不到,设置为false即可解决
bootstrap.system_call_filter: false
  • 问题五:创建文件数设置(需重新打开窗口,否则会出现修改后未生效!!!
ERROR: bootstrap checks failed

max file descriptors [65535] for elasticsearch process likely too low, increase to at least [65536]

原因:无法创建本地文件问题,用户最大可创建文件数太小
解决:
切换到root用户,编辑limits.conf配置文件, 添加类似如下内容:

vi /etc/security/limits.conf

添加如下内容:

* soft nofile 65536

* hard nofile 131072

* soft nproc 2048

* hard nproc 65535
  • 问题六:创建线程数设置
ERROR: bootstrap checks failed
max number of threads [1024] for user [elk-weifan] likely too low, increase to at least [4096]

原因:无法创建本地线程问题,用户最大可创建线程数太小
解决:切换到root用户,进入limits.d目录下,修改90-nproc.conf 配置文件。

vi /etc/security/limits.d/90-nproc.conf

找到如下内容:

* soft nproc 1024

修改为

* soft nproc 4096
  • 问题七:最大虚拟内存太小
max virtual memory areas vm.max_map_count [65530] likely too low, increase to at least [262144]

原因:最大虚拟内存太小
解决:切换到root用户下,修改配置文件sysctl.conf

vi /etc/sysctl.conf

添加下面配置:

vm.max_map_count=655360

并执行命令,使修改生效:

sysctl -p

访问

  • 浏览器访问http://172.30.1.45:9200/,返回:
{
  "name" : "_bPCCkF",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "3CBmAzhBSViAPTDmhxEd6g",
  "version" : {
    "number" : "6.2.1",
    "build_hash" : "253032b",
    "build_date" : "2016-10-26T04:37:51.531Z",
    "build_snapshot" : false,
    "lucene_version" : "6.2.1"
  },
  "tagline" : "You Know, for Search"
}
  • 完整测试:
命令测试elasticsearch:

# 创建索引create_myindex
curl  -XPUT '172.30.1.45:9200/create_myindex?pretty'

# 放入数据Fan Wei,,type:create_mytype,ID:1
curl -XPOST 'localhost:9200/create_myindex/create_mytype/1?pretty' -d' {"name": "Fan Wei" }'

# 查看索引信息
curl  -XGET '172.30.1.45:9200/create_myindex/create_mytype/1?pretty'

# 获取索引内容
curl  '172.30.1.45:9200/create_myindex/_search?q=*&pretty'

# 删除索引
curl  -XDELETE '172.30.1.45:9200/create_myindex?pretty'

# 列出所有索引
curl  'http://172.30.1.45:9200/_cat/indices?v'
  • 模板相关命令:
# 查看所有模板
 curl  -XGET 'http://172.30.1.45:9200/_template'

# 查看单个模板metricbeat-6.2.1
 curl  -XGET 'http://172.30.1.45:9200/_template/metricbeat-6.2.1'

# 删除单个模板metricbeat-6.2.1
 curl  -XDELETE 'http://172.30.1.45:9200/_template/metricbeat-6.2.1'

常用命令

# 查看版本信息:
curl  172.30.1.45:9200

# 查看集群是否健康:
curl  'http://172.30.1.45:9200/_cat/health?v'

# 查看节点列表:
curl  'http://172.30.1.45:9200/_cat/nodes?v'

# 列出所有索引及存储大小:
curl  'http://172.30.1.45:9200/_cat/indices?v'

# 删除索引:
curl  -XDELETE 'http://172.30.1.45:9200/test_system_log?pretty'

# 查看索引mapping
curl   -XGET "http://172.30.1.45:9200/ecapi-2018.04.08/_mapping?pretty"

# 查看索引内容(其中 q=*  表示匹配索引中所有的数据。)
curl  '172.30.1.45:9200/ecapi-2018.04.08/_search?q=*&pretty'

# 索引数据迁移:
POST _reindex
{
  "source": {
    "index": "twitter"
  },
  "dest": {
    "index": "new_twitter"
  }
}

参考博客:https://www.cnblogs.com/aaanthony/p/7380662.html

你可能感兴趣的:(日志,ELK,elasticsearch,ELK)