微服务项目学习第4天–分布式搜索引擎ElasticSearch
Elasticsearch是一个实时的分布式搜索和分析引擎。它可以帮助你用前所未有的速 度去处理大规模数据。ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分 布式多用户能力的全文搜索引擎,基于RESTful web接口。Elasticsearch是用Java开发 的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用 于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。
(1)可以作为一个大型分布式集群(数百台服务器)技术,处理PB级数据,服务大公 司;也可以运行在单机上
(2)将全文检索、数据分析以及分布式技术,合并在了一起,才形成了独一无二的ES;
(3)开箱即用的,部署简单
(4)全文检索,同义词处理,相关度排名,复杂数据分析,海量数据的近实时处理
elasticsearch
即可启动。
http://127.0.0.1:9200/articleindex/
http://127.0.0.1:9200/articleindex/article
http://127.0.0.1:9200/articleindex/article/_search
http://192.168.184.134:9200/articleindex/article/AWPKrI4pFdLZnId5S_F7
http://192.168.184.134:9200/articleindex/article/1
http://192.168.184.134:9200/articleindex/article/1
http://192.168.184.134:9200/articleindex/article/_search?q=title:xxx
elasticsearch的9200对应自身的测试以及自身的测试语句
elasticsearch的9300对应项目(外部)的测试以及项目中(外部)的URL路径(项目中配置的也是9300端口)
实例:
使用localhost加项目端口来访问(连接的是es的9300端口)
url:http://localhost:9007/article/222/1/1
(1)最小切分:在浏览器地址栏输入地址
http://127.0.0.1:9200/_analyze?analyzer=ik_smart&pretty=true&text=我是程序员
(2)最细切分:在浏览器地址栏输入地址
http://127.0.0.1:9200/_analyze?analyzer=ik_max_word&pretty=true&text=我是程序员
(本地URL):http://localhost:9100
服务器:http://192.168.xxx.xxx:9100
这节有好多端口和工具
(1)引入依赖:
(2)配置文件:(yml文件)
(3)创建启动类:
(4)创建实体类:
(5)创建数据访问接口
(6)创建业务逻辑类
(7)创建控制器类
Logstash是一款轻量级的日志搜集处理框架,可以方便的把分散的、多样化的日志搜集 起来,并进行自定义的处理,然后传输到指定的位置,比如某个服务器或者文件。
压缩包解压,进入bin目录
logstash ‐e 'input { stdin { } } output { stdout {} }'
控制台输入字符,随后就有日志输出(可以自己测)
(1)在logstash-5.6.8安装目录下创建文件夹mysqletc (名称随意)
(2)文件夹下创建mysql.conf (名称随意) ,内容如下:
input {
jdbc {
# mysql jdbc connection string to our backup databse
jdbc_connection_string => "jdbc:mysql://192.168.xxx.xxx:3306/tensquare_article?characterEncoding=UTF8"
# the user we wish to excute our statement as
jdbc_user => "root"
jdbc_password => "root"
# the path to our downloaded jdbc driver
jdbc_driver_library => "E:\tensqure\logstash-5.6.8\mysqletc\mysql-connector-java-5.1.46.jar"
# the name of the driver class for mysql
jdbc_driver_class => "com.mysql.jdbc.Driver"
jdbc_paging_enabled => "true"
jdbc_page_size => "50"
#以下对应着要执行的sql的绝对路径。
#statement_filepath => ""
statement => "SELECT id,title,content FROM tb_article"
#定时字段 各字段含义(由左至右)分、时、天、月、年,全部为*默认含义为每分钟都更新(测试结果,不同的话请留言指出)
schedule => "* * * * *"
}
}
output {
elasticsearch {
#ESIP地址与端口
hosts => "127.0.0.1:9200"
#ES索引名称(自己定义的)
index => "articleindex"
#自增ID编号
document_id => "%{id}"
document_type => "article"
}
stdout {
#以JSON格式输出
codec => json_lines
}
}
(3)将mysql驱动包mysql-connector-java-5.1.46.jar拷贝至E:\tensqure\logstash-5.6.8\mysqletc/ 下 。E:\tensqure\logstash-5.6.8是你的安装目录
(4)命令行下执行
logstash ‐f ../mysqletc/mysql.conf
观察控制台输出,每间隔1分钟就执行一次sql查询。
再次刷新elasticsearch-head的数据显示,看是否也更新了数据。
(1)下载镜像
docker pull elasticsearch:5.6.8
(2)创建容器
docker run ‐di ‐‐name=tensquare_elasticsearch ‐p 9200:9200 ‐p 9300:9300 elasticsearch:5.6.8
(3)浏览器输入地址: http://192.168.xxx.xxx:9200/ 即可看到信息。
接下来在本地的dome中使用服务器端的 Elasticsearch,见下一篇:包含本地添加ES,服务器安装IK和HEAD(https://blog.csdn.net/qinian8/article/details/98220763)