多线程爬虫和ES搜索引擎实战

多线程爬虫和ES搜索引擎实战

1.运行Flyway进行数据库初始化

多线程爬虫和ES搜索引擎实战_第1张图片

2.查看数据库是否正常

多线程爬虫和ES搜索引擎实战_第2张图片

多线程爬虫和ES搜索引擎实战_第3张图片

3.运行爬虫程序爬取内容和链接并将其存储到数据库中

a.爬取过程

多线程爬虫和ES搜索引擎实战_第4张图片

b.爬取结果

多线程爬虫和ES搜索引擎实战_第5张图片
多线程爬虫和ES搜索引擎实战_第6张图片
多线程爬虫和ES搜索引擎实战_第7张图片

4.写入ES服务器和索引

a.写入

多线程爬虫和ES搜索引擎实战_第8张图片

b.索引

多线程爬虫和ES搜索引擎实战_第9张图片

你可能感兴趣的:(多线程爬虫和ES搜索引擎实战)