使用Elasticsearch搭建文件搜索系统

　　接触ELK这么久，一直都在日志分析和系统运维方面兜圈圈。今天来玩转一下搜索技能，填补一下这方面的空白。主要也是好多天没更新博客了，来写一篇

　　何为文件搜索系统?其实简单一点，就可以想象为一个带用户界面的grep，可以根据你提供的关键字查询包含该内容的文件。与grep一样，该系统应该能返回包含该搜索条件的文件名，行号和具体内容等，同时应该支持高亮。与grep只支持正则表达式不一样的是，以elasticsearch为基础的搜索系统，能支持更多的搜索模式和匹配模式。当然，我们的系统肯定是比grep提供更多的功能。

　　基本需求

　　特点如下：

　　基于web的用户界面，使用浏览器就可以直接访问

　　可以对文件内容进行搜索和匹配，并且返回文件基本信息和关键字高亮，并提供链接远程打开文件

　　支持各种富文本内容，包括ppt, pdf等

　　可以监控文件的变化，当文件有增删改之后，能够重新索引文件

　　我们先看看最终的效果：

　　

　　任务分解

　　再简单分解一下所需要的技术：

　　web前端：

　　UI：提供搜索条、展示搜索结果面板和文件打开链接

　　逻辑：将搜索内容组装为elasticsearch的搜索语句发送到后端，并且将response进行合理的处理

　　web后端：

　　web服务器提供web API服务

　　同时对接elasticsearch，作为中间件，处理 前端请求 —— elasticsearch 之间的互动

　　web文件服务器，提供静态文件的访问

　　数据库：

　　elasticsearch作为数据库，包含文件的索引和基本信息

　　文件监控与索引

　　需要对特定目录下的文件进行监控和索引

　　任何的增删改动作都触发文件的索引(把文件索引到elasticsearch当中，以便可以搜索)

　　咋一看貌似挺复杂的。但如同所有的软件开发，只要不是特别创新的功能，总会有人已经帮你踩好了坑，我们要做的是找到合适的轮子而不是重复造轮子(一开始也是打算自己把这套东西都实现了，结果一google，啥都有)。

　　为了更方便的集成搜索服务到你的APP或者网站，elastic提供了一套search UI (官网)。只需要寥寥几行代码，即可内嵌一个非常美观的search套件到你的应用或者网站当中。我们的实现也主要是基于这个search UI.

　　具体的代码可查地址。

　　web 前端

　　但是这套工具的是默认你使用App search或者site search服务的，其接口设置是使用一个connector与远程的search服务进行交互。

　　

　　如果我们没有购买类似的服务，只能修改这个代码为使用本地的elasticsearch。具体的示例在github上也能找到，我们的代码也是基于这个example。

　　所需的component大致如下：

　　需要重写一下autoComplete.js以适配我们自己的数据格式

　　

　　web 后端

　　以上项目已经实现了一个nodeJs的后端，直接启动npm start即可，但需要注意的是，需要通过环境变量指定elasticsearch的url，即完整的命令是：

　　ELASTICSEARCH_HOST=http://localhost:9200 npm start

　　索引替换

　　前面我们提到后端需要对接elasticsearch，作为中间件，处理 前端请求 —— elasticsearch 之间的互动，这部分代码框架已经实现了，我们要做的是把索引替换为我们自己的索引。

　　

　　文件监控与索引

　　这里，我们使用 fscrawler 就能完全满足我们的需求。因为文档很齐全，我这里就不一一解释了。

　　我这里监控了一个目录/Users/Documents/AWS：

　　则对应的配置文件，简单的可以设置为：

　　以下是该工具写入到es的对象为：

　　UI上可以通过读取content，file，path的内容进行必要的展示

　　具体需要修改buildState.js里面的内容进行适配。

　　

　　文件下载

　　我们可以使用nginx或者其他工具为文件目录提供一个web访问的解决方案，当搜索某个关键字被匹配后，根据文件信息，构造一个下载路径，提供文件下载

　　结语

　　其实这个博文我没有写得特别的详细，只是简单的总结一下思路，希望对大家有帮助