16款开源的全文搜索引擎

16款开源的全文搜索引擎_第1张图片

网络安全重磅福利:入门&进阶全套282G学习资源包免费分享!

全文搜索引擎就是通过从互联网上提取的各个网站的信息(以网页文字为主)而建立的数据库中,检索与用户查询条件匹配的相关记录,然后按一定的排列顺序将结果返回给用户。

1、Apache Lucene Java 全文搜索框架

16款开源的全文搜索引擎_第2张图片

许可证:Apache-2.0

开发语言:Java

官网:https://lucene.apache.org/

Apache Lucene 是完全用 Java 编写的高性能、功能齐全的全文检索引擎架构,提供了完整的查询引擎和索引引擎、部分文本分析引擎。目的是为软件开发人员提供一个简单易用的工具包,以方便地在目标系统中实现全文检索的功能,或者是以此为基础建立起完整的全文检索引擎。

16款开源的全文搜索引擎_第3张图片

项目地址:https://www.oschina.net/p/lucene

网络安全重磅福利:入门&进阶全套282G学习资源包免费分享!

2、Apache Solr 全文搜索服务器

许可证:Apache-2.0

开发语言:Java

官网:https://solr.apache.org/

Apache Solr 是基于 Lucene 的全文搜索服务器,也是最流行的企业级搜索引擎,其主要功能包括全文检索、命中高亮、分面搜索、动态聚类、数据库集成,以及对富文本(如 Word、PDF)的处理。Solr 高度可扩展,并提供了分布式搜索和索引复制,Solr 4 还增加了 NoSQL 支持。

16款开源的全文搜索引擎_第4张图片

项目地址:https://www.oschina.net/p/solr

网络安全重磅福利:入门&进阶全套282G学习资源包免费分享!

3、Elasticsearch 分布式搜索引擎

许可证:Apache-2.0

开发语言:Java

官网:https://www.elastic.co/cn/elasticsearch/

Elasticsearch 是一个分布式、RESTful 风格的搜索和数据分析引擎,能够解决不断涌现出的各种用例。作为 Elastic Stack 的核心,Elasticsearch 会集中存储你的数据,让你飞快完成搜索,微调相关性,进行强大的分析,并轻松缩放规模。

项目地址:https://www.oschina.net/p/elasticsearch

4、Nutch 搜索引擎

许可证:Apache-2.0

开发语言:Java

官网:https://nutch.apache.org/

Nutch 是一个开源 Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和 Web 爬虫。

Nutch 的创始人是 Doug Cutting,他同时也是 Lucene、Hadoop 和 Avro 开源项目的创始人。

项目地址:https://www.oschina.net/p/nutch

网络安全重磅福利:入门&进阶全套282G学习资源包免费分享!

5、RediSearch 高性能全文搜索引擎

许可证:AGPL

开发语言:C/C++

官网:https://redis.io/docs/stack/search/

RediSearch 是一个高性能的全文搜索引擎,可作为一个 Redis Module 运行在 Redis 上,是由 RedisLabs 团队开发的。实现了Redis的查询、二级索引和全文搜索。这些功能在文本查询的基础上实现了多字段查询、聚合、精确短语匹配、数字过滤、地理过滤和矢量相似性语义搜索。

16款开源的全文搜索引擎_第5张图片

项目地址:https://www.oschina.net/p/redisearch

6、Sphinx Search 全文搜索引擎

许可证:GPL

开发语言:C/C++

官网:http://sphinxsearch.com/

Sphinx 是一个开源的全文搜索服务器,从头开始设计时就考虑到了性能、相关性(又名搜索质量)和集成的简单性。它是用 C++ 编写的,适用于 Linux(RedHat、Ubuntu 等)、Windows、MacOS、Solaris、FreeBSD 和其他一些系统。

Sphinx 让你可以快速轻松地批量索引和搜索存储在 SQL 数据库、NoSQL 存储或文件中的数据,或者即时索引和搜索数据,使用 Sphinx 就像使用数据库服务器一样。各种文本处理功能可以根据你的特定应用程序要求微调 Sphinx,并且许多相关功能确保你也可以调整搜索质量。

项目地址:https://www.oschina.net/p/sphinxsearch

网络安全重磅福利:入门&进阶全套282G学习资源包免费分享!

7、ftserver 轻量精准全文搜索服务器

开发语言:Java

FTServer (FTS) 是一个轻量精准全文搜索服务器,使用英文规则处理英文,使用中文规则处理中文,不需要切割中文为单词,可以支持中文字的任意排列,精准搜索中文长句子,轻松处理古文古诗词,写意句子不影响搜索,不依赖词库,搜索中文不漏词。非常容易按需定制,直接编译就可以使用,无需额外配置,同时可以嵌入到各种应用内部。

16款开源的全文搜索引擎_第6张图片

项目地址:https://www.oschina.net/p/ftserver

8、Xapian C++检索引擎

许可证:GPL

开发语言:C/C++

官网:https://xapian.org/

Xapian 是一个用 C++ 编写的全文检索程序,他的作用类似于 Java 的 lucene。尽管在 Java 世界 lucene 已经是标准的全文检索程序,但是 C/C++ 世界并没有相应的工具,而 Xapian 则填补了这个缺憾。

Xapian 是一个高度适应性的工具包,它允许开发人员轻松地将高级索引和搜索工具添加到他们自己的应用程序中。它内置支持多个权重模型系列,还支持一组丰富的布尔查询运算符。

项目地址:https://www.oschina.net/p/xapian

网络安全重磅福利:入门&进阶全套282G学习资源包免费分享!

9、Hibernate Search Hibernate搜索框架

16款开源的全文搜索引擎_第7张图片

许可证:LGPL

开发语言:Java

官网:https://hibernate.org/search/

Hibernate Search 的作用是对数据库中的数据进行检索的。它是 hibernate 对著名的全文检索系统 Lucene 的一个集成方案,作用在于对数据表中某些内容庞大的字段(如声明为 text 的字段)建立全文索引,这样通过 hibernate search 就可以对这些字段进行全文检索后获得相应的 POJO,从而加快了对内容庞大字段进行模糊搜索的速度(sql 语句中 like 匹配)。

Hibernate Search 自动从 Hibernate ORM 实体中提取数据,以将其推送到本地 Apache Lucene 索引或远程 Elasticsearch 索引。

项目地址:https://www.oschina.net/p/hibernate+search

网络安全重磅福利:入门&进阶全套282G学习资源包免费分享!

10、MeiliSearch 轻量搜索引擎

16款开源的全文搜索引擎_第8张图片

许可证:MIT

开发语言:Rust

官网:https://www.meilisearch.com/

网络安全重磅福利:入门&进阶全套282G学习资源包免费分享!

Meilisearch 是 Rust 实现的高性能开源搜索引擎,支持方便地集成到任何网站或应用程序,支持自托管 (self-hosting),可作为 Algolia 和 Elasticsearch 的轻量替代方案。Meilisearch 内置了许多实用功能,比如:

  • 快速的输入即搜索 (search-as-you-type) 体验,也称作 “即时搜索”
  • 支持冗错 / 纠错搜索 (typo tolerance)
  • 支持多面搜索 (faceted search)
  • 支持基于地理位置的搜索 (geosearch)
  • 支持多租户 (multi-tenancy)

Meilisearch 提供了一整套完整的 SDK 和库,让开发者便捷地将其连接到流行的编程语言和 Web 工具。Meilisearch 的搜索功能支持所有语言,对任何使用空格分隔单词的语言以及中文、日语、希伯来语、泰语和韩语都进行了特殊优化。

项目地址:https://www.oschina.net/p/meilisearch

11、Manticore Search C++ 开发的高性能搜索引擎

许可证:GPL-2.0

开发语言:C/C++

官网:https://manticoresearch.com/

Manticore Search 是一个使用 C++ 开发的高性能搜索引擎,创建于 2017 年,其前身是 Sphinx Search 。Manticore Search 充分利用了 Sphinx,显着改进了它的功能,修复了数百个错误,几乎完全重写了代码并保持开源!这一切使 Manticore Search 成为一个现代,快速,轻量级和功能齐全的数据库,具有出色的全文搜索功能。

来自 MS 官方的测试表明 Manticore Search 性能比 ElasticSearch 有很大的提升。

项目地址:https://www.oschina.net/p/manticoresearch

网络安全重磅福利:入门&进阶全套282G学习资源包免费分享!

12、Tantivy 全文搜索引擎库

许可证:MIT 开发语言:Rust

Tantivy 是一个用 Rust 编写的搜索引擎库,其灵感来自于 Lucene。得益于 Rust 语言加持,Tantivy 性能比 Lucene 要好得多。

16款开源的全文搜索引擎_第9张图片

项目地址:https://www.oschina.net/p/tantivy

13、Tantiny Ruby 全文搜索引擎库

许可证:MIT

开发语言:Ruby、SHELL、Rust

Tantiny 是一个基于 Tantivy 的 Ruby 的最小化全文搜索库。当你手头的任务需要全文搜索,但配置一个完整的分布式搜索引擎会比任务本身花费更多的时间时,它是非常好的选择。

网络安全重磅福利:入门&进阶全套282G学习资源包免费分享!

即使你已经在你的项目中使用了这样的引擎(实际上这是很有可能的),使用 Tantiny 仍然可能更容易,因为与 Solr 和 Elasticsearch 不同,它不需要任何东西来工作(没有单独的服务器或进程或其他什么),它是纯粹的可嵌入的。所以,当你发现自己在使用你所选择的搜索引擎会很麻烦 / 不方便,或者需要额外的设置时,你总是可以回到一个快速和肮脏的解决方案,但还是很灵活和快速。

Tantiny 并不完全是对 Tantivy 的 Ruby 绑定,但它试图接近。主要理念是提供对 Tantivy 倒排索引的低级访问,但具有漂亮的 Ruby 风格的 API、合理的默认设置和附加功能。

项目地址:https://www.oschina.net/p/tantiny

14、DataparkSearch 搜索引擎

许可证:GPL-2.0

开发语言:C/C++

官网:http://www.dataparksearch.org/

DataparkSearch 搜索引擎是一个 C 语言的全功能的开源基于 Web 的搜索引擎。

项目地址:https://www.oschina.net/p/dataparksearch

网络安全重磅福利:入门&进阶全套282G学习资源包免费分享!

15、GoFound 基于 Go 的全文检索引擎

许可证:Apache-2.0

开发语言:Google Go

GoFound 是一个 go 语言全文检索引擎, 基于平衡二叉树 + 正排索引、倒排索引实现。可支持亿级数据、毫秒级查询。使用简单,使用 http 接口,任何系统都可以使用。技术栈:

  • 平衡二叉查找树
  • 二分法查找
  • 快速排序法
  • 倒排索引
  • 正排索引
  • 文件分片
  • golang-jieba 分词
  • leveldb

项目地址:https://www.oschina.net/p/gofound

网络安全重磅福利:入门&进阶全套282G学习资源包免费分享!

16、Compass 搜索引擎

许可证:Apache-2.0

开发语言:Java、Perl

官网:http://www.compass-project.org/

Compass 是一个建立在 Lucene 之上的开源项目,旨在简化搜索与任何 Java 应用的整合。Compass 提供了广泛的功能,旨在集成搜索引擎功能。下图显示了不同的 Compass 模块,然后是每个模块的简短描述。

16款开源的全文搜索引擎_第10张图片

项目地址:https://www.oschina.net/p/compass

网络安全重磅福利:入门&进阶全套282G学习资源包免费分享!

题外话

初入计算机行业的人或者大学计算机相关专业毕业生,很多因缺少实战经验,就业处处碰壁。下面我们来看两组数据:

2023届全国高校毕业生预计达到1158万人,就业形势严峻;

国家网络安全宣传周公布的数据显示,到2027年我国网络安全人员缺口将达327万。

一方面是每年应届毕业生就业形势严峻,一方面是网络安全人才百万缺口。

6月9日,麦可思研究2023年版就业蓝皮书(包括《2023年中国本科生就业报告》《2023年中国高职生就业报告》)正式发布。

2022届大学毕业生月收入较高的前10个专业

本科计算机类、高职自动化类专业月收入较高。2022届本科计算机类、高职自动化类专业月收入分别为6863元、5339元。其中,本科计算机类专业起薪与2021届基本持平,高职自动化类月收入增长明显,2022届反超铁道运输类专业(5295元)排在第一位。

具体看专业,2022届本科月收入较高的专业是信息安全(7579元)。对比2018届,电子科学与技术、自动化等与人工智能相关的本科专业表现不俗,较五年前起薪涨幅均达到了19%。数据科学与大数据技术虽是近年新增专业但表现亮眼,已跻身2022届本科毕业生毕业半年后月收入较高专业前三。五年前唯一进入本科高薪榜前10的人文社科类专业——法语已退出前10之列。

在这里插入图片描述

“没有网络安全就没有国家安全”。当前,网络安全已被提升到国家战略的高度,成为影响国家安全、社会稳定至关重要的因素之一。

网络安全行业特点

1、就业薪资非常高,涨薪快 2021年猎聘网发布网络安全行业就业薪资行业最高人均33.77万!

在这里插入图片描述

2、人才缺口大,就业机会多

2019年9月18日《中华人民共和国中央人民政府》官方网站发表:我国网络空间安全人才 需求140万人,而全国各大学校每年培养的人员不到1.5W人。猎聘网《2021年上半年网络安全报告》预测2027年网安人才需求300W,现在从事网络安全行业的从业人员只有10W人。

在这里插入图片描述

行业发展空间大,岗位非常多

网络安全行业产业以来,随即新增加了几十个网络安全行业岗位︰网络安全专家、网络安全分析师、安全咨询师、网络安全工程师、安全架构师、安全运维工程师、渗透工程师、信息安全管理员、数据安全工程师、网络安全运营工程师、网络安全应急响应工程师、数据鉴定师、网络安全产品经理、网络安全服务工程师、网络安全培训师、网络安全审计员、威胁情报分析工程师、灾难恢复专业人员、实战攻防专业人员…

职业增值潜力大

网络安全专业具有很强的技术特性,尤其是掌握工作中的核心网络架构、安全技术,在职业发展上具有不可替代的竞争优势。

随着个人能力的不断提升,所从事工作的职业价值也会随着自身经验的丰富以及项目运作的成熟,升值空间一路看涨,这也是为什么受大家欢迎的主要原因。

从某种程度来讲,在网络安全领域,跟医生职业一样,越老越吃香,因为技术愈加成熟,自然工作会受到重视,升职加薪则是水到渠成之事。

黑客&网络安全该如何学习

今天只要你给我的文章点赞,我私藏的网安学习资料一样免费共享给你们,来看看有哪些东西。

1.学习路线图

攻击和防守要学的东西也不少,具体要学的东西我都写在了上面的路线图,如果你能学完它们,你去就业和接私活完全没有问题。

2.视频教程

网上虽然也有很多的学习资源,但基本上都残缺不全的,这是我自己录的网安视频教程,上面路线图的每一个知识点,我都有配套的视频讲解。

内容涵盖了网络安全法学习、网络安全运营等保测评、渗透测试基础、漏洞详解、计算机基础知识等,都是网络安全入门必知必会的学习内容。

在这里插入图片描述

(都打包成一块的了,不能一一展开,总共300多集)

因篇幅有限,仅展示部分资料,需要点击下方链接即可前往获取

网络安全重磅福利:入门&进阶全套282G学习资源包免费分享!

需要的小伙伴也可以扫描下方CSDN官方合作二维码免费领取哦,无偿分享!!!16款开源的全文搜索引擎_第11张图片

3.技术文档和电子书

技术文档也是我自己整理的,包括我参加大型网安行动、CTF和挖SRC漏洞的经验和技术要点,电子书也有200多本,由于内容的敏感性,我就不一一展示了。

在这里插入图片描述

在这里插入图片描述

因篇幅有限,仅展示部分资料,需要点击下方链接即可前往获取

网络安全重磅福利:入门&进阶全套282G学习资源包免费分享!

需要的小伙伴也可以扫描下方CSDN官方合作二维码免费领取哦,无偿分享!!!16款开源的全文搜索引擎_第12张图片

4.工具包、面试题和源码

“工欲善其事必先利其器”我为大家总结出了最受欢迎的几十款款黑客工具。涉及范围主要集中在 信息收集、Android黑客工具、自动化工具、网络钓鱼等,感兴趣的同学不容错过。

还有我视频里讲的案例源码和对应的工具包,需要的话也可以拿走。

因篇幅有限,仅展示部分资料,需要点击下方链接即可前往获取

网络安全重磅福利:入门&进阶全套282G学习资源包免费分享!

需要的小伙伴也可以扫描下方CSDN官方合作二维码免费领取哦,无偿分享!!!16款开源的全文搜索引擎_第13张图片

最后就是我这几年整理的网安方面的面试题,如果你是要找网安方面的工作,它们绝对能帮你大忙。

这些题目都是大家在面试深信服、奇安信、腾讯或者其它大厂面试时经常遇到的,如果大家有好的题目或者好的见解欢迎分享。

参考解析:深信服官网、奇安信官网、Freebuf、csdn等

内容特点:条理清晰,含图像化表示更加易懂。

内容概要:包括 内网、操作系统、协议、渗透测试、安服、漏洞、注入、XSS、CSRF、SSRF、文件上传、文件下载、文件包含、XXE、逻辑漏洞、工具、SQLmap、NMAP、BP、MSF…

因篇幅有限,仅展示部分资料,需要点击下方链接即可前往获取

网络安全重磅福利:入门&进阶全套282G学习资源包免费分享!
如果你对网络安全入门感兴趣,

①网络安全学习路线
②上百份渗透测试电子书
③安全攻防357页笔记
④50份安全攻防面试指南
⑤安全红队渗透工具包
⑥HW护网行动经验总结
⑦100个漏洞实战案例
⑧安全大厂内部视频资源
⑨历年CTF夺旗赛题解析

需要的小伙伴也可以扫描下方CSDN官方合作二维码免费领取哦,无偿分享!!!
16款开源的全文搜索引擎_第14张图片

你可能感兴趣的:(开源,搜索引擎,网络安全,web安全,数据库,安全,前端)