Lucene 多字段，多关键字 查询

mysql 多字段模糊查询

 

MySQLJava

在最近的一个项目需要实现在单表中对多字段进行同一关键字的模糊查询,查了一下有点收获 

 

Java代码  

select * from table where `字段`='值' and concat(`title`,`content`) like '%关键字%'   

 

MySQL单表多字段模糊查询解决方法

2008-11-14 09:17

MySQL单表多字段模糊查询解决方法

在最近的一个项目需要实现在单表中对多字段进行多个关键字的模糊查询，但这数个关键字并不一定都存在于某个字段

例如现有table表，其中有title，tag，description三个字段，分别记录一条资料的标题，标签和介绍。然后根据用户输入的查询请求，将输入的字串通过空格分割为多个关键字，再在这三个字段中查询包含这些关键字的记录。

可目前遇到的问题是，这些关键字是可能存在于三个字段中的任意一个或者多个，但又要求三个字段必须包含所有的关键词。如果分别对每个字段进行模糊匹配，是没法实现所需的要求，由此想到两种方法：

在插入记录的同时，将需要进行多字段模糊查询的字段合并成一个字串并加入到一个新的字段中，然后对这个新字段进行模糊查询。

使用全文检索，但是这需要用到中文分词或者将汉字转化为拼音（拆分汉字是不可行的，MySQL默认FT最小字节为4），而且并不利于今后的维护。

在网上爬了两天，对此问题的处理都没有找到满意的解决方法，最后在《MySQL权威指南》中翻到了CONCAT的使用方法，在书中的对CONCAT的描述是：

CONCAT(str1,str2,…)

返回值：由全体出入参数合并在一起而得到的字符串。只要输入的参数中有NULL值，就返回NULL。CONCAT允许只有一个输入参数的情况。

因此，前文的查询可以通过下面这个SQL查询实现

SELECT * FROM `magazine` WHERE CONCAT(`title`,`tag`,`description`) LIKE ‘%关键字%’

在最近的一个项目需要实现在单表中对多字段进行多个关键字的模糊查询，但这数个关键字并不一定都存在于某个字段,查了一下有点收获

 

select * from table where `字段`='值' and concat(`title`,`content`) like '%关键字%'

今天有朋友问

引用原文:

 

请教一个问题： 

我在mysql中建一个表，三百多万条记录，大约200mb大小，简单的模糊查询就很慢，请问有什么解决办法吗？？也许 col_XX 会达到20个左右. 

 

 

他的SQL如下： 

 

 1

select * from table_XX where col_1 like '%条件%' or col_2 like '%条件%' or col_3 like '%条件%'or col_4 like '%条件%'

 

 

首先，需要说明的是，以上的SQL语句，在任何类型的数据库上执行都不会使用到索引，意味着逐行扫描。 

 

数据库只能做以下： 

在建好联合索引 col_1,col_2.....后， 

 

 1

select * from table_XX where col_1 like '条件%' or col_2 like '条件%' or col_3 like '条件%'or col_4 like '条件%'

 

 

在必须以col_1作为where第一个条件的前提下，以上条件能使用到索引，也就是说最前面不能用%，只能以“条件”开头. 

 

如果一定要实现 like '%条件%' ，数据库无法做到。 

 

以下是实现的可选方案： 

 

使用Lucene对需要检索的字段做全文检索(再加入自己的分词组件)。通过Lucene进行搜索(搜索效果要比数据库好得多)，而非数据库。

 

 

音乐检索，用户数据一段文字，要求按照歌曲名、歌手名、专辑名进行查询匹配 

Query query = MultiFieldQueryParser.parse(queryString, new String[]{"track_name","artist_name","release_name"}, new StandardAnalyzer());

 

 

 

 

mysql 多字段模糊查询

 

MySQLJava

在最近的一个项目需要实现在单表中对多字段进行同一关键字的模糊查询,查了一下有点收获 

 

Java代码  

select * from table where `字段`='值' and concat(`title`,`content`) like '%关键字%'   

 

 

 

 

 

 

 

MySQL单表多字段模糊查询解决方法

2008-11-14 09:17

MySQL单表多字段模糊查询解决方法

在最近的一个项目需要实现在单表中对多字段进行多个关键字的模糊查询，但这数个关键字并不一定都存在于某个字段

例如现有table表，其中有title，tag，description三个字段，分别记录一条资料的标题，标签和介绍。然后根据用户输入的查询请求，将输入的字串通过空格分割为多个关键字，再在这三个字段中查询包含这些关键字的记录。

可目前遇到的问题是，这些关键字是可能存在于三个字段中的任意一个或者多个，但又要求三个字段必须包含所有的关键词。如果分别对每个字段进行模糊匹配，是没法实现所需的要求，由此想到两种方法：

在插入记录的同时，将需要进行多字段模糊查询的字段合并成一个字串并加入到一个新的字段中，然后对这个新字段进行模糊查询。

使用全文检索，但是这需要用到中文分词或者将汉字转化为拼音（拆分汉字是不可行的，MySQL默认FT最小字节为4），而且并不利于今后的维护。

在网上爬了两天，对此问题的处理都没有找到满意的解决方法，最后在《MySQL权威指南》中翻到了CONCAT的使用方法，在书中的对CONCAT的描述是：

CONCAT(str1,str2,…)

返回值：由全体出入参数合并在一起而得到的字符串。只要输入的参数中有NULL值，就返回NULL。CONCAT允许只有一个输入参数的情况。

因此，前文的查询可以通过下面这个SQL查询实现

SELECT * FROM `magazine` WHERE CONCAT(`title`,`tag`,`description`) LIKE ‘%关键字%’

在最近的一个项目需要实现在单表中对多字段进行多个关键字的模糊查询，但这数个关键字并不一定都存在于某个字段,查了一下有点收获

 

select * from table where `字段`='值' and concat(`title`,`content`) like '%关键字%'

今天有朋友问

引用原文:

 

请教一个问题： 

我在mysql中建一个表，三百多万条记录，大约200mb大小，简单的模糊查询就很慢，请问有什么解决办法吗？？也许 col_XX 会达到20个左右. 

 

 

他的SQL如下： 

 

 1

select * from table_XX where col_1 like '%条件%' or col_2 like '%条件%' or col_3 like '%条件%'or col_4 like '%条件%'

 

 

首先，需要说明的是，以上的SQL语句，在任何类型的数据库上执行都不会使用到索引，意味着逐行扫描。 

 

数据库只能做以下： 

在建好联合索引 col_1,col_2.....后， 

 

 1

select * from table_XX where col_1 like '条件%' or col_2 like '条件%' or col_3 like '条件%'or col_4 like '条件%'

 

 

在必须以col_1作为where第一个条件的前提下，以上条件能使用到索引，也就是说最前面不能用%，只能以“条件”开头. 

 

如果一定要实现 like '%条件%' ，数据库无法做到。 

 

以下是实现的可选方案： 

 

使用Lucene对需要检索的字段做全文检索(再加入自己的分词组件)。通过Lucene进行搜索(搜索效果要比数据库好得多)，而非数据库。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

lucene多索引文件并行查询

 

博客分类： Lucene

luceneSQL.net

Lucene并行索引多目录

Lucene并行索引多目录

1、多字段搜索就是同时要一个以上的字段中的内容进行比较搜索，类似概念在SQL中就是select * from Table where a like '%query%' or b like '%query%'。

 

Lucene.net中的单个字段查询大家都比较熟悉，这里对字段content进行搜索

Query query = QueryParser.Parse(querystr,"content",new ChineseAnalyzer());

Hits hits = searcher.Search(query);

 

对多个字段查询用到一个MultiFieldQueryParser对象，该对象继承自Query，我们要对字段title,content进行搜索。

string[] fields = {"content","title"};

Query multiquery = MultiFieldQueryParser.Parse(querystr,fields,new ChineseAnalyzer());

Hits hits = searcher.Search(multiquery);

 

2、多索引目录就是要在多个索引目录的中进行比较搜索，类似概念在SQL中就是select * from TableA union select * from TableB。

IndexSearcher[] searchers = new IndexSearcher[2];

searchers[0] = new IndexSearcher(IndexPath0);

searchers[1] = new IndexSearcher(IndexPath1);

 

MultiSearcher multisearcher = new MultiSearcher(searchers);

TopDocs multitopdocs = multisearcher.Search(query, null, 1000);

这个搜索的结果可能有相同的信息，比如你有一条相同的信息在多个目录中索引，搜索的结果就会出现多次相同的信息。

 

还有一种搜索方式是用到ParallelMultiSearcher这个对象，它是从MulitSearcher继承而来。

ParallelMultiSearcher parallelmultisearcher = new ParallelMultiSearcher(searchers);

TopDocs paralleltopdocs = parallelmultisearcher.Search(query, null, 1000);

这个搜索是对搜索后的结果进行合并，剔除重复的信息。

 

 

 

 

音乐检索，用户数据一段文字，要求按照歌曲名、歌手名、专辑名进行查询匹配 

Query query = MultiFieldQueryParser.parse(queryString, new String[]{"track_name","artist_name","release_name"}, new StandardAnalyzer());