结合SQL Server全文检索对Word内容进行检索的三个方案

SQL Server 2008中SQL应用系列及BI学习笔记系列--目录索引

 

导读：除了利用office提供的API对word文档内容进行检索外，本文简要总结如何结合SQL Server的全文检索技术对Word文件的内容进行检索的三个方案。

一、结合Windows索引服务进行全文检索

方案摘要：

1. 改变文件存储时的文件名；

2. 配置索引服务器，并将索引服务器与MS SQL Server关联。

3. 修改SQL语句，将进行全文查询语句的内容加入查询条件中

一个详细的实例，参考这里：http://database.ctocio.com.cn/51/11440551.shtml

优点：可以独立对文件以目录方式物理存放，并且这些文件继续以doc格式存放。

缺点：只能读取，不能写入。

二、结合BLOB数据进行全文检索

方案摘要：将doc文件以BLOB数据格式varbinary(max)存放于数据库的表中，再对表进行全文检索。这是最为常见的一种方案了。

一个简单插入表的示例：

-- -----二进制文件查询示例
/* ********************[email protected]*************** */
Use Master
Go
IF EXISTS ( SELECT name FROM sys.databases WHERE name = N ' BlobDataDemoDB ' )
DROP DATABASE BlobDataDemoDB
GO

USE Master
GO
CREATE DATABASE BlobDataDemoDB
GO
-- ------启用全文检索
/* ********************[email protected]*************** */
execute sp_fulltext_database ' enable '
go

use blobDataDemoDB
GO
-- 创建一个包含BlOB列的表
/* ********************[email protected]*************** */
if OBJECT_ID ( ' SampleBlobTable ' ) is not null
drop table SampleBlobTable
go

CREATE TABLE SampleBlobTable
(
[ PKID ] int identity ( 1 , 1 ) primary key ,
[ FileType ] Nvarchar ( 32 ) null ,
[ FileName ] Nvarchar ( 255 ) null ,
[ FileContent ] VARBINARY ( MAX ) NULL ,
[ AddTime ] datetime default ( getdate ())
)
GO

IF EXISTS ( SELECT * FROM sys.objects WHERE
  object_id = OBJECT_ID (N ' [dbo].[CPP_InsertOneBlobDataToTable] ' )
AND type in (N ' P ' , N ' PC ' ))
DROP PROCEDURE [ dbo ] . [ CPP_InsertOneBlobDataToTable ]
GO
-- 创建一个插入数据到SQL server的存储过程
/* ********************[email protected]*************** */
CREATE PROCEDURE CPP_InsertOneBlobDataToTable
( @FileType nvarchar ( 32 ),
@FileName nvarchar ( 255 ),
@FileContent VARBINARY ( MAX )
)
AS
INSERT SampleBlobTable( [ FileType ] , [ FileName ] , [ FileContent ] , [ AddTime ] )
VALUES ( @FileType , @Filename , @FileContent , getdate ())
GO

 

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.IO;
using System.Data.SqlClient;
using System.Data;

namespace BlobDataSearchDemo
{
class Program
{
const string conn = @" Server=ap4\Agronet09;DataBase=BlobDataDemoDB;uid=sa;pwd=as; " ;
static void Main( string [] args)
{
SaveDoc2SQLServer( @" D:\2008Data\StreamData\Doc\轻舞飞扬.doc " , conn);
SaveDoc2SQLServer( @" D:\2008Data\StreamData\Doc\天龙八部.doc " , conn);
SaveDoc2SQLServer( @" D:\2008Data\StreamData\Doc\English.doc " , conn);

Console.ReadKey();

}

private static void SaveDoc2SQLServer( string filepath, string conn)
{
FileInfo fi = new FileInfo(filepath);
if (fi.Exists)
{

// Open the stream and read it back.
using (FileStream fs = File.OpenRead(filepath))
{
byte [] b = new byte [fi.Length];
SqlConnection Conn;
SqlCommand cmdUploadDoc;
UTF8Encoding temp = new UTF8Encoding( true );
while (fs.Read(b, 0 , b.Length) > 0 )
{
Conn = new SqlConnection(conn);

// Setting the SqlCommand
cmdUploadDoc = new SqlCommand( " CPP_InsertOneBlobDataToTable " , Conn);
cmdUploadDoc.CommandType = CommandType.StoredProcedure;
cmdUploadDoc.Parameters.Add( " @FileName " , SqlDbType.NVarChar, 200 ).Value = fi.Name;
cmdUploadDoc.Parameters.Add( " @FileContent " , SqlDbType.VarBinary, 0 ).Value = b;
cmdUploadDoc.Parameters.Add( " @FileType " , SqlDbType.NVarChar, 32 ).Value =
　　　　　　　　　　　　　　　　　　　　　　　　　　fi.Extension.Replace( " . " , "" );
Conn.Open();
cmdUploadDoc.ExecuteNonQuery();
Conn.Close();
}
}
}
}
}
}

查询结果：

注意：

1、在数据库设置全文检索时，必须有一个字段是文档类型，SQL Server全文检索依据此文档类型启动相应的doc引擎进行检索。

2、必须设置全文检索的语言，中文为2052，英文为1033。

优点：将doc文件导入SQL Server数据库中，可以方便地进行读取和全文检索，必要时也可以写入。

缺点：varbinary(Max)受2G大小限制，而且数据库存入大量的BLOB数据，将变得异常臃肿，检索速度将大大降低。

三、结合FileStream进行全文检索

方案摘要：与方案二类似，只不过利用FileStream技术将doc文件以数据格式varbinary(max)存放于数据库外的物理文件中，再对表进行全文检索。

在SQL Server 2008 中
– FILESTREAM 数据不支持远程存储
– 不支持数据库快照和数据库镜像
– 某些Katmai的功能不支持FILESTREAM ，例如：
• SQL 加密
• 表值参数

前提：必须安装全文检索并启用FileStream

参考：

http://msdn.microsoft.com/zh-cn/library/bb933993.aspx

http://www.cnblogs.com/downmoon/archive/2010/05/06/1727546.html

http://www.cnblogs.com/downmoon/archive/2010/05/08/1730044.html

优点：将doc文件导入SQL Server数据库中，可以方便地进行读取和全文检索，必要时也可以写入，并且克服了方案二的缺点。varbinary(Max)字段只存放索引，而实际的内容存放于数据库外，大小只受NTFS文件夹物理大小的限制。

小结：本文简要总结如何结合SQL Server的全文检索技术对Word文件的内容进行检索的三个方案。本人认为方案一和方案三均可行。欢迎交流。[email protected]