lucene.net，包括对htm,word,doc,pdf,等等式进行parse解析，取得内容

本文转载自：http://blog.csdn.net/hehui21/article/details/2873933

这几天完成一个相关lucene.net 索引，特此写上来供大爱评论！

建立全文索引，主要有两步，一，建立索引，二，查找，那么我先来讲一下怎么新建索引！
引用类：

1. Imports System.Data
2. Imports System.IO
3. Imports System.Net
4. Imports System.Text
5. Imports System.Data.SqlClient
6. Imports System.Data.Sql
7. Imports System.Text.RegularExpressions
8. Imports System.Web
9. Imports System.Threading
11. Imports Microsoft.Office
12. Imports Lucene.Net.Documents
13. Imports Lucene.Net.Index
14. Imports Lucene.Net.Search
15. Imports Lucene.Net.QueryParsers
16. Imports Lucene.Net.Analysis.Cn
17. Imports Lucene.Net
18. Imports System.Data.OleDb

我这里是把它做成一个类的，它是一个form程式，里面有一个按钮，一个rechibox,一个timer然后在这个类里定义一些私有变量：
-

1.    Private Delegate Sub indexfile_delegate()
2.     Private _dir As String = "D:/idx"'存放索引位置
3.     Private _display_index_Name As String = "XYPart_index"
4.     'Private display_index_directory As String = _dir
5.     Private _Analysis As New Lucene.Net.Analysis.Cn.ChineseAnalyzer
6.     Private _writer As IndexWriter '新建一个索引
7.     Private startTime As DateTime'定义程式开始运行时间，主要是记录索引时间用
9.     Private _conn As New System.Data.SqlClient.SqlConnection("server=你的数据库地址;database=databasename;User Id = 用户名称;Password =密码;")
10. 
    

1.  '解读出数据里的数据
2.     Public Function F_getDataFromTable() As SqlDataReader
3.         'connection
4.          _conn.Open()
5.         Dim query As String = ”sql语句“
6.          Dim mycom As SqlCommand
7.         mycom = New SqlCommand(query, _conn)
8.         Dim myrea As SqlDataReader
9.          myrea = mycom.ExecuteReader
10.          Return myrea
11.     End Function

解读出附件里的文件内容：

1.     Public Function FileParse(ByVal file As String) As String
2.         Dim result As String = ""
3.         '  For j As Integer = 0 To file.Length - 1
4.         Dim T_str As String = Path.GetExtension(file).ToLower
5.         Select Case T_str
6.             Case ".txt"
7.                 result = TxtParse(file)
8.             Case ".htm"
9.                 result = htmParse(file)
10.             Case ".html"
11.                 result = htmParse(file)
12.             Case ".pdf"
13.                 result = PDFParse(file)
14.             Case ".docx"
15.                 result = WordParse(file)
16.             Case ".doc"
17.                 result = WordParse(file)
18.             Case ".ppt"
19.                 result = PPTParse(file)
20.             Case ".pptx"
21.                 result = PPTParse(file)
22.             Case ".xlsx"
23.                 result = ExcelParse(file)
24.             Case ".xls"
25.                 result = ExcelParse(file)
26.         End Select
27.         '  Next
28.         Return result
29.     End Function
30.     Public Function htmParse(ByVal path As String) As String
31.         Dim sr As New StreamReader(path, System.Text.Encoding.Default)
32.         Dim file_html As String
33.         file_html = sr.ReadToEnd
35.         Dim Htmlstring As String = System.Text.RegularExpressions.Regex.Replace(file_html, "<[^>]*>", "")
37.         'remove script 
38.         Htmlstring = Regex.Replace(Htmlstring, "<script[^>]*?>.*?</script>", "", RegexOptions.IgnoreCase)
39.         'remove html
40.         Htmlstring = Regex.Replace(Htmlstring, "<(.[^>]*)>", "", RegexOptions.IgnoreCase)
41.         Htmlstring = Regex.Replace(Htmlstring, "([/r/n])[/s]+", "", RegexOptions.IgnoreCase)
42.         Htmlstring = Regex.Replace(Htmlstring, "-->", "", RegexOptions.IgnoreCase)
43.         Htmlstring = Regex.Replace(Htmlstring, "<!--.*", "", RegexOptions.IgnoreCase)
44.         Htmlstring = Regex.Replace(Htmlstring, "&(quot|#34);", "/", RegexOptions.IgnoreCase)
45.         Htmlstring = Regex.Replace(Htmlstring, "&(amp|#38);", "&", RegexOptions.IgnoreCase)
46.         Htmlstring = Regex.Replace(Htmlstring, "&(lt|#60);", "<", RegexOptions.IgnoreCase)
47.         Htmlstring = Regex.Replace(Htmlstring, "&(gt|#62);", ">", RegexOptions.IgnoreCase)
48.         Htmlstring = Regex.Replace(Htmlstring, "&(nbsp|#160);", " ", RegexOptions.IgnoreCase)
49.         Htmlstring = Regex.Replace(Htmlstring, "&(iexcl|#161);", "/xa1", RegexOptions.IgnoreCase)
50.         Htmlstring = Regex.Replace(Htmlstring, "&(cent|#162);", "/xa2", RegexOptions.IgnoreCase)
51.         Htmlstring = Regex.Replace(Htmlstring, "&(pound|#163);", "/xa3", RegexOptions.IgnoreCase)
52.         Htmlstring = Regex.Replace(Htmlstring, "&(copy|#169);", "/xa9", RegexOptions.IgnoreCase)
53.         Htmlstring = Regex.Replace(Htmlstring, "&#(/d+);", "", RegexOptions.IgnoreCase)
54.         Htmlstring.Replace("<", "")
55.         Htmlstring.Replace(">", "")
56.         Htmlstring.Replace("/r/n", "")
57.         'Htmlstring = System.Web.HttpContext.Current.Server.HtmlEncode(Htmlstring).Trim()
59.         Return Htmlstring.Replace(" ", " ")
60.     End Function
61.     Public Function TxtParse(ByVal Path_str As String) As String
62.         Dim sr As New StreamReader(Path_str, System.Text.Encoding.Default)
63.         Dim str As String = sr.ReadToEnd
64.         Return str
65.     End Function
66.     Public Function PDFParse(ByVal path_str As String) As String
67.         Dim Path_str_totxt As String = path_str.Substring(0, path_str.LastIndexOf(".")) + ".txt"
68.         Dim str As String = ""
69.         Try
72.             Shell(_datadir + "TextMiningTool/minetext.exe" + " " + path_str + " " + Path_str_totxt)
73.             str = TxtParse(Path_str_totxt)
75.             Shell("del /q /f " + Path_str_totxt)
77.         Catch ex As Exception
78.             MsgBox("this pdf    " + path_str + "  is not parsed ,the programme is continuing")
80.         End Try
81.         Return str
82.     End Function
83.     Public Function WordParse(ByVal path_str As String) As String
84.         Dim missing = System.Reflection.Missing.Value
85.         Dim isReadOnly As Boolean = False
86.         Dim isVisible As Boolean = True
88.         Dim openword As New Microsoft.Office.Interop.Word.Application
89.         Dim word_doc As Microsoft.Office.Interop.Word.Document
91.         word_doc = openword.Documents.Open(path_str, missing, missing, missing, missing, missing, missing, missing, missing, missing, missing, isVisible, missing, missing, missing, missing)
92.         word_doc.Activate()
93.         openword.Visible = False
95.         Dim str As String
96.         str = word_doc.Content.Text
97.         openword.Quit(missing, missing, missing)
98.         word_doc.Close()
99.         Return str
100.     End Function
101.     Public Function ExcelParse(ByVal path_str As String) As String
102.         Dim dbfconn As OleDb.OleDbConnection = New OleDb.OleDbConnection
103.         Dim conn_excel As String
104.         Dim FileExname As String = System.IO.Path.GetExtension(path_str).ToUpper
105.         If FileExname <> ".XLSX" Then
106.             conn_excel = "Provider=Microsoft.Jet.OLEDB.4.0;Data Source=" + path_str + ";Extended Properties='Excel 8.0;HDR=NO;IMEX=1';"
107.         Else
108.             conn_excel = "Provider=Microsoft.ACE.OLEDB.12.0;Data Source=" + path_str + ";Extended Properties='Excel 12.0;HDR=NO;IMEX=1';"
109.         End If
110.         Dim str As String = ""
111.         dbfconn.ConnectionString = conn_excel
112.         dbfconn.Open()
113.         Dim tablename As String
114.         Dim dt As DataTable = dbfconn.GetOleDbSchemaTable(OleDbSchemaGuid.Tables, Nothing)
115.         For i As Integer = 0 To dt.Rows.Count - 1
116.             tablename = dt.Rows(i)(2).ToString().Trim()
117.             Dim strSQL As String = "Select * from [" + tablename + "]"
118.             Dim objDA As System.Data.OleDb.OleDbDataAdapter = New System.Data.OleDb.OleDbDataAdapter(strSQL, conn_excel)
119.             Dim objDS As New DataSet()
120.             objDA.Fill(objDS)
122.             For j As Integer = 0 To objDS.Tables(0).Rows.Count - 1
123.                 For x As Integer = 0 To objDS.Tables(0).Columns.Count - 1
124.                     str = str + " " + objDS.Tables(0).Rows(j)(x).ToString
125.                 Next
126.             Next
127.         Next
128.         dbfconn.Close()
129.         Return str
130.     End Function
131.     Public Function PPTParse(ByVal file As String) As String
132.         Dim targetFile As String = file
133.         Dim str As String = ""
135.         Dim ppApp As New Microsoft.Office.Interop.PowerPoint.Application
137.         Dim prsPres As Microsoft.Office.Interop.PowerPoint.Presentation = ppApp.Presentations.Open(targetFile, True, False, False)
140.         For Each slide As Microsoft.Office.Interop.PowerPoint.Slide In prsPres.Slides
141.             For Each shape As Microsoft.Office.Interop.PowerPoint.Shape In slide.Shapes
142.                 If shape.TextFrame.HasText = Microsoft.Office.Core.MsoTriState.msoTrue Then
143.                     str = str + shape.TextFrame.TextRange.Text
144.                 End If
146.             Next
147.         Next
150.         prsPres.Close()
151.         ppApp.Quit()
153.         Return str
155.     End Function

建立索引：

1. Private Sub indexfile()
3.         Dim myrea As SqlDataReader
4.         myrea = F_getDataFromTable()
6.         'built field
7.         Dim Field_contents_str As String = "" 'save the  contents from table ,
8.         Dim Field_id As String = "" 'save the Requistion_no   id,
9.         Dim Field_Datafile As String
10.         Dim Field_file_Catagory As String
12.         display_indexinfo("start")
15.         ' Try
17.         While (myrea.Read())
18.             Dim doc As New Lucene.Net.Documents.Document
19.             ' If myrea("file_category").ToString <> "" Then
22.             Field_contents_str = myrea("Customer_Name").ToString + " " + myrea("Customer_Id").ToString + " " + myrea("Reject_Reason").ToString + " " + myrea("Remark").ToString + " " + myrea("Category").ToString
23.             Field_contents_str = Field_contents_str + " " + myrea("AACATI_SO_No").ToString + " " + myrea("Vendor_Part_No").ToString + " " + myrea("Description").ToString + " " + myrea("AASC_Part_No").ToString + " " + myrea("Brand_Name").ToString
26.             Field_id = myrea("requisition_no").ToString
28.             'save the contents from various file
29.             Dim fullpath As String = ""
30.             fullpath = "../Utilities/Files/" + myrea("filefullname")
31.             If File.Exists(fullpath) Then
32.                 Field_Datafile = FileParse(fullpath)
33.             Else
34.                 Field_Datafile = ""
35.             End If
36.             '  fullpath = datadir + "word.doc"
37.             Field_file_Catagory = myrea("file_category").ToString
38.             doc.Add(New Lucene.Net.Documents.Field("Table_contents", Field_contents_str, Lucene.Net.Documents.Field.Store.YES, Lucene.Net.Documents.Field.Index.TOKENIZED))
39.             doc.Add(New Lucene.Net.Documents.Field("File_contents", Field_Datafile, Lucene.Net.Documents.Field.Store.YES, Lucene.Net.Documents.Field.Index.TOKENIZED))
40.             doc.Add(New Lucene.Net.Documents.Field("Requisition_no_id", Field_id, Lucene.Net.Documents.Field.Store.YES, Lucene.Net.Documents.Field.Index.UN_TOKENIZED))
41.             doc.Add(New Lucene.Net.Documents.Field("FullContents", Field_contents_str + Field_Datafile, Lucene.Net.Documents.Field.Store.YES, Lucene.Net.Documents.Field.Index.TOKENIZED))
42.             doc.Add(New Lucene.Net.Documents.Field("FileCatagory", Field_file_Catagory, Lucene.Net.Documents.Field.Store.YES, Lucene.Net.Documents.Field.Index.TOKENIZED))
43.             _writer.AddDocument(doc)
44.             '  End If
46.         End While
48.         ' Catch ex As Exception
49.         '  MsgBox("index is not success")
50.         'End Try
52.         display_indexinfo("finished")
55.         myrea.Close()
57.     End Sub

显示索引中相关信息，比如文件名称，路径，等等，

1.  Private Sub display_indexinfo(ByVal status As String)
2.         '
3.         Dim display_index_Time As Date
4.         Dim _fi As New FileInfo("D:/idx/segments")
5.         display_index_Time = _fi.LastAccessTime
6.         Dim display_index_status As String = "Finished"
9.         If Not File.Exists("D:/idx/segments") Then
10.             DataList.AppendText("Sorry ,it is not built index!!")
11.         ElseIf status.ToLower = "start" Then
12.             DataList.Clear()
13.           
14.             startTime = Date.Now
15.             DataList.AppendText("Index Name :     " + _display_index_Name + vbCrLf + vbCrLf)
16.             DataList.AppendText("Index Directory:     " + _dir + vbCrLf + vbCrLf)
17.             display_index_status = "in process"
19.             DataList.AppendText("index  Status   :     " + display_index_status + vbCrLf)
20.             DataList.AppendText("Start Time :     " + startTime.ToString + vbCrLf + vbCrLf)
21.         ElseIf status.ToLower = "finished" Then
22.        
23.             Dim Endtime As DateTime = Date.Now
24.             Dim timespan As TimeSpan = Endtime - startTime
25.             '  doc.Add(New Lucene.Net.Documents.Field("Build_Time", timespan.ToString, Lucene.Net.Documents.Field.Store.YES, Lucene.Net.Documents.Field.Index.TOKENIZED))
26.             ' _writer.AddDocument(doc)
27.             DataList.AppendText("End Time :     " + Endtime.ToString + vbCrLf + vbCrLf)
28.             DataList.AppendText("Span Time :     " + timespan.ToString + vbCrLf + vbCrLf)
29.             DataList.AppendText(" Finished :")
30.         Else
31.             DataList.AppendText("Index Name :     " + _display_index_Name + vbCrLf + vbCrLf)
32.             DataList.AppendText("Index Directory:     " + _dir + vbCrLf + vbCrLf)
33.             DataList.AppendText("Index  Time:     " + display_index_Time + vbCrLf + vbCrLf)
34.             DataList.AppendText("index  Status   :     " + display_index_status + vbCrLf)
35.         End If
39.         DataList.Refresh()
40.     End Sub

优化索引：

1.     Public Sub optimize_index(ByVal ar As IAsyncResult)
2.         Dim writer As IndexWriter = ar.AsyncState
3.         'optimize index
4.         writer.SetMergeFactor(100) 'set document number,if your memory is bigger,please set bigger,exm:100 or 1000,defult is 10
5.         writer.SetMaxMergeDocs(999999999)
6.         'MinMergeDocs(use it to control the memory)  and MergeFactory(control amalgamation  times and the size of amalgamation ),they have more affect to build the index,
7.         'but  Number of Mergefactory is not bigger and better,because when the document Number of segment is bigger,the efficiency is lower,so set a right value please,
8.         'If your memory is bigger,you can set the MinMergedocs bigger
9.         writer.SetMaxFieldLength(100000) 'set char lenth,defult is 10 000
12.         writer.Optimize()
13.         writer.Close()
14.         _conn.Close()
15.     End Sub

单击button，开始建立索引：

1.   Private Sub btn_Builtindex_Click(ByVal sender As System.Object, ByVal e As System.EventArgs) Handles btn_Builtindex.Click
2.         Timer1.Stop()
3.         _writer = New IndexWriter(_dir, _Analysis, True)
4.         Control.CheckForIllegalCrossThreadCalls = False
5.         Dim CallbackOptimize As AsyncCallback = AddressOf optimize_index
7.         Dim indexfile_gelegate_btn As New indexfile_delegate(AddressOf indexfile)
8.         indexfile_gelegate_btn.BeginInvoke(CallbackOptimize, _writer)
10.     End Sub