站内搜索（主要技术点：Luncene.Net搜索引擎核心,Log4Net:日志,定时框架：quartz.Net,Jquery,Json,AJAX）

站内搜索（主要技术点：Luncene.Net搜索引擎核心,Log4Net:日志,定时框架：quartz.Net,Jquery,Json,AJAX）
1. 和用“select*from t where body like %计算机%”的区别：
（1） 效率。Like会造成全表扫描。
（2） Like无法实现“怎样学编程”“匹配”“怎样学习编程”.

为什么不用discuz的搜索,因为discuz的就是用like实现.
蜘蛛,spider 爬网站.
百度蜘蛛工作图 详情介绍：
http://baike.baidu.com/view/1847001.htm

爬网站的过程：
1,发现网站.百度把CSDN当成关键网站,顺着已知的网站链接找到新的网站或者新的页面.
SEO(搜 索引擎优化)的第一个手段：建外链（外部链接）.新网站吸引蜘蛛。对于非新网站,搜索引擎考虑一个“权重”,重点考察外链数量.权重越高搜索结果越靠 前,”权重”的一个重要因素就是“外链”数量，外链质量（外链网站的PR值,PageRank,决定一个网站的质量的值，PR值越高网站越重要，原创创建 时间等等）,Alexa排名（全球网站排名）.

ＳＥＯ目的：让搜索引擎更多的收录网站的页面，让被收录页面的权重更靠前，让更多的人能过通过搜索引擎进入这个网站．
２，抓取网页．蜘蛛会定时抓取网站的内容，发现网站内容变化，发现新增内容就反映到搜索引擎中．
Robots.txt是公约,搜索引擎都建议遵守,相当于一个指路牌:想让那些搜索引擎搜索,想让那些页面搜索.

关于搜索:
有一定访问量得互联网站都有站内搜索功能,比如Verycd,优酷.豆瓣.cnblogs,mop,淘宝,大众点评网等.
为什么不用数据库全文检索?
数据库全文检索很傻瓜化，和普通SQL一样。数据全文检索灵活性不强,而且需要数据库开启全文检索功能才行,对于一些数据库管理权不在自己手里的应用（比如虚拟主机）来说不方便。

为什么不用百度,google的站内搜索(site:www.xxx.com):受限于人,会被K；索引不及时,不全面,不精准；用户体验差.

Log4Net
Log4Net 是用来记录日志的，可以将程序运行过程中的信息输出到一些地方（文件,数据库,EventLog等）,日志就是程序的黑匣子,可以通过日志查看系统的运行 过程,从而发现系统的问题.日志的作用：将运行过程的步骤,成功失败记录下来，将关键性的数据记录下载分析系统问题所在.Log4J.

Log4Net 详细介绍
http://www.cnblogs.com/dragon/archive/2005/03/24/124254.html

配置Log4Net环境
新建一个WebApplication，添加一个“应用程序配置文件”（App.config）
添加对log4net.dll的引用
在Web.Config （或App.Config）添加配置，见备注
初始化：在程序最开始加入log4net.Config.XmlConfigurator.Configure();
在 要打印日志的地方LogManager.GetLogger(typeof(Program)).Debug("信息"); 。通过LogManager.GetLogger传递要记录的日志类类名获得这个类的ILog（这样在日志文件中就能看到这条日志是哪个类输出的了），然 后调用Debug方法输出消息。因为一个类内部不止一个地方要打印日志，所以一般把ILog声明为一个static字段。
输出错误信息用ILog.Error方法，第二个参数可以传递Exception对象。log.Error("***错误"+ex)，log.Error("***错误",ex)
测试代码：见附件。

在VS2010中的控制台项目引用Log4Net的时候要将项目的“目标框架”改为非“Client Profile”
1、Log4Net配置

   
     

    
       1 
    
      <
    
      configuration
    
      >
    
      

    
       2 
    
       
    
      <
    
      configSections
    
      >
    
      

    
       3 
    
       
    
      <
    
      section name
    
      =
    
      "
    
      log4net
    
      "
    
       type
    
      =
    
      "
    
      log4net.Config.Log4NetConfigurationSectionHandler, log4net
    
      "
    
      />
    
      

    
       4 
    
       
    
      </
    
      configSections
    
      >
    
      

    
       5 
    
       
    
      <
    
      log4net
    
      >
    
      

    
       6 
    
       
    
      <!--
    
       Define some output appenders 
    
      -->
    
      

    
       7 
    
       
    
      <
    
      appender name
    
      =
    
      "
    
      RollingLogFileAppender
    
      "
    
       type
    
      =
    
      "
    
      log4net.Appender.RollingFileAppender
    
      "
    
      >
    
      

    
       8 
    
       
    
      <
    
      file value
    
      =
    
      "
    
      test.txt
    
      "
    
      />
    
      

    
       9 
    
       
    
      <
    
      appendToFile value
    
      =
    
      "
    
      true
    
      "
    
      />
    
      

    
      10 
    
       
    
      <
    
      maxSizeRollBackups value
    
      =
    
      "
    
      10
    
      "
    
      />
    
      

    
      11 
    
       
    
      <
    
      maximumFileSize value
    
      =
    
      "
    
      1024KB
    
      "
    
      />
    
      

    
      12 
    
       
    
      <
    
      rollingStyle value
    
      =
    
      "
    
      Size
    
      "
    
      />
    
      

    
      13 
    
       
    
      <
    
      staticLogFileName value
    
      =
    
      "
    
      true
    
      "
    
      />
    
      

    
      14 
    
       
    
      <
    
      layout type
    
      =
    
      "
    
      log4net.Layout.PatternLayout
    
      "
    
      >
    
      

    
      15 
    
       
    
      <
    
      conversionPattern value
    
      =
    
      "
    
      %date [%thread] %-5level %logger - %message%newline
    
      "
    
      />
    
      

    
      16 
    
       
    
      </
    
      layout
    
      >
    
      

    
      17 
    
       
    
      </
    
      appender
    
      >
    
      

    
      18 
    
       
    
      <
    
      root
    
      >
    
      

    
      19 
    
       
    
      <
    
      level value
    
      =
    
      "
    
      DEBUG
    
      "
    
      />
    
      

    
      20 
    
       
    
      <
    
      appender
    
      -
    
      ref
    
       
    
      ref
    
      =
    
      "
    
      RollingLogFileAppender
    
      "
    
      />
    
      

    
      21 
    
       
    
      </
    
      root
    
      >
    
      

    
      22 
    
       
    
      </
    
      log4net
    
      >
    
      

    
      23 
    
      
    
      </
    
      configuration
    
      >
   
     

建议用法：建立一静态字段存起来：

   
     

    
      1 
    
      private
    
       
    
      static
    
       ILog logger 
    
      =
    
       LogManager.GetLogger(
    
      typeof
    
      (text_Default));
   
     

然后就可以哪儿里用到，就调用:
  logger.Debug("信息");

Log4Net相关概念
Appender:可以将日志输出到不同的地方，不用的输出目标对应不同的.
Appender:RolingFileAppender（滚动文件）,AdoNetAppender（数据库）,SmtpAppender(邮件)等.
Level(级别)标识这条日志信息的重要级别.
None>Fatal>Error>Warn>Debug>info>all，设定一个Level,那么低于这个Level的日志是不会被写到Appender中的.

Lucene.Net简介
Lucene.Net是由Java版本的Luncene移植过来的,所有的类，方法都几乎和Luncene一模一样,因此使用时参考Lucene即可.
Lucene.Net 只是一个全文检索开发包,不是以个成型的搜索引擎,它的功能就是：把数据扔给Lucene.Net，查询数据的时候从Lucene.Net查询数据,可以 看做是提供了全文检索功能的一个数据库.Lucene.net不管文本数据怎么来的.用户可以基于Lucene.net开发满足自己需求的搜索引 擎.Lucene.net只能对文本信息进行检索.如果不是文本信息,要转换为文本信息.比如要检索Excel文件,就要用NPOL把Excel读取成字 符串,然后把字符串扔给Lucene.Net.Lucene.Net会把扔给它的文本切词保存,加快检索速度.

分词
分词是核心的算法,搜索引擎内部保存的就是一个个的词“（Word）”英文分词很简单，按照空格分隔就可以,中文则麻烦,把“北京，Hi欢迎你们大家”拆成“北京 Hi 欢迎 你们 大家”.
“the”,”, ”,”和”，“啊”，“的”等
参与分词的无意义的单词（noise word）。
Lucene.net中不同的分词算法就是不用的类,所有分词算法类都从Analyer类继承,不同的分词算法有不同的优缺点。
内置的StandardAnalyzer是将英文按照空格,标点符号等进行分词,将中文按照单个字进行分词，一个汉字算一个词.
演示：

   
     

    
      1 
    
      Analyzer analyzer 
    
      =
    
       
    
      new
    
       StandardAnalyzer();

    
      2 
    
       TokenStream tokenStream 
    
      =
    
       analyzer.TokenStream(
    
      ""
    
      , 
    
      new
    
       StringReader(TextBox1.Text));

    
      3 
    
       Lucene.Net.Analysis.Token token 
    
      =
    
       
    
      null
    
      ;

    
      4 
    
       
    
      while
    
       ((token 
    
      =
    
       tokenStream.Next()) 
    
      !=
    
       
    
      null
    
      )

    
      5 
    
       {

    
      6 
    
       Console.WriteLine(token.TermText());

    
      7 
    
       
    
      //
    
       TextBox2.Text = token.TermText() + "<br/>";
    
      

    
      8 
    
      
    
       Response.Write(token.TermText()
    
      +
    
      "
    
      <br/>
    
      "
    
      );
   
     

效果：

 

二元分词算法，每两个汉字算一个单词,“欢迎你们大家”会分词为“欢迎 迎你 你们 们大 大家”,网上找到的一个二元分词算法CJKAnalyzer。面试的时候能说出不同的分词算法的差异。

基于一个词库进行分词,可以提高分词的成功率,有庖丁解牛,盘古分词等,效率低。

盘古分词算法使用：
 具体用法参考《PanguMannual.pdf》
 打 开PanGu4Lucene\WebDemo\Bin，将Dictionaries添加到项目根路径（改名为Dict），添加对PanGu.dll（同目 录下不要有Pangu.xml，那个默认的配置文件的选项对于分词结果有很多无用信息）、PanGu.Lucene.Analyzer.dll的引用
 把上节代码的Analyzer用PanGuAnalyzer代替
 运行报错？通用技巧：把Dict目录下的文件“复制到输出目录”设定为“如果较新则复制”。
 （*）Dictionaries下几个txt文件简介
 词库的编辑，使用DictManage.exe，对单词编辑的时候要先查找。工作的项目中要将行业单词添加到词库中，比如餐饮搜索、租房搜索、视频搜索等。
 出现Dict路径的问题，没有找到配置文件，默认就是Dict目录，设定Pangu.xml的复制到输出设置为“如果较新则复制”即可。或者词典目录就命名为Dict，不要配置文件。