lucene 总结

lucene总结

公司项目：portal中期刊文章内容作为大字段存储在Oracle中，首页有一个搜索功能：要求将所有包括搜索字段的文章的标题列出来（文章的内容存储在Oracle的CLOB字段中），也就是要用Lucene实现对数据库的大字段进行索引(索引通过计划任务定时建立索引)和搜索。。。

==================定时建立索引文件:===============

 

Main方法:

Java代码
  1.  package zxt.lucene.index;   
  2.   
  3. import java.util.Timer;   
  4. public class IndexerServer {   
  5.   
  6.        
  7.     /**  
  8.      * 定时调用建立索引任务  
  9.      * @author wulihai  
  10.      * @create 2009-06-02  
  11.      */  
  12.     public static void main(String[] args) {   
  13.         String propFile = "directory.properties";   
  14.         Config.setConfigFileName(propFile);   
  15.         Timer   timer = new Timer();   
  16.         LuceneDBIndexerTask luceneTask=LuceneDBIndexerTask.getInstance();    
  17.         timer.scheduleAtFixedRate(luceneTask, 0,DataTypeUtil.toLong(Constant.CREATE_INDEX_SLEEP_TIME));   
  18.     }   
  19.   
  20. }  



定时调用建立索引任务：

Java代码
  1. package zxt.lucene.index;   
  2.   
  3. import java.util.Timer;   
  4. public class IndexerServer {   
  5.   
  6.        
  7.     /**  
  8.      * 定时调用建立索引任务  
  9.      * @author wulihai  
  10.      * @create 2009-06-02  
  11.      */  
  12.     public static void main(String[] args) {   
  13.         String propFile = "directory.properties";   
  14.         Config.setConfigFileName(propFile);   
  15.         Timer   timer = new Timer();   
  16.         LuceneDBIndexerTask luceneTask=LuceneDBIndexerTask.getInstance();    
  17.         timer.scheduleAtFixedRate(luceneTask, 0,DataTypeUtil.toLong(Constant.CREATE_INDEX_SLEEP_TIME));   
  18.     }   
  19.   
  20. }  




建立索引的核心实现：

Java代码
  1. package zxt.lucene.index;   
  2. import java.io.BufferedReader;   
  3. import java.io.File;   
  4. import java.io.IOException;   
  5. import java.io.StringWriter;   
  6. import java.sql.Connection;   
  7. import java.sql.DriverManager;   
  8. import java.sql.ResultSet;   
  9. import java.sql.SQLException;   
  10. import java.sql.Statement;   
  11. import java.text.SimpleDateFormat;   
  12. import java.util.Arrays;   
  13. import java.util.Date;   
  14. import java.util.TimerTask;   
  15.   
  16. import oracle.sql.CLOB;   
  17.   
  18. import org.apache.lucene.analysis.standard.StandardAnalyzer;   
  19. import org.apache.lucene.document.Document;   
  20. import org.apache.lucene.document.Field;   
  21. import org.apache.lucene.index.IndexWriter;   
  22.   
  23.   /**  
  24.   * 建立索引的任务类  
  25.   * @author wulihai  
  26.   * @create 2009-06-02  
  27.  */  
  28. public class LuceneDBIndexerTask extends TimerTask {   
  29.     //缺省索引目录   
  30.     private static String DEFAULT_INDEX_DIR="C:\\IndexDB";   
  31.      //临时索引目录的父目录   
  32.     private File parentDir=null;   
  33.      //被搜索的索引文件   
  34.     private static LuceneDBIndexerTask index=new LuceneDBIndexerTask();   
  35.        
  36.     //构造方法   
  37.     private LuceneDBIndexerTask(){   
  38.         String dirStr=Constant.INDEX_STORE_DIRECTORY;   
  39.         if(dirStr!=null&&!"".equals(dirStr)){   
  40.             this.parentDir=new File(dirStr);   
  41.            
  42.         }else{   
  43.             this.parentDir=new File(DEFAULT_INDEX_DIR);   
  44.         }   
  45.            
  46.         if(!this.parentDir.exists()){   
  47.             this.parentDir.mkdir();   
  48.         }   
  49.     }   
  50.        
  51.     /**  
  52.      * 单实例访问接口  
  53.      * @return  
  54.      */  
  55.     public static LuceneDBIndexerTask getInstance(){   
  56.         return index;   
  57.     }   
  58.        
  59.      /**  
  60.      * 锁定目录以及文件  
  61.      * 只允许单线程访问  
  62.      *  
  63.      */  
  64.     /*public synchronized  void singleRunning(){  
  65.         if(flag==false){  
  66.             flag=true;  
  67.             run(parentDir);   
  68.         }  
  69.     }*/  
  70.   
  71.      /**  
  72.      * 为数据库字段建立索引  
  73.      */  
  74.     public  void run()  {   
  75.         System.out.println("====LuceneDBIndexerTask$run()===============");   
  76.            
  77.         System.out.println("~~~开始建立索引文件~~~~~~~~~~~~~~~");   
  78.         Connection conn=null;   
  79.         Statement stmt=null;   
  80.         ResultSet rs=null;   
  81.         try {   
  82.             Class.forName(Constant.DB_DRIVER_STRING);   
  83.              conn = DriverManager.getConnection(Constant.DB_URI_STRING, Constant.DB_USERNAME, Constant.DB_PWD);   
  84.              stmt = conn.createStatement();   
  85.              rs = stmt.executeQuery(Constant.DB_QUERY_STRING);   
  86.              File file=new File(parentDir+File.separator+new SimpleDateFormat("yyyyMMddHHmmss").format(new Date())+File.separator);   
  87.              if(!file.exists()){   
  88.                  file.mkdir();   
  89.              }   
  90.             IndexWriter writer = new IndexWriter(file,new StandardAnalyzer(), true);   
  91.             long startTime = new Date().getTime();   
  92.             while (rs.next()) {   
  93.                 Document doc = new Document();   
  94.                  doc.add(new Field("ARTICLEID", rs.getString("ARTICLEID"), Field.Store.YES,Field.Index.TOKENIZED));   
  95.                  doc.add(new Field("TITLE", rs.getString("TITLE"), Field.Store.YES,Field.Index.TOKENIZED));   
  96.                  doc.add(new Field("USERNAME", rs.getString("USERNAME"), Field.Store.YES,Field.Index.TOKENIZED));   
  97.                  doc.add(new Field("USERID", rs.getString("USERID"), Field.Store.YES,Field.Index.TOKENIZED));   
  98.                  //对日期建立索引   
  99.                  String createdate=new SimpleDateFormat("yyyy-MM-dd").format(rs.getTimestamp("CREATEDATE"));   
  100.                  doc.add(new Field("CREATEDATE", createdate, Field.Store.YES,Field.Index.TOKENIZED));   
  101.                  //对大字段建立索引   
  102.                  BufferedReader in=null;   
  103.                  String content="";   
  104.                  CLOB clob =  (CLOB) rs.getClob("CONTENT");   
  105.                  if (clob != null) {   
  106.                     //得到一个读入流   
  107.                   in=new BufferedReader(clob.getCharacterStream());   
  108.                   StringWriter out=new StringWriter();   
  109.                   int c;   
  110.                   while((c=in.read())!=-1){   
  111.                       out.write(c);   
  112.                    }   
  113.                   content=out.toString();   
  114.                 }   
  115.                 doc.add(new Field("CONTENT", content, Field.Store.YES, Field.Index.TOKENIZED));   
  116.                 writer.addDocument(doc);   
  117.             }   
  118.             writer.optimize();   
  119.             writer.close();   
  120.                
  121.             //测试一下索引的时间      
  122.             long endTime = new Date().getTime();   
  123.             System.out.println("索引文件"+file.getPath()+"建立成功...");   
  124.             System.out.println("这花费了" + (endTime - startTime) + " 毫秒来把文档增加到索引里面去!");   
  125.                
  126.                    
  127.             //判断文件目录file下的文件个数如果大于3，就将文件建立最早的文件给删除掉   
  128.             checkFiles(parentDir);   
  129.                
  130.         } catch (IOException e) {   
  131.             e.printStackTrace();   
  132.         } catch (SQLException e) {   
  133.             e.printStackTrace();   
  134.         } catch (ClassNotFoundException e) {   
  135.             e.printStackTrace();   
  136.                
  137.         }finally{   
  138.          try {   
  139.              if(rs!=null){   
  140.                rs.close();      
  141.              }   
  142.              if(stmt!=null){   
  143.                  stmt.close();      
  144.               }    
  145.              if(conn!=null){   
  146.                  conn.close();      
  147.               }    
  148.             } catch (SQLException e) {   
  149.                 e.printStackTrace();   
  150.             }   
  151.         }   
  152.     }   
  153.        
  154.      /**  
  155.      * 判断文件目录file下的文件个数如果大于3，就将文件建立最早的文件给删除掉  
  156.      */  
  157.     public  void checkFiles(File dir) {   
  158.         int length=dir.listFiles().length;   
  159.         while(length>3){   
  160.             //删除生成最早的文件   
  161.          File [] files=dir.listFiles();   
  162.          String[] names=dir.list();   
  163.          Arrays.sort(names);   
  164.          File deletefile=files[0];   
  165.          deleteDirectory(deletefile);   
  166.          length--;   
  167.        }   
  168.            
  169.     }   
  170.        
  171.     /*  
  172.      * 递归删除一个目录以及下面的文件  
  173.      */  
  174.     public boolean deleteDirectory(File path) {      
  175.         if( path.exists() ) {      
  176.           File[] files = path.listFiles();      
  177.           for(int i=0; i<files.length; i++) {      
  178.              if(files.isDirectory()) {      
  179.                deleteDirectory(files);     
  180.                  
  181.              }      
  182.              else {      
  183.                  //删除文件   
  184.                files.delete();      
  185.              }      
  186.           }      
  187.         }      
  188.         //删除目录   
  189.         boolean hasdelete=path.delete();   
  190.         if(hasdelete){   
  191.             System.out.println("删除索引目录"+path);   
  192.                
  193.         }   
  194.         return hasdelete;   
  195.            
  196.            
  197.       }      
  198.          
  199.   
  200.        
  201.        
  202.        
  203.     public static void main(String[] args) {   
  204.       new LuceneDBIndexerTask().run();   
  205.            
  206.     }   
  207.   
  208.   
  209.   
  210. }  




配置文件管理类：

Java代码
  1. package zxt.lucene.index;   
  2.   
  3. import java.io.IOException;   
  4. import java.io.InputStream;   
  5. import java.util.Properties;   
  6.   
  7. /**  
  8.  *   
  9.  * @author wulihai  
  10.  * @create 2009-06-02  
  11.  *  
  12.  */  
  13. public class Config {   
  14.   
  15.     private static Config cfg = null;   
  16.   
  17.     private static String configFileName = null;   
  18.   
  19.     private Properties props;   
  20.   
  21.     public Config() {   
  22.         props = new java.util.Properties();   
  23.     }   
  24.   
  25.     /**  
  26.      * 单例访问接口  
  27.      * @return  
  28.      */  
  29.     public synchronized static Config getInstance() {   
  30.         if (cfg == null) {   
  31.             cfg = new Config();   
  32.             cfg.loadConfig();   
  33.             return cfg;   
  34.         } else {   
  35.             return cfg;   
  36.         }   
  37.   
  38.     }   
  39.   
  40.     private int loadConfig() {   
  41.         if (configFileName != null || configFileName.length() > 0) {   
  42.             InputStream inputStream = Config.class.getClassLoader()   
  43.                     .getResourceAsStream("directory.properties");   
  44.             System.out.println("configFileName=" + configFileName);   
  45.             try {   
  46.                 props.load(inputStream);   
  47.             } catch (IOException e) {   
  48.                 e.printStackTrace();   
  49.             }   
  50.             return 1;   
  51.         }   
  52.         return 0;   
  53.   
  54.     }   
  55.   
  56.     public static void setConfigFileName(String cfg) {   
  57.         configFileName = cfg;   
  58.     }   
  59.   
  60.     public String getProperty(String keyName) {   
  61.         return props.getProperty(keyName);   
  62.     }   
  63.   
  64. }  



常量配置

Java代码
  1. package zxt.lucene.index;   
  2.   
  3. /**  
  4.  * 常量配置类 *  
  5.  * @author wulihai  
  6.  * @create 2009-06-02  
  7.  */  
  8. public class Constant {   
  9.   
  10.     // 隔多长时间建立一次索引   
  11.     public static final String CREATE_INDEX_SLEEP_TIME = Config.getInstance()   
  12.             .getProperty("create_index_sleep_time");   
  13.   
  14.     // 索引文件存放路径   
  15.     public static final String INDEX_STORE_DIRECTORY = Config.getInstance()   
  16.             .getProperty("index_store_directory");   
  17.     //数据库驱动程序   
  18.     public static final String DB_DRIVER_STRING = Config.getInstance()   
  19.     .getProperty("db_driver_string");   
  20.     //数据库连接URI   
  21.     public static final String DB_URI_STRING = Config.getInstance()   
  22.     .getProperty("db_uri_string");   
  23.     //数据库连接username   
  24.     public static final String DB_USERNAME= Config.getInstance()   
  25.     .getProperty("db_username");   
  26.      //数据库连接pwd   
  27.     public static final String DB_PWD= Config.getInstance()   
  28.     .getProperty("db_pwd");   
  29.     //数据库查询语句db_query_str   
  30.     public static final String DB_QUERY_STRING= Config.getInstance()   
  31.     .getProperty("db_query_string");   
  32.        
  33. }  



数据类型处理类：

Java代码
  1. package zxt.lucene.index;   
  2.   
  3. /**  
  4.  * 数据类型转换工具类  
  5.  * @author wulihai  
  6.  * @create 2009-06-02  
  7.  */  
  8. public class DataTypeUtil {   
  9.      /**  
  10.      * 将对象转换为整数型  
  11.      * @param o  源对象  
  12.      * @return 对应的Long值,如果出错,则返回Long.MIN_VALUE  
  13.      */  
  14.     public static long toLong(Object o) {   
  15.         if (o == null) {   
  16.             throw new IllegalArgumentException("该对象为空");   
  17.         }   
  18.         String s = o.toString();   
  19.         try {   
  20.             return Long.parseLong(s);   
  21.         } catch (Exception ex) {   
  22.             return Long.MAX_VALUE;   
  23.         }   
  24.     }   
  25. }  




配置文件 ：

Properties代码
  1.   
  2. #== the directory for store lucene-index ========#   
  3. index_store_directory=D:/lucene/indexDB/   
  4.   
  5. #======== two hours ========#   
  6. #create_index_sleep_time=7200000  
  7.   
  8. #======== two minutes ========#   
  9. create_index_sleep_time=120000  
  10.   
  11. db_driver_string=oracle.jdbc.driver.OracleDriver   
  12. db_uri_string=jdbc:oracle:thin:@localhost:1521:lportal   
  13. db_username=lportal   
  14. db_pwd=lportal   
  15. db_query_string=SELECT  * from journalarticle  



==================搜索类:===============

核心搜索类：

Java代码
  1. package com.liferay.portal.util;   
  2.   
  3. import java.io.File;   
  4. import java.io.IOException;   
  5. import java.io.InputStream;   
  6. import java.text.SimpleDateFormat;   
  7. import java.util.ArrayList;   
  8. import java.util.Arrays;   
  9. import java.util.Date;   
  10. import java.util.List;   
  11.   
  12. import org.apache.lucene.analysis.Analyzer;   
  13. import org.apache.lucene.analysis.standard.StandardAnalyzer;   
  14. import org.apache.lucene.document.Document;   
  15. import org.apache.lucene.queryParser.ParseException;   
  16. import org.apache.lucene.queryParser.QueryParser;   
  17. import org.apache.lucene.search.Hits;   
  18. import org.apache.lucene.search.IndexSearcher;   
  19. import org.apache.lucene.search.Query;   
  20. import org.apache.lucene.store.Directory;   
  21. import org.apache.lucene.store.FSDirectory;   
  22. import com.liferay.portlet.journal.model.JournalArticle;   
  23.   
  24. /**  
  25.  * 负责搜索的类  
  26.  */  
  27. public class LuceneDBQuery {   
  28.   
  29.     private static LuceneDBQuery search = new LuceneDBQuery();   
  30.   
  31.     // 构造方法   
  32.     private LuceneDBQuery() {   
  33.   
  34.     }   
  35.   
  36.     /**  
  37.      * 单实例访问接口  
  38.      *   
  39.      * @return  
  40.      */  
  41.     public static LuceneDBQuery getInstance() {   
  42.         return search;   
  43.     }   
  44.   
  45.     /**  
  46.      * 搜索方法  
  47.      *   
  48.      * @throws java.text.ParseException  
  49.      * @throws Exception  
  50.      */  
  51.     public List search(String queryString) {   
  52.         int count = 0;   
  53.         long startTime = new Date().getTime();   
  54.         Hits hits = null;   
  55.   
  56.         // 搜索目录   
  57.         File searchDir = null;   
  58.         Query query = null;   
  59.         InputStream inputStream=null;;   
  60.          String filePath="index.xml";   
  61.          String indexDir="";   
  62.          indexDir= LuceneDBQueryUtil.getIndexPath();   
  63.              
  64.         if (indexDir != null && !"".equals(indexDir)) {   
  65.             searchDir = new File(indexDir);   
  66.             if(!searchDir.exists()){   
  67.                 searchDir.mkdir();   
  68.             }   
  69.         }   
  70.         // 这里注意索引存放的目录的父目录   
  71.         // searchDir=new File("E:\\index\\indexDB\\");   
  72.         File targetDir = getTargetDir(searchDir);   
  73.         IndexSearcher searcher = null;   
  74.         List results = new ArrayList();   
  75.   
  76.         try {   
  77.             Directory dir=FSDirectory.getDirectory(targetDir,false);   
  78.             searcher = new IndexSearcher(dir);   
  79.         } catch (Exception e1) {   
  80.             e1.printStackTrace();   
  81.             System.out.println("创建索引对象出现异常...");   
  82.         }    
  83.         Analyzer analyzer = new StandardAnalyzer();   
  84.   
  85.         // 构建查询对象Query,对CONTENT字段进行搜索   
  86.         QueryParser qp = new QueryParser("CONTENT", analyzer);   
  87.         try {   
  88.             query = qp.parse(queryString);   
  89.         } catch (ParseException e1) {   
  90.             e1.printStackTrace();   
  91.         }   
  92.   
  93.         if (searcher != null) {   
  94.   
  95.             // 得到搜索结果Hits   
  96.             try {   
  97.                 hits = searcher.search(query);   
  98.             } catch (IOException e1) {   
  99.                 System.out.println("查询索引库出现异常...");   
  100.                 e1.printStackTrace();   
  101.             }   
  102.             // 查到的记录条数   
  103.             count = hits.length();   
  104.             if (hits.length() > 0) {   
  105.                 for (int i = 0; i < hits.length(); i++) {// 输出搜索信息   
  106.                     JournalArticle article = new JournalArticle();   
  107.                     Document document = null;   
  108.                     try {   
  109.                         document = hits.doc(i);   
  110.                     } catch (Exception e1) {   
  111.                         System.out.println("返回查询结果集出现异常...");   
  112.                         e1.printStackTrace();   
  113.                     }    
  114.                     try {   
  115.                         article.setDisplayDate(new SimpleDateFormat("yyyyMMdd")   
  116.                                 .parse(document.get("CREATEDATE")));   
  117.                         article.setCreateDate(new SimpleDateFormat("yyyyMMdd")   
  118.                                 .parse(document.get("CREATEDATE")));   
  119.                     } catch (java.text.ParseException e) {   
  120.                         e.printStackTrace();   
  121.                     }   
  122.                     article.setTitle(document.get("TITLE"));   
  123.                     article.setArticleId(document.get("ARTICLEID"));   
  124.                     article.setUserName(document.get("USERNAME"));   
  125.                     article.setUserId(document.get("USERID"));   
  126.                     results.add(article);   
  127.                 }   
  128.                 // 测试一下索引的时间   
  129.                 long endTime = new Date().getTime();   
  130.                 System.out.println("查询过程花费了" + (endTime - startTime) + " 毫秒!");   
  131.             } else {   
  132.                 System.out.println("0个结果!");   
  133.             }   
  134.         }   
  135.   
  136.         return results;   
  137.   
  138.     }   
  139.   
  140.     /**  
  141.      * 确定搜索索引所在目录目录  
  142.      */  
  143.     private File getTargetDir(File dir) {   
  144.         int length = dir.listFiles().length;   
  145.         File searchFile = null;   
  146.   
  147.         // length=3的时候最多   
  148.         // 同时搜索和同时建索引的时候会出现length=4   
  149.         if (length >= 2) {   
  150.             // 找到次最新建立的索引文件   
  151.             String[] names = dir.list();   
  152.             Arrays.sort(names);   
  153.             searchFile = new File(dir + File.separator + names[length - 2]);   
  154.         }   
  155.         if (length == 1) {   
  156.             File files[] = dir.listFiles();   
  157.             searchFile = files[0];   
  158.         }   
  159.         if (length == 0) {   
  160.             // 如果没有索引文件则，建立第一个索引   
  161.             // TestDBIndexer.getInstance().isInstanceRunning();   
  162.             // search();   
  163.         }   
  164.   
  165.         return searchFile;   
  166.     }   
  167. //   
  168. //  public static void main(String[] args) throws Exception {   
  169. //      new LuceneDBQuery().search("纳税人");   
  170. //  }   
  171.   
  172. }  



配置文件管理类:

Java代码
  1.   
  2. package com.liferay.portal.util;   
  3.   
  4. import java.io.IOException;   
  5.   
  6. import org.jdom.Document;   
  7. import org.jdom.Element;   
  8. import org.jdom.JDOMException;   
  9. import org.jdom.input.SAXBuilder;   
  10.   
  11. public class LuceneDBQueryUtil {   
  12.        
  13.  public static String getIndexPath(){   
  14.   
  15.         String filePath = "zxt_index.xml";   
  16.         String indexPath="";   
  17.         SAXBuilder builder = new SAXBuilder(false);   
  18.         try {   
  19.             Document doc = builder.build(Thread.currentThread().getContextClassLoader().getResource(filePath));   
  20.             Element rootElement = doc.getRootElement();   
  21.              Element index=rootElement.getChild("index");   
  22.              indexPath=index.getText();   
  23.              System.out.println(indexPath);   
  24.         } catch (JDOMException e) {   
  25.             e.printStackTrace();   
  26.         } catch (IOException e) {   
  27.             e.printStackTrace();   
  28.         }   
  29.         return indexPath;   
  30.   
  31.        
  32.  }   
  33. }  

 

配置文件：zxt_index.xml

Xml代码
  1. <?xml version="1.0" encoding="UTF-8"?>  
  2. <list>  
  3.  <index>D:\\index\\IndexDB</index>  
  4. </list>  

你可能感兴趣的:(Lucene)

  • ElasticSearch 谈谈你对段合并的策略思想的认识 用心去追梦 elasticsearch大数据搜索引擎
    段合并是Elasticsearch中的一个重要概念，它在数据索引和查询过程中起着关键的作用。Elasticsearch使用Lucene作为其全文搜索库，Lucene中使用的数据结构就是段（Segment）合并。段合并的策略思想主要体现在以下几个方面：提高查询性能：在Elasticsearch中，段合并的过程可以看作是对索引进行优化，通过合并将多个小的段合并成一个大的段，这样可以减少内存的使用，提高
  • ES架构及原理 李澎昆 ESES
    Elasticsearch是一个兼有搜索引擎和NoSQL数据库功能的开源系统，基于Java/Lucene构建，可以用于全文搜索，结构化搜索以及近实时分析。说明：Lucene：只是一个框架，要充分利用它的功能，需要使用JAVA，并且在程序中集成Lucene，学习成本高，Lucene确实非常复杂。Elasticsearch是面向文档型数据库，这意味着它存储的是整个对象或者文档，它不但会存储它们，还会为
  • Elasticsearch段合并 喵喵喵更多 java运维分布式后端
    欢迎访问本人博客查看原文：http://wangnan.techelasticsearch中每个索引都会创建一个到多个分片和零个到多个副本，这些分片或副本实质上都是lucene索引lucene索引是基于多个索引段创建，索引文件中绝大部分数据都是只写一次，读多次，而只有用于保存文档删除信息的文件才会被多次更改在某些时刻，当某种条件满足时，多个索引段会被拷贝合并到一个更大的索引段，而那些旧的索引段会被
  • Lucece评分公式OKapi BM25原理解析(中) 双人余_先生
    背景：延续上篇写了TF/IDF的公式解析，本篇为BM25解析简单介绍。BM25起源于概率相关性模型，而不是矢量空间模型，但是该算法与Lucene的实际评分功能有很多共同点。两者都使用Term词频率，逆文档频率和字段长度归一化，但是每个因素的定义都略有不同。与其详细解释BM25公式，不如将重点放在BM25提供的实际优势上。BM25是一个词袋检索功能，它基于每个文档中出现的查询词对一组文档进行排名，而
  • 分布式搜索引擎Elasticsearch——基础 敲代码的旺财 架构进阶elasticsearchjava搜索引擎ES-head
    文章目录一、Lucene与Solr与Elasticsearch二、ES核心术语三、ES核心概念四、倒排索引五、ES的安装（centos7）1、下载地址（这里安装linux版本）2、解压压缩包3、修改配置文件(1)修改核心配置文件(2)修改JVM配置文件4、启动ES(1)添加系统用户并授权(2)ES启动(3)修改配置文件(4)再次启动ES六、安装ES-head插件（可视化管理插件）1、使用谷歌市场安
  • docker部署Elasticsearch和Kibana youm. dockerdockerelasticsearch容器
    1.Elasticsearch和Kibana介绍1.1什么是Elasticsearch？Elasticsearch是一个开源的分布式搜索和分析引擎，用于处理大规模数据的实时搜索、分析和存储。它构建在ApacheLucene搜索引擎库的基础上，提供了一个RESTfulAPI和易于使用的工具，使得在大数据量情况下进行搜索和分析变得高效和简单。1.2为什么使用Elasticsearch？Elastics
  • Elasticsearch中文本字段与关键字字段的聚合和排序问题 好奇的菜鸟 Elasticsearchelasticsearch大数据搜索引擎
    引言Elasticsearch是一个强大的搜索引擎，它基于Lucene构建，提供了全文搜索、分析、聚合等功能。然而，在使用Elasticsearch时，我们可能会遇到一些特定的问题，比如在文本字段上进行聚合和排序操作时出现的错误。本文将详细解释这个问题，并提供解决方案。问题概述在使用Elasticsearch进行数据分析时，我们可能会尝试对文本字段进行聚合或排序。但是，Elasticsearch默
  • 单机 安装 ELK 日志分析系统 TheFlsah Linux
    一、ELK介绍ELKStack是软件集合Elasticsearch、Logstash、Kibana的简称，它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也推荐此工具。Elasticsearch是一个基于Lucene的、支持全文索引的分布式存储和索引引擎，主要负责将日
  • Elastic Search常用命令 胖毁青春，瘦解百病 ESes
    1测试环境信息ElasticSearch服务器：192.168.0.100用户：docker启停：dockerstart/stop/restartelasticsearchKibana控制台：http://192.168.0.100:5601/app/kibana#/dev_tools/console2基本概念Elasticsearch也是基于Lucene的全文检索库，本质也是存储数据，很多概念与
  • ELK离线安装和配置流程 GB9125 运维开发elasticsearchelklinux运维开发
    ELK离线安装和配置流程一、介绍ELK是一个开源的数据分析和可视化工具，由三个开源项目组成：Elasticsearch、Logstash和Kibana。Elasticsearch是一个基于Lucene库的分布式搜索和分析引擎；Logstash是一个用于收集、处理和转换数据的数据管道，它可以从各种来源读取数据，包括日志文件、系统事件、网络流量等；Kibana则是一个数据可视化平台，可以对从Elast
  • Elasticsearch详解es 思静语 elasticsearchelasticsearch大数据搜索引擎
    文章目录概述es架构为什么要使用ElasticSearchElasticSearch的优势使用场景es为什么这么快倒排索引如何保证ES和数据库的数据一致性监听binlog同步双写elasticsearch是如何实现master选举的Elasticsearch与Solr的区别概述ES全称是ElasticSearch，它是一个建立在全文搜索引擎库Lucene基础上的开源搜索和分析引擎。ES它本身具有分
  • Java——ikanalyzer分词·只用自定义词库 weixin_30902251 java数据库c/c++
    需要包：IKAnalyzer2012_FF_hf1.jarlucene-core-5.5.4.jar需要文件：IKAnalyzer.cfg.xmlext.dicstopword.dic整理好的下载地址：http://download.csdn.net/detail/talkwah/9770635importjava.io.IOException;importjava.io.StringReader
  • Lucene实现自定义中文同义词分词器 WangJonney LuceneLucene
    ----------------------------------------------------------lucene的分词_中文分词介绍----------------------------------------------------------Paoding:庖丁解牛分词器。已经没有更新了mmseg:使用搜狗的词库1.导入包（有两个包：1.带dic的，2.不带dic的）如果使用
  • 选型搜索引擎之参考Elasticsearch 剑飞的编程思维 elasticsearch
    简介Elasticsearch（简称ES）是一个基于ApacheLucene的开源、分布式、RESTful接口的全文搜索引擎。其设计用于云计算环境，能够达到实时搜索、稳定、可靠、快速、安装使用方便的效果。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。Elasticsearch的特点包括：分布式存储和搜索：Elasticsear
  • 从入门到精通：Elasticsearch开发实践教程 青年老年程序员 Elasticsearch学习elasticsearchjenkins大数据
    Elasticsearch是一款开源的搜索引擎，它使用Lucene搜索库作为其核心搜索引擎。Elasticsearch使用RESTfulAPI进行交互，并支持多种数据类型的搜索和聚合。本教程将介绍Elasticsearch的基本原理，如何开发，以及如何在SpringBoot中使用Elasticsearch。Elasticsearch的原理Elasticsearch是一个分布式的文档存储和搜索引擎。
  • 深入理解Lucene：开源全文搜索引擎的核心技术解析 一休哥助手 分布式系统算法搜索引擎lucene开源
    1.介绍Lucene是什么？Lucene是一个开源的全文搜索引擎库，提供了强大的文本搜索和检索功能。它由Apache软件基金会维护和开发，采用Java语言编写，因其高性能、可扩展性和灵活性而备受欢迎。Lucene的作用和应用场景Lucene主要用于创建全文索引和执行文本搜索。其主要作用包括但不限于：在大型文本数据集中快速进行文本搜索和检索。实现网站、应用程序或系统中的搜索功能。构建文档管理系统、知
  • Elasticsearch基础知识与架构概述 禅与计算机程序设计艺术 elasticsearch架构jenkins大数据搜索引擎
    1.背景介绍Elasticsearch是一个基于分布式搜索和分析引擎，它可以处理大量数据并提供实时搜索功能。在本文中，我们将深入了解Elasticsearch的基础知识和架构概述，并探讨其核心概念、算法原理、最佳实践、实际应用场景和未来发展趋势。1.背景介绍Elasticsearch是一款开源的搜索引擎，由ElasticCorporation开发。它基于Lucene库，具有高性能、可扩展性和实时性
  • 视野 | OpenSearch，云厂商的新选择？ RadonDB 数据库搜索引擎elasticsearch
    王奇顾问软件工程师目前从事PaaS中间件服务（Redis/MongoDB/ELK等）开发工作，对NoSQL数据库有深入的研究以及丰富的二次开发经验，热衷对NoSQL数据库领域内的最新技术动态的学习，能够把握行业技术发展趋势。|最流行的全文搜索引擎Elasticsearch是一款广泛使用的开源分布式全文搜索引擎，源于ApacheLucene[1]，许可证为Apache2.0。由于出色的搜索引擎、高扩
  • Elasticsearch使用场景说明 车马去闲闲丶 elasticsearch大数据搜索引擎
    Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多租户能力的全文搜索引擎，基于RESTfulweb接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。它设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。以下是一些Elasticsearch的常见使用场景：全文搜索：Elastic
  • ElasticSearch学习笔记 重生之Java再爱我一次 elasticsearch学习笔记
    ElasticSearch一、初识ES1.什么是ElasticSearch？ES的概念：ElasticSearch是一款非常强大的开源搜索引擎，可以帮助我们从海量数据中快速找到需要的内容。ElasticSearch结合Kibana、LogStach、Beats，也就是ElasticStack（ELK）。被广泛应用在日志数据分析、实时监控等领域。ES的发展：Lucene是一个Java语言的搜索引擎类
  • solr —— 1 全文检索Solr8.0第一部分 苏打饼干没加心 solr
    solr，毕设啊，快被写完吧1solr介绍什么是solrLucene与Solr与ES为什么要用slor2HelloWorld2.1项目安装部署2.2项目安装配置创建核心创建document(表)添加文件查询数据3solr后台管理页面详解控制面板5全文检索千万级别数据实战，全面剖析架构设计，大数据瓶颈突破6数据库导入索引BV1Dt411G7eF1solr介绍什么是solrsolr简化了程序员的操作L
  • （三十七）大数据实战——Solr服务的部署安装 厉害哥哥吖 大数据大数据solr
    前言Solr是一个基于ApacheLucene的开源搜索平台，它提供了强大的全文搜索、分布式搜索和数据分析功能。Solr可以用于构建高性能的搜索应用程序，支持从海量数据中快速检索和分析信息。Solr使用倒排索引和先进的搜索算法，可实现快速而准确的全文搜索。Solr可以在多个服务器上进行水平扩展，实现分布式搜索和负载均衡。Solr支持复杂的过滤、排序和范围查询，使您可以根据各种条件对搜索结果进行精确
  • 《ElasticSearch技术解析与实战-朱林》 云澜哥哥 ElasticSearchelasticsearchbigdata
    《第一章：ElasticSearch入门》ElasticSearch简介：ElasticSearch是一个基于lucener构建的开源的，分布式的，resultful接口全文搜索引擎。ElasticSearch是一个分布式文档数据库。其中每个字段都是可以被索引的数据且可被搜索。ElasticSearch能够扩展到数以百计的服务器存储以及处理PB级的数据，它可以在很短的时间内存储，搜索，分析大量的数
  • 阿里P8架构师谈：开源搜索引擎Lucene、Solr、Sphinx等优劣势比较 liuhuiteng 中间件中间件
    开源搜索引擎分类1.Lucene系搜索引擎，java开发,包括：LuceneSolrElasticsearchKatta、Compass等都是基于Lucene封装。你可以想象Lucene系有多强大。2.Sphinx搜素引擎，c++开发,简单高性能。以下重点介绍最常用的开源搜素引擎：Lucene、Solr、Elasticsearch、Sphinx的特点和优劣势选型比较。Lucene1.Lucene简
  • 16款开源的全文搜索引擎 网络安全乔妮娜 开源搜索引擎网络安全web安全数据库安全前端
    网络安全重磅福利：入门&进阶全套282G学习资源包免费分享！全文搜索引擎就是通过从互联网上提取的各个网站的信息（以网页文字为主）而建立的数据库中，检索与用户查询条件匹配的相关记录，然后按一定的排列顺序将结果返回给用户。1、ApacheLuceneJava全文搜索框架许可证：Apache-2.0开发语言：Java官网：https://lucene.apache.org/ApacheLucene是完全
  • Lucene初识 KhaosYang
    Lucene是一种高性能、可伸缩的信息搜索（IR）库，在2000年开源，最初由鼎鼎大名的DougCutting开发，是基于Java实现的高性能的开源项目。Lucene采用了基于倒排表的设计原理，可以非常高效地实现文本查找，在底层采用了分段的存储模式，使它在读写时几乎完全避免了锁的出现，大大提升了读写性能。核心模块Lucene的写流程和读流程如图1所示。1.Lucene读写流程图其中，虚线箭头（A、
  • 03-03 elasticsearch nan得糊涂
    入门篇使用场景海量存储：支持分布式存储实时搜索：lucene倒排索引，海量数据下近乎实时搜索a.日志分析，es+logstash+kibanab.Github代码数据分析：支持数据分析及处理基本功能分布式的搜索引擎和数据分析引擎全文检索，结构化检索，数据分析海量数据实时处理根据这些功能，可以实现的使用场景某张表有海量数据，需要实时快速查询数据分析带来的问题ES用在海量数据实时查询，基本的数据分析等
  • Error CREATEing SolrCore 'index': Unable to create core: index Caused by: No enum constant org.apach 杉斯狼 后台Javasolrenum索引lucene
    ErrorCREATEingSolrCore'index':Unabletocreatecore:indexCausedby:Noenumconstantorg.apache.lucene.util.Version.LUCENE_48出错原因：solr版本配置不正确解决方法：在索引文件的目录下conf>solrconfig.xml4.8将4.8修改为4.7（你具体的版本，可以参照collectio
  • Elasticsearch的使用场景深入详解 Y T elasticsearch
    Elasticsearch是一个基于Lucene的开源搜索引擎，它提供了一个分布式多用户能力，能够处理PB级别的结构化或非结构化数据。Elasticsearch的设计目标是实现一个可扩展的搜索解决方案，它适用于多种使用场景，以下是一些深入的使用场景详解：1.日志分析与监控Elasticsearch与Logstash和Kibana（统称为ELKStack）结合使用，可以构建强大的日志分析平台。它能够
  • Elasticsearch—概念、安装和配置 Sunflow007
    13.jpg前言：Elasticsearch是一款很火热的，很优秀的，基于lucene的开源的分布式的搜索引擎，话不多说，本篇文章主要是Elasticsearch基本概念介绍、安装和配置。Elasticsearch的基本概念官方文档——BasicConcepts|ElasticsearchReference[6.4]|Elastic我们在学习关系型数据库和服务器的时候，接触到了一些概念如：data
  • ztree设置禁用节点 3213213333332132 JavaScriptztreejsonsetDisabledNodeAjax
    ztree设置禁用节点的时候注意，当使用ajax后台请求数据,必须要设置为同步获取数据，否者会获取不到节点对象，导致设置禁用没有效果。 $(function(){ showTree(); setDisabledNode(); });
  • JVM patch by Taobao bookjovi javaHotSpot
    在网上无意中看到淘宝提交的hotspot patch，共四个，有意思，记录一下。   7050685：jsdbproc64.sh has a typo in the package name 7058036：FieldsAllocationStyle=2 does not work in 32-bit VM 7060619：C1 should respect inline and
  • 将session存储到数据库中 dcj3sjt126com sqlPHPsession
    CREATE TABLE sessions ( id CHAR(32) NOT NULL, data TEXT, last_accessed TIMESTAMP NOT NULL, PRIMARY KEY (id) );   <?php /** * Created by PhpStorm. * User: michaeldu * Date
  • Vector 171815164 vector
    public Vector<CartProduct> delCart(Vector<CartProduct> cart, String id) { for (int i = 0; i < cart.size(); i++) { if (cart.get(i).getId().equals(id)) { cart.remove(i);
  • 各连接池配置参数比较 g21121 连接池
            排版真心费劲，大家凑合看下吧，见谅~     Druid DBCP C3P0 Proxool 数据库用户名称 Username Username User   数据库密码 Password Password Password   驱动名
  • [简单]mybatis insert语句添加动态字段 53873039oycg mybatis
          mysql数据库,id自增,配置如下：       <insert id="saveTestTb" useGeneratedKeys="true" keyProperty="id" parameterType=&
  • struts2拦截器配置 云端月影 struts2拦截器
    struts2拦截器interceptor的三种配置方法 方法1. 普通配置法 <struts>     <package name="struts2" extends="struts-default">         &
  • IE中页面不居中，火狐谷歌等正常 aijuans IE中页面不居中
    问题是首页在火狐、谷歌、所有IE中正常显示，列表页的页面在火狐谷歌中正常，在IE6、7、8中都不中，觉得可能那个地方设置的让IE系列都不认识，仔细查看后发现，列表页中没写HTML模板部分没有添加DTD定义，就是<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3
  • String,int,Integer,char 几个类型常见转换 antonyup_2006 htmlsql.net
    如何将字串 String 转换成整数 int? int i = Integer.valueOf(my_str).intValue(); int i=Integer.parseInt(str); 如何将字串 String 转换成Integer ? Integer integer=Integer.valueOf(str); 如何将整数 int 转换成字串 String ? 1.
  • PL/SQL的游标类型 百合不是茶 显示游标(静态游标)隐式游标游标的更新和删除%rowtyperef游标(动态游标)
    游标是oracle中的一个结果集,用于存放查询的结果;   PL/SQL中游标的声明; 1,声明游标 2,打开游标(默认是关闭的); 3,提取数据 4,关闭游标     注意的要点:游标必须声明在declare中,使用open打开游标,fetch取游标中的数据,close关闭游标   隐式游标:主要是对DML数据的操作隐
  • JUnit4中@AfterClass @BeforeClass @after @before的区别对比 bijian1013 JUnit4单元测试
    一.基础知识 JUnit4使用Java5中的注解（annotation），以下是JUnit4常用的几个annotation： @Before：初始化方法   对于每一个测试方法都要执行一次（注意与BeforeClass区别，后者是对于所有方法执行一次）@After：释放资源  对于每一个测试方法都要执行一次（注意与AfterClass区别，后者是对于所有方法执行一次
  • 精通Oracle10编程SQL(12)开发包 bijian1013 oracle数据库plsql
    /* *开发包 *包用于逻辑组合相关的PL/SQL类型（例如TABLE类型和RECORD类型）、PL/SQL项（例如游标和游标变量）和PL/SQL子程序（例如过程和函数） */ --包用于逻辑组合相关的PL/SQL类型、项和子程序，它由包规范和包体两部分组成 --建立包规范：包规范实际是包与应用程序之间的接口，它用于定义包的公用组件，包括常量、变量、游标、过程和函数等 --在包规
  • 【EhCache二】ehcache.xml配置详解 bit1129 ehcache.xml
    在ehcache官网上找了多次，终于找到ehcache.xml配置元素和属性的含义说明文档了，这个文档包含在ehcache.xml的注释中！ ehcache.xml ： http://ehcache.org/ehcache.xml ehcache.xsd ： http://ehcache.org/ehcache.xsd ehcache配置文件的根元素是ehcahe   ehcac
  • java.lang.ClassNotFoundException: org.springframework.web.context.ContextLoaderL 白糖_ javaeclipsespringtomcatWeb
    今天学习spring+cxf的时候遇到一个问题：在web.xml中配置了spring的上下文监听器： <listener> <listener-class>org.springframework.web.context.ContextLoaderListener</listener-class> </listener>  随后启动
  • angular.element boyitech AngularJSAngularJS APIangular.element
    angular.element 描述:     包裹着一部分DOM element或者是HTML字符串，把它作为一个jQuery元素来处理。（类似于jQuery的选择器啦）     如果jQuery被引入了，则angular.element就可以看作是jQuery选择器，选择的对象可以使用jQuery的函数；如果jQuery不可用，angular.e
  • java-给定两个已排序序列，找出共同的元素。 bylijinnan java
    import java.util.ArrayList; import java.util.Arrays; import java.util.List; public class CommonItemInTwoSortedArray { /** * 题目：给定两个已排序序列，找出共同的元素。 * 1.定义两个指针分别指向序列的开始。 * 如果指向的两个元素
  • sftp 异常，有遇到的吗？求解 Chen.H javajcraftauthjschjschexception
    com.jcraft.jsch.JSchException: Auth cancel at com.jcraft.jsch.Session.connect(Session.java:460) at com.jcraft.jsch.Session.connect(Session.java:154) at cn.vivame.util.ftp.SftpServerAccess.connec
  • [生物智能与人工智能]神经元中的电化学结构代表什么? comsci 人工智能
         我这里做一个大胆的猜想,生物神经网络中的神经元中包含着一些化学和类似电路的结构,这些结构通常用来扮演类似我们在拓扑分析系统中的节点嵌入方程一样,使得我们的神经网络产生智能判断的能力,而这些嵌入到节点中的方程同时也扮演着"经验"的角色....      我们可以尝试一下...在某些神经
  • 通过LAC和CID获取经纬度信息 dai_lm laccid
    方法1： 用浏览器打开http://www.minigps.net/cellsearch.html，然后输入lac和cid信息(mcc和mnc可以填0)，如果数据正确就可以获得相应的经纬度 方法2： 发送HTTP请求到http://www.open-electronics.org/celltrack/cell.php?hex=0&lac=<lac>&cid=&
  • JAVA的困难分析 datamachine java
    前段时间转了一篇SQL的文章（http://datamachine.iteye.com/blog/1971896），文章不复杂，但思想深刻，就顺便思考了一下java的不足，当砖头丢出来，希望引点和田玉。   -----------------------------------------------------------------------------------------
  • 小学5年级英语单词背诵第二课 dcj3sjt126com englishword
    money 钱 paper 纸 speak 讲，说 tell 告诉   remember 记得，想起 knock 敲，击，打 question 问题 number 数字，号码   learn 学会，学习 street 街道 carry 搬运，携带 send 发送，邮寄，发射   must 必须 light 灯，光线，轻的 front
  • linux下面没有tree命令 dcj3sjt126com linux
    centos p安装 yum -y install tree   mac os安装 brew install tree   首先来看tree的用法 tree 中文解释：tree 功能说明：以树状图列出目录的内容。 语　　法：tree [-aACdDfFgilnNpqstux][-I <范本样式>][-P <范本样式
  • Map迭代方式，Map迭代，Map循环 蕃薯耀 Map循环Map迭代Map迭代方式
    Map迭代方式，Map迭代，Map循环   >>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> 蕃薯耀 2015年
  • Spring Cache注解+Redis hanqunfeng spring
    Spring3.1 Cache注解  依赖jar包： <!-- redis --> <dependency> <groupId>org.springframework.data</groupId> <artifactId>spring-data-redis</artifactId>
  • Guava中针对集合的 filter和过滤功能 jackyrong filter
    在guava库中，自带了过滤器(filter)的功能，可以用来对collection 进行过滤，先看例子：    @Test public void whenFilterWithIterables_thenFiltered() { List<String> names = Lists.newArrayList("John"
  • 学习编程那点事 lampcy 编程androidPHPhtml5
    一年前的夏天，我还在纠结要不要改行，要不要去学php？能学到真本事吗？改行能成功吗？太多的问题，我终于不顾一切，下定决心，辞去了工作，来到传说中的帝都。老师给的乘车方式还算有效，很顺利的就到了学校，赶巧了，正好学校搬到了新校区。先安顿了下来，过了个轻松的周末，第一次到帝都，逛逛吧！ 接下来的周一，是我噩梦的开始，学习内容对我这个零基础的人来说，除了勉强完成老师布置的作业外，我已经没有时间和精力去
  • 架构师之流处理---------bytebuffer的mark,limit和flip nannan408 ByteBuffer
    1.前言。   如题，limit其实就是可以读取的字节长度的意思，flip是清空的意思，mark是标记的意思 。 2.例子. 例子代码: String str = "helloWorld"; ByteBuffer buff = ByteBuffer.wrap(str.getBytes()); Sy
  • org.apache.el.parser.ParseException: Encountered " ":" ": "" at line 1, column 1 Everyday都不同 $转义el表达式
    最近在做Highcharts的过程中，在写js时，出现了以下异常：   严重: Servlet.service() for servlet jsp threw exception org.apache.el.parser.ParseException: Encountered " ":" ": "" at line 1,
  • 用Java实现发送邮件到163 tntxia java实现
    /* 在java版经常看到有人问如何用javamail发送邮件？如何接收邮件？如何访问多个文件夹等。问题零散，而历史的回复早已经淹没在问题的海洋之中。 本人之前所做过一个java项目，其中包含有WebMail功能，当初为用java实现而对javamail摸索了一段时间，总算有点收获。看到论坛中的经常有此方面的问题，因此把我的一些经验帖出来，希望对大家有些帮助。 此篇仅介绍用
  • 探索实体类存在的真正意义 java小叶檀 POJO
    一. 实体类简述    实体类其实就是俗称的POJO,这种类一般不实现特殊框架下的接口，在程序中仅作为数据容器用来持久化存储数据用的 POJO（Plain Old Java Objects）简单的Java对象   它的一般格式就是 public class A{ private String id; public Str
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他