foamflower
foamflower

FieldCache在lucene中使用的代码解析

转自：http://moshalanye.javaeye.com/blog/281379

这篇文章的由来是在寻求lucene的搜索的性能提高的过程中成形的，
感谢所有所以给于我帮助的朋友，在baseworld的提示下，我仔细翻阅了代码，
于是想把自己的一些收获和想法写出来，希望对在学习的人提供帮助，
更希望有人不吝啬手中的砖头，指正我的想法



FieldCache为FieldCacheImpl的接口，
其中有个名为default类型为FieldCacheImpl的静态对象，


FieldCacheImpl中包含一些重要的不同类型的Cache属性,
例如：bytesCache，stringsCache。。。 
均继承于FieldCacheImpl.Cache抽象类，均实现抽象接口
protected abstract Object createValue(IndexReader reader, Object key)
        throws IOException;
例如：

Java代码
  1. Cache bytesCache = new Cache() {   
  2.   
  3.    protected Object createValue(IndexReader reader, Object entryKey)   
  4.        throws IOException {   
  5.      /*获得需要处理的域的信息*     /                                                                                   
  6.      Entry entry = (Entry) entryKey;  
  7.      /*获得需要处理的域名*/     
  8.      String field = entry.field;   
  9.      /*获得类型转换器，将String转成byte*/  
  10.      ByteParser parser = (ByteParser) entry.custom;   
  11.      /*声明缓存的数据，注意该数据声明的大小为reader。maxDoc(),即最大Doc*/  
  12.      final byte[] retArray = new byte[reader.maxDoc()];   
  13.      /*获得通过term查找包含其的doc号*/  
  14.      TermDocs termDocs = reader.termDocs();   
  15.      /*term的循环器，参数为new Term (field, "")，即从该域开始循环*/  
  16.      TermEnum termEnum = reader.terms (new Term (field, ""));   
  17.      try {   
  18.        do {   
  19.          /*开始loop*/  
  20.          Term term = termEnum.term();   
  21.          if (term==null || term.field() != field) break;   
  22.          /*将term中的text转换成byte*/  
  23.          byte termval = parser.parseByte(term.text());   
  24.          /*寻找包含该term的doc*/  
  25.          termDocs.seek (termEnum);   
  26.          while (termDocs.next()) {   
  27.   
  28.     /*  
  29.        并把retArray数组该doc号index下的值赋值。  
  30.        在此处注意！！如果一个doc包含多个term，  
  31.        那么意味着该retArray[termDocs.doc()]会被覆盖，  
  32.        值将是最后次赋的值，也就是说cache的数据是限制了doc包含的数据个数据的，  
  33.        doc包含1个以上，cache便起不到真正的效果了，所以使用该cache的场景有限，  
  34.        我同样也考虑过改写cache，让其支持doc包含多个数据的情况，  
  35.        但突然发现这个跟把Index的数据全缓存在内存中没有什么区别！ 矛盾啊！  
  36.        可能我的思路 还是受了限制阿！希望有人能给个思路 :D   
  37.     */  
  38.            retArray[termDocs.doc()] = termval;   
  39.          }   
  40.        } while (termEnum.next());   
  41.      } finally {   
  42.        termDocs.close();   
  43.        termEnum.close();   
  44.      }   
  45.        /*返回缓存的数据*/  
  46.      return retArray;   
  47.    }   
  48.  };   
  49.   
  50.   
  51.    static class Entry {   
  52.    final String field;        /*which Fieldable  域名*/  
  53.    final int type;            /*which SortField type 用于转换的的类型*/  
  54.    final Object custom;       /* which custom comparator      转换器*/  
  55.    final Locale locale;       /*  
  56.                                 the locale we're sorting (if string)  
  57.                                 国际化的咚咚  
  58.                               */  



以下是Cache的get的方法
Cache的get方法

Java代码
  1. public Object get(IndexReader reader, Object key) throws IOException {   
  2.   /*零时变量，存放该reader对应的缓存数据*/  
  3.   Map innerCache;   
  4.   Object value;   
  5.   /*readerCache缓存不通的reader读取的缓存数据*/  
  6.   synchronized (readerCache) {   
  7.   /*获取该reader对应的缓存数据*/    
  8.     innerCache = (Map) readerCache.get(reader);   
  9.     if (innerCache == null) {   
  10.     /*当没有该reader的缓存数据时，声明一个HashMap来存放该reader的缓存数据*/    
  11.       innerCache = new HashMap();   
  12.       /*放入到readerCache中，此时Map中没有数据*/  
  13.       readerCache.put(reader, innerCache);   
  14.       /*返回数据为null*/  
  15.       value = null;   
  16.     } else {   
  17.       value = innerCache.get(key);   
  18.     }   
  19.     if (value == null) {   
  20.       /*创建value的容器*/  
  21.       value = new CreationPlaceholder();   
  22.       /*并将容器放入对应的地方*/  
  23.       innerCache.put(key, value);   
  24.     }   
  25.   }   
  26.   if (value instanceof CreationPlaceholder) {   
  27.      /*  
  28.       对容器进行synchronized！该处是一个小技巧，在同步缓存数据时，  
  29.       有可能该值为null，对null不能同步，于是包了个马甲，马甲不为Null,  
  30.       马甲中的值为null  
  31.      */  
  32.      synchronized (value) {   
  33.       CreationPlaceholder progress = (CreationPlaceholder) value;   
  34.       if (progress.value == null) {   
  35.         /*当容器中缓存数据不存在！开始缓存！*/  
  36.         progress.value = createValue(reader, key);   
  37.         /*  
  38.          修改马甲，把马甲脱掉！由于修改了readerCache所以对它同步！   
  39.          我也有个疑惑？是否可以只对innerCache就可以了  
  40.         */  
  41.         synchronized (readerCache) {   
  42.           innerCache.put(key, progress.value);   
  43.         }   
  44.       }   
  45.       return progress.value;   
  46.     }   
  47.   }   
  48.   return value;   
  49. }  




ExtendedFieldCacheImpl 继承也只是扩展了以下
class ExtendedFieldCacheImpl extends FieldCacheImpl implements ExtendedFieldCache




下面介绍下FieldCache的应用场景，首先撤下题外话引一下


HitQueue extends 优先权队列（优先队列就不介绍了，有时间可以看看代码）

Java代码
  1. final class HitQueue extends PriorityQueue {   
  2.   /*初始化HitQueue时，初始化队列大小*/  
  3.   HitQueue(int size) {   
  4.     initialize(size);   
  5.   }   
  6.   /*重点方法，优先级别判断, ## doc的排序由它而来 ##*/  
  7.   protected final boolean lessThan(Object a, Object b) {   
  8.     ScoreDoc hitA = (ScoreDoc)a;   
  9.     ScoreDoc hitB = (ScoreDoc)b;   
  10.     /*通过得分来判断，得分高的排前*/  
  11.     if (hitA.score == hitB.score)   
  12.       return hitA.doc > hitB.doc;    
  13.     else  
  14.       return hitA.score < hitB.score;   
  15.   }   
  16. }   
  17.   
  18.   
  19. /*  
  20.    collector负责收集结果集，继承抽象类HitCollector，  
  21.    包含重要内部对象PriorityQueue hq  
  22. */  
  23. public class TopDocCollector extends HitCollector {   
  24.   /*零时变量，用以申明零时ScoreDoc的引用*/    
  25.   private ScoreDoc reusableSD;   
  26.   
  27.   int totalHits;   
  28.   PriorityQueue hq;   
  29.        
  30.   /** Construct to collect a given number of hits.  
  31.    * @param numHits the maximum number of hits to collect  
  32.    */  
  33.   /*默认构造HitQueue，即靠doc得分进行排序的优先队列*/  
  34.   public TopDocCollector(int numHits) {   
  35.     this(numHits, new HitQueue(numHits));   
  36.   }   
  37.   
  38. /*重点方法，获取topDocs*/  
  39.  public TopDocs topDocs() {   
  40.     ScoreDoc[] scoreDocs = new ScoreDoc[hq.size()];   
  41.     /*loop-- 从优先队列中获取数据*/  
  42.     for (int i = hq.size()-1; i >= 0; i--)      // put docs in array   
  43.       scoreDocs[i] = (ScoreDoc)hq.pop();   
  44.          
  45.     float maxScore = (totalHits==0)   
  46.       ? Float.NEGATIVE_INFINITY   
  47.       : scoreDocs[0].score;   
  48.     /*返回TopDocs对象*/       
  49.     return new TopDocs(totalHits, scoreDocs, maxScore);   
  50.   }  



开始进入正题吧！

FieldSortedHitQueue同样继承 优先队列

Java代码
  1. public class FieldSortedHitQueue   
  2. extends PriorityQueue {   
  3.   
  4.   /*  
  5.    参数reader作为该queue的参数，在这里面通过reader来获得比较器。  
  6.    参数fields作为排序的参数，排序的域  
  7.    参数size还是老规矩麻，来指定queue的大小   
  8.   */    
  9.   public FieldSortedHitQueue (    
  10.                  IndexReader reader,    
  11.                  SortField[] fields,   
  12.                  int size   
  13.                              )   
  14.   throws IOException {   
  15.     final int n = fields.length;   
  16.     /*有几个比较的域，则申明几个比较器*/  
  17.     comparators = new ScoreDocComparator[n];   
  18.     this.fields = new SortField[n];   
  19.     /*循环获得比较器，并重新初始化this.fields*/  
  20.     for (int i=0; i<n; ++i) {   
  21.       String fieldname = fields[i].getField();   
  22.       comparators[i] = getCachedComparator (   
  23.                                reader,    
  24.                                fieldname,    
  25.                                fields[i].getType(),    
  26.                                fields[i].getLocale(),    
  27.                                fields[i].getFactory()   
  28.                                            );   
  29.          
  30.       if (comparators[i].sortType() == SortField.STRING) {   
  31.           this.fields[i] = new SortField (   
  32.             fieldname, fields[i].getLocale(), fields[i].getReverse()   
  33.                                         );   
  34.       } else {   
  35.           this.fields[i] = new SortField (   
  36.             fieldname, comparators[i].sortType(), fields[i].getReverse()   
  37.                                         );   
  38.       }   
  39.     }   
  40.     /*初始化queue大小*/  
  41.     initialize (size);   
  42.   }  





在此介绍比较重要的方法，也是为什么会用到FieldCache的方法该方法用以获得比较器。
还记得FieldCacheImpl的那个件马甲中的东西是什么吗？如果不记得，在这里先提醒下，
那个是一个maxDoc长度的数组，数组的类型看你要的东西是什么类型的

Java代码
  1. static ScoreDocComparator getCachedComparator (   
  2.          IndexReader reader,    
  3.          String field,    
  4.          int type,    
  5.          Locale locale,    
  6.          SortComparatorSource factory   
  7.   )   
  8.   throws IOException {   
  9.     /*当需要的是doc的比较类型，则给的是默认的coreDocComparator.INDEXORDER*/  
  10.     if (type == SortField.DOC) return ScoreDocComparator.INDEXORDER;   
  11.        
  12.     /*当需要的是score的比较类型，则给的是默认的coreDocComparator.RELEVANCE*/  
  13.     if (type == SortField.SCORE) return ScoreDocComparator.RELEVANCE;   
  14.        
  15.     /*  
  16.      初始化查缓存的参数，factory不为null，则用factory初始化，  
  17.      否则用type和locale来构造  
  18.     */    
  19.     FieldCacheImpl.Entry entry = (factory != null)   
  20.       ? new FieldCacheImpl.Entry (field, factory)   
  21.       : new FieldCacheImpl.Entry (field, type, locale);   
  22.   
  23.     /*  
  24.     此处的comparators是个什么列？？赫赫！ 按名字看貌似是一个装比较器的cache，  
  25.     进入看看他的做法，看它怎么cache比较器吧！  
  26.     */    
  27.     return (ScoreDocComparator)comparators.get(reader, entry);   
  28.   }  



又一个cache！装比较器的cache,我们来看看其中的代码，
get方法都是cache抽象类中的，这里就不解释了

Java代码
  1. static final FieldCacheImpl.Cache Comparators = new FieldCacheImpl.Cache() {   
  2.   
  3.   protected Object createValue(IndexReader reader, Object entryKey)   
  4.       throws IOException {   
  5.     /* 转参数entryKey; */  
  6.     FieldCacheImpl.Entry entry = (FieldCacheImpl.Entry) entryKey;   
  7.     /* 获得排序的field */  
  8.     String fieldname = entry.field;   
  9.     /* 获得排序的值类型，也可以说是将field的值转换后的类型 */  
  10.     int type = entry.type;   
  11.     /* 获取locale */  
  12.     Locale locale = entry.locale;   
  13.     /* 获取制造比较器的工厂，一般用于自定义比较器的生产 */  
  14.     SortComparatorSource factory = (SortComparatorSource) entry.custom;   
  15.     /* 返回的比较器 */  
  16.     ScoreDocComparator comparator;   
  17.     /* 根据type来获得比较器 */  
  18.     switch (type) {   
  19.       case SortField.AUTO:   
  20.         comparator = comparatorAuto (reader, fieldname);   
  21.         break;   
  22.       case SortField.INT:   
  23.         comparator = comparatorInt (reader, fieldname);   
  24.         break;   
  25.       case SortField.FLOAT:   
  26.         comparator = comparatorFloat (reader, fieldname);   
  27.         break;   
  28.       case SortField.LONG:   
  29.         comparator = comparatorLong(reader, fieldname);   
  30.         break;   
  31.       case SortField.DOUBLE:   
  32.         comparator = comparatorDouble(reader, fieldname);   
  33.         break;   
  34.       case SortField.STRING:   
  35.         if (locale != null) comparator =    
  36.               comparatorStringLocale (reader, fieldname, locale);   
  37.         else comparator =    
  38.               comparatorString (reader, fieldname);   
  39.         break;   
  40.       case SortField.CUSTOM:   
  41.         comparator = factory.newComparator (reader, fieldname);   
  42.         break;   
  43.       default:   
  44.         throw new RuntimeException ("unknown field type: "+type);   
  45.     }   
  46.     return comparator;   
  47.   }   
  48. };  




我取其中的两个比较有代表性的解释
  
代表性一：   
       case SortField.INT:
       comparator = comparatorInt (reader, fieldname);

Java代码
  1. /* 该方法获得该field的int类型的比较器 */  
  2.   static ScoreDocComparator comparatorInt (   
  3.                         final IndexReader reader,    
  4.                         final String fieldname   
  5.                                            )   
  6.   throws IOException {   
  7.     /*   
  8.       获取域fieldname.intern()使用默认string池中的对象，使对象开销变少，  
  9.       鼓励这样的使用  
  10.     */        
  11.     final String field = fieldname.intern();   
  12.        
  13.     /*   
  14.       重点的重点！！！！千呼万唤始出来！在这里使用FieldCache.DEFAULT.getInts，  
  15.       获取缓存中数据（缓存数据数组的长度为maxDoc，index为doc号，  
  16.       值为该field的值转成了int）  
  17.     */    
  18.     final int[] fieldOrder = FieldCache.DEFAULT.getInts (reader, field);   
  19.        
  20.     /* OK！开始以缓存数据为基础编制马甲ScoreDocComparator */  
  21.     return new ScoreDocComparator() {   
  22.          
  23.       public final int compare (final ScoreDoc i, final ScoreDoc j) {   
  24.         final int fi = fieldOrder[i.doc];   
  25.         final int fj = fieldOrder[j.doc];   
  26.         if (fi < fj) return -1;   
  27.         if (fi > fj) return 1;   
  28.         return 0;   
  29.       }   
  30.   
  31.       public Comparable sortValue (final ScoreDoc i) {   
  32.         return new Integer (fieldOrder[i.doc]);   
  33.       }   
  34.   
  35.       public int sortType() {   
  36.         return SortField.INT;   
  37.       }   
  38.     };   
  39.   }  



代表性二：

  case SortField.CUSTOM:
     comparator = factory.newComparator (reader, fieldname);

使用工厂来factory.newComparator 制造compatator

如果有人写过自定义排序，肯定会接触SortComparator，
而该类继承SortComparatorSource，即compatator得工厂，
让我们看看他的实现吧

Java代码
  1. /*   
  2.    该类是ScoreDocComparator的工厂类，然而又不是纯粹的工厂类，  
  3.    加了一个转换数据的功能，所以名字有点四不像了  
  4.  */  
  5. public abstract class SortComparator   
  6. implements SortComparatorSource {   
  7.   
  8.   // inherit javadocs   
  9.   public ScoreDocComparator newComparator (   
  10.                 final IndexReader reader,    
  11.                 final String fieldname   
  12.                                           )   
  13.   throws IOException {   
  14.     final String field = fieldname.intern();   
  15.     /*   
  16.        获取可比较的类的对象数组，Integer Long  都是可比较的，  
  17.        继承了comparable接口，这里的方法 FieldCache.DEFAULT.  
  18.        getCustom (reader, field, SortComparator.this)   
  19.        参数三是将本类的调用对象传给了FieldCache.DEFAULT.getCustom（）方法，  
  20.        目的没别的！就是回调该 Comparable getComparable (String termtext)方法;  
  21.     */    
  22.     final Comparable[] cachedValues =    
  23.            FieldCache.DEFAULT.getCustom (reader, field, SortComparator.this);   
  24.        
  25.     return new ScoreDocComparator() {   
  26.   
  27.       public int compare (ScoreDoc i, ScoreDoc j) {   
  28.         return cachedValues[i.doc].compareTo (cachedValues[j.doc]);   
  29.       }   
  30.   
  31.       public Comparable sortValue (ScoreDoc i) {   
  32.         return cachedValues[i.doc];   
  33.       }   
  34.   
  35.       public int sortType(){   
  36.         return SortField.CUSTOM;   
  37.       }   
  38.     };   
  39.   }   
  40.   
  41.   /**  
  42.      抽象方法，用于把termtext转换成可比较的数据，即继承过Comparable的对象，  
  43.      在factory中多了一个工具功能  
  44.    */  
  45.   protected abstract Comparable getComparable (String termtext);   
  46.   
  47. }  



那么我们来顺藤摸瓜吧，找到了FieldCache.DEFAULT.getCustom (reader, field, SortComparator.this)方法调用了customCache，之前介绍过其他的cache（ByteCache）,
但没有介绍customCache，其实他们的区别就是获取缓存的数据时，
将term的数据转换成custom想要的东西，即客户自定义！从而支持扩展

Java代码
  1. Cache customCache = new Cache() {   
  2.   
  3.   protected Object createValue(IndexReader reader, Object entryKey)   
  4.       throws IOException {   
  5.     Entry entry = (Entry) entryKey;   
  6.     String field = entry.field;   
  7.     /*    
  8.        获取传过来的SortComparator对象  
  9.       （批评一下，名字取得够烂！纯粹迷幻名称！ :shock:   
  10.        又是工厂又是获取可比较值的工具转换类叫这个名字，把人晕的不轻，  
  11.        害我多读好多遍代码）  
  12.     */  
  13.     SortComparator comparator = (SortComparator) entry.custom;   
  14.     final Comparable[] retArray = new Comparable[reader.maxDoc()];   
  15.     TermDocs termDocs = reader.termDocs();   
  16.     TermEnum termEnum = reader.terms (new Term (field, ""));   
  17.     try {   
  18.       do {   
  19.         Term term = termEnum.term();   
  20.         if (term==null || term.field() != field) break;   
  21.         /* 回调getComparable方法！获取可比较的值，其他的就不细说了！  */  
  22.         Comparable termval = comparator.getComparable (term.text());   
  23.         termDocs.seek (termEnum);   
  24.         while (termDocs.next()) {   
  25.           retArray[termDocs.doc()] = termval;   
  26.         }   
  27.       } while (termEnum.next());   
  28.     } finally {   
  29.       termDocs.close();   
  30.       termEnum.close();   
  31.     }   
  32.     return retArray;   
  33.   }   
  34. };   
  35.   
  36.   
  37.   
  38.     
  39.   sortField该构造函数支持自定义排序的，   
  40.   SortComparatorSource 即自定义排序的工厂类，    
  41.   一般都是继承SortComparatorSource 的子类 SortComparator。   
  42.   
  43. public SortField (String field, SortComparatorSource comparator, boolean reverse) {   
  44.   this.field = (field != null) ? field.intern() : field;   
  45.   this.type = CUSTOM;   
  46.   this.reverse = reverse;   
  47.   this.factory = comparator;   
  48. }  




接着来介绍fieldcache的比较适用的场景吧！
第一个肯定是自定义排序了，但这个无需我们去使用，代码已经帮我们封装过了


第二个比较自由的就是filter了，面对doc的中存储某种type的域的情况，
通过type过滤时，这个时候就可以适当选择cache了

这个是我写的一个数字的filter，因为浮点数包括了整数，写了一个数字的filter

Java代码
  1. public class DigitalFilter extends Filter {   
  2.     static final String digitalRegex = "^//d*//.?//d*$";   
  3.   
  4.     private Term t;   
  5.   
  6.     public DigitalFilter(Term t) {   
  7.         this.t = t;   
  8.     }   
  9.   
  10.     public BitSet bits(IndexReader reader) throws IOException {   
  11.         BitSet bitSet = new BitSet(reader.maxDoc());   
  12.         /* 在此处调用了cache的getFloats方法，ExtendedFieldCache只是扩展了FieldCache，增加了LongCache 和DoubleCache，其他一样 */    
  13.         float digital[] = ExtendedFieldCache.DEFAULT.getFloats(   
  14.                 reader,   
  15.                 t.field(),   
  16.                 new FieldCache.FloatParser() {   
  17.                     public float parseFloat(String string) {   
  18.                         if (string.matches(digitalRegex))   
  19.                             return Float.parseFloat(string);   
  20.                         return 0;   
  21.                     }   
  22.                 });   
  23.         for (int i = 0; i < digital.length; i++) {   
  24.             if (digital[i] == Float.parseFloat(t.text()))   
  25.                 bitSet.set(i);   
  26.         }   
  27.         return bitSet;   
  28.     }   
  29.   
  30.     public static void main(String args[]) {   
  31.     }   
  32. }  





解析就到这里了！代码整理是由baseworld的提点，导致了这些的产生，
在此感谢所有给我建议的人，感谢你们的帮助，
如果有人在fieldcache有不错的用法，请不吝啬手上的砖头，给点启发！
谢谢！

你可能感兴趣的:(String,cache,object,HashMap,null,Lucene)

  • android系统selinux中添加新属性property 辉色投像
    1.定位/android/system/sepolicy/private/property_contexts声明属性开头：persist.charge声明属性类型：u:object_r:system_prop:s0图12.定位到android/system/sepolicy/public/domain.te删除neverallow{domain-init}default_prop:property
  • LocalDateTime 转 String igotyback java开发语言
    importjava.time.LocalDateTime;importjava.time.format.DateTimeFormatter;publicclassMain{publicstaticvoidmain(String[]args){//获取当前时间LocalDateTimenow=LocalDateTime.now();//定义日期格式化器DateTimeFormatterformat
  • ArcGIS栅格计算器常见公式（赋值、0和空值的转换、补充栅格空值） 研学随笔 arcgis经验分享
    我们在使用ArcGIS时通常经常用到栅格计算器，今天主要给大家介绍我日常中经常用到的几个公式，供大家参考学习。将特定值（-9999）赋值为0，例如-9999.Con("raster"==-9999,0,"raster")2.给空值赋予特定的值（如0）Con(IsNull("raster"),0,"raster")3.将特定的栅格值(如1)赋值为空值，其他保留原值SetNull("raster"==
  • 每日一题——第九十题 互联网打工人no1 C语言程序设计每日一练c语言
    题目：判断子串是否与主串匹配#include#include#include//////判断子串是否在主串中匹配//////主串///子串///boolisSubstring(constchar*str,constchar*substr){intlenstr=strlen(str);//计算主串的长度intlenSub=strlen(substr);//计算子串的长度//遍历主字符串，对每个可能得
  • C#中使用split分割字符串 互联网打工人no1 c#
    1、用字符串分隔：usingSystem.Text.RegularExpressions;stringstr="aaajsbbbjsccc";string[]sArray=Regex.Split(str,"js",RegexOptions.IgnoreCase);foreach(stringiinsArray)Response.Write(i.ToString()+"");输出结果：aaabbbc
  • python是什么意思中文-在python中%是什么意思 编程大乐趣
    Python中%有两种：1、数值运算：%代表取模，返回除法的余数。如：>>>7%212、%操作符（字符串格式化，stringformatting），说明如下：%[(name)][flags][width].[precision]typecode(name)为命名flags可以有+，-，''或0。+表示右对齐。-表示左对齐。''为一个空格，表示在正数的左侧填充一个空格，从而与负数对齐。0表示使用0填
  • python os 环境变量 CV矿工 python开发语言numpy
    环境变量：环境变量是程序和操作系统之间的通信方式。有些字符不宜明文写进代码里，比如数据库密码，个人账户密码，如果写进自己本机的环境变量里，程序用的时候通过os.environ.get（）取出来就行了。os.environ是一个环境变量的字典。环境变量的相关操作importos"""设置/修改环境变量：os.environ[‘环境变量名称’]=‘环境变量值’#其中key和value均为string类
  • Redis系列：Geo 类型赋能亿级地图位置计算 Ly768768 redisbootstrap数据库
    1前言我们在篇深刻理解高性能Redis的本质的时候就介绍过Redis的几种基本数据结构，它是基于不同业务场景而设计的：动态字符串(REDIS_STRING)：整数(REDIS_ENCODING_INT)、字符串(REDIS_ENCODING_RAW)双端列表(REDIS_ENCODING_LINKEDLIST)压缩列表(REDIS_ENCODING_ZIPLIST)跳跃表(REDIS_ENCODI
  • C++ | Leetcode C++题解之第409题最长回文串 Ddddddd_158 经验分享C++Leetcode题解
    题目：题解：classSolution{public:intlongestPalindrome(strings){unordered_mapcount;intans=0;for(charc:s)++count[c];for(autop:count){intv=p.second;ans+=v/2*2;if(v%2==1andans%2==0)++ans;}returnans;}};
  • 2024.9.6 Python，华为笔试题总结，字符串格式化，字符串操作，广度优先搜索解决公司组织绩效互评问题，无向图 RaidenQ python华为leetcode算法力扣广度优先无向图
    1.字符串格式化name="Alice"age=30formatted_string="Name:{},Age:{}".format(name,age)print(formatted_string)或者name="Alice"age=30formatted_string=f"Name:{name},Age:{age}"print(formatted_string)2.网络健康检查第一行有两个整数m
  • ArrayList 源码解析 程序猿进阶 Java基础ArrayListListjava面试性能优化架构设计idea
    ArrayList是Java集合框架中的一个动态数组实现，提供了可变大小的数组功能。它继承自AbstractList并实现了List接口，是顺序容器，即元素存放的数据与放进去的顺序相同，允许放入null元素，底层通过数组实现。除该类未实现同步外，其余跟Vector大致相同。每个ArrayList都有一个容量capacity，表示底层数组的实际大小，容器内存储元素的个数不能多于当前容量。当向容器中添
  • Android应用性能优化 轻口味 Android
    Android手机由于其本身的后台机制和硬件特点，性能上一直被诟病，所以软件开发者对软件本身的性能优化就显得尤为重要；本文将对Android开发过程中性能优化的各个方面做一个回顾与总结。Cache优化ListView缓存：ListView中有一个回收器，Item滑出界面的时候View会回收到这里，需要显示新的Item的时候，就尽量重用回收器里面的View；每次在getView函数中inflate新
  • Vue( ElementUI入门、vue-cli安装) m0_l5z elementuivue.js
    一.ElementUI入门目录：1.ElementUI入门1.1ElementUI简介1.2Vue+ElementUI安装1.3开发示例2.搭建nodejs环境2.1nodejs介绍2.2npm是什么2.3nodejs环境搭建2.3.1下载2.3.2解压2.3.3配置环境变量2.3.4配置npm全局模块路径和cache默认安装位置2.3.5修改npm镜像提高下载速度2.3.6验证安装结果3.运行n
  • iOS内存管理简单理解 烧烤有点辣
    什么是引用计数引用计数（ReferenceCount）是一个简单而有效的管理对象生命周期的方式。当我们创建一个新对象的时候，它的引用计数为1，当有一个新的指针指向这个对象时，我们将其引用计数加1，当某个指针不再指向这个对象是，我们将其引用计数减1，当对象的引用计数变为0时，说明这个对象不再被任何指针指向了，这个时候我们就可以将对象销毁，回收内存。由于引用计数简单有效，除了Objective-C和S
  • 非对称加密算法原理与应用2——RSA私钥加密文件 私语茶馆 云部署与开发架构及产品灵感记录RSA2048私钥加密
    作者：私语茶馆1.相关章节（1）非对称加密算法原理与应用1——秘钥的生成-CSDN博客第一章节讲述的是创建秘钥对，并将公钥和私钥导出为文件格式存储。本章节继续讲如何利用私钥加密内容，包括从密钥库或文件中读取私钥，并用RSA算法加密文件和String。2.私钥加密的概述本文主要基于第一章节的RSA2048bit的非对称加密算法讲述如何利用私钥加密文件。这种加密后的文件，只能由该私钥对应的公钥来解密。
  • 粒子群优化 (PSO) 在三维正弦波函数中的应用 subject625Ruben 机器学习人工智能matlab算法
    在这篇博客中，我们将展示如何使用粒子群优化（PSO）算法求解三维正弦波函数，并通过增加正弦波扰动，使优化过程更加复杂和有趣。本文将介绍目标函数的定义、PSO参数设置以及算法执行的详细过程，并展示搜索空间中的动态过程和收敛曲线。1.目标函数定义我们使用的目标函数是一个三维正弦波函数，定义如下：objectiveFunc=@(x)sin(sqrt(x(1).^2+x(2).^2))+0.5*sin(5
  • 自定义队列 junjun2018
    队列：像排队吃饭一样，先到的先点菜，后来的后点菜。以下代码展示使用单向列表实现的队列。//链表是以节点为单位的，对于单向链表，每个节点中包含一个值和指向下一个对象的引用publicclassNode{Objectvalue;Nodenext;publicNode(Objectvalue){this.value=value;}publicObjectgetValue(){returnvalue;}p
  • leetcode-617. 合并二叉树 manba_ leetcodehot100leetcode算法
    题目描述给你两棵二叉树：root1和root2。想象一下，当你将其中一棵覆盖到另一棵之上时，两棵树上的一些节点将会重叠（而另一些不会）。你需要将这两棵树合并成一棵新二叉树。合并的规则是：如果两个节点重叠，那么将这两个节点的值相加作为合并后节点的新值；否则，不为null的节点将直接作为新二叉树的节点。返回合并后的二叉树。注意:合并过程必须从两个树的根节点开始。示例1：输入：root1=[1,3,2,
  • 华为云分布式缓存服务DCS 8月新特性发布 华为云PaaS服务小智 华为云分布式缓存
    分布式缓存服务（DistributedCacheService，简称DCS）是华为云提供的一款兼容Redis的高速内存数据处理引擎，为您提供即开即用、安全可靠、弹性扩容、便捷管理的在线分布式缓存能力，满足用户高并发及数据快速访问的业务诉求。此次为大家带来DCS8月的特性更新内容，一起来看看吧！
  • 使用由 Python 编写的 lxml 实现高性能 XML 解析 hunyxv python笔记pythonxml
    转载自：文章lxml简介Python从来不出现XML库短缺的情况。从2.0版本开始，它就附带了xml.dom.minidom和相关的pulldom以及SimpleAPIforXML(SAX)模块。从2.4开始，它附带了流行的ElementTreeAPI。此外，很多第三方库可以提供更高级别的或更具有python风格的接口。尽管任何XML库都足够处理简单的DocumentObjectModel(DOM
  • Golang语言基础知识点总结 最帅猪猪侠 golang开发语言后端
    Golang语言基础知识点小总结1.go语言有两大类型：值类型：数值类型，bool，string，数组，struct结构体变量直接存储值，内存通常在栈中分配,修改值,不会对源对象产生影响引用类型：指针，slice切片，管道chan，map，interface变量存储的是一个地址，这个地址对应的空间才真正存储数据值，内存通常在堆上分配，当没有任何变量引用这个地址时，该地址对应的数据空间就成为一个垃圾
  • string trim的实现 JamesSawyer
    if(typeofString.prototype.trim!=='function'){String.prototype.trim=function(){//这个正则的意思是//'^''$'表示结束和开始//'^\s*'表示任意以空格开头的空格//'\s*$'表示任意以空格结尾的空格//'\S*'表示任意非空字符//'$1'表示'(\S*(\s*\S*)*)'returnthis.replace
  • [Swift]LeetCode943. 最短超级串 | Find the Shortest Superstring 黄小二哥 swift
    ★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★➤微信公众号：山青咏芝（shanqingyongzhi）➤博客园地址：山青咏芝（https://www.cnblogs.com/strengthen/）➤GitHub地址：https://github.com/strengthen/LeetCode➤原文地址：https://www.cnblogs.com/streng
  • [Swift]LeetCode767. 重构字符串 | Reorganize String weixin_30591551 swiftruntime
    ★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★➤微信公众号：山青咏芝（shanqingyongzhi）➤博客园地址：山青咏芝（https://www.cnblogs.com/strengthen/）➤GitHub地址：https://github.com/strengthen/LeetCode➤原文地址：https://www.cnblogs.com/streng
  • golang获取用户输入的几种方式 余生逆风飞翔 golang开发语言后端
    一、定义结构体typeUserInfostruct{Namestring`json:"name"`Ageint`json:"age"`Addstring`json:"add"`}typeReturnDatastruct{Messagestring`json:"message"`Statusstring`json:"status"`DataUserInfo`json:"data"`}二、get请求的
  • ERROR 1064 (42000): You have an error in your SQL syntax; check the manual that corresponds to your †徐先森® Oracle数据库Web相关错误集
    createtablestudents(idintunsignedprimarykeyauto_increment,namevarchar(50)notnull,ageintunsigned,highdecimal(3,2),genderenum('男','女','中性','保密','妖')default'保密',cls_idintunsigned);在对数据库插入如上带有中文带有默认值的字段的时
  • L1 L2 L3 缓存 京天不下雨 windows缓存windows
    L1L2L3缓存L1Cache(一级bai缓存)是CPU第一层高速缓存，分为数据缓存和指令缓存。du内置的zhiL1高速缓存的容量和结构对daoCPU的性能影响较大，不过高速缓冲存储器均由静态RAM组成，结构较复杂，在CPU管芯面积不能太大的情况下，L1级高速缓存的容量不可能做得太大。一般服务器CPU的L1缓存的容量通常在32—4096KB。L2由于L1级高速缓存容量的限制，为了再次提高CPU的运
  • 自定义分区 我的K8409 Hadoophdfshadoop大数据
    通过简单例子了解partition分区类的重写方法分区是在MR的过程中进行的，属于Shuffle阶段但是在Job端不要忘记进行调用：job.setPartitionerClass(xxx.class)按照年龄分区：classAgePartitionerextendsPartitioner{@OverridepublicintgetPartition(MyComparablekey,NullWrit
  • golang实现从服务器下载文件到本地指定目录 余生逆风飞翔 golang服务器开发语言
    一、连接服务器，采用sftp连接模式packagemiddlewaresimport("fmt""time""github.com/pkg/sftp""golang.org/x/crypto/ssh")//建立服务器连接funcConnect(user,password,hoststring,portint)(*sftp.Client,error){var(auth[]ssh.AuthMethod
  • spring mvc @RequestBody String类型参数 zoyation spring-mvcspringmvc
    通过如下配置：text/html;charset=UTF-8application/json;charset=UTF-8在springmvc的Controller层使用@RequestBody接收Content-Type为application/json的数据时，默认支持Map方式和对象方式参数@RequestMapping(value="/{code}/saveUser",method=Requ
  • 矩阵求逆（JAVA）利用伴随矩阵 qiuwanchi 利用伴随矩阵求逆矩阵
    package gaodai.matrix; import gaodai.determinant.DeterminantCalculation; import java.util.ArrayList; import java.util.List; import java.util.Scanner; /** * 矩阵求逆(利用伴随矩阵) * @author 邱万迟
  • 单例（Singleton）模式 aoyouzi 单例模式Singleton
    3.1           概述 如果要保证系统里一个类最多只能存在一个实例时，我们就需要单例模式。这种情况在我们应用中经常碰到，例如缓存池，数据库连接池，线程池，一些应用服务实例等。在多线程环境中，为了保证实例的唯一性其实并不简单，这章将和读者一起探讨如何实现单例模式。 3.2
  • [开源与自主研发]就算可以轻易获得外部技术支持,自己也必须研发 comsci 开源
          现在国内有大量的信息技术产品，都是通过盗版，免费下载，开源，附送等方式从国外的开发者那里获得的。。。。。。        虽然这种情况带来了国内信息产业的短暂繁荣，也促进了电子商务和互联网产业的快速发展，但是实际上，我们应该清醒的看到，这些产业的核心力量是被国外的
  • 页面有两个frame,怎样点击一个的链接改变另一个的内容 Array_06 UIXHTML
    <a src="地址"  targets="这里写你要操作的Frame的名字" />搜索 然后你点击连接以后你的新页面就会显示在你设置的Frame名字的框那里 targerts="",就是你要填写目标的显示页面位置 ===================== 例如： <frame src=&
  • Struts2实现单个/多个文件上传和下载 oloz 文件上传struts
    struts2单文件上传：     步骤01:jsp页面 <!--在进行文件上传时，表单提交方式一定要是post的方式，因为文件上传时二进制文件可能会很大，还有就是enctype属性，这个属性一定要写成multipart/form-data，不然就会以二进制文本上传到服务器端--> 　　<form action="fileUplo
  • 推荐10个在线logo设计网站 362217990 logo
    在线设计Logo网站。 1、http://flickr.nosv.org（这个太简单） 2、http://www.logomaker.com/?source=1.5770.1 3、http://www.simwebsol.com/ImageTool 4、http://www.logogenerator.com/logo.php?nal=1&tpl_catlist[]=2 5、ht
  • jsp上传文件 香水浓 jspfileupload
    1. jsp上传 Notice： 1. form表单 method 属性必须设置为 POST 方法 ，不能使用 GET 方法 2. form表单 enctype 属性需要设置为 multipart/form-data 3. form表单 action 属性需要设置为提交到后台处理文件上传的jsp文件地址或者servlet地址。例如 uploadFile.jsp 程序文件用来处理上传的文
  • 我的架构经验系列文章 - 前端架构 agevs JavaScriptWeb框架UIjQuer
    框架层面：近几年前端发展很快，前端之所以叫前端因为前端是已经可以独立成为一种职业了，js也不再是十年前的玩具了，以前富客户端RIA的应用可能会用flash/flex或是silverlight，现在可以使用js来完成大部分的功能，因此js作为一门前端的支撑语言也不仅仅是进行的简单的编码，越来越多框架性的东西出现了。越来越多的开发模式转变为后端只是吐json的数据源，而前端做所有UI的事情。MVCMV
  • android ksoap2 中把XML(DataSet) 当做参数传递 aijuans android
    我的android app中需要发送webservice ，于是我使用了 ksop2 进行发送，在测试过程中不是很顺利,不能正常工作.我的web service 请求格式如下     [html]  view plain copy   <Envelope xmlns="http://schemas.
  • 使用Spring进行统一日志管理 + 统一异常管理 baalwolf spring
    统一日志和异常管理配置好后，SSH项目中，代码以往散落的log.info() 和 try..catch..finally 再也不见踪影！ 统一日志异常实现类： [java]  view plain copy   package com.pilelot.web.util;      impor
  • Android SDK 国内镜像 BigBird2012 android sdk
    一、镜像地址： 1、东软信息学院的 Android SDK 镜像，比配置代理下载快多了。 配置地址， http://mirrors.neusoft.edu.cn/configurations.we#android 2、北京化工大学的： IPV4:ubuntu.buct.edu.cn  IPV4:ubuntu.buct.cn IPV6:ubuntu.buct6.edu.cn
  • HTML无害化和Sanitize模块 bijian1013 JavaScriptAngularJSLinkySanitize
    一.ng-bind-html、ng-bind-html-unsafe         AngularJS非常注重安全方面的问题，它会尽一切可能把大多数攻击手段最小化。其中一个攻击手段是向你的web页面里注入不安全的HTML，然后利用它触发跨站攻击或者注入攻击。         考虑这样一个例子，假设我们有一个变量存
  • [Maven学习笔记二]Maven命令 bit1129 maven
    mvn compile compile编译命令将src/main/java和src/main/resources中的代码和配置文件编译到target/classes中，不会对src/test/java中的测试类进行编译 MVN编译使用 maven-resources-plugin:2.6:resources maven-compiler-plugin:2.5.1:compile &nbs
  • 【Java命令二】jhat bit1129 Java命令
    jhat用于分析使用jmap dump的文件，，可以将堆中的对象以html的形式显示出来，包括对象的数量，大小等等，并支持对象查询语言。 jhat默认开启监听端口7000的HTTP服务，jhat是Java Heap Analysis Tool的缩写 1. 用法： [hadoop@hadoop bin]$ jhat -help Usage: jhat [-stack <bool&g
  • JBoss 5.1.0 GA:Error installing to Instantiated: name=AttachmentStore state=Desc ronin47
    进到类似目录 server/default/conf/bootstrap，打开文件 profile.xml找到： Xml代码<bean    name="AttachmentStore"  class="org.jboss.system.server.profileservice.repository.AbstractAtta
  • 写给初学者的6条网页设计安全配色指南 brotherlamp UIui自学ui视频ui教程ui资料
    网页设计中最基本的原则之一是，不管你花多长时间创造一个华丽的设计，其最终的角色都是这场秀中真正的明星——内容的衬托     我仍然清楚地记得我最早的一次美术课，那时我还是一个小小的、对凡事都充满渴望的孩子，我摆放出一大堆漂亮的彩色颜料。我仍然记得当我第一次看到原色与另一种颜色混合变成第二种颜色时的那种兴奋，并且我想，既然两种颜色能创造出一种全新的美丽色彩，那所有颜色
  • 有一个数组，每次从中间随机取一个，然后放回去，当所有的元素都被取过，返回总共的取的次数。写一个函数实现。复杂度是什么。 bylijinnan java算法面试
    import java.util.Random; import java.util.Set; import java.util.TreeSet; /** * http://weibo.com/1915548291/z7HtOF4sx * #面试题#有一个数组，每次从中间随机取一个，然后放回去，当所有的元素都被取过，返回总共的取的次数。 * 写一个函数实现。复杂度是什么
  • struts2获得request、session、application方式 chiangfai application
    1、与Servlet API解耦的访问方式。 a.Struts2对HttpServletRequest、HttpSession、ServletContext进行了封装，构造了三个Map对象来替代这三种对象要获取这三个Map对象，使用ActionContext类。 ----->   package pro.action; import java.util.Map; imp
  • 改变python的默认语言设置 chenchao051 python
    import sys sys.getdefaultencoding()  可以测试出默认语言，要改变的话，需要在python lib的site-packages文件夹下新建： sitecustomize.py， 这个文件比较特殊，会在python启动时来加载，所以就可以在里面写上： import sys sys.setdefaultencoding('utf-8') &n
  • mysql导入数据load data infile用法 daizj mysql导入数据
    我们常常导入数据！mysql有一个高效导入方法，那就是load data infile 下面来看案例说明 基本语法： load data  [low_priority] [local] infile 'file_name txt' [replace | ignore] into table tbl_name [fields [terminated by't'] [OPTI
  • phpexcel导入excel表到数据库简单入门示例 dcj3sjt126com PHPExcel
    跟导出相对应的，同一个数据表，也是将phpexcel类放在class目录下，将Excel表格中的内容读取出来放到数据库中 <?php error_reporting(E_ALL); set_time_limit(0); ?> <html> <head> <meta http-equiv="Content-Type"
  • 22岁到72岁的男人对女人的要求 dcj3sjt126com
    22岁男人对女人的要求是：一，美丽，二，性感，三，有份具品味的职业，四，极有耐性，善解人意，五，该聪明的时候聪明，六，作小鸟依人状时尽量自然，七，怎样穿都好看，八，懂得适当地撒娇，九，虽作惊喜反应，但看起来自然，十，上了床就是个无条件荡妇。 32岁的男人对女人的要求，略作修定，是：一，入得厨房，进得睡房，二，不必服侍皇太后，三，不介意浪漫蜡烛配盒饭，四，听多过说，五，不再傻笑，六，懂得独
  • Spring和HIbernate对DDM设计的支持 e200702084 DAO设计模式springHibernate领域模型
    A：数据访问对象     DAO和资源库在领域驱动设计中都很重要。DAO是关系型数据库和应用之间的契约。它封装了Web应用中的数据库CRUD操作细节。另一方面，资源库是一个独立的抽象，它与DAO进行交互，并提供到领域模型的“业务接口”。    资源库使用领域的通用语言，处理所有必要的DAO，并使用领域理解的语言提供对领域模型的数据访问服务。
  • NoSql 数据库的特性比较 geeksun NoSQL
    Redis 是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。目前由VMware主持开发工作。   1. 数据模型 作为Key-value型数据库，Redis也提供了键（Key）和值（Value）的映射关系。除了常规的数值或字符串，Redis的键值还可以是以下形式之一： Lists （列表） Sets
  • 使用 Nginx Upload Module 实现上传文件功能 hongtoushizi nginx
    转载自： http://www.tuicool.com/wx/aUrAzm   普通网站在实现文件上传功能的时候，一般是使用Python，Java等后端程序实现，比较麻烦。Nginx有一个Upload模块，可以非常简单的实现文件上传功能。此模块的原理是先把用户上传的文件保存到临时文件，然后在交由后台页面处理，并且把文件的原名，上传后的名称，文件类型，文件大小set到页面。下
  • spring-boot-web-ui及thymeleaf基本使用 jishiweili springthymeleaf
    视图控制层代码demo如下：   @Controller @RequestMapping("/") public class MessageController { private final MessageRepository messageRepository; @Autowired public MessageController(Mes
  • 数据源架构模式之活动记录 home198979 PHP架构活动记录数据映射
    hello!架构 一、概念 活动记录（Active Record）：一个对象，它包装数据库表或视图中某一行，封装数据库访问，并在这些数据上增加了领域逻辑。 对象既有数据又有行为。活动记录使用直截了当的方法，把数据访问逻辑置于领域对象中。   二、实现简单活动记录 活动记录在php许多框架中都有应用，如cakephp。 <?php /** * 行数据入口类 *
  • Linux Shell脚本之自动修改IP pda158 linuxcentosDebian脚本
    作为一名 Linux SA，日常运维中很多地方都会用到脚本，而服务器的ip一般采用静态ip或者MAC绑定，当然后者比较操作起来相对繁琐，而前者我们可以设置主机名、ip信息、网关等配置。修改成特定的主机名在维护和管理方面也比较方便。如下脚本用途为：修改ip和主机名等相关信息，可以根据实际需求修改，举一反三！ #!/bin/sh #auto Change ip netmask ga
  • 开发环境搭建 独浮云 eclipsejdktomcat
           最近在开发过程中，经常出现MyEclipse内存溢出等错误，需要重启的情况，好麻烦。对于一般的JAVA+TOMCAT项目开发，其实没有必要使用重量级的MyEclipse，使用eclipse就足够了。尤其是开发机器硬件配置一般的人。         &n
  • 操作日期和时间的工具类 vipbooks 工具类
       大家好啊，好久没有来这里发文章了，今天来逛逛，分享一篇刚写不久的操作日期和时间的工具类，希望对大家有所帮助。 /* * @(#)DataFormatUtils.java 2010-10-10 * * Copyright 2010 BianJing,All rights reserved. */ package test; impor
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他