Python+Lucene

Python+Lucene(pylucene) + Paoding的安装配置

pylucene让Python可以调用Lucene API实现搜索，这个项目紧跟Lucene的步调，对用惯了Python的同学来说是个福音。

pylucene是通过JCC实现的，JCC读取 jar 包里的public class/method签名，生成C++的包装类，通过JNI(Java Native Interface)调用java的class/mathod。C++代码转成Python的扩展模块，在Python虚拟机里嵌入JVM就可以用了。细节参考http://lucene.apache.org/pylucene/jcc/documentation/readme.html 。

由于Paoding跟Lucene 2.9版本以前的接口是一致的，因此找了一个最接近的PyLucene版本(pylucene 2.4)，但里面的JCC比较老了，因此使用了pylucene 3.3的JCC。

下文假定 python 2.7.2安装到 /data/python-2.7.2 目录，相关源码保存在 /data/src 目录。


1 安装 Python

下载Python 2.7.2
切换到解压目录
./configure --prefix=/data/python-2.7.2 --enable-shared
make && make install
export LD_LIBRARY_PATH=/data/python-2.7.2/lib

安装包 setuptools

wget
http://pypi.python.org/packages/source/s/setuptools/setuptools-0.6c11.tar.gz#md5=7df2a529a074f613b509fb44feefe74e
tar zxvf setuptools-0.6c11.tar.gz
cd setuptools-0.6c11
/data/python-2.7.2/bin/python setup.py install


2 安装 JCC 2.10

下载 pylucene-3.3-3-src.tar.gz
切换到解压目录
cd jcc

给 setuptools打补丁
mkdir tmp
cd tmp
unzip -q /data/python-2.7.2/lib/python2.7/site-packages/setuptools-0.6c11-py2.7.egg
patch -Nup0 < /data/src/pylucene-3.3-3/jcc/jcc/patches/patch.43.0.6c11
sudo zip
/data/python-2.7.2/lib/python2.7/site-packages/setuptools-0.6c11-py2.7.egg -f
cd ..
rm -rf tmp

ln -sf /usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0.x86_64 /usr/lib/jvm/java-6-openjdk
/data/python-2.7.2/bin/python setup.py build
/data/python-2.7.2/bin/python setup.py install


3 安装 PyLucene + Paoding

下载 pylucene-2.4.1-2-src.tar.gz 和 paoding-analysis-2.0.4-beta.zip
tar zxvf pylucene-2.4.1-2-src.tar.gz
mkdir paoding
cd paoding
unzip ../paoding-analysis-2.0.4-beta.zip

切换到 pylucene-2.4.1-2解压目录
vi Makefile 修改内容如下
...
# Linux (Ubuntu 8.10 64-bit, Python 2.5.2, OpenJDK 1.6, setuptools 0.6c9)
PREFIX_PYTHON=/data/python-2.7.2
ANT=ant
PYTHON=$(PREFIX_PYTHON)/bin/python
JCC=$(PYTHON) -m jcc --shared
NUM_FILES=2
...
JARS=$(LUCENE_JAR) $(SNOWBALL_JAR) $(HIGHLIGHTER_JAR) $(ANALYZERS_JAR) \
$(REGEX_JAR) $(QUERIES_JAR) $(INSTANTIATED_JAR) $(EXTENSIONS_JAR) \
/data/src/paoding/paoding-analysis.jar
...
GENERATE=$(JCC) $(foreach jar,$(JARS),--jar $(jar)) \
--include /data/src/paoding/lib/commons-logging.jar \
--package java.lang java.lang.System \
...

运行

make
make install

4 测试

export LD_LIBRARY_PATH=/data/python-2.7.2/lib
export PAODING_DIC_HOME=/data/src/paoding/dic
/data/python-2.7.2/bin/python /data/src/testpylucene.py

testpylucene.py的内容如下：
# -*_ coding: utf-8 -*-
#
from lucene import *

texts = ["Python是一个很有吸引力的语言",
"C++语言也很有吸引力，长久不衰",
"我们希望Python和C++高手加入",
"我们的技术巨牛，人人都是高手"]

def search(searcher, qtext):
    tq = TermQuery(Term("content", qtext))
    hits = searcher.search(tq)
    print "----------------------------------------------"
    print "Query:'%s', %d Found" % (qtext,hits.length())
    for i in range(hits.length()):
        doc = hits.doc(i)
        print "\t",doc.get("content")

def dump(reader):
    for i in range(reader.maxDoc()):
    print "-----------------------------------------------"
    tv = reader.getTermFreqVector(i, "content")
    for tk in tv.getTerms():
    print tk

initVM()
directory = RAMDirectory()
analyzer = PaodingAnalyzer()
writer = IndexWriter(directory, analyzer, True)
for text in texts:
    doc = Document()
    doc.add(Field("content", text, Field.Store.YES, Field.Index.TOKENIZED,
        Field.TermVector.YES))
    writer.addDocument(doc)
writer.optimize()
writer.close()
reader = IndexReader.open(directory)
dump(reader)
searcher = IndexSearcher(directory)
search(searcher, "python")
search(searcher, "C++")
search(searcher, "高手")