Cygwin中通过RJB在Ruby下调用ICTCLAS(JAVA)

参考文章:

  1. ruby 下使用 ICTCLAS(JAVA)
  2. RJB 在windows下的一些安装事项
  3. ICTCLAS4J 的编译脚本

参考文章1中,在windows中成功在Ruby中调用了ICTCLAS4J,当环境迁到Cygwin中时,出现了一些错误。本文中,将修正这些错误,在Cygwin中通过RJB在Ruby中调用ICTCLAS4J

先说明几个问题:

  1. Cygwin中没有合适的JDK,调用的是windows中的JDK,所以本文中JVM的环境是windows环境(比如:JVM的路径格式都是windows样式的)
  2. JDK默认的安装路径是 C:\Program Files\JAVA\JDKxxx ,其中"Program Files“中间的空格会给我们带来很大麻烦,比如
    java -cp C:\Program Files\JAVA\JDKxxx\... 
    就会出错,不得不使用
    java -cp "C:\Program Files\JAVA\JDKxxx\..." ...
    为了方便,我们要避免那个空格,有两个办法
    1. 重装JDK,安到C:\JAVA\JDKxxx,比较笨拙但方便的方法
    2. 建立软链接,windows下建立软链接的工具是微软junction,将JDK目录映射到C:\JAVA\JDKxxx

下面来逐步解决出现的问题:

1. 将环境迁移到cygwin下

安装好Ruby , RJB后 , 运行

require 'rubygems' 

require 'rjb' 

Rjb::load 

str = Rjb::import("java.lang.String")

 

得到错误

Error occurred during initialization of VM

java/lang/NoClassDefFoundError: java/lang/Object

 

如果Google这个错误,可以知道是rt.jar没有载入进来,但是无论怎么设置Rjb::load 的 classpath 参数都是无效的,比如

require 'rubygems'

require 'rjb'

Rjb::load(classpath = ".;c:\\Java\\jdk1.6.0_18\\jre\\lib\\rt.jar")

str = Rjb::import("java.lang.String")

得到的是一样的错误,说明不是classpath的问题 问题分析:(如果只需要解决方案,可以跳过问题分析,因为这个问题分析只是臆测,并未得到证实) 如果运行java –verbose,可以看到java载入类的顺序大致如下:

[Loaded java.lang.Object from shared objects file]

[Loaded java.io.Serializable from shared objects file]

[Loaded java.lang.Comparable from shared objects file]

[Loaded java.lang.CharSequence from shared objects file]

[Loaded java.lang.String from shared objects file]

...

[Opened C:\Java\jdk1.6.0_18\jre\lib\rt.jar]

[Loaded java.nio.charset.Charset$3 from C:\Java\jdk1.6.0_18\jre\lib\rt.jar]

为了启动速度,JAVA 6开始将一些类预先载入,不再依赖于rt.jar,也就是classpath的读取在预载入之后,预载入中没有 rt.jar,就会出现错误
查找资料后,设置-Xbootclasspath也许会解决我们的问题,试验一下

java -Xbootclasspath:c:\\Java\\jdk1.6.0_18\\jre\\lib\\rt.jar -verbose

结果如下:

[Opened c:\Java\jdk1.6.0_18\jre\lib\rt.jar]

[Loaded java.lang.Object from c:\Java\jdk1.6.0_18\jre\lib\rt.jar]

[Loaded java.io.Serializable from c:\Java\jdk1.6.0_18\jre\lib\rt.jar]

[Loaded java.lang.Comparable from c:\Java\jdk1.6.0_18\jre\lib\rt.jar]

[Loaded java.lang.CharSequence from c:\Java\jdk1.6.0_18\jre\lib\rt.jar]

[Loaded java.lang.String from c:\Java\jdk1.6.0_18\jre\lib\rt.jar]

[Loaded java.lang.reflect.GenericDeclaration from c:\Java\jdk1.6.0_18\jre\lib\rt.jar]

That’s Great!

问题解决:

将测试代码改成

require 'rubygems'

require 'rjb'

Rjb::load(classpath = "." , 

[

"-Xbootclasspath:c:\\Java\\jdk1.6.0_18\\jre\\lib\\rt.jar"

])

str = Rjb::import("java.lang.String")

前面的错误将解决,我们也将迎来新的错误:

Error occurred during initialization of VM

java.lang.UnsatisfiedLinkError: no zip in java.library.path

        at java.lang.ClassLoader.loadLibrary(ClassLoader.java:1734)

        at java.lang.Runtime.loadLibrary0(Runtime.java:823)

        at java.lang.System.loadLibrary(System.java:1028)

        at java.lang.System.initializeSystemClass(System.java:1086)

2. no zip in java.library.path

显然因为zip.dll没有包含在library路径中,很自然有下面的解决方案

require 'rubygems'

require 'rjb'

Rjb::load(classpath = "." , 

[

"-Xbootclasspath:c:\\Java\\jdk1.6.0_18\\jre\\lib\\rt.jar" ,

"-Djava.library.path=c:\\Java\\jdk1.6.0_18\\jre\\bin"

])

str = Rjb::import("java.lang.String")

不过运行后 no zip 依旧

问题分析:

zip.dll 是在 rt.jar的类要求链接的库,rt.jar都是预载入的,zip.dll当然也要预载入…

问题解决:

require 'rubygems'

require 'rjb'

Rjb::load(classpath = "." , 

[

"-Xbootclasspath:c:\\Java\\jdk1.6.0_18\\jre\\lib\\rt.jar" ,

"-Dsun.boot.library.path=c:\\Java\\jdk1.6.0_18\\jre\\bin"

])

str = Rjb::import("java.lang.String")

input = str.new("we got it")

puts input.toString()

We got it

3. 至此,RJB基本可以在cygwin下使用,但是当我们使用ICTCLAS的时候,还是出现了一些问题的

先根据参考文章3,编译ICTCLAS4J,因为我们在之后要hack ICTCLAS4J

测试代码:

require 'rubygems'

require 'rjb'

root_ICTCLAS = "C:\\cygwin\\home\\Tachikoma\\workspace\\try\\ICTCLAS"

root_jdk = "c:\\Java\\jdk1.6.0_18"



Rjb::load(classpath = ".;#{root_ICTCLAS}\\bin;#{root_ICTCLAS}\\commons-lang-#2.5\\commons-lang-2.5.jar" , 

[

"-Xbootclasspath:#{root_jdk}\\jre\\lib\\rt.jar" ,

"-Dsun.boot.library.path=#{root_jdk}\\jre\\bin" ,

"-Duser.dir=#{root_ICTCLAS}"

])

segtag_class = Rjb::import('org.ictclas4j.segment.SegTag')

segtag = segtag_class.new_with_sig("I",1)

seg_res = segtag.split("今天好累...")

result = seg_res.getFinalResult()

puts result

运行后出现错误:

test.rb:12:in `method_missing': unknown exception (NullPointerException)

        from test.rb:12

问题分析: 猜测错误是没有用的,只能侵入ICTCLAS4J的代码,看个究竟。略去调试过程,得到的第一个问题是在org\ictclas4j\bean\Dictionary.java 71行,file.canRead()返回false。解释一下:ICTCLAS4j/Data中的数据文件没有读取权限,所以返回了空指针,导致失败。这个问题涉及到Windows,Cygwin,Ruby,RJB,JAVA之间的权限联动问题,我也说不清楚,只提供解决方法。发现了file = new File(filename) ,当filename为绝对路径时,具有读权限,为相对路径是,没有读权限。
问题解决: 在org\ictclas4j\bean\Dictionary.java load函数和save函数中,关于file的初始化部分,修改成

file = new File(filename);

filename = file.getAbsolutePath();

file = new File(filename);

(就两个地方需要修改,就不重构提取函数了)

运行代码,错误依旧?

由于省去了调试过程,所以看不到出错地点,不过我确定文件权限的问题,已经就此解决

那么剩下的错误是由什么引起的?

4. GBK的错误

我们在org\ictclas4j\bean\Dictionary.java 125行左右处理IOException的代码改成如下

} catch (IOException e) {

	e.printStackTrace();

	//logger.error(e);

}

 

(关于ICTCLAS4源代码作者如此处理这个错误…发点牢骚,logger只让程序员看到,但是用户也应当看到一些错误信息)

再运行测试代码,得到错误:

java.io.UnsupportedEncodingException: GBK

        at java.lang.StringCoding.decode(StringCoding.java:170)

        at java.lang.String.<init>(String.java:443)

        at java.lang.String.<init>(String.java:515)

        at org.ictclas4j.bean.Dictionary.load(Dictionary.java:102)

        at org.ictclas4j.bean.Dictionary.load(Dictionary.java:52)

        at org.ictclas4j.segment.PosTagger.<init>(PosTagger.java:39)

        at org.ictclas4j.segment.SegTag.<init>(SegTag.java:33)

没有支持GBK的编码包,这个好办,加载C:\\Java\\jdk1.6.0_18\\jre\\lib\\charsets.jar就可以了

测试代码修改如下

require 'rubygems'

require 'rjb'

root_ICTCLAS = "C:\\cygwin\\home\\Tachikoma\\workspace\\try\\ICTCLAS"

root_jdk = "c:\\Java\\jdk1.6.0_18"



Rjb::load(classpath = ".;#{root_ICTCLAS}\\bin;#{root_ICTCLAS}\\commons-lang-#2.5\\commons-lang-2.5.jar;C:\\Java\\jdk1.6.0_18\\jre\\lib\\charsets.jar" , 

[

"-Xbootclasspath:#{root_jdk}\\jre\\lib\\rt.jar" ,

"-Dsun.boot.library.path=#{root_jdk}\\jre\\bin" ,

"-Duser.dir=#{root_ICTCLAS}"

])

segtag_class = Rjb::import('org.ictclas4j.segment.SegTag')

segtag = segtag_class.new_with_sig("I",1)

seg_res = segtag.split("今天好累...")

result = seg_res.getFinalResult()

puts result

5. 终于,终于…

$ ruby test.rb 

今/g 天/g 好/g 累/v ../m 

 

很好的结果

P.S. 如果看到的是乱码,记得把ruby的源文件按照utf-8的编码存储

6. 小感慨下

写完了才发现:有用的部分只是我的调试过程中很小的部分,实际调试的过程中,侵入了RJB的代码,ICTCLAS4J的代码,不得不花时间建立些小工具方便调试。

休息休息…

7.不得不承认,再过了一天后,我们的程序出了问题

问题大致是这样的:我们的程序只能对于"今天好累..."这样的短句分词,当涉及到"他从马上摔下来了“这样的例子,依然会看到NullPointerException这样的错误。

Hack进ICTCLAS的源程序,也没什么收获。只得对比Windows中调用ICTCLAS(通过segtag.bat脚本)和我们在Cygwin下调用ICTCLAS脚本的过程,在java选项中加入-verbose查看类载入过程(判断还是由于哪个类载入不正确或者Data文件夹下字典文件读取不正确造成的),没有发现特别的区别,只是charsets.jar也被作为bootclass载入了,于是修改测试代码中Rjb的载入部分如下:

 

Rjb::load(classpath = ".;#{root_ICTCLAS}\\bin;#{root_ICTCLAS}\\commons-lang-2.5\\commons-lang-2.5.jar" , 

[

"-Xbootclasspath:#{root_jdk}\\jre\\lib\\rt.jar;C:\\Java\\jdk1.6.0_18\\jre\\lib\\charsets.jar" ,

"-Dsun.boot.library.path=#{root_jdk}\\jre\\bin" ,

"-Duser.dir=#{root_ICTCLAS}"

])

将charsets.jar也调入bootclass中,运行结果成功

这个错误的修正,也算是运气,实际并没有什么理论的依据,而且对于charsets.jar的载入顺序问题,整个机制并没有给出错误或警告

 

 

你可能感兴趣的:(cygwin)