opencc-python使用

opencc-python使用

需求:有个7G的语料库,希望将其中的繁体字转换为简体;
思路:采用opencc进行逐行转换;
坑来了:
1、opencc-python模块安装:
安装存在各种问题,放弃了使用pip方式的安装;在其官网找了个exe安装包(我的环境是windows),直接傻瓜安装,成功!
2、运行:
应用opencc模块时候会报version错误,根据提示找到相应的代码,直接删除——解决了问题,至此可以正常运行;
3、放弃:
代码段——
import opencc
cc = opencc.OpenCC(‘t2s‘)
print cc.convert(‘高質量詞‘)
结果是正常转换为简体字,欣喜若狂,开始解决我的需求吧~~~~~~~~
这是咋了,程序半天没有输出???代码写错了?死循环了????
…磨叽半天…
原来是每句话的长度较长,导致转换太慢了,这样操作还是应用在逐个单词的转换,词汇量比较少的场景比较合适啊,像这种上亿条数据还是等不起,所以,你懂的,放弃了…
<如若小伙伴有较好的推荐,记得留言哦,3Q!>

你可能感兴趣的:(python)