kenlm

自然语言处理 | (13)kenLM统计语言模型构建与应用

本篇博客中我们将学习如何使用KenLM工具构建统计语言模型，并使用它完成一个典型的'智能纠错'文本任务。
CoreJT·2024-02-06 07:21

Manjaro下安装使用kenlm

kenlm是一个linux下快速轻量的语言模型训练工具。
iamlightsmile·2023-12-28 13:59

中文文字校对和文档对比合并开源工具调研

语言模型：Kenlm（统计
TheJayChou·2023-11-13 00:54

基于python3.9.2环境CentOS7安装pycorrector

目录pycorrector安装gcc安装kenlm安装测试文本纠错pycorrector安装pip3installpycorrectorgcc安装安装时会询问是否同意，输入y即可yuminstallgcc-c
似来·2023-10-28 17:15

pip install kenlm安装错误

之前用pipinstallkenlm装kenlm一直不成功，好几屏的红色错误提示，然后在https://pypi.org/project/pypi-kenlm/，拷贝的命令pipinstallpypi-kenlm
glow-worm·2023-09-21 06:24

Python：使用pycorrector处理错字、纠正

pycorrector实现了Kenlm、ConvSeq2Seq、BERT、MacBERT、ELECTRA、ERNIE、Transformer等多种模型的文本纠错，并在SigHAN数据集评估各模型的效果。
玩转测试开发·2023-09-17 09:07

【python】编译whl

1.基于开源包创建whl文件要编译，python必须安装cmake：pipinstallcmake编译示例：kenlm-0.2.0.tar.gz解压到D盘；cd到解压路径，然后执行一下命令：pythonsetup.pybdist_wheel
落叶阳光·2023-08-21 22:06

一键式文本纠错工具，整合了BERT、ERNIE等多种模型，让您立即享受纠错的便利和效果

实现了Kenlm、ConvSeq2Seq、BERT、MacBERT、ELECTRA、ERNIE、Transformer等多种模型的文本纠错，并在SigHAN数据集评
·2023-08-19 11:38

pycorrector一键式文本纠错工具，整合了BERT、MacBERT、ELECTRA、ERNIE等多种模型，让您立即享受纠错的便利和效果

pycorrector：一键式文本纠错工具，整合了Kenlm、ConvSeq2Seq、BERT、MacBERT、ELECTRA、ERNIE、Transformer、T5等多种模型，让您立即享受纠错的便利和效果
汀、人工智能·2023-08-17 02:56

[亲测]Windows下成功安装kenlm和pycorrector

下面给出亲测流程成功完成python的两个库kenlm和pycorrector的安装。结果效果如下(pycorrector官方github测试dem
惟月慎行·2023-07-30 07:14

基于python3.9.2环境CentOS7安装pycorrector

pycorrector安装pip3installpycorrectorgcc安装安装时会询问是否同意，输入y即可yuminstallgcc-c++kenlm安装pip3installhttps://github.com
欧皇夏老板·2023-06-18 01:11

N-Gram语言模型工具kenlm的详细安装教程

【本配置过程基于Linux系统】下载源代码：wget-O-https://kheafield.com/code/kenlm.tar.gz|tarxz编译：makdirkenlm/buildcdkenlm
尚拙谨言·2023-06-16 13:50

kenlm语言模型相关，c++、python相关接口

上周五看了下语言模型相关的工具，之前也打算自己造轮子，发现还是不行，别人开源了就用别人的，其中c++版本比较典型的就是kenlm，这个工具号称单机版训练超级快，经过测试确实很快，支持大规模的语料训练，文件的输入格式一行行以空格隔开的文本
旭旭_哥·2023-04-11 13:58

Python在Windows下成功安装Kenlm的究极方法

前言我尝试了网上的多种方法，但最后无一例外都是报错如下：1.error:MicrosoftVisualC++14.0isrequired....；2.无法打开"zlib.h"，路径找不到；3.大部分提示报错cl.exestatus2；4.fatalerrorC1083:Cannotopenincludefile:'unistd.h':Nosuchfileordirectory；5.errorC20
LMN_e67a·2023-01-27 05:43

NLP - KenLM

文章目录一、关于KenLM二、安装三、训练N-gram模型四、Python中调用评分五、pycorrector+kenlm文本纠错一、关于KenLMKenLM:FasterandSmallerLanguageModelQuerieskenlm
伊织code·2023-01-25 13:25

文本纠错库pycorrector和kenlm安装及使用教程

1.简介中文文本纠错工具。音似、形似错字（或变体字）纠正，可用于中文拼音、笔画输入法的错误纠正。python3.6开发。pycorrector依据语言模型检测错别字位置，通过拼音音似特征、笔画五笔编辑距离特征及语言模型困惑度特征纠正错别字。2.安装前环境准备及安装2.1安装MicrosoftVisualC++14.0点击MicrosoftVisualStudio下载VS2019社区版，勾选下图这个
lym-ucas·2022-12-20 07:01

error: command ‘C:\\Program Files (x86)\\Microsoft Visual Studio 14.0\\VC\\BIN\\x86_amd64\\cl.exe‘ f

pipinstallhttps://github.com/kpu/kenlm/archive/master.zip安装kenlm包报错：error:command‘C:\ProgramFiles(x86
qifengle1024·2022-12-05 08:40

Moses使用教程之安装

1.安装环境:Ubuntu16.042.最低软件需求:MosesGIZA++,生成平行语料的词对齐IRSTLM,SRILM,或者KenLM,生成语言模型估计3.安装依赖sudoapt-getinstallbuild-essentialgit-corepkg-configautomakelibtoolwgetzlib1g-devpython-devlibbz2
懵懂小卡通·2022-12-02 12:25

NLP（四十八）使用kenlm进行文本纠错

  本文将会介绍如何使用kenlm工具进行文本纠错。  kenlm是用C++编写的语言模型工具，可以方便、快速地计算n-gram。
山阴少年·2022-11-26 10:58

PyCorrector——中文语言纠错模型 文本纠错工具

牛郎织女字词顺序颠倒，如伍迪艾伦-艾伦伍迪字词补全，如爱有天意-假如爱有天意形似字错误，如高梁-高粱中文拼音全拼，如xingfu-幸福中文拼音缩写，如sz-深圳语法错误，如想象难以-难以想象1.usekenlm1.1kenlm
Carlosi·2022-11-19 15:48

ERROR: Failed building wheel for kenlm

将命令：pip3installkenlm改为：pip3installhttps://github.com/kpu/kenlm/archive/master.zip
何变量·2020-09-12 18:43

NLP(08)_RNN神经网络语言模型

从传统语言模型到神经网络语言模型我们将学习到如何使用KenLM工具构建语言模型，并使用它完成一个典型的“智能纠错”文本任务。
Pei_tian·2020-08-24 04:38

使用kenLM训练语言模型

下载与安装下载wget-O-https://kheafield.com/code/kenlm.tar.gz|tarxz安装下载之后在kenlm目录下有一个readme.md文件。里面介绍了相关操作。
Nicholas_Wong·2020-08-23 23:19

mac 安装 cmake boost kenlm

1需要先安装cmake:参考：良心之作啊http://blog.csdn.net/eli00001/article/details/40082083检验是否安装成功：在bash里直接输入：cmake一看便知。2还要安装boost：一定要用brew安装啊喂！！！mac没有brew的自行百度，soeasy!brewinstallboost检验是否安装成功：first你的/usr/local/inclu
Claus0319·2020-08-22 14:01

Kenlm的使用

安装N-gram语言模型打分，我使用的是kenlm，kenlm是基于cmake编译的C++程序，非root权限下需要指定几个参数，还有一些依赖包需要手动装。
摸鱼的辉辉酱·2020-08-03 16:55

语言模型（一） 工具和使用简介

一、常用工具1.Kenlmhttps://kheafield.com/code/kenlm/C++版本，最大特点是速度快、占用内存少2.Srilmhttp://www.speech.sri.com/projects
shenzhiping12·2020-08-03 04:56

kenlm运行不通过（已放弃，核心已转储）

最近自然语言处理可老师让我们用kenlm训练语料库，装了之后运行不了，不过终端也给出了解决问题的方法，最后一行（已放弃，核心已转储，的上面一行）告诉你说要rerunwith--discount_fallback
石头ym·2020-07-13 16:32

统计语言模型工具-kenlm的安装

在最近的工作到需要一个语言模型，为句子打分，本来准备用srilm来做，后来调研发现kenlm无论在内存还是速度上都比srilm好很多。
暴躁的猴子·2020-07-13 08:41

【自然语言处理 文本纠错】10分钟了解下文本纠错框架pycorrector

1、文本纠错包安装：pipinstallhttps://github.com/kpu/kenlm/archive/master.zippipinstallpycorrector注意：必须先安装kenlm
开心果汁·2020-07-12 03:11

【NLP】中文纠错代码解析（pycorrector）

文章目录1.win10上安装pycorrector2.unbuntu上训练语言模型：3.usekenlm3.1kenlm打分3.2分词3.3（2或3_gram）打分3.4numpy矩阵处理4.编辑距离5
linux-coder·2020-07-06 04:28

deepin与win10 设置共享文件

在做预料训练时用的是基于linux环境下的kenlm训练工具，然后当时发现woc？
weixin_30606669·2020-07-05 21:22

[文本纠错] pycorrector框架训练

安装依赖kenlm安装pi
MachineLP·2020-07-05 18:55

图解N-gram语言模型的原理--以kenlm为例

常用的N-gram训练工具有SRILM、IRSTLM、BerkeleyLM和KenLM等。这几种工具所用的算法思想基本一致，只是在实现细节上有所不同，所以我们只需理解其中一个训练工具即可。
nlpgeek·2020-07-04 11:15

使用KenLM训练统计语言模型并使用模型（based on Linux14.04）

参考文档：http://thegrandjanitor.com/2015/12/28/using-arpa-lm-with-python/https://www.52ml.net/4816.htmlhttp://www.cnblogs.com/apexchu/p/5015961.htmlhttp://blog.csdn.net/zh515858237/article/details/5469248
沙漠之狐MSFollower·2020-07-04 06:57

kenlm安装指南

注意以下makeinstall时需要root权限1.去boost官网下载最新版的boost：http://www.boost.org/./bootstrap.sh./b2install2.wgethttp://tukaani.org/xz/xz-5.2.2.tar.gztarxzvfxz-5.2.2.tar.gzcdxz-5.2.2./configuremakemakeinstall3.wgeth
zh515858237·2020-06-30 13:11

自然语言处理-错字识别（基于Python）kenlm、pycorrector

转载出处：https://blog.csdn.net/HHTNAN中文文本纠错划分中文文本纠错任务，常见错误类型包括：谐音字词，如配副眼睛-配副眼镜混淆音字词，如流浪织女-牛郎织女字词顺序颠倒，如伍迪艾伦-艾伦伍迪字词补全，如爱有天意-假如爱有天意形似字错误，如高梁-高粱中文拼音全拼，如xingfu-幸福中文拼音缩写，如sz-深圳语法错误，如想象难以-难以想象当然，针对不同业务场景，这些问题并不一
微步_ym·2020-06-30 07:00

以kenlm为例，详细介绍N-gram语言模型

本文以KenlM介绍常用的N-gram语言模型原理。
笨笨猪的学习之路·2020-06-30 03:04

Win10下安装pycorrector包

先说说我下载这个包的时候遇到的坑，如果对我的心路历程不感兴趣，可以直接到底部查看安装过程笔者打算学习一下错字识别，通过资料查询得知有个中文错字识别的库叫pycorrector很好用，于是故事开始了…先提示我要安装kenlm
伊文Statistics·2020-06-29 16:48

在windows下安装kenlm遇到的各种问题

目前我查到的博客，大部分是介绍在linux环境下安装kenlm包的，比如：https://blog.csdn.net/zh515858237/article/details/54692486我使用的是在
weixin_41596463·2020-06-29 01:05

语音识别开源软件-- DeepSpeech（2）训练中文数据源thchs30

www.openslr.org/18/相关软件安装基本安装：首先是文档DeepSpeech(1)所提到的安装见上一篇https://mp.csdn.net/mdeditor/86554065#n-gram处理工具kenlm
VickyG9·2020-06-28 19:51

kenlm环境搭建

一、下载kenLM的文件直接进入KenLM环境的搭建，首先进入kenlm的github网址点击打开链接，然后会进入到kenlm的界面，如下：3、解压下载好的文件或如下操作：使用命令：wget-O-http
凉风慕有信·2020-06-26 11:07

KenLM 在Ubuntu18.04上安装出现的一个错误

前言：最近在做任务时用到KenLM(KenLMLanguageModelToolkit)一开始在公司服务器上安装，根据官方的安装向导来，很顺利。
Dadirri·2020-06-26 11:50

ubuntu16.04下安装kenlm

一、背景kenlm是一个语言模型工具，安装过程依赖较多，记录一下安装过程。
lpty·2020-06-26 11:12

python | 高效统计语言模型kenlm：新词发现、分词、智能纠错

之前看到苏神【重新写了之前的新词发现算法：更快更好的新词发现】中提到了kenlm，之前也自己玩过，没在意，现在遇到一些大规模的文本问题，模块确实好用，前几天还遇到几个差点“弃疗”的坑，解决了之后，就想，
悟乙己·2020-06-26 10:18

使用kenlm工具训练统计语言模型

一、背景统计语言模型工具有比较多的选择，目前使用比较好的有srilm及kenlm，其中kenlm比srilm晚出来，训练速度也更快，而且支持单机大数据的训练。现在介绍一下kenlm的使用方法。
狮子座明仔·2020-06-26 09:14

安装kenlm

主页：https://kheafield.com/code/kenlm/wget-O-https://kheafield.com/code/kenlm.tar.gz|tarxzmkdirkenlm/buildcdkenlm
qq_41672744·2020-06-25 21:27

N-gram语言模型以及kenlm(1)

N-gram语言模型kenlmN-gramkenlm安装kenlm，他是基于cmake的c++程序，在非root情况下需要指定几个参数，还需要下载几个安装包；安装教程见之后的博客，或者可查阅其它，教程很多
qq_37938547·2020-06-25 13:16

自然语言--kenlm环境搭建

这篇博客主要是分享下小象学院自然语言课程（主讲：史兴）第二讲中示例中kenlm环境搭建的过程，同时也当给自己留个存档。
陌上行走·2020-06-25 04:03

使用kenlm工具训练统计语言模型

一、背景统计语言模型工具有比较多的选择，目前使用比较好的有srilm及kenlm，其中kenlm比srilm晚出来，训练速度也更快，而且支持单机大数据的训练。现在介绍一下kenlm的使用方法。
狮子座明仔·2020-06-24 15:42

Kenlm 使用

yuminstallboostyuminstallboost-develyuminstallzlibyum install zlib-develwget -O - https://kheafield.com/code/kenlm.tar.gz
lm709409753·2020-06-24 08:15
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他