Sphinx中文分词

自然语言处理基础技术之分词、向量化、词性标注

获取更多腾讯海量技术实践干货哦~作者：段石石前言前段时间，因为项目需求,开始接触了NLP，有感自己不是科班出身，很多东西理解不深，于是花时间再读了一些NLP的经典教程的部分章节，这里是第一部分，主要包括三小块：中文分词
weixin_34148456·2022-03-28 07:08

《再也不怕elasticsearch》安装ik中文分词器

如果你喜欢本系列的话，就快点赞关注收藏安排一波吧~文章目录前言正文什么是分词器常见中文分词器安装IK分词器IK分词器分词词典IK配置远程拓展词典总结前言最近
迷 途·2022-03-20 00:08

语音识别相关知识

语音识别主流开源框架：HTK、Kaldi、CMUSphinx。因为目前只接触了Sphinx，对于另外两个框架没有太深入研究。
hc-斌斌·2022-03-16 07:08

学习笔记（4）——序列标注与隐马尔可夫模型

序列标注问题序列标注与中文分词序列标注与词性标注序列标注与命名实体识别隐马尔可夫模型从马尔可夫假设到隐马尔可夫模型初始状态概率向量状态转移矩阵发射概率矩阵对于一个句子中相对陌生的新词，之前的分词算法识别不出
StriveQueen·2022-03-14 07:01

Orange，跨平台文件搜索引擎

https://github.com/naaive/orange技术栈后端：Rust、Tauri、Notify、Rust-kv前端：React、Semantic、Ramda、Loadash特点使用简单，自带中文分词
·2022-03-04 16:31

python文本数据处理_用python做NLP：中文文本预处理

中文文本预处理数据挖掘入门与实战公众号：datadw一得到原始文本内容defFileRead(self,filePath):f=open(filePath)raw=f.read()returnraw二中文分词
weixin_39768388·2022-03-02 07:51

elasticsearch01 windows版本及基础配置详解

该文件夹下主要是es运行所需要的jar包（4）modules:该文件夹表示的es模块组成包含很多的模块也可理解为es在工作时内部需要的一些组件（5）plugins：该文件夹下主要是存放es辅助的一些插件，如：中文分词器
肆无忌惮的绅士·2022-02-18 05:22

sphinx的使用

配置Sphinx（重要）步骤1：创建youhua3数据库image.png步骤2：将etc/csft_mysql.conf复制并更名为sphinx.conf步骤3：复制下面代码替换shpinx.conf
表弟_212·2022-02-17 09:38

用python统计小说出现频率最高的词语

Jieba是一个中文分词组件,可用于中文句子/词性分割、词性标注、未登录词识别,支持用户词典等功能。
身自在·2022-02-17 03:03

从中文分词开始

如果中文词语之间也用空格分开，会不会理解起来更好更快呢？对于机器来说肯定是的？机器在识别像中文这样的自然语言时，第一步就是分词。然后根据每个词意思来理解整句。那么人脑理解中文时是不是也要先分词呢，理解英文这样自带分词的语言时呢，跳过分词这个步骤了？那么中文母语者和英文母语者的大脑处理语言的过程就不一样了。人脑可能会有一个语言库，里面会分级，比如有句子库、词库、字库，偏旁部首库，笔画库。常用的句子会
谢子德·2022-02-16 14:02

大数据分析-王者荣耀英雄背景-分词报告

前言中文分词在中文信息处理中是最最基础的无论机器翻译亦或信息检索还是其他相关应用如果涉及中文，都离不开中文分词因此中文分词具有极高的地位NLP刚入门，想找个东西练练手，于是便看到了手边的农药。。。
Pt_2017·2022-02-14 09:33

SpringBoot整合IKAnalyzer中文分词

参考：https://cloud.tencent.com/developer/article/1529953项目结构image.pngpom.xml引入IK分析器依赖com.janeluoikanalyzer2012_u6IK配置文件IKAnalyzer.cfg.xmlIKAnalyzer扩展配置local.dic;stop.dic;local.dic慕课慕课网stop.dic的好了是测试程序pa
WebGiser·2022-02-13 22:08

Python控制浏览器自动下载歌词评论并生成词云图

咱也不知道呀~那本次咱们就把歌词给自动下载保存到电脑上，做成词云图给它分析分析…二、准备工作1.需要用的模块本次用到的模块和包：re#正则表达式内置模块selenium#实现浏览器自动操作的jieba#中文分词库
·2022-02-13 17:49

Elasticsearch安装中文分词器IK

Elasticsearch安装中文分词器IK1.下载IK安装包下载地址：https://github.com/medcl/elasticsearch-analysis-ik/releases选择Elasticsearch
因为碰见了卖西瓜的·2022-02-13 16:20

中文分词工具(LAC) 试用笔记

一、背景笔者2年前写过一篇《PHP使用elasticsearch搜索安装及分词方法》的文章，记录了使用ES的分词的实现步骤，最近又需要用到分词，在网上发现一个百度的中文分词项目，中文词法分析（LAC），
汤青松daxia·2022-02-13 09:14

LuceneX 笔记（作者：LD）

gitee.com/Myzhang/LuceneXLuceneX特点0配置开箱即用内置线程池支持添加索引无需等待内置丰富的常用方法-帮助快速开发自带垃圾回收机制-无需担心资源泄露可插拔式插件设计、词库、高亮自带中文分词器无需集成基于
BinLingWang·2022-02-12 19:23

绽放的向日葵（上）

绽放的向日葵---------Sphinx和她的梦想旅途文/田禾（原首发于“撒洛”公众号，署名田禾）人物简介：Sphinx，一个敢想敢干的90后女孩，留学于墨尔本，学历研究生，墨尔本大学全球媒介传播专业
田禾tianhe·2022-02-11 12:36

利用weka对中文文本聚类

2.中文分词由于weka没有自带的中文分词包，因此我们分词后再导
因为碰见了卖西瓜的·2022-02-10 05:15

elasticsearch-2.4.1 安装中文分词器 ik-v1.10.1

当时elasticsearch的最新版本还是2.4.1，所以安装的中文分词器ik是匹配这个版本的v1.10.1。
落单的候鸟·2022-02-09 19:13

NLP系列-中文分词（基于词典）

中文分词概述词是最小的能够独立活动的有意义的语言成分，一般分词是自然语言处理的第一项核心技术。英文中每个句子都将词用空格或标点符号分隔开来，而在中文中很难对词的边界进行界定，难以将词划分出来。
hiyoung·2022-02-09 07:23

基于BiLSTM-CRF的中文分词及命名实体识别 课程报告+答辩PPT+源码

目录实验-1中文分词11.1实验目的11.2预备知识11.3实验任务2实验-2基于BiLSTM-CRF的命名实体识别42.1实验目的42.2预备知识42.3实验任务6实验报告提交7实验-1中文分词1.1
newlw·2022-02-07 17:29

PyTorch 高级实战教程：基于 BI-LSTM CRF 实现命名实体识别和中文分词

20210607https://blog.csdn.net/u011828281/article/details/81171066前言：译者实测PyTorch代码非常简洁易懂，只需要将中文分词的数据集预处理成作者提到的格式
weixin_ry5219775·2022-02-07 07:40

NLP系列-中文分词（基于词典）

中文分词概述词是最小的能够独立活动的有意义的语言成分，一般分词是自然语言处理的第一项核心技术。英文中每个句子都将词用空格或标点符号分隔开来，而在中文中很难对词的边界进行界定，难以将词划分出来。
玩SAP零售的苏州Boy·2022-02-07 01:38

【ElasticSearch】从听说到了解

目录简介安装环境信息2.1安装JDK2.2修改系统设置2.3创建用户2.4安装ElasticSearch2.5安装Kibana2.6配置中文分词器analysisik概念3.1基本概念3.3.1Index3.3.2Document3.3.3Type3.3.4Mapping3.2
佐蓝Gogoing·2022-02-06 10:25

mysql Sphinx在windows下安装使用[支持中文全文检索]

mysql中应用sphinx搜索引挚，存以下链接以后用http://www.fuchaoqun.com/2008/11/sphinx-on-windows-xp/http://www.infotales.com
fengwu1990·2022-02-04 16:20

nlp汉语自然语言处理与实践--读书笔记--待整理

二元模型（一阶马尔科夫链）命名实体识别中文分词的流程分词会有很多不同的结果，确定分词结果对于分词图中，权重最小的路径，概率最大，分词结果最有可能性。
小碧小琳·2022-02-03 03:16

2022-01-05 第二章8 自然语言处理常见的三大任务之基础任务：中文分词

1.中文分词词（Word）是最小的能独立使用的音义结合体，是能够独立运用并能够表达语义或语用内容的最基本单元。
我想要日更徽章·2022-01-12 18:43

RedisJson-中文全文检索

，当然这些几百倍的提升可能比较客观，我比较关心的是RedisJson的json支持情况，全文检索功能，以及支持的中文分词安装1、官网有30天免费试用，内存有30M，创建一个实例即可，可用于测试可使用redis-cli
·2021-12-31 13:24

HanLP在IDEA中的配置及使用

中文分词中有众多分词工具，如jieba、hanlp、盘古分词器、庖丁解牛分词等；其中庖丁解牛分词仅仅支持java，分词是HanLP最基础的功能，HanLP实现了许多种分词算法，每个分词器都支持特定的配置
会撸代码的懒羊羊·2021-11-30 12:10

Python jiaba库的使用详解

目录jiaba库的使用1、jieba库的安装2、统计荷塘月色词频总结jiaba库的使用jieba库是一款优秀的Python第三方中文分词库，jieba支持三种分词模式：精确模式、全模式和搜索引擎模式，下面是三种模式的特点
·2021-11-23 10:42

python 中的jieba分词库

目录1、jieba库安装2、jieba库功能介绍3、案例3.1、精确模式3.2、全模式3.3、搜索引擎模式3.4、修改词典3.5、词性标注3.6、统计三国演义中人物出场的次数jieba库是优秀的中文分词第三方库
·2021-11-23 10:11

群晖 NAS 的 Docker 组件上安装 ELK（单节点）

版本信息ElasticSearch7.14.2：引擎本身ESPlugins：IK中文分词7.14.2(Github)ESPlugins：拼音7.14.2(Github)Logstash7.14.2：从各种数据源
缺水的海豚·2021-11-21 19:31

假设有一段英文，将单词当中英文小写字母i 写成大写字母I，请编写程序纠正

假设有一段英文，将单词当中英文小写字母i写成大写字母I，请编写程序纠正jieba库运用jieba库解答本题友情链接jieba库jieba库是一款优秀的Python第三方中文分词库，jieba支持三种分词模式
数据小凯·2021-11-09 14:28

使用gitlab runner 进行CI（四）：使用Gitlab Page托管项目文档

目录1.什么是GitlabPages2.开启GitlabPages3.基本过程4.托管markdown文档4.1安装sphinx等依赖4.2配置项目的sphinx配置4.3编写项目文档4.4创建首页索引
haoliuhust·2021-11-07 11:00

python jieba库的基本使用

目录一、jieba库概述二、jieba库安装三、jieba分词的原理四、jieba分词的3种模式五、jieba库常用函数六、文本词频示例七、文本词频统计问题举一反三一、jieba库概述jieba是优秀的中文分词第三方库中文文本需要通过分词获得单个的词语
·2021-11-06 12:14

Python中文纠错的简单实现

介绍这篇文章主要是用Python实现了简单的中文分词的同音字纠错，目前的案例中只允许错一个字，自己如果有兴趣可以继续优化下去。
·2021-10-28 19:31

结巴分词原理

而在日常工作中，结巴分词也是常用的中文分词包，且其中使用了HMM模型，结合概率图模型中的理论
一只小菜狗:D·2021-10-27 19:04

Kubernetes 搭建 EFK 日志中心

elasticsearch-statefulset.yaml文件创建Kibana服务部署Fluentd工作原理配置日志源配置路由配置Docker安装ElasticSearchElasticSearch中文分词基本概念
程序猿加油站·2021-10-26 20:04

python使用jieba模块进行文本分析和搜索引擎推广“旅行青蛙”数据分析实战

目录1需要导入的模块2中文分词基础步骤2.1载入数据2.2分词2.3分词后的数据转回文本2.4保存分词后的文本为文本文件3添加自定义词典3.1方法1：直接定义词典列表3.2方法2：外部载入4动态增加或删除词典的词
十三先生po·2021-10-22 15:03

Elasticsearch的分词

处理中文分词，一般会使用IK分词器。
Qihang·2021-10-14 10:35

usr/share/elasticsearch/plugins/elasticsearch-analysis-ik-5.6.4.zip/plugin-descriptor.properties不是目录

在给elasticsearch配置中文分词器后，启动elasticsearch时没有错误，但是却无法访问然后查看日志vim/var/log/elasticsearch/my-es.logmy-es是配置的集群名称
fake-王老师·2021-10-06 17:48

NLP 中文分词-双向匹配算法（理论+Python实现）

importtimeimportreclassSegment:#数据成员sentence=""MaxLen=0pos=0len=0result_MM=""#存放MM分词结果result_RMM=""#存放RMM分词结果final_res=""dict=[]#构造函数def__init__(self,sentence,MaxLen):self.sentence=sentenceself.MaxLen
·2021-10-06 16:39

【Python词云】手把手带你用python给《左耳》人物出现次数排个序

importjiebaimportwordcloudfromimageioimportimread所以，需要先在命令行窗口（cmd）安装第三方库pipinstalljiebapipinstallwordcloudpipinstallimageiojieba是中文分词第三方库
Bitdancing·2021-10-04 09:15

Elasticsearch快速原因分析及应用场景

为什么查询速度非常快Elasticsearch底层采用倒排索引对文档的内容进行关键词分词，每个关键词对应多个文档出现具体位置信息，后期查询的时候直接通过分词定位到相关的文档信息，默认情况下Elasticsearch对中文分词不是很友好
迦叶_金色的人生_荣耀而又辉煌·2021-09-09 08:15

Elasticsearch的简易版及结构化查询语句

上一篇>>Elasticsearch默认分词器对中文分词不友好1.简易版查询1.1根据ID查询GET/myjarye/user/11.2查询所有GET/myjarye/user/_search1.3根据多个
迦叶_金色的人生_荣耀而又辉煌·2021-09-09 08:01

Elasticsearch默认分词器对中文分词不友好

上一篇>>Elasticsearch自定义分词和分词器Elasticsearch中默认的标准分词器分词器对中文分词不是很友好，会将中文词语拆分成一个一个中文的汉字。
迦叶_金色的人生_荣耀而又辉煌·2021-09-09 08:58

Elasticsearch 安装 中文分词器 IK Analysis

IKAnalysis官方文档前言¬IKAnalysis插件将LuceneIK分析器(http://code.google.com/p/ik-analyzer/)集成到elasticsearch中，支持自定义字典。分析器:ik_smart,ik_max_word,Tokenizer:ik_smart,ik_max_word安装下载寻找自己的Elasticsearch版本对应的分词器版本:https:
灰气球·2021-07-13 00:05

中文分词系统实验报告：jieba和IK Analyzer

Jieba使用实验本文尝试了jieba的三种分词模式、自定义字典、计算频数并将频数较高的分词结果存入csv文件。1.配置安装jiebapipinstalljieba2.jieba三种分词模式尝试jieba的分词一般用cut函数完成，函数定义如下：defcut(sentence,cut_all=False,HMM=True):其中sentence是需要分词的句子样本；cut_all是分词的模式，默认
哇噗嘟嘟嘟·2021-06-26 19:17

gensim #4 与其他库的对比和结合

jieba和中文分词前文中可以看到，我们使用的documents都是用空格分隔好的。gensim不能为中文分词，可以使用jieba来处理。顺便一提，jieba自身也实现了tfidf算法。
平仄_pingze·2021-06-26 18:59

中文切词方法学习

所以就写一篇了简单的中文切词方法的短文，一方面是锻炼下自己的表达能力，另一方面下次小伙伴再问就直接扔给他Y(^o^)Y原出处doudou0o博客中文分词介绍在文本处理中，如果需要理解分析句子背后的含义(
doudou0o·2021-06-26 13:47
上一页 16 17 18 19 20 21 22 23 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他