[中文分词] 第10页

AI之NLP：自然语言处理技术简介(是什么/学什么/怎么用)、常用算法、经典案例之详细攻略(建议收藏)daiding

1、NLP前置技术解析2、python中NLP技术相关库3、NLP案例实践3.1、机器翻译3.2、语音识别(AutomaticSpeechRecognition)3.3、中文分词3.4、词件标注与命名实体识别

一个处女座的程序猿·2023-03-27 16:44

ElasticSearch(1)入门与使用

2.2index：2.3type：2.4Mapping：2.5Document：3.基本操作：3.1创建索引index与映射mapping3.2删除索引：3.3新增与修改文档3.4删除文档3.5数据查询3.6IK中文分词器

机智的老刘明同志·2023-03-27 07:59

Sphinx搜索引擎 Coreseek 中文分词搜索引擎安装使用,站内搜索

Sphinx搜索引擎Coreseek中文分词搜索引擎安装使用，站内搜索，php简单使用；一.简介Coreseek是一款中文全文检索开源软件，基于Sphinx研发并独立发布，专攻中文搜索和信息处理领域，适用于行业

一件小毛衣·2023-03-27 00:11

NLP系列-中文分词（基于统计）

上文已经介绍了基于词典的中文分词，现在让我们来看一下基于统计的中文分词。

城市中迷途小书童·2023-03-26 12:07

ElasticSearch 中文分词器对比

常用的中文分词器SmartChineseAnalysis：官方提供的中文分词器，不好用。

阳关彩虹小白马·2023-03-26 04:56

搭建一个分词工具 Python版

一、基于枚举方法来搭建中文分词工具最简单的分词是不依赖语句关系的，每一个词都是独立的，叫unigram语言模型有unigram->bi-gram->n-gram从简单到难，

学人工智能的菜菜·2023-03-24 12:55

基于统计的中文词语提取

因为公司使用基于词典的机械中文分词方法，需要一个完备的词典才能有好的效果。而关键词提取的效果又依赖于中文分词效果的好坏。所以开始的初衷是找出一些原始词典里没有的词，来改善中文分词的效果。

SHAN某人·2023-03-24 06:36

第三课 solr之Ik中文分析器的安装

安装中文分词器需要用到solrhome\collection1\conf下的schema.xml文件。所以有必要先说一下这个xml文件。

Arroganter·2023-03-22 12:06

ElasticSearch（1）:Windows 系统下安装 Kibana 、IK 、ES

IK是中文分词器，属于第三方的。当然es本身也有分词器，但是IK是中文使用。这里我所使用的是ElasticSearch7.4.0稍后我会上传者三个软件的链接。

小炉炉·2023-03-21 08:14

中文分词1-传统模型

中文博大精深，而中文分词是利用计算机完成中文各种复杂应用的基础。本教程试图循序渐进、由浅入深的开发一系列简单的中文分词系统。

bearcatty·2023-03-21 07:41

黑猴子的家：Elasticsearch 默认中文分词器的效果

针对词条查询（TermQuery）,查看默认中文分词器的效果[victor@hadoop102elasticsearch]$curl-XGET\'http://hadoop102:9200/_analyze

黑猴子的家·2023-03-21 05:47

Elasticsearch的基本操作

1.es的集成ik分词1.1ik分词IKAnalyzer是一个开源的，基于java语言开发的轻量级的中文分词工具包。从2006年12月推出1.0版开始，IKAnalyzer已经推出了3个大版本。

wudl·2023-03-20 15:59

Elasticsearch之中文分词器插件analysis-ik的自定义词库

概述在使用Elasticsearch搜索关键词的时候，有时候发现一些短语没被分词器识别出来，比如"这本书今年首次公开发售"，此时搜"公开发售"，这个短语命中不了，此时需要用到自定义的词库。analysis-ik添加自定义词库首先在Elasticsearch的ik插件plugins\analysis-ik\config目录下创建custom目录，然后创建my.dic文件之后，就可以在文件里添加自己想

singleZhang2010·2023-03-20 02:20

2018-04-01

深入学习Redis（1）：Redis内存模型HanLP自然语言处理包开源全文检索Solr集成HanLP中文分词HanLP极致简繁转换OpenChineseConvert開放中文轉換从Elasticsearch

baitu·2023-03-19 18:20

ElasticSearch Analyzer

，名词】会将数据解析成多个短语【英文文档中叫做tokensorterms】，用这些短语建立倒排索引；查询：查询时，分词器将查询条件解析成多个短语从倒排索引中查询数据；ES预置了很多分词器，很遗憾，没有中文分词器

AngryApe·2023-03-19 13:58

基于snownlp的二次训练

1、snownlp是一个处理中文的类库，有中文分词、词性标注、情感分析、文本分类、拼音、繁简、提取关键词摘要等功能。下载后可以直接用，不用训练。

Paddle·2023-03-18 22:11

Django+haystack+whoosh+jieba全文检索实现

django实现全文检索功能主要靠haystack框架，而用的最多的全文检索引擎就是whoosh，jieba主要用于中文分词，whoosh自带的分词是英文的。

libdream·2023-03-18 15:16

自然语言处理中的分词算法实现

最近实现的3种中文分词算法基于最大匹配（前向匹配、后向匹配、双向匹配）HMMn-gram基于最大匹配算法（基于词典）最大前向匹配从左到右取待切分汉语句的m个字符作为匹配字段，m为词典中最长词条个数。

Van_Tinker·2023-03-18 06:13

从零开始实现中文分词器（1）

分词器介绍一直以来中文分词都是比较头痛的事情，因为不像英语那样，词语之间有空格隔开。(其实英文也有词组分割问题)最早的中文分词方法就是查字典：把一个句子从左到右扫描一遍，

右丶羽·2023-03-17 15:41

jieba分词的安装与使用

Jieba是一个中文分词组件，可用于中文句子/词性分割、词性标注、未登录词识别，支持用户词典等功能。该组件的分词精度达到了97%以上。

呆萌的我爱丽丝·2023-03-15 18:41

Docker容器启动失败如何修改配置

1.背景在给es安装ik中文分词器时，两者版本不对应，导致容器启动失败，es：5.6.12，ik：6.8.102.解决办法这种问题就只能把原有的文件夹删除，无法进入容器，只有使用dockercp把文件夹拷到本地

完美明天cxp·2023-03-15 14:30

【NLP中文分词】一、规则分词之最大匹配法

基于规则的分词主要是通过维护词典（词典尽可能含有中文的所有词语），在切分语句时，将语句的每个字符串与词表中的词进行逐一匹配找到则切分，否则不予切分。主要有正向最大匹配法、逆向最大匹配法以及双向最大匹配法三种方法。1.正向最大匹配法算法：从左向右取待切分汉语句的前m个字符（m为词典里最长的词字符数）；若这m个字符属于词典里面的词，则称匹配成功，然后将这m个字符切分出来，剩下的词语作为新的待切分汉语句

Rashawn·2023-03-14 18:56

自然语言处理系列七》中文分词》规则分词

*注：此文章内容均节选自充电了么创始人，CEO兼CTO陈敬雷老师的新书自然语言处理系列七中文分词中文分词(ChineseWordSegmentation)指的是将一个汉字序列切分成一个一个单独的词。

充电了么·2023-03-14 04:32

TaskTwo-20190304

中文分词根据实现原理和特点，主要分为基于词典分词算法和基于统计的机器学习算法。我们主要讨论基于词典分词算法的方法：正向最大匹配法、逆向最大匹配法和双向匹配分词法。

XIN_fc5e·2023-03-12 13:57

金伟的python学习笔记--分词与词云

python金伟的学习笔记用学习强国部分题库制作的词云.jpeg分词技术（jieba分词）安装：pipinstalljieba算法介绍：结巴中文分词涉及到的算法包括：(1)基于Trie树结构实现高效的词图扫描

兴化吴奇隆·2023-03-10 10:36

从搜索说算法

1、网页抓取搜索引擎通过爬虫将网页爬取，获得页面HTML代码存入数据库中2、预处理索引程序对抓取来的页面数据进行文字提取，中文分词，(倒排)索引等处理，以备排名程序使用3、排序排名程

rosy_dawn_f742·2023-03-09 19:01

HMM 中文分词

隐马尔科夫模型HMM通常用于处理时间序列数据，数据包含长度一样的隐藏状态和观测序列，可以通过观测数据预测出隐藏状态。例如在分词时，观测序列是”我喜欢计算机“，其中每个字对应的隐藏状态是”SBEBME“。HMM也可以用于语音识别，给定一段音频(观测序列)，识别出里面的每个文字(隐藏状态)。1.马尔科夫模型假设系统拥有不同的状态，每个时刻状态都会发生变化，我们可以用马尔科夫模型总结出系统状态变化的规律

NLP与人工智能·2023-03-09 04:11

别只会搜日志了，求你懂点检索原理吧

上篇：讲解ES的原理、中文分词的

悟空聊架构·2023-02-28 10:46

只需五步集成新版 Elasticsearch7.9 中文搜索到你的 Laravel7 项目

ar4145分钟集成新版Elasticsearch7.9中文搜索到你的Laravel7项目只需五步骤：启动集成ik中文分词插件的Elasticsearch7.9Docker镜像Laravel7配置Scout

9c1fd88cfd08·2023-02-17 23:28

小白傻瓜式ChatGPT免费使用教程详细教学

我展示了两个问题问题一：用python写一个学生信息管理系统问题二：用python进行中文分词

数学是算法的灵魂·2023-02-17 09:19

restfulAPI的基本操作

elasticsearchAPI的参考常用APIIK分词器即把一段中文或者别的划分成一个个的关键字，我们在搜索时候会把自己的信息进行分词，会把数据库中或者索引库中的数据进行分词，然后进行一个匹配操作，默认的中文分词是将每个字看成一个词

EternalWater·2023-02-17 05:27

Sphinx实时搜索设计探讨

背景Sphinx是一个全文搜索引擎，虽然官方没对中文分词检索做直接支持，但是配合coreseek还是能很好地实现中文全文检索的。

JobinLi·2023-02-07 03:53

c多线程并发处理方式_ElasticSearch 并发的处理方式：锁和版本控制

ElasticSearch从安装开始ElasticSearch第三弹，核心概念介绍ElasticSearch中的中文分词器该怎么玩？Elasti

weixin_39897887·2023-02-06 22:27

Python--Jieba进行中文分词（附代码）

Python–Jieba进行中文分词（附代码）相信学习过python的人一定知道中文分词工具Jieba。

啊哈哎·2023-02-05 15:20

舆情分析 - jieba分词

环境python2.7+pycharm,windows环境python已经抓取了评论数据jieba分词jieba“结巴”中文分词：使用很广的一个分词组件支持三种分词模式：精确模式，试图将句子最精确地切开

vivianking68·2023-02-05 15:48

Python中文分词神器---jieba

Python中文分词神器---jiebajieba简介安装特性三种分词模式支持繁体分词支持自定义词典支持新词识别功能分词精准模式与全模式搜索引擎模式细节添加自定义词典分词并返回词语在原文的起始位置并行分词延迟加载官网链接

两个月亮·2023-02-05 15:18

NLP自然语言 - jieba分词库

jieba（结巴）是一个强大的分词库，完美支持中文分词，本文对其基本用法做一个简要总结。

开码牛·2023-02-05 15:17

【NLP】jieba分词-Python中文分词领域的佼佼者

1.jieba的江湖地位NLP（自然语言）领域现在可谓是群雄纷争，各种开源组件层出不穷，其中一支不可忽视的力量便是jieba分词，号称要做最好的Python中文分词组件。

风度78·2023-02-05 15:46

NLP-Jieba分词

库如其名，Jieba库主要用于中文分词，Jieba函数的处理过程就像结巴一样，一个接一个的产生词语。是目前非常好用的Python中文分词组件。

Hank0317·2023-02-05 15:14

HanLP中文分词、人名识别、地名识别

HanLP中文分词、人名识别、地名识别实验目的从网上下载和安装HanLP自然语言处理包;熟悉HanLP自然语言处理包的基本功能;利用网络爬虫获取的信息，调用HanLP的API，进行中文分词、人名识别、地名识别

Sylvan Ding·2023-02-04 22:36

jiabiao1602·2023-02-04 07:44

Windows10安装Elasticsearch记录

一、环境要求JDK环境要求jdk的版本最好是8以上，可以根据java-version查看下当前安装的版本，我的是JDK版本查询Maven环境要求最好有，因为后续在安装中文分词插件可能会遇到问题，如果是直接官网下载的插件

温柔的石头闯天涯·2023-02-04 02:37

Python课设实验之爬虫应用——校园网搜索引擎（使用bs4进行数据分析.）

题目要求：第3题爬虫应用——校园网搜索引擎本题旨在使用Python建立一个适合校园网使用的Web搜索引擎系统，它能在较短时间内爬取页面信息，具有有效准确的中文分词功能，实现对校园网上新闻信息的快速检索展示

.叹服·2023-02-03 07:48

Python数据预处理

数据清理数据集成数据规约数据变换（按照预先设计好的规则对抽取的数据进行转换，如把数据压缩到0.0～1.0区间）数据降维原始数据存在数据不完整、数据偏态、数据噪声、数据特征维度高、数据缺失值、数据错误值等问题搜索引擎是中文分词的一个应用相关度排序

怎么会这么难·2023-02-01 10:24

学习笔记-基于语言模型的中文分词器

1、中文分词中文分词的使用场景：搜索引擎、新闻网站体验分词：http://ai.baidu.com/tech/nlp/lexical常见分析方法：词典的机械切分模型的序列标注中文分词的难点：歧义切分未登录词识别

吉庆@数据安全·2023-02-01 10:06

自然语言表达处理笔记01—— 1.正则表达式 2.文本标记化 3.词干提取和词形还原 4.中文分词

正则表达式正则表达式使用某种预定义的模式匹配具有共同特征的字符串；主要用于处理字符串。完成复杂的查找、替换等要求对字符串和特殊字符操作的逻辑公式单个字符串描述匹配一系列复合某个句法规则的字符串搜索过程拿出表达式和文本中字符比较，若每个字符可成功匹配，则返回成功，反之返回失败。存在多个匹配项则按照搜索设定返回全部或部分返回。可以使用python中的re模块来进行操作功能importrea=re.fi

JamSlade·2023-02-01 08:21

ACL2021_ChineseBERT: Chinese Pretraining Enhanced by Glyph and Pinyin Information

利用字形和拼音信息加强中文预训练摘要介绍相关工作NLP中的大规模预训练模型学习字形信息模型概述输入输出预训练设置数据掩蔽策略预训练细节实验机器阅读理解(MRC)自然语言推断(NLI)文本分类(TC)句子对匹配(SPM)命名实体识别(NER)中文分词

All in .·2023-01-31 18:52

python电影评论的情感分析流浪地球_爬虫实例 | Python爬取《流浪地球》豆瓣影评与数据分析（下）...

【芝麻IP代理】三、数据分析与可视化1、获取cookies城市信息筛选中文字匹配pyecharts支持的城市列表2、基于snownlp的情感分析关于snownlp的作用，主要可以进行中文分词、词性标注、

weixin_39725885·2023-01-30 08:27

爬取微博|情感分析|中文词云

关键词：爬虫情感分析地图正则表达式中文分词词云语言：Python参考：BiliBiliup主龙王山小青椒“Python网络爬虫”系列

洛洛洛洛洛啊·2023-01-29 22:50

HanLp的应用 - 转自GitHub开源代码介绍

HanLP提供下列功能：中文分词HMM-

努力就好其他的不管·2023-01-29 09:55

推荐频道

[中文分词]