bilstm+crf中文分词

自然语言处理（5）—— 中文分词

中文分词的基本原理及实现1.什么是词2.基本原理3.发展趋势：多数场景无需显式分词信息处理的目标是使用计算机能够理解和产生自然语言。而自然语言理解和产生的前提是对语言能够做出全面的解析。
隐私无忧·2025-03-23 06:11

jieba库词频统计_jieba分词器（应用及字典的补充）及文档高频词提取实战

jieba分词器是Python中最好的中文分词组件，本文讲解一下jieba分词器及其应用。
袁圆园建建·2025-03-21 09:16

数学建模之数学模型-3：动态规划

文章目录动态规划基本概念阶段状态决策策略状态转移方程指标函数最优指标函数动态规划的求解前向算法后向算法二者比较应用案例一种中文分词的动态规划模型摘要引言动态规划的分词模型问题的数学描述消除状态的后效性选择优化条件算法描述和计算实例算法的效率分析和评价结束语参考文献动态规划基本概念一个多阶段决策过程最优化问题的动态规划模型包括以下
^ω^宇博·2025-03-15 08:13

C# JIEBA.NET分词器开发指南

Jieba是一个流行的中文分词工具，最初是用Python编写的，而JIEBA.NET将其移植到了.NET平台。
老胖闲聊·2025-03-14 15:12

论文摘要生成器：用TextRank算法实现文献关键信息提取

jieba：中文分词库，用于中文文本的处理。re：正则表达式模块，用于文本清理和句子分割。numpy：提供数值计算能力，如数组操作、矩阵运算等，主要用于TextRank算法的实现。
Atlas Shepherd·2025-03-12 21:10

Elasticsearch在Linux环境下部署(单机版)

下载完成后进行解压操作2.2修改内存参数2.3创建ES专属用户2.4修改ES核心配置信息3.配置Elasticsearch的用户名密码3.1编辑配置文件3.2重启es服务3.3设置用户名密码3.4验证是否生效4.安装ik中文分词器
Handsome Mr.Li·2025-03-11 06:11

Objective-C实现NLP中文分词（附完整源码）

Objective-C实现NLP中文分词实现中文分词（NLP中的重要任务之一）在Objective-C中需要处理文本的切分和识别词语边界。
源代码大师·2025-02-27 23:15

PHP实现站内搜索的开源利器——WindSearch

WindSearch是一个基于中文分词，由纯PHP开发全文检索引擎，可快速搭建PHP站点的站内搜索，他没有任何繁琐的安装配置、不需要维护调优、不占用服务器内存、可与PHP项目完美融合在一起。
rock365337·2025-02-22 20:43

PHP实现站内搜索的开源利器——WindSearch

WindSearch是一个基于中文分词，由纯PHP开发全文检索引擎，可快速搭建PHP站点的站内搜索，他没有任何繁琐的安装配置、不需要维护调优、不占用服务器内存、可与PHP项目完美融合在一起。
·2025-02-22 19:13

PHP搜索引擎WindSearch，新增Faker伪数据生成功能

WindSearch是一个基于中文分词，由纯PHP开发全文检索引擎，可快速搭建PHP站点的站内搜索，他没有任何繁琐的安装配置、不需要维护调优、不占用服务器内存、可与PHP项目完美融合在一起。
·2025-02-20 17:17

Jieba分词算法应用

1.Jieba分词算法简介Jieba是一个用于中文分词的Python库，其核心思想是基于词典和统计模型来进行分词。由于中文文本中没有明显的单词边界，因此分词是中文处理中的一个重要任务。
C嘎嘎嵌入式开发·2025-02-18 17:03

Python：第三方库

pipinstallmatplotlibPIL图像处理pipinstallpillowsklearn机器学习和数据挖掘pipinstallsklearnRequestsHTTP协议访问pipinstallrequestsJieba中文分词
衍生星球·2025-02-16 20:00

python --jieba 分词

jieba库是什么jieba库中文分词第三方库，中文文本需要通过分词获得单个的词语。
好好学习的顾顾·2025-02-10 14:38

想做 Python 聊天机器人，有什么好用的中文分词、数据挖掘、AI方面的 Python 库或者开源项目推荐

想做Python聊天机器人，有什么好用的中文分词、数据挖掘、AI方面的Python库或者开源项目推荐？在当今数字化时代，聊天机器人已经成为了连接人与机器的重要桥梁。
xiamu_CDA·2025-02-09 20:01

毕设 基于python的搜索引擎设计与实现

文章目录0简介1课题简介2系统设计实现2.1总体设计2.2搜索关键流程2.3推荐算法2.4数据流的实现3实现细节3.1系统架构3.2爬取大量网页数据3.3中文分词3.4相关度排序第1个排名算法：根据单词位置进行评分的函数第
A毕设分享家·2025-02-04 12:29

华为OD机试 - 中文分词模拟器（Python/JS/C/C++ 2024 D卷 100分）

一、题目描述给定一个连续不包含空格字符的字符串，该字符串仅包含英文小写字母及英文标点符号（逗号、句号、分号），同时给定词库，对该字符串进行精确分词。说明：精确分词：字符串分词后，不会出现重叠。例如“ilovechina”，不同切分后可得到“i”,“love”,“china”。标点符号不分词，仅用于断句。词库：根据常识及词库统计出来的常用词汇。例如：dictionary={“i”,“love”,“c
哪 吒·2025-01-29 12:41

THULAC-Python 使用教程

THULAC-Python使用教程THULAC-PythonTHULAC-Python:由清华大学开发的中文词法分析工具包，提供中文分词和词性标注功能。
时昕海Minerva·2025-01-28 13:21

mysql5.7全文检索方案,深度解析MySQL 5.7之中文全文检索

这不，从MySQL5.7开始，MySQL内置了ngram全文检索插件，用来支持中文分词，并且对MyISAM和InnoDB引擎有效。
渚熏·2025-01-24 13:06

mysql 5.7全文索引_MySql5.7 使用全文索引

但从MySQL5.7开始，MySQL内置了ngram全文检索插件，用来支持中文分词，并且对MyISAM和InnoDB引擎有效。二、必要的参数设置在使用中文检索分词插件n
wonder-yyc·2025-01-24 13:36

利用jieba库和wordcloud库绘制词云图像

目录jieba库的使用利用jieba库获取红楼梦中人物名字的出现频次wordcloud库的使用根据红楼梦中人物出现频次，制作词云图jieba库的使用jieba库是优秀的中文分词工具，能对文本进行分词处理常用函数
baichui·2025-01-22 21:54

基于网络爬虫技术的网络新闻分析

然后对抓取回来的新闻进行中文分词，利用分词结果计算新闻相似度，将相似新闻合并并展示相似新闻的用户点击趋势。接下
众拾达人·2025-01-17 19:24

NLP_jieba中文分词的常用模块

1.jieba分词模式（1）精确模式:把句子最精确的切分开,比较适合文本分析.默认精确模式.（2）全模式:把句子中所有可能成词的词都扫描出来,cut_all=True,缺点:速度快,不能解决歧义（3）paddle:利用百度的paddlepaddle深度学习框架.简单来说就是使用百度提供的分词模型.use_paddle=True.（4）搜索引擎模式:在精确模式的基础上,对长词再进行切分,提高召回率,
Hiweir ··2024-09-13 12:48

Python的情感词典情感分析和情绪计算

情感分析的基本流程如下图所示，通常包括：自定义爬虫抓取文本信息；使用Jieba工具进行中文分词、词性标注；定义情感词典提取每行文本的情感词；通过情感词构建情感矩阵，并计算情感分数；结果评估，包括将情感分数置于
yava_free·2024-09-12 00:51

python连接es_Elasticsearch --- 3. ik中文分词器, python操作es

一.IK中文分词器1.下载安装2.测试#显示结果{"tokens":[{"token":"上海","start_offset":0,"end_offset":2,"type":"CN_WORD","position
weixin_39962285·2024-09-10 23:58

自然语言处理系列八》中文分词》规则分词》正向最大匹配法

注：此文章内容均节选自充电了么创始人，CEO兼CTO陈敬雷老师的新书《自然语言处理原理与实战》（人工智能科学与技术丛书）【陈敬雷编著】【清华大学出版社】文章目录自然语言处理系列八规则分词正向最大匹配法总结自然语言处理系列八规则分词规则分词是基于字典、词库匹配的分词方法（机械分词法），其实现的主要思想是：切分语句时，将语句特定长的字符串与字典进行匹配，匹配成功就进行切分。按照匹配的方式可分为：正向最
陈敬雷-充电了么-CEO兼CTO·2024-09-04 19:08

Java 结合elasticsearch-ik分词器，实现评论的违规词汇脱敏等操作

IK分词（IKAnalyzer）是一款基于Java开发的中文分词工具，它结合了词典分词和基于统计的分词方法，旨在为用户提供高效、准确、灵活的中文分词服务。
八百码·2024-09-01 10:39

文本分析之关键词提取（TF-IDF算法）

jieba：用于中文分词。skl
SEVEN-YEARS·2024-08-30 03:11

MySQL 实现模糊匹配

针对更为复杂的搜索需求，尤其是在处理大型数据集时，结合使用IK分词器（虽然IK分词器本身主要用于中文分词，在Elasticsearch等搜索引擎中广泛应用，但可以通过一些创造性的方法间接应用于MySQL
flying jiang·2024-08-29 20:50

Python数据可视化词云展示周董的歌

Python3.6IDE：根据个人喜好，自行选择模块：Matplotlib是一个Python的2D数学绘图库pipinstallmatplotlibimportmatplotlib.pyplotaspltjieba中文分词库
PathonDiss·2024-08-27 13:23

android sqlite 分词,sqlite3自定义分词器

这里我们利用mmseg来构造自定义的中文分词器。
雷幺幺·2024-08-27 09:50

自然语言处理NLP之中文分词和词性标注

注：此文章内容均节选自充电了么创始人，CEO兼CTO陈敬雷老师的新书《自然语言处理原理与实战》（人工智能科学与技术丛书）【陈敬雷编著】【清华大学出版社】文章目录一、Python第三方库jieba（中文分词
陈敬雷-充电了么-CEO兼CTO·2024-08-24 10:53

ElasticSearch

IK分词器中针对中文分词提供了ik_smart和ik_max_
HW--·2024-08-23 20:55

Lucene实现自定义中文同义词分词器

----------------------------------------------------------lucene的分词_中文分词介绍---------------------------
WangJonney·2024-03-12 17:36

HanLP实战教程：离线本地版分词与命名实体识别

本文将介绍如何在离线本地环境中使用HanLP2.1的nativeAPI进行中文分词和命名实体识别。本文使用的HanLP版本为HanLP2.1.0-bet
Tim_Van·2024-02-20 13:58

es安装中文分词器 IK

1.下载https://github.com/medcl/elasticsearch-analysis-ik这个是官方的下载地址，下载跟自己es版本对应的即可那么需要下载7.12.0版本的分词器2.安装1.在es的plugins的文件夹下先创建一个ik目录bashcd/home/apps/elasticsearch/plugins/mkdirik2.然后将下载解压后的文件放入到ik文件夹下3.重启
我要好好学java·2024-02-20 00:28

python笔记——jieba库

文章目录一.概述二.jieba库使用三.实例一.概述1.jieba库概述jieba库是一个重要的第三方中文分词函数库，不是安装包自带的，需要通过pip指令安装pip3installjieba二.jieba
Toby不写代码·2024-02-14 08:02

什么是jieba？

简介jieba是一个流行的中文分词工具，它能够将一段文本切分成有意义的词语。它是目前Python中最常用的中文分词库之一，具有简单易用、高效准确的特点。
zg1g·2024-02-12 22:33

基于jieba库实现中文词频统计

要实现中文分词功能，大家基本上都是在使用jieba这个库来实现，下面就看看怎样实现一个简单文本分词功能。安装python的工具，安装当然是使用pip安装了。
kongxx·2024-02-12 12:43

如何使用Python进行地址信息(省/市/区/姓名/电话)提取

准备工作在开始之前，我们需要安装一些必要的Python库：jieba：一个中文分词库，可以用来识别中文文本中的词语。paddle：百度开发的深度学习平台
·2024-02-11 17:50

NLP学习（二）—中文分词技术

本次代码的环境：运行平台：WindowsPython版本：Python3.xIDE：PyCharm一、前言这篇内容主要是讲解的中文分词，词是一个完整语义的最小单位。
陈易德·2024-02-09 02:19

NLP词典切分算法

目录一、词典的加载二、切分算法2.1完全切分2.2正向最长匹配2.3逆向最长匹配2.4双向最长匹配3.速度测评词的定义在语言学上，词语的定义是具备独立意义的最小单位在基于词典的中文分词中，词典中的字符串就是词词的性质一
卡拉比丘流形·2024-02-09 02:19

Python 词云 【中/英】小白简单入门教程

1.分析构建词云需要具备：原料即文章等内容将内容进行分词将分词后的内容利用构建词云的工具进行构建保存成图片2.需要的主要模块jieba中文分词wordcloud构建词云3.模块原理wordcloud的实现原理文本预处理词频统计将高频词以图片形式进行彩色渲染
嗨学编程·2024-02-09 01:08

java多线程 封装_【原创】中文分词系统 ICTCLAS2015 的JAVA封装和多线程执行（附代码）...

首先ICTCLAS2015的传送门(http://ictclas.nlpir.org/)，其对中文分词做的比较透彻，而且有一定的可调式性。
洪文律所·2024-02-08 16:31

华为OD机试真题C卷-篇2

文章目录启动多任务排序有效子字符串最长子字符串的长度最长子字符串的长度（二）两个字符串间的最短路径问题生成Huffman树可以处理的最大任务中文分词模拟器手机App防沉迷系统根据IP查找城市文件缓存系统寻找最优的路测线路
laufing·2024-02-07 06:50

elasticsearch使用ik中文分词器

一、背景es自带了一堆的分词器，比如standard、whitespace、language(比如english)等分词器，但是都对中文分词的效果不太好，此处安装第三方分词器ik，来实现分词。
huan1993·2024-02-07 05:31

TF-IDF入门与实例

我们对文档分析的时候，通常需要提取关键词，中文分词可以使用jieba分词，英文通过空格和特殊字符分割即可。那么分割之后是不是出现频率越高这些词就能越好代表这篇文章描述的内容呢？
lawenliu·2024-02-05 17:50

【2023华为OD-C卷-第三题-中文分词模拟器】100%通过率（JavaScript&Java&Python&C++）

本题已有网友报告代码100%通过率OJ&答疑服务购买任意专栏，即可添加博主vx:utheyi，获取答疑/辅导服务OJ权限获取可以在购买专栏后访问网站：首页-CodeFun2000题目描述给定一个连续不包含空格的字符串，该字符串仅包含英文小写字母及英文标点符号(逗号、分号、句号)，同时给定词库，对该字符串进行精确分词。说明：精确分词：字符串分词后，不会出现重叠。即"ilovechina",不同词库可
塔子哥学算法·2024-02-05 09:00

自然语言处理从零到入门 分词

三、中英文分词的3个典型区别四、中文分词的3大难点五、3种典型的分词方法六、分词工具总结参考分词是NLP的基础任务，将句子，段落分解为字词单位，方便后续的处理的分析。
BlackStar_L·2024-02-05 09:24

NLP入门系列—分词 Tokenization

本文将介绍分词的原因，中英文分词的3个区别，中文分词的3大难点，分词的3种典型方法。最后将介绍中文分词和英文分词常用的工具。
不二人生·2024-02-05 09:18

07、全文检索 -- Solr -- Solr 全文检索 之 为索引库添加中文分词器

目录Solr全文检索之为索引库添加中文分词器添加中文分词器1、添加中文分词器的jar包2、修改managed-schema配置文件什么是fieldType3、添加停用词文档4、重启solr5、添加【*_
_L_J_H_·2024-02-05 09:28
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他