中文分词

用Keras构建爱情模型：破解情侣间的情感密码

文章目录一、给情话穿上数字马甲1.1中文分词那些坑1.2停用词过滤玄学二、给神经网络装个情感温度计2.1记忆增强套餐2.2注意力机制实战三、给模型喂点狗粮数据3.1数据增强七十二变3.2标注的艺术四、调参比哄对象还难
忆愿·2025-07-11 01:28

**深度解析Annotated Jieba：Python中的高效中文分词库**

深度解析AnnotatedJieba：Python中的高效中文分词库去发现同类优质开源项目:https://gitcode.com/项目简介是一个基于Jieba的增强版分词库，为了解决原Jieba库在复杂场景下的需求
·2025-07-08 09:22

推荐几本人工智能方面的书（入门级）

本书的章节名称，有“统计语言模型”“谈谈中文分词”“贾里尼克和现代语言处理”“布尔代数和搜索引擎”“信息指纹及其应用”等，似乎太过专业，实际上高中和大学低年级的同学们都能看得懂，当然本书因此也可以称得上是
人邮异步社区·2025-06-30 20:30

向量数据库milvus中文全文检索取不到数据的处理办法

检查中文分词配置Milvus2.5+支持原生中文全文检索，但需显式配置中文分词器：创建集合时指定分词器类型为chinesepythonschema.add_field(field_name="text"
--勇·2025-06-27 16:48

华为OD机试 - 中文分词模拟器（Java 2024 D卷 100分）

华为OD机试2024D卷题库疯狂收录中，刷题点这里专栏导读本专栏收录于《华为OD机试（JAVA）真题（D卷+C卷+A卷+B卷）》。刷的越多，抽中的概率越大，每一题都有详细的答题思路、详细的代码注释、样例测试，发现新题目，随时更新，全天CSDN在线答疑。一、题目描述给定一个连续不包含空格字符的字符串，该字符串仅包含英文小写字母及英文标点符号（逗号、句号、分号），同时给定词库，对该字符串进行精确分
哪 吒·2025-06-25 22:29

华为OD-2024年E卷-中文分词模拟器[200分] -- python

问题描述：给定一个连续不包含空格的字符串，该字符串仅包含英文小写字母及英文标点符号（逗号、分号、句号），同时给定词库，对该字符串进行精确分词。说明：精确分词：字符串分词后，不会出现重叠。即"ilovechina"，不同词库可分割为"i,love,china"，"ilove,china"，不能分割出现重叠的"i,ilove,china"，i出现重叠标点符号不成词，仅用于断句词库：根据外部知识库统计出
·2025-06-20 13:05

5.安装IK分词器

POST/_analyze{"text":"我住在北京这个大城市学习java","analyzer":"english"}中文分词器也是一样，一个汉子分成一个词POST/_analyze{"text":
卷土重来…·2025-06-19 18:15

华为OD机试C++ - 中文分词模拟器

中文分词模拟器前言：本专栏将持续更新互联网大厂机试真题，并进行详细的分析与解答，包含完整的代码实现，希望可以帮助到正在努力的你。
steven_my·2025-06-17 23:51

中文分词模拟器【华为OD机试】(JAVA&Python&C++&JS题解)

题目描述给定一个连续不包含空格字符串，该字符串仅包含英文小写字母及英文文标点符号(逗号、分号、句号)，同时给定词库，对该字符串进行精确分词。说明：1.精确分词：字符串分词后，不会出现重叠。即“ilovechina”，不同词库可分割为“i，love，china”“ilove，china”，不能分割出现重叠的"i，ilove，china",i重叠出现2.标点符号不成词，仅用于断句3.词库：根据外部知识
向哆哆·2025-06-17 23:50

中文分词模拟器【华为OD机试-JAVA&Python&C++&JS】

题目描述给定一个连续不包含空格字符串，该字符串仅包含英文小写字母及英文文标点符号(逗号、分号、句号)，同时给定词库，对该字符串进行精确分词。说明：1.精确分词：字符串分词后，不会出现重叠。即“ilovechina”，不同词库可分割为“i，love，china”“ilove，china”，不能分割出现重叠的"i，ilove，china",i重叠出现2.标点符号不成词，仅用于断句3.词库：根据外部知识
程序员Gloria·2025-06-17 23:49

RNN做中文分词

一、中文分词的本质：寻找词边界中文与英文不同，词与词之间没有空格分隔。分词就是要在连续的字符流中找出正确的词边界。
MYH516·2025-06-16 02:46

Python 数据分析10

1.jiebajieba是一个被广泛使用的Python第三方中文分词库。jieba使用简单，并且支持Python、R、C++等多种编程语言的实现，对新手而言是一个较好的的入门粉刺工具。
·2025-06-14 16:59

【RAG排序】rag排序代码示例-简单版

文档库：8个相关文档，涵盖AI在医疗、金融、教育、自动驾驶等领域的应用实现的排序方法SimpleBM25Ranker-中文BM25排序器使用jieba进行中文分词计算TF-IDF和文档长度归一化处理中文停用词
weixin_37763484·2025-06-11 12:42

手动给中文分词和 直接用神经网络RNN做有什么区别

手动分词和基于神经网络（如RNN）的自动分词在原理、实现方式和效果上有显著差异，以下是核心对比：1.实现原理对比对比维度手动分词（规则/词典驱动）神经网络RNN分词（数据驱动）核心逻辑人工定义规则或词典，按规则切分文本通过模型学习文本特征与分词边界的映射关系典型方法-最大匹配法（如正向/逆向匹配）-基于词典的规则系统-RNN/LSTM/GRU等序列模型-端到端训练决策依据词典条目、词长、预定义规则
·2025-06-10 02:06

ES101系列06 | 中文分词和Suggester

本篇文章主要讲解中文分词和ElasticSearch中的重要API——Suggester，同时也会提到SearchTemplate、IndexAlias和FunctionScoreQuery等高级搜索功能
LanLance·2025-06-04 22:48

使用Python安装jieba库

jieba是一个流行的中文分词库，用于将中文文本切分成单个词语。它是在Python中进行自然语言处理和文本分析时的常用工具之一。本文将介绍如何在Python中安装jieba库，并提供相应的源代码。
qq_39605374·2025-05-28 04:15

中文分词与数据可视化01

一、环境准备1.安装必要的Python库pipinstalljieba#中文分词工具pipinstallwordcloud#生成词云pipinstallmatplotlib#绘图库pipinstallnumpy
晨曦543210·2025-05-19 08:47

中文分词与数据可视化02

jieba库简介jieba（结巴分词）是一个高效的中文分词工具，广泛用于中文自然语言处理（NLP）任务。它支持以下功能：分词：将句子切分为独立的词语。自定义词典：添加专业词汇或新词，提升分词准确性。
晨曦543210·2025-05-17 12:11

如何优化搜索系统的分词效果？7个实用技巧

7个实用技巧关键词：搜索系统、分词优化、中文分词、NLP、搜索引擎、文本处理、算法优化摘要：本文深入探讨了搜索系统中分词效果的优化方法。
搜索引擎技术·2025-05-13 12:05

Python+jieba文本分析示例：实现统计《红楼梦》中的人物并生成词云图

1.导入必要的库pythonimportjiebaimportfitzfromwordcloudimportWordCloudimportmatplotlib.pyplotaspltjieba：用于中文分词
七刀·2025-05-02 20:31

springboot集成Lucene详细使用

以下是SpringBoot集成Lucene的详细步骤：添加依赖在SpringBoot项目的pom.xml文件中添加Lucene的依赖，常用的核心依赖和中文分词器依赖如下：org.apache.lucenelucene-core8.11.0org.apache.lucenelucene-analyzers-common8.11.0org.wlteaik-analyzer20200623
搬砖牛马人·2025-04-30 18:05

Python常用的第三方模块之【jieba库】支持三种分词模式：精确模式、全模式和搜索引擎模式(提高召回率)

Jieba是一个流行的中文分词Python库，它提供了三种分词模式：精确模式、全模式和搜索引擎模式。
JJJ@666·2025-04-27 11:09

Python实现词云图

importjiebafromwordcloudimportWordCloud#读取数据withopen('华为笔记本.txt','r',encoding='utf-8')asfile:s=file.read()#中文分词
print('name')·2025-04-25 08:54

mysql8.0 创建全文索引及mysql 8.0.32创建全文索引报错 Duplicate entry null-null的解决方案

mysql8.0创建全文索引mysql8.0创建全文索引也可以创建复合全文索引，即多列全文索引注意：启用mysql的WITHPARSERngram中文分词器，就会以ngram_token_size的最小分词长度为准
ljh_learn_from_base·2025-04-23 16:57

elasticsearch的IK 中文分词器下载和使用

IK中文分词器下载网址注意版本要一模一样才能使用将解压后的后的文件夹放入ES根目录下的plugins目录下，重启ES即可使用。我们这次加入新的查询参数"analyzer":“ik_max_word”。
蟹蟹呵呵·2025-04-21 13:48

ElasticSearch 分词器

文章目录一、安装中文分词插件Linux安装7.14.1版本：测试1：ik_smart测试2：ik_max_word二、es内置的分词器：三、拼音插件安装以及（IK+pinyin使用）配置IK+pinyin
小强签名设计·2025-04-21 13:18

用 Python 爬虫抓取新闻评论数据：从爬取到情感分析的实战案例

获取页面内容1.2解析HTML1.3完整示例2.抓取动态加载内容2.1配置Selenium和ChromeDriver2.2模拟浏览器抓取3.处理分页四、数据清洗与存储1.数据清洗2.数据存储五、情感分析1.中文分词
西攻城狮北·2025-04-19 16:58

Day09【基于jieba分词和RNN实现的简单中文分词】

基于jieba分词和RNN实现的中文分词目标数据准备主程序预测效果目标本文基于给定的中文词表，将输入的文本基于jieba分词分割为若干个词，词的末尾对应的标签为1，中间部分对应的标签为0，同时将分词后的单词基于中文词表做初步序列化
Mechanotrooper·2025-04-17 08:54

Lucene.Net 分词器选择指南：盘古分词 vs 结巴分词的深度对比与未来趋势

而在中文分词的实现中，盘古分词和结巴分词是目前最受关注的两种技术方案。本文将对比这两者的性能、功能和适用场景，探讨它们在Lucene.Net中的实现方式，并
大富大贵7·2025-04-12 18:28

MATLAB基础应用精讲-【数模应用】贝叶斯优化

目录前言算法原理朴素贝叶斯算法核心思想示例贝叶斯定理贝叶斯网络贝叶斯网络的结构形式因子图数学模型最优贝叶斯推理贝叶斯优化什么高斯过程acquisition函数朴素贝叶斯贝叶斯公式与条件独立假设1）先验概率与后验概率2）贝叶斯公式3）条件独立假设与朴素贝叶斯平滑处理1）为什么需要平滑处理2）拉普拉斯平滑及依据应用案例中文分词统计机器翻译贝叶斯图像识别
林聪木·2025-04-09 10:14

2001-2023年上市公司供应链中断风险数据

获取MD&A文本信息对MD&A文本利用Python开源“jieba”中文分词模块对MD&A文本进行分词，为了提高文本信息挖掘的精度，整合哈工大百度等常用的停用词表(stopwordslist)，对分词后的
经管数据集·2025-04-09 08:02

Lucene.Net全文搜索引擎：架构解析与全流程实战指南

Q2：中文分词不准确？六、总结
Microi风闲·2025-04-08 23:32

知识图谱问答系列文档（一）——思知机器人简介

自然语言处理工具包的功能有：中文分词、词性标注、命名实体识别、关键词提取、文本摘要、新词发现、情感分析等。开放的项目有：-知识图谱-对话机器人
AI小波哥·2025-03-29 12:58

自然语言处理（5）—— 中文分词

中文分词的基本原理及实现1.什么是词2.基本原理3.发展趋势：多数场景无需显式分词信息处理的目标是使用计算机能够理解和产生自然语言。而自然语言理解和产生的前提是对语言能够做出全面的解析。
隐私无忧·2025-03-23 06:11

jieba库词频统计_jieba分词器（应用及字典的补充）及文档高频词提取实战

jieba分词器是Python中最好的中文分词组件，本文讲解一下jieba分词器及其应用。
袁圆园建建·2025-03-21 09:16

数学建模之数学模型-3：动态规划

文章目录动态规划基本概念阶段状态决策策略状态转移方程指标函数最优指标函数动态规划的求解前向算法后向算法二者比较应用案例一种中文分词的动态规划模型摘要引言动态规划的分词模型问题的数学描述消除状态的后效性选择优化条件算法描述和计算实例算法的效率分析和评价结束语参考文献动态规划基本概念一个多阶段决策过程最优化问题的动态规划模型包括以下
^ω^宇博·2025-03-15 08:13

C# JIEBA.NET分词器开发指南

Jieba是一个流行的中文分词工具，最初是用Python编写的，而JIEBA.NET将其移植到了.NET平台。
老胖闲聊·2025-03-14 15:12

论文摘要生成器：用TextRank算法实现文献关键信息提取

jieba：中文分词库，用于中文文本的处理。re：正则表达式模块，用于文本清理和句子分割。numpy：提供数值计算能力，如数组操作、矩阵运算等，主要用于TextRank算法的实现。
Atlas Shepherd·2025-03-12 21:10

Elasticsearch在Linux环境下部署(单机版)

下载完成后进行解压操作2.2修改内存参数2.3创建ES专属用户2.4修改ES核心配置信息3.配置Elasticsearch的用户名密码3.1编辑配置文件3.2重启es服务3.3设置用户名密码3.4验证是否生效4.安装ik中文分词器
Handsome Mr.Li·2025-03-11 06:11

Objective-C实现NLP中文分词（附完整源码）

Objective-C实现NLP中文分词实现中文分词（NLP中的重要任务之一）在Objective-C中需要处理文本的切分和识别词语边界。
源代码大师·2025-02-27 23:15

PHP实现站内搜索的开源利器——WindSearch

WindSearch是一个基于中文分词，由纯PHP开发全文检索引擎，可快速搭建PHP站点的站内搜索，他没有任何繁琐的安装配置、不需要维护调优、不占用服务器内存、可与PHP项目完美融合在一起。
rock365337·2025-02-22 20:43

PHP实现站内搜索的开源利器——WindSearch

WindSearch是一个基于中文分词，由纯PHP开发全文检索引擎，可快速搭建PHP站点的站内搜索，他没有任何繁琐的安装配置、不需要维护调优、不占用服务器内存、可与PHP项目完美融合在一起。
·2025-02-22 19:13

PHP搜索引擎WindSearch，新增Faker伪数据生成功能

WindSearch是一个基于中文分词，由纯PHP开发全文检索引擎，可快速搭建PHP站点的站内搜索，他没有任何繁琐的安装配置、不需要维护调优、不占用服务器内存、可与PHP项目完美融合在一起。
·2025-02-20 17:17

Jieba分词算法应用

1.Jieba分词算法简介Jieba是一个用于中文分词的Python库，其核心思想是基于词典和统计模型来进行分词。由于中文文本中没有明显的单词边界，因此分词是中文处理中的一个重要任务。
C嘎嘎嵌入式开发·2025-02-18 17:03

Python：第三方库

pipinstallmatplotlibPIL图像处理pipinstallpillowsklearn机器学习和数据挖掘pipinstallsklearnRequestsHTTP协议访问pipinstallrequestsJieba中文分词
衍生星球·2025-02-16 20:00

python --jieba 分词

jieba库是什么jieba库中文分词第三方库，中文文本需要通过分词获得单个的词语。
好好学习的顾顾·2025-02-10 14:38

想做 Python 聊天机器人，有什么好用的中文分词、数据挖掘、AI方面的 Python 库或者开源项目推荐

想做Python聊天机器人，有什么好用的中文分词、数据挖掘、AI方面的Python库或者开源项目推荐？在当今数字化时代，聊天机器人已经成为了连接人与机器的重要桥梁。
xiamu_CDA·2025-02-09 20:01

毕设 基于python的搜索引擎设计与实现

文章目录0简介1课题简介2系统设计实现2.1总体设计2.2搜索关键流程2.3推荐算法2.4数据流的实现3实现细节3.1系统架构3.2爬取大量网页数据3.3中文分词3.4相关度排序第1个排名算法：根据单词位置进行评分的函数第
A毕设分享家·2025-02-04 12:29

华为OD机试 - 中文分词模拟器（Python/JS/C/C++ 2024 D卷 100分）

一、题目描述给定一个连续不包含空格字符的字符串，该字符串仅包含英文小写字母及英文标点符号（逗号、句号、分号），同时给定词库，对该字符串进行精确分词。说明：精确分词：字符串分词后，不会出现重叠。例如“ilovechina”，不同切分后可得到“i”,“love”,“china”。标点符号不分词，仅用于断句。词库：根据常识及词库统计出来的常用词汇。例如：dictionary={“i”,“love”,“c
哪 吒·2025-01-29 12:41

THULAC-Python 使用教程

THULAC-Python使用教程THULAC-PythonTHULAC-Python:由清华大学开发的中文词法分析工具包，提供中文分词和词性标注功能。
时昕海Minerva·2025-01-28 13:21
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他