分词

Python|扫描版词书转文字(PyPDF、OCR）

心血来潮想把词书pdf(只有扫描版）转化成电子版，然后插到某生词APP去复习然后有两个想法：1.按照A-Z等来分词单2.PDF转文字1.那首先需要把PDF分开，这个用PyPDF2可以达成PDF参考文章：

NuageL·2025-07-12 03:52

用Keras构建爱情模型：破解情侣间的情感密码

文章目录一、给情话穿上数字马甲1.1中文分词那些坑1.2停用词过滤玄学二、给神经网络装个情感温度计2.1记忆增强套餐2.2注意力机制实战三、给模型喂点狗粮数据3.1数据增强七十二变3.2标注的艺术四、调参比哄对象还难

忆愿·2025-07-11 01:28

怎么安装自定义分词器

安装自定义分词器的完整步骤在Elasticsearch中安装自定义分词器，通常需要修改索引配置或开发插件。

思静鱼·2025-07-09 08:28

想要了解大模型，看懂这一篇就够了！大模型工作流程及核心参数介绍！

从用户输入到大模型输出，整个工作的处理流程如下：输入文本→分词→嵌入+位置编码→Transformer多层处

Gq.xxu·2025-07-09 03:49

Python词法分析器：从概念到实践

本简介详细介绍了词法分析、正则表达式、分词、词法规则、词法分析器生成器以及编译原理等核心概念，并展示了如何使用Python内置的re模块和第三方库ply实现词法分析器，为进一步理解编程语言的工作原理和构建自定义编程语言打下基础

凡狗蛋·2025-07-08 22:54

深度解析Annotated Jieba：Python中的高效中文分词库

深度解析AnnotatedJieba：Python中的高效中文分词库去发现同类优质开源项目:https://gitcode.com/项目简介是一个基于Jieba的增强版分词库，为了解决原Jieba库在复杂场景下的需求

·2025-07-08 09:22

[特殊字符] Python 实战 | 批量统计中文文档词频并导出 Excel

本文展示如何用Python脚本：批量读取文件夹中的多篇中文文档；用jieba分词并统计词频（过滤停用词与单字符）；将各文档词频输出为对应Excel文件；是文本分析、内容审查、报告编写中的实用技巧。

happydog007·2025-07-08 00:12

对加密字段进行模糊查询：基于分词密文映射表的实现方案

本文将介绍一种基于分词密文映射表的解决方案，实现对加密字段的高效模糊查询。一、问题背景考虑一个用户管理系统，其中包含手机号、身份证号、住址等敏感信息。

大三小小小白·2025-07-07 05:07

Elasticsearch检索高亮不正确，不精确问题

问题场景：搜索“a”高亮"A8A",,,,,分词器：IK分词器确认分词结果：下图说明已经正确分词！

·2025-07-06 06:35

python内置函数reversed_Python3内置函数——reversed() = 翻转我的世界

v.颠倒(reverse的过去式和过去分词)；翻转help(reversed)Helponclassreversedinmodulebuiltins:classreversed(object)|reversed

大龙说学区·2025-07-06 00:27

docker安装Elasticsearch

1.安装版本Elasticsearch（8.18.3）kibana（8.18.3）ik分词器（8.18.3）2.创建网络，让ES与Kibana容器互联dockernetworkcreatees-net3

Uluoyu·2025-07-05 12:29

人工智能训练知识学习-TTS（智能语音合成）

这包括分词、词性标注、语义理解等操作。例如，在中文文本中，系

笨鸟笃行·2025-07-04 15:42

Qwen3 Embedding 结构-加载-训练看透模型设计哲学

目录包含了运行一个基于Transformer的句向量模型所需的所有组件文件类别核心文件作用核心模型model.safetensors,config.jsonmodel.safetensors存储了模型所有训练好的权重分词器

·2025-07-04 04:25

从0实现llama3

分享一下从0实现llama的过程流程如下：word-->embeddinglayer-->n*decoderlayer-->finallinearlayer-->output分词器在embedding之前

讨厌编程但喜欢LLM的学院派·2025-07-04 01:36

手把手从零打造 Llama3：解锁下一代预训练模型

同时，Llama3采用了与GPT一致的tiktoken分词器，大幅提升了分词效率。本篇文章将带你从头构建Llama3预训练流程，深入了解其关键细节和实现方式，让你掌握这一下一代模型的核心技术。

会飞的Anthony·2025-07-04 01:35

基于Python的携程景点评价爬虫与情感评分分析

通过分析评论的情感倾向，可以：为用户提供更可靠的景点推荐辅助景区运营方了解用户口碑构建情感评分系统，为评分失衡提供补充二、项目目标自动化抓取携程指定景点的用户评论清洗与分词评论文本对评论进行情感分析打分分析整体情绪趋势并可视化结果三

程序员威哥·2025-07-02 20:35

Python通过字符串调用函数_python 面向对象根据字符串调动对应函数(1)

defchinese(text):print(‘jieba分词’)de

m0_61418142·2025-07-02 12:05

【机器学习&深度学习】模型微调的基本概念与流程

三、微调的基本流程（以BERT为例）1️⃣准备数据2️⃣加载预训练模型和分词器3️⃣数据编码与加载4️⃣定义优化器5️⃣开始训练6️⃣评估与保存模型四、是否要冻结BERT层？

一叶千舟·2025-07-01 23:34

【深度学习解惑】如果用RNN实现情感分析或文本分类，你会如何设计数据输入？

2.原理解释文本到向量的转换流程：原始文本分词建立词汇表词索引映射词嵌入层序列向量关键数学表示：词嵌入表示：

云博士的AI课堂·2025-06-28 03:36

向量数据库milvus中文全文检索取不到数据的处理办法

检查中文分词配置Milvus2.5+支持原生中文全文检索，但需显式配置中文分词器：创建集合时指定分词器类型为chinesepythonschema.add_field(field_name="text"

--勇·2025-06-27 16:48

华为OD机试 - 中文分词模拟器（Java 2024 D卷 100分）

华为OD机试2024D卷题库疯狂收录中，刷题点这里专栏导读本专栏收录于《华为OD机试（JAVA）真题（D卷+C卷+A卷+B卷）》。刷的越多，抽中的概率越大，每一题都有详细的答题思路、详细的代码注释、样例测试，发现新题目，随时更新，全天CSDN在线答疑。一、题目描述给定一个连续不包含空格字符的字符串，该字符串仅包含英文小写字母及英文标点符号（逗号、句号、分号），同时给定词库，对该字符串进行精确分

哪吒·2025-06-25 22:29

大语言模型全流程开发技术详解：从架构、训练到对齐与量化

从架构、训练到对齐与量化大模型实战指南：多模型生态实战与论文解读一、LLM架构（TheLLMarchitecture）不需要对Transformer架构有深入的了解，但了解现代LLM的主要步骤很重要：通过分词化将文本转换为数字

艾墨舟启航·2025-06-25 20:46

Python 调用大模型：解锁人工智能的无限可能

（二）大模型的特点（三）大模型的原理（四）大模型的发展历史二、Python调用大模型的实现方法（一）使用OpenAIAPI设置API密钥定义提示文本调用OpenAIAPI输出生成的文本加载预训练模型和分词器

CarlowZJ·2025-06-25 10:04

Qwen LLM（通义千问大模型）的词编码原理：字节级别字节对编码（BBPE，Byte - level Byte Pair Encoding）

Byte-levelBytePairEncoding）QwenLLM（通义千问大模型）的词编码基于字节级别字节对编码（BBPE，Byte-levelBytePairEncoding），以下从原理、方法、举例展开说明：一、核心原理BBPE本质是子词分词

ZhangJiQun&MXP·2025-06-24 07:49

深度学习Day-38：Pytorch文本分类入门

本文为：[365天深度学习训练营]中的学习记录博客原作者：[K同学啊|接辅导、项目定制]任务：了解文本分类的基本流程学习常用数据清洗方法学习如何使用jieba实现英文分词学习如何构建文本向量1.前期准备

Point__Nemo·2025-06-23 22:55

6月19日复盘

6月19日复盘二、分词与词向量分词和词向量是NLP的基础技术。1.分词分词是将连续的文本分割成独立的词汇单元（tokens）的过程。这些单元可以是单词、符号或子词。

四万二千·2025-06-23 06:06

springboot2.X集成spring data elasticsearch

springboot与es客户端版本对应关系：我的springboot版本是2.4.10，所以这里我选择es客户端7.9.3的版本es下载链接：DownloadElasticsearch|Elasticik分词器下载链接

向阳不像羊·2025-06-22 17:40

小白学大模型：Hugging Face Tokenizer

Tokenizer介绍在自然语言处理（NLP）领域，Tokenizer（分词器）是准备输入模型的关键步骤之一。

AI大模型_学习君·2025-06-21 11:02

Happy-LLM task2 第一章 NLP 基础概念（2天）

其核心目标是打破自然语言与机器语言的壁垒，使计算机能处理语义、语境、情感等复杂语言要素，完成从基础分词到深层语义理解

unityのkiven·2025-06-20 22:34

[AI]怎么计算中文被bert模型切分的tokens数量

目录1.中文BERT的Tokenization原理2.使用HuggingFace库计算Token数3.特殊情况处理4.注意事项在BERT模型中，计算中文文本的Token数需要根据具体的中文BERT分词器

just-do-it-zzj·2025-06-20 14:10

华为OD-2024年E卷-中文分词模拟器[200分] -- python

问题描述：给定一个连续不包含空格的字符串，该字符串仅包含英文小写字母及英文标点符号（逗号、分号、句号），同时给定词库，对该字符串进行精确分词。说明：精确分词：字符串分词后，不会出现重叠。

·2025-06-20 13:05

5.安装IK分词器

es创建倒排索引的时候，需要对文档进行分词。搜索时，需要对用户输入的内容分词。但是默认的分词规则对中文处理并不友好。英语分词器，一个汉子分成一个词，对于java英文单词会分成一个词。

卷土重来…·2025-06-19 18:15

7.索引库操作

mapping映射属性mapping是对索引库中文档的约束常见的mapping属性包括：type字段数据类型，常见的简单类型有：字符串：text(可分词的文本)keyword(精确值，例如：品牌、国家，

卷土重来…·2025-06-19 18:13

自然语言处理分类

包括词性标注，分词，语法解析，语言模型，信息检索，信息抽取，语义表示，文本分类。这些任务发展较为成熟，各种相关工作的主要目的是提高当前模型的性能。第二类是人工智障NLP。

要奋斗呀·2025-06-18 10:58

华为OD机试C++ - 中文分词模拟器

中文分词模拟器前言：本专栏将持续更新互联网大厂机试真题，并进行详细的分析与解答，包含完整的代码实现，希望可以帮助到正在努力的你。

steven_my·2025-06-17 23:51

中文分词模拟器【华为OD机试】(JAVA&Python&C++&JS题解)

题目描述给定一个连续不包含空格字符串，该字符串仅包含英文小写字母及英文文标点符号(逗号、分号、句号)，同时给定词库，对该字符串进行精确分词。说明：1.精确分词：字符串分词后，不会出现重叠。

向哆哆·2025-06-17 23:50

中文分词模拟器【华为OD机试-JAVA&Python&C++&JS】

题目描述给定一个连续不包含空格字符串，该字符串仅包含英文小写字母及英文文标点符号(逗号、分号、句号)，同时给定词库，对该字符串进行精确分词。说明：1.精确分词：字符串分词后，不会出现重叠。

程序员Gloria·2025-06-17 23:49

论文笔记--Language Models are Unsupervised Multitask Learners

论文笔记GPT-2--LanguageModelsareUnsupervisedMultitaskLearners1.文章简介2.文章导读2.1概括2.2文章重点技术2.2.1数据集WebText2.2.2分词方法

Isawany·2025-06-17 08:36

Transformer为何强大？揭秘多头注意力的核心机制

这个内容会首先进行token分词，然后映射为tokenid，接着我们会对token_id进行词嵌入，得到然后加入位置编码，得到X。

和老莫一起学AI·2025-06-16 20:14

Elasticsearch 模糊匹配与 wildcard 数据类型（qbit）

Elasticsearch的wildcard数据类型在7.9版本引入wildcard数据类型主要用于缓解keyword模糊匹配（*foo）效率低下的问题在wildcard数据类型出现之前，开发者通常用ngram分词来处理模糊匹配

·2025-06-16 18:28

RNN做中文分词

一、中文分词的本质：寻找词边界中文与英文不同，词与词之间没有空格分隔。分词就是要在连续的字符流中找出正确的词边界。

MYH516·2025-06-16 02:46

【速写】policy与reward分词器冲突问题（附XAI阅读推荐）

TRL的PPOTrainer实现存在一个很严重的问题，它的model和reward_model两个参数所使用的分词器是必须相同的，否则一定会报错。

囚生CY·2025-06-16 00:37

Python 数据分析10

1.jiebajieba是一个被广泛使用的Python第三方中文分词库。jieba使用简单，并且支持Python、R、C++等多种编程语言的实现，对新手而言是一个较好的的入门粉刺工具。

·2025-06-14 16:59

JB3-6-ElasticSearch（一）

ElasticSearchE01.基础概念入门1.ES搜索引擎组件2.ES倒排索引原理3.ES单机容器搭建4.ES集群容器搭建S02.KibanaE01.基础概念入门1.Kibana单机容器搭建2.安装IK分词器

周航宇92·2025-06-13 21:55

山东大学2020-2021春季web数据管理期末考试

一、填空题（30空，只记得这些了）DFS比BFS好处在于爬虫礼貌性BM25三个参数词项处理——文档解析、词条化、词项归一化、次干还原、词型归并三种分词算法统计语言模型的定义LBP定义tamura的特征颜色矩二

Joheey·2025-06-13 12:55

鸿蒙Next语音合成技术：从文本到声音的智能转换

本文解析CoreSpeechKit核心能力，结合实战案例展示优化策略，助开发者打造沉浸式语音交互体验～一、技术原理与核心能力（一）合成流程拆解文本预处理：分词→词性标注→韵律分析（如识别"今天天气真好"

·2025-06-12 21:12

ABP VNext + Elasticsearch 实战：微服务中的深度搜索与数据分析

⚙️Settings&IK分词4.️生命周期管理（ILM）5.版本冲突控制三、

Kookoos·2025-06-12 14:43

实测DeepSeek分词机制：你的输入如何变成计费Token？

虽然可理解为“字词”，但实际分词规则比表面更复杂，通常1个中文词语、1个英文单词、1个数字或1个符号计为1个token。本文由「大千AI助手」原创发布，专注用真话讲AI，回归技术本质。

大千AI助手·2025-06-12 11:23

Ollama模板全解析：从基础语法到高级应用实战

·2025-06-12 11:23

推荐频道

分词