句子分词

【设计模式】——解释器模式（Interpreter Pattern）

解释器模式（InterpreterPattern）是一种行为型设计模式，它提供了一种解释语言句子或表达式的方法。这
J^T·2025-03-07 21:27

Word2Vec向量化语句的计算原理

二、向量化的核心步骤（以Skip-Gram模型为例）示例句子假设句子为：“Theq
堕落年代·2025-03-06 11:38

大语言模型中的 Token：它们是什么，如何工作？

大语言模型（LLM，LargeLanguageModel）并不是直接处理整个句子或文章，而是拆分成一个个Token（标记）来进行计算。那么，什么是Token？它们在大语言模型中起到什么作用？
运维小子·2025-03-06 07:33

详解DeepSeek模型底层原理及和ChatGPT区别点

例如，在处理句子“Thecatchasedthemouse”时，自注意力机制
瞬间动力·2025-03-06 01:16

大模型中的Token究竟是什么？从原理到作用深度解析

Token化技术全景图核心处理流程原始文本→预处理→分词算法→词表映射→模型输入↓↓↓大小写转换子词拆分策略特殊Token添加标点规
·2025-03-05 16:48

语义向量模型全解：从基础到现在的deepseek中的语义向量主流模型

一、语义向量模型：自然语言处理的基石语义向量模型（SemanticVectorModel）是自然语言处理（NLP）的核心技术，它将词汇、句子或文档映射为高维向量，在数学空间中量化语义信息。
来自于狂人·2025-03-05 02:02

基于规则的分词

基于规则的分词基于规则或词典的分词方法是一种较为机械的分词方法，其基本思想如下。将待分词语句中的字符串和词典逐个匹配。找到匹配的字符串则切分，不匹配则减去边缘的某些字符。
李昊哲小课·2025-03-05 01:24

爬虫和词云

目录爬虫词云1.1.引入库1.2.设置文件路径2.文本处理2.1读取文本2.2分词和过滤2.3统计词频:3.1默认颜色爬虫对于爬虫顾名思义就是爬的虫子，而对于网络上的爬虫的作用是爬取网页上的信息并且把它保存在用户的电脑中我的爬虫是由
一缕白烟·2025-03-05 00:47

Elasticsearch常用命令

下载地址：https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.17.18-windows-x86_64.zip2、安装分词器
墨明&棋妙·2025-03-04 23:13

MLM: 掩码语言模型的预训练任务

以下是对这一概念的详细说明：基本定义：MLM是一种通过将输入文本中的部分词语随机掩盖（即用掩码标记替代），让模型在观察到其他未掩盖词语的情况下，预测这些被掩盖词的任务。
XianxinMao·2025-03-04 23:41

BERT 和 Milvus 构建智能问答系统的全面技术解析，涵盖从原理到实践的完整流程

例如，句子"Milvus是向量数据库"会被编码为类似[0.2,-1.3,0.5,...]的向量19。Milvus的向量检
·2025-03-04 14:28

java 庖丁解牛_“庖丁解牛” 分词器实现

importjava.io.IOException;importjava.io.StringReader;importnet.paoding.analysis.analyzer.PaodingAnalyzer;importorg.apache.lucene.analysis.Analyzer;importorg.apache.lucene.analysis.Token;importorg.apac
weixin_39813009·2025-03-04 10:02

Elasticsearch（一）：安装Elasticsearch + kibana + ik分词器

原文来源自黑马的课程1.Elasticsearch介绍和安装用户访问我们的首页，一般都会直接搜索来寻找自己想要购买的商品。而商品的数量非常多，而且分类繁杂。如果能正确的显示出用户想要的商品，并进行合理的过滤，尽快促成交易，是搜索系统要研究的核心。面对这样复杂的搜索业务和数据量，使用传统数据库搜索就显得力不从心，一般我们都会使用全文检索技术，比如之前大家学习过的Solr。不过今天，我们要讲的是另一个
Gooooa·2025-03-04 04:49

大数据处理实践探索 ---- 笔试面试题：ElasticSearch

倒排索引，是通过分词策略，形成了词和文章的映射关系表，也称倒排表，这种词典+映射表即为倒排索引。其中词典中存储词元，倒排表中存储该词元在哪些文中出现的位置。
shiter·2025-03-03 01:44

Transformer架构深度研究报告（二、分层原理）

例如在句子“Thedogrunsfast”中，对于“runs”这个词，低层模型会关注其与相邻词“d
jiaojieran·2025-03-02 20:36

百度搜索语法

以下是一些基本的百度搜索语法：1.双引号(`""`)：用来搜索精确的短语或句子。例如，搜索`"人工智能"`会找到包含完整短语"人工智能"的结果。2.减号(-)：用来排除搜索结果中的特定词汇。
羊羊一洋·2025-03-02 17:45

系统调用read和write的疑问

问题背景：现在我有一个中文文档，里面是一些中文的句子，然后我有一个charbuffer[1]的缓冲区，我通过read中文文档，然后把数据写入到标准输出中，此时终端却正常打印，而不是显示乱码。
唯瑞主义·2025-03-01 11:57

用Meta的开源工具打造AI驱动的应用：LASER、Faiss与聊天加载器示例

MetaPlatforms（原Facebook）在AI技术领域持续创新，推出了多个优秀的开源工具，比如用于多语言句子嵌入的LASER、用于高效相似性搜索的Faiss，以及用于加载和处理Messenger
dgay_hua·2025-03-01 09:38

笔记：大模型Tokens是啥？为啥大模型按Tokens收费？

示例：句子"Hello,world!"拆分为["Hello",",","world","!"]，共4个token。中文场景：1个token≈1个汉字或词语。
瞬间动力·2025-03-01 09:08

Empowering LLMs with Logical Reasoning: 从“语言大师”到“逻辑大师”的进化之路

从生成流畅的文章到翻译复杂的句子，这些模型似乎无所不能。然而，当我们试图让它们回答逻辑推理问题时，却发现它们的表现常常令人失望。比如，某顶尖LLM在回答以下问题时出现了自相矛
步子哥·2025-02-28 07:19

Python 分词解析+词云可视化（含停用词文件）

代码：importre#导入正则表达式库importjieba#导入结巴分词库importcollections#导入集合库importnumpy#导入numpy库importwordcloud#导入词云库
布凯彻-劳斯基·2025-02-28 00:52

Objective-C实现NLP中文分词（附完整源码）

Objective-C实现NLP中文分词实现中文分词（NLP中的重要任务之一）在Objective-C中需要处理文本的切分和识别词语边界。
源代码大师·2025-02-27 23:15

【2024软考架构案例题】你知道 Es 的几种分词器吗？Standard、Simple、WhiteSpace、Keyword 四种分词器你知道吗？

WEB架构师，阿里云专家博主，华为云云享专家，51CTO专家博主⛪️个人社区：个人社区个人主页：个人主页专栏地址：✅Java中级八股文专题：剑指大厂，手撕Java八股文文章目录1.什么是Standard分词器
激流丶·2025-02-27 03:09

多模态｜开源多模态模型Emu3 & 多模态预训练模型CLIP对比

通过将图像、文本和视频分词到一个离散空间中，我们在多模态序列的混合上从头开始训练单个转换器。
产品媛Gloria Deng·2025-02-27 03:08

论文笔记：Enhancing Sentence Embeddings in Generative Language Models

这些模型固有的语义空间各向异性，往往需要通过大量数据集进行微调，才能生成高质量的句子嵌入。
UQI-LIUWJ·2025-02-26 20:17

【深度学习】Transformer入门：通俗易懂的介绍

【深度学习】Transformer入门：通俗易懂的介绍一、引言二、从前的“读句子”方式三、Transformer的“超级阅读能力”四、Transformer是怎么做到的？
知识靠谱·2025-02-26 07:12

Elasticsearch（ES）基础查询语法的使用

{“query”:{“match_phrase”:{“field”:“text”}}}2.TermQuery(精确匹配查询)用于对某个字段的精确值进行查询，常用于不分词的字段（如ID、标签、关
m0_74825108·2025-02-25 19:20

Python|基于Kimi大模型，实现对文本进行批量润色处理（4）

这个过程可能包括纠正语法错误、调整句子结构、增强语言的表达力、统一风格和语调、改善逻辑连贯性等。润色后的文本应该更加清晰、准确、吸引
写python的鑫哥·2025-02-25 15:19

自然语言处理(NLP)：文本向量化从文字到数字的原理

本文探讨如何将文本转换为向量表示的过程，包括分词、ID映射、One-hot编码以及最终的词嵌入（Embedding），并通过具体的案例代码来辅助解释这些概念。
全栈你个大西瓜·2025-02-25 10:45

告别复杂分词：Transformers轻松搞定文本处理

想象一下，手动处理那些长篇文本，分词、标注、清理——光是想想就让人头疼。别担心！
星际编程喵·2025-02-25 09:08

python jieba+wordcloud

coding:utf-8-*-importjieba.possegaspsegstop_words=["给","被","的","最"]text="食堂的饭真的是很好吃呀，最喜欢食堂了"word_dict={}#分词并统计词频
风夏夜中·2025-02-24 22:49

当你给大模型一段输入之后，它是怎么得到答案的

切分知识点：模型会把这句话拆解成词汇单元（比如：“太阳”“为什么”“东”“升”“西”“落”），就像你背单词时先拆解句子。
牛不才·2025-02-23 19:37

大语言模型训练数据集格式

1.SFT（有监督微调）的数据集格式对于大语言模型的训练中，SFT（SupervisedFine-Tuning）的数据集格式可以采用以下方式：输入数据：输入数据是一个文本序列，通常是一个句子或者一个段落
香菜烤面包·2025-02-23 16:13

大模型训练 && 微调数据格式

对于大语言模型的训练中，SFT（SupervisedFine-Tuning）的数据集格式可以采用以下方式：输入数据：输入数据是一个文本序列，通常是一个句子或者一个段落。
comli_cn·2025-02-23 16:43

英语学习备忘

一、with复合结构with+宾语（名词或代词）+宾补（介词短语、形容词、副词、现在分词、过去分词和不定式）1.宾补为现在分词Imagineyouhaveacomputerwithmultipleprocessesrunningsimultaneously.https
Arms206·2025-02-23 02:06

PHP实现站内搜索的开源利器——WindSearch

WindSearch是一个基于中文分词，由纯PHP开发全文检索引擎，可快速搭建PHP站点的站内搜索，他没有任何繁琐的安装配置、不需要维护调优、不占用服务器内存、可与PHP项目完美融合在一起。
rock365337·2025-02-22 20:43

PHP实现站内搜索的开源利器——WindSearch

WindSearch是一个基于中文分词，由纯PHP开发全文检索引擎，可快速搭建PHP站点的站内搜索，他没有任何繁琐的安装配置、不需要维护调优、不占用服务器内存、可与PHP项目完美融合在一起。
·2025-02-22 19:13

Python自然语言处理之spacy模块介绍、安装与常见操作案例

它提供了丰富的功能，包括分词、词性标注、依存句法分析、命名实体识别等，并且支持多种语言。spacy以其高性能、易用性和可扩展性而受到广泛欢迎。安
袁袁袁袁满·2025-02-22 12:05

自然语言处理5——词法分析

词法分析步骤：词的识别：将句子序列转换为词序列形态分析：词的构成、形态变化、词形还原词性标注：标记句子中词的词性英文的词法分析英文的特点：曲折型语言，词与词之间有边界标记，词的形态变化丰富屈折变化：由于语法作用而造成的单词形态变化
河篱·2025-02-22 11:02

人工智能训练师如何做文本数据标注？

文本数据标注是对数据进行结构化、分类、分词、情感分析、命名实体识别（NER）等操作，为机器学习模型提供准确的输入。以下是常见的文本数据标注任务和对应的Python代码示例。
小宝哥Code·2025-02-22 10:27

PTA 分词后排序输出单词

inti=0,j=0,p;for(i=0;str[i]!='\0';i++){if(str[i]!=''){pStr[j]=&str[i];j++;for(;str[i]!='\0';i++){if(str[i]==''){str[i]='\0';break;}}}}char*s;for(i=0;i0){s=pStr[p];pStr[p]=pStr[p+1];pStr[p+1]=s;}}}retu
GardenTu·2025-02-21 14:27

【小白学AI系列】NLP 核心知识点（七）Embedding概念介绍

简单来说，embedding是一种将离散的、稀疏的、不可直接计算的对象（比如词、字符或句子）转换为密集的、连续的向量表示的技术。
Blankspace空白·2025-02-21 06:55

提升信息检索准确性和效率的搜索技巧

一、基础技巧精准关键词避免长句子，提取核心关键词（如用“光合作用步骤”代替“请告诉我光合作用的具体过程”）。同义词替换：尝试不同表达（如“AI发展史”vs“人工智能历史”）。
雅俗共赏100·2025-02-21 04:39

PHP搜索引擎WindSearch，新增Faker伪数据生成功能

WindSearch是一个基于中文分词，由纯PHP开发全文检索引擎，可快速搭建PHP站点的站内搜索，他没有任何繁琐的安装配置、不需要维护调优、不占用服务器内存、可与PHP项目完美融合在一起。
·2025-02-20 17:17

java 实现TextRank算法提取文章摘要

使用TextRank实现文章摘要提取具体步骤如下：寻找文章中的关键句子：首先需要分割出文章中的句子，可以使用分词库将文章拆分成句子，然后使用TextRank算法找到文章中与主题相关的句子，这些句子通常包含有标题
melck·2025-02-20 17:39

利用人工智能增强可读性：自动为文本添加标点符号

这就是人工智能(AI)发挥作用的地方，它提供了一种强大的解决方案，可以自动将标点符号插入句子中。目前，利用大模型的能力，完全可以胜任添加标点符号的工作，不需要其它特别的处理程序。参考代码from
姚家湾·2025-02-20 07:19

自然语言处理NLP 01语言转换&语言模型

目录语言转化方式1.数据预处理（DataPreprocessing）(1)文本清理(2)分词(3)语言特殊处理2.特征提取（FeatureExtraction）(1)词袋模型（BagofWords,BoW
伊一大数据&人工智能学习日志·2025-02-19 22:56

Java 设计模式之解释器模式

Java设计模式之解释器模式概述UML代码实现Java设计模式之解释器模式概述解释器模式(interpreter)：给定一个语言，定义它的文法的一种表示，并定义一个解释器，这个解释器使用该表示来解释语言中的句子
xiangxiongfly915·2025-02-19 20:47

基于 HanLP 的句子结构分析与关系抽取

句子结构分析和关系抽取是NLP中的关键任务，它们可以帮助我们理解句子的语法结构和语义关系。HanLP是一款功能强大的中文自然语言处理工具包，提供了丰富的功能，包括分词、词性标注、依存句法分析等。
梦落青云·2025-02-19 12:10

DeepSeek-V3的混合专家（MoE）架构

如在语言翻译中，有专门处理中文语法的专家，也有负责生成英文句子结构的专家。DeepSeek-V3包含大量专家，如256个专家模型，总参数量达6710亿。动态
阿湯哥·2025-02-19 11:25
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他