9-4词库分词

龙芯loongarch64服务器编译安装tokenizers

1、简介HuggingFace的Tokenizers库提供了一种快速和高效的方式来处理（即分词）自然语言文本，用于后续的机器学习模型训练和推理。
番茄小能手·2023-12-21 07:09

pynlpir分词

1、下载whl文件https://pypi.org/project/PyNLPIR/#files2、安装whl文件image.png3、写测试代码image.png4、提示报错image.png重点是最后一句：pynlpir授权过期5、授权过期的解决https://github.com/NLPIR-team/NLPIR/blob/master/License/license%20for%20a%2
曦宝·2023-12-21 02:27

《浪姐》二期中《艾瑞巴蒂》随堂测试失利，最大的责任在谁？

丁当失语状态下放弃了对本组的管理，是测试失败的根本原因表面来看，是因为《艾瑞巴蒂》组时间都花在了分词上，用于练唱的时间非常少；而究其根本，是组员们不听指挥，只希望表
壹贰说·2023-12-20 18:19

2023年12月5日，北京elastic Meetup 腾讯分享的搜索优化经验

1、减少长文本模糊匹配，降低CPU大量分词上的开销长文本全文查询由于在查询时需要进行分词处理，因此在查询并发较大的情况下，cpu会先于IO被打满，从而出现大量的查询拒绝。
水的精神·2023-12-20 14:45

Elasticsearch之ik中文分词篇

Elasticsearch之ik中文分词篇ik分词器插件ik分词器安装ik分词模式esik分词测试ik分词器插件es在7.3版本已经支持中文分词，由于中文分词只能支持到单个字进行分词，不够灵活与适配我们平常使用习惯
杨小依·2023-12-20 14:15

中文分词系列（一） 双数组Tire树(DART)详解

双数组Tire树是Tire树的升级版，Tire取自英文Retrieval中的一部分，即检索树，又称作字典树或者键树。下面简单介绍一下Tire树。1.1Tire树Trie是一种高效的索引方法，它实际上是一种确定有限自动机(DFA)，在树的结构中，每一个结点对应一个DFA状态，每一个从父结点指向子结点(有向)标记的边对应一个DFA转换。遍历从根结点开始，然后从head到tail，由关键词(本想译成键字
蚊子_banner·2023-12-20 08:21

java sensitive-word 敏感词之字典瘦身

拓展阅读敏感词工具实现思路DFA算法讲解敏感词库优化流程java如何实现开箱即用的敏感词控台服务？各大平台连敏感词库都没有的吗？
老马啸西风·2023-12-20 08:50

jieba-fenci 结巴分词与繁简体转换 segment

拓展阅读DFA算法详解为了便于大家学习，项目开源地址如下，欢迎fork+star鼓励一下老马~敏感词sensitive-word分词segment结巴分词请参考结巴分词原理。
老马啸西风·2023-12-20 08:50

jieba-fenci 结巴分词之词性标注实现思路 speechTagging segment

拓展阅读DFA算法详解为了便于大家学习，项目开源地址如下，欢迎fork+star鼓励一下老马~敏感词sensitive-word分词segment词性标注词性标注的在分词之后进行标注，整体思路也不难：（
老马啸西风·2023-12-20 08:50

双数组Trie树(DoubleArrayTrie)Java实现

java/双数组trie树doublearraytriejava实现.html双数组Trie树(DoubleArrayTrie)是一种空间复杂度低的Trie树，应用于字符区间大的语言（如中文、日文等）分词领域
changgongcaomu·2023-12-20 08:19

sensitive-word 敏感词之 DFA 双数组实现源码学习

拓展阅读敏感词工具实现思路DFA算法讲解敏感词库优化流程java如何实现开箱即用的敏感词控台服务？各大平台连敏感词库都没有的吗？
老马啸西风·2023-12-20 08:48

Elasticsearch安装部署

Elasticsearch安装部署1.下载elasticsearch安装包：Elasticsearch2.4.6|Elastic下载中文分词器：Releasev1.10.6·medcl/elasticsearch-analysis-ik
無規則·2023-12-20 07:00

【HuggingFace Transformer库学习笔记】基础组件学习：Tokenizer

#从HuggingFace加载，输入模型名称，即可加载对于的分词器tokenizer=AutoTokenizer.from_pretrained("model/robert-base-chinese-extractive-qa
辰阳星宇·2023-12-20 07:23

文本深度学习向量化——Word2Vec、Doc2Vec

get_stopwords函数用于读取停用词表，preprocess函数用于分词并去除停用词。其中jieba库是中文分词的工具库，stopwords是指需要过滤掉的无意义词汇，如“的”、“了”等。
ZT-Brillly·2023-12-20 04:44

ElasticSearch基础及常用查询

全文检索（倒排索引）：将一段词语进行分词，并且将分出来的单个词语统一放到一个分词库中，在搜索时，根据关键字去分词库中检索，找到匹配的内容。
少年与荆棘·2023-12-20 01:58

机器学习——中文分词

1、简介中文分词是指将汉字序列按照一定规则逐个切分为词序列的过程。在英文中，单词间以空格为自然分隔符，分词时自然以空格为单位进行切分，而中文分词则需要依靠技术和方法寻找类似英文中空格作用的分隔符。
风月雅颂·2023-12-20 00:58

浪姐2名场面：陈小纭哭上热搜，扮演弱者就有理？

看了浪姐二里容祖儿那组，在练习的时候，她们因为分词问题闹得很不愉快。陈小纭想唱第一句，而容祖儿认为这首歌非常难唱，第一句很重要，一定要稳，所以要交给能力强的歌手来唱。
SUNNY雅凡·2023-12-19 14:18

使用Kaptcha实现的验证码功能

一.需求1.页面生成验证码2.输入验证码，点击提交，验证用户输入的验证码是否正确，正确则进行页面跳转二.验证码功能实现步骤1.生成内容（根据词库）2.生成干扰项3.二者组成图
Roylelele·2023-12-19 14:51

【小沐学NLP】Python实现聊天机器人（Selenium、七嘴八舌）

NLP开发系列相关文章编写如下：1【小沐学NLP】Python实现词云图2【小沐学NLP】Python实现图片文字识别3【小沐学NLP】Python实现中文、英文分词4【小沐学NLP】Python实现聊天机器人
爱看书的小沐·2023-12-19 09:19

nodejs使用nodejieba

Nodejieba是一个基于Node.js平台的中文分词模块，用于将中文文本切分成有意义的词汇。
T3165919332·2023-12-19 06:54

【Docker】ES、Kibana及IK安装配置

5.拉取镜像6.创建文件夹7.运行docker命令二、安装kibana1.安装kibana2.浏览器访问3.国际化三、Elasticsearch查询1.数据插入：POST或PUT2.数据查询GET3.分词测试四
时光有伱记忆成花·2023-12-19 05:04

微软技术领域内容榜~加油共勉~

1.文本数据处理包括读取文本文件、对文本进行分词、去除停用词等基本文本处理步骤。读取文本文件：在Python中，我们使用open函数打开文件，
ZShiJ·2023-12-19 04:53

导出微信聊天记录，使用python进行分词，生成词云

导出微信聊天记录，使用python进行分词，生成词云导出微信聊天记录，使用python进行分词，生成词云备份数据浏览、导出数据查看数据操作数据库，分析生成词云下载全部文件导出微信聊天记录，使用python
lidy_0123·2023-12-19 02:05

初学solr

启动solr，运行techproducts示例，使用smartcn中文分词包，加载mmseg4j中文分词包（solr7.3.1）1.启动错误在下载解压完solr后，遇到的第一个问题是启动不了solr，执行以下指令后
菜菜不太菜·2023-12-18 21:50

bottom-up-attention-vqa-master 成功复现！！！

create_dictionary.py建立词典和使用预训练的glove向量（1）create_dictionary()遍历每个question文件取出所关注的question部分，qs遍历qs，对每个问题的文本内容进行分词
hongyuyahei·2023-12-18 17:58

Elasticsearch 使用同义词 二

原因如下：同义词--->>获取同义词：要求的是每个词都必须在分词里面是存在的，分词是搜索引擎里面很重要的一个前提条件，这也是一样的，假如我们的分词器IK，或者ansj
悟能的师兄·2023-12-18 13:35

ES的同义词、扩展词、停止词热更新方案

ES版本：5.5.2IK分词器版本：5.5.2扩展词、停止词我的ES使用的中文分词器是IK分词器，IK分词器支持一种热更新的方案，部署一个web服务器，提供一个http接口，通过modified和tag
Coderzhangch·2023-12-18 13:35

es使用同义词插件注意事项

es使用同义词插件注意事项1背景描述2插件安装1docker安装es:2安装插件1中文分词插件Ik2安装同义词插件elasticsearch-analysis-dynamic-synonym3使用spring-boot-starter-data-elasticsearch
猫二哥·2023-12-18 13:34

使用HanLP增强Elasticsearch分词功能

http://git.oschina.net/hualongdata/hanlp-ext或https://github.com/hualongdata/hanlp-extElasticsearch默认对中文分词是按
lanlantian123·2023-12-18 12:19

pytorch文本分类（一）：文本预处理

pwd=ro0v提取码：ro0v–来自百度网盘超级会员V4的分享目录pytorch文本分类（一）：文本预处理1.中&英文分词：中英文分词有3
大地之灯·2023-12-18 11:11

Mistral MOE架构全面解析

从代码角度理解Mistral架构Mistral架构全面解析前言Mistral架构分析分词网络主干MixtralDecoderLayerAttentionMOEMLP下游任务因果推理文本分类Mistral
江小皮不皮·2023-12-18 03:06

Llama 架构分析

从代码角度进行Llama架构分析Llama架构分析前言Llama架构分析分词网络主干DecoderLayerAttentionMLP下游任务因果推理文本分类Llama架构分析前言Meta开发并公开发布了
江小皮不皮·2023-12-18 03:35

SpringBoot进行自然语言处理，利用Hanlp进行文本情感分析

☁️博客首页：CSDN主页放风讲故事每日一句：努力一点，优秀一点目录文章目录**目录**一、说明二、自然语言处理简介三、Hanlp文本分类与情感分析基本概念语料库用Map描述用文件夹描述数据集实现训练分词特征提取调参调参训练模型分类情感分析四
放风讲故事·2023-12-18 03:45

ELK的日志解决方案

目录1、ELK是什么2、Elasticsearch（ES）2.1虚拟机docker安装es2.2倒排索引2.3es的分词器ik2.4springboot整合es3、Kibana4、Logstash4.1docker
林隐w·2023-12-17 23:24

【迅搜08】XS 索引管理（一）切换索引库与文档对象

不过对于中文这种复杂的语言体系，分词也是另一块核心内容。从今天开始，我们就先来学习第一块的内容，就是对于索引的操作。之前的文章中，我们已经学习过在XS中如何通过配置文件来配置索引项目。
码农老张Zy·2023-12-17 20:58

使用Python进行文本处理：深入探索文本分析和操作

在这篇文章中，将深入探讨如何使用Python进行文本处理，包括文本清洗、分词、词频统
Sitin涛哥·2023-12-17 19:10

Linux 中使用 docker 安装 Elasticsearch 及 Kibana

Linux中使用docker安装Elasticsearch及Kibana安装Elasticsearch和Kibana安装分词插件ik_smart安装Elasticsearch和Kibana查看当前运行的镜像及本地已经下载的镜像
ReadThroughLife·2023-12-17 14:22

Python中WordCloud库及matplotlib的实现

一、词云库wordcloud的安装与运用1、安装：pipinstallwordcloud#网络安装pipinstalljieba#jieba：中文分词库python-mpipinstall#本地安装2、
ZiT11x·2023-12-17 14:13

ES日志分析在Win系统上的安装和使用

分词器下载官方分词器下载如果GIthub加载不出来。可以看看我的这个文章GitHub上不去怎么办？。
拈㕦一笑·2023-12-17 13:16

高中语法专题（过去分词）：过去分词作定语知识点综合讲解及习题专练（一）

1.过去分词的形式:done2.分类：前置定语和后置定语；3.条件：单个的单词通常作前置定语，放在名词之前；多个单词或是短语通常作后置定语，放在名词之后；4.过去分词作定语:(1)过去分词是非谓语动词的一种形式
初高中英语学习资料·2023-12-17 07:46

Python实现Kmeans文本聚类

接着我们要通过对每句话进行分词转向量，最后使用kmeans进行聚类并输出结果。二、代码2.1、加载停用词在stop_words目录下有多个停用词表，需要循环加总所有停用词。defdefined_sto
zkkkkkkkkkkkkk·2023-12-17 04:08

当python词云遇到网易云民谣

采集数据构建词云首先需要文本数据，很多时候我们都是将分好的词语，或者大段落的文本存放到本地文件中，然后在程序中完成分词，最后用来构建词云。
叫我阿柒啊·2023-12-17 04:41

ES分词查询

全文检索介绍全文检索的发展过程：数据库使用SQL语句：select*fromtablewheredatalike“%检索内容%”出现lucene全文检索工具（缺点：暴露的接口相对复杂，且没有效率）出现分布式检索服务框架solr（缺点：建立索引期间。solr搜索能力极度下降，造成实时索引效率不高）出现Elasticsearch，是以lucene为基础，基于Restful接口进行发布非结构化数据查找方
一只欢脱的知更鸟呀·2023-12-17 02:44

小白学大模型LLMs：文本分词方法

本文介绍了各种类型的分词（tokenization），用于将单词拆分为一个或多个标记（token），因为单词和分词之间存在一对多的关系。
深度学习算法与自然语言处理·2023-12-17 02:38

Elasticsearch从入门到部署 文档操作 RestAPI

Elasticsearch从入门到项目部署安装分词器索引库操作-CSDN博客3.文档操作有了索引库，接下来就可以向索引库中添加数据了。Elasticsearch中的数据其实就是JSON风格的文档。
软工菜鸡·2023-12-16 22:00

橘子学ES09之分词以及各大分词器

在ES中有很重要的一个概念就是分词，ES的全文检索也是基于分词结合倒排索引做的。所以这一文我们来看下何谓之分词。如何分词。
橘子在努力·2023-12-16 21:12

【 某景点舆情分析：Python、Echarts、Flask、文本处理技术的应用】

某景点舆情分析：Python、Echarts、Flask、文本处理技术的应用前言技术栈数据获取与准备景点数据统计分析评论数据处理与分析词频统计分词与文本处理情感分析数据可视化Web应用搭建结语前言随着旅游行业的蓬勃发展
爱欲无极·2023-12-16 21:15

一键自动修改和翻新OC源码，解决苹果审核4.3和马甲问题

aaaabbbxxx这种完全毫无意义的名称，要么只能修改单个文件，多个文件根本无法关联，我就想有什么方法可以像真人一样去修改源码，符合语义，不是胡编烂造的方法名，还可以自动修改相关联的文件,还能自己自定义单词库
我劝你别惹我·2023-12-16 19:29

记录一次chatGPT人机协同实战辅助科研——根据词库自动进行情感分析

有一个Excel中的一列，读取文本判断文本包含积极情感词.txt和消极情感词.txt的个数，分别生成两列统计数据请将‘your_file.xlsx’替换为你的Excel文件名，'YourTextColumn’替换为包含文本的列名。这个程序首先读取了积极和消极情感词，并定义了两个函数来统计文本中这些词的数量。然后，它使用这两个函数来创建新的列，并将结果保存为一个新的Excel文件。#-*-codin
东方-教育技术博主·2023-12-16 19:50

安装配置elasticsearch—kibana使用—中文分词

目录1es相关介绍2安装和启动3es的基本概念4es简单办的增删改查5对于中文的分词1es相关介绍1搜索引擎elasticSearch6（和elasticSearch5的区别在于，root用户权限、一个库能否建立多个表
知更鸟女孩·2023-12-16 18:57
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他