分词词库

最全中文停用词表（可直接复制）

最全的停用词表整理词表名词表文件中文停用词表cn_stopwords.txt哈工大停用词表hit_stopwords.txt百度停用词表baidu_stopwords.txt机器智能实验室停用词库scu_stopwords.txt
dilifish·2024-01-07 17:54

使用jieba库进行中文分词和去除停用词

jieba.lcutjieba.lcut()和jieba.lcut_for_search()是jieba库中的两个分词函数，它们的功能和参数略有不同。
一壶浊酒..·2024-01-07 17:53

论文浅尝 | 基于神经网络的实体识别和关系抽取联合学习

例如实体识别和实体标准化联合学习，分词和词性标注联合学习等等。最近，研究者们
开放知识图谱·2024-01-07 09:38

elasticsearch拼音分词器

PUT/yx{"settings":{"analysis":{"analyzer":{"my_analyzer":{"tokenizer":"ik_max_word","filter":"py"},"completion_analyzer":{"tokenizer":"keyword","filter":"py"}},"filter":{"py":{"type":"pinyin","keep_fu
思绪千字难提·2024-01-07 08:25

docker下，容器无法启动，要删除里面的文件

第一步：进入dockercd/var/lib/docker第二步：查找，我这里是拼音分词器find./-name'py'第三步：得到路径第四步：删除或复制或移动，我这里是删除py文件夹rm-rf.
汤永红·2024-01-07 08:16

Win11环境Mecab日语分词和词性分析以及动态库DLL not found问题(Python3.10）

有时候也需要单独查句子中的单词释义来理解句子的意思，但一看下去全是假名，无法像中文或者英文那样进行简单的分词操作。本次我们基于Python3.10的三方库Mecab来对日语进行分词和词性分析。
刘悦的技术分享·2024-01-07 05:11

2024.1.6 Spark_Core 分词处理,RDD持久化,内核调度

目录一.分词处理二.RDD持久化1.使用缓存:2.RDD的checkpoint检查点:3.缓存和checkpoint的区别:三.Spark内核调度1.RDD依赖2.DAG和Stage3.shuffle阶段
白白的wj·2024-01-06 23:04

iOS代码混淆工具

本工具来自于Github的混淆词库和代码，通过差异化处理和代码合并生成数亿种用于混淆的单词和垃圾代码，确保每次混淆不会出现重复，混淆后的代码跟手写没有任何区别，完美解决代码4.3和2.3.1问题。
ertertgfhhn·2024-01-06 11:39

一键自动修改和翻新OC源码，解决苹果审核4.3和马甲问题

aaaabbbxxx这种完全毫无意义的名称，要么只能修改单个文件，多个文件根本无法关联，我就想有什么方法可以像真人一样去修改源码，符合语义，不是胡编烂造的方法名，还可以自动修改相关联的文件,还能自己自定义单词库
ertertgfhhn·2024-01-06 11:39

elasticsearch查询性能优化方案

索引设计优化：确保正确选择和配置分词器和索引设置，以适应你的数据类型和查询需求。对于高基数字段（cardinality），使用合适的字段类型和索引设置，如keyword类型或布尔索引。
不加班程序员·2024-01-06 08:38

2022-03-19

然而，词形还原是基于词典的，每种语言都需要经过语义分析、词性标注来建立完整的词库。本实验将使用WordNetLemmatizer，它是WordNet的NLTK接口。
跨象乘云·2024-01-06 08:45

中文分词算法 | 基于词表的三种分词算法

本文主要介绍中文分词算法中的基于词表的分词算法
源于花海·2024-01-06 07:56

赵散闲：好气质来源于自身修为

随着时间的积累，我的个人词库里也不断增加着我吃透的词的数量。下面说一说关于“气质”。什么是气质？一般的词语解释：1.人的一种比较稳定的个性特征，如容易兴奋、活泼好动、沉默安静等。
趙散闲·2024-01-06 05:55

Elasticsearch零基础实战

（直接执行的json）es自定义分词器如何实现？kibana监控jvm分子分母是什么？es如何改索引结构？
梦魇梦狸º·2024-01-06 03:49

自然语言处理-文本表示-one-hot-编码

如何通过向量化的方式表示单词①、采用独热编码的方式，对词汇进行编码如何表示句子②、Booleanvector：先对句子进行分词，然后按照词典中的向量对句子中的词汇是否出现，进行编码。
王路飞GoGoGo·2024-01-05 22:54

【Python程序开发系列】一文带你了解Python抽象语法树（案例分析）

一、什么是抽象语法树在传统的编译语言的流程中，程序的一段源代码在执行之前会经历三个步骤，统称为“编译”：分词/词法分析这个过程会将由字符组成的字符串分解成有意义的代码块，这些代码块统称为词法单元(token
数据杂坛·2024-01-05 12:52

使用TF-IDF对文本集中的单篇文本制作词云

一、对文本进行分词、去标点，并将每篇文本分词后的结果存为一个列表元素，最终将整个文档集合表示成一个二维列表。（1）导入Jieba分词工具importosimportjieba（2）文本
MilkLeong·2024-01-05 11:43

pkuseg.test()函数使用的困惑

用pkuseg模块来进行分词，在使用pkuseg.test()函数时，遇到了一些问题1.当我像这样写代码时，程序一直在运行状态，跑不出结果importpkusegpkuseg.test('input.txt
MilkLeong·2024-01-05 11:43

Java实现汉字拼音转换和关键字分词（pinyin4j、hanlp）

文章目录pinyin4jhanlp关键字分词pinyin4j添加maven依赖com.belerwebpinyin4j2.5.0获取文本拼音/***获取文本拼音*@paramcontext文本内容*@paramexistNotPinyin
少爷晚安。·2024-01-05 09:00

词云的生成

首先要安装wordcloud（用于生成词云），matplotlib（用于绘图）,jieba（用于分词），PIL（用于连接图片，进行词云轮廓的选择）。
丘小羽·2024-01-05 07:35

大朋友（29首）

你最想对普希金说的话六月是普希金月，我找了找词库最想对他说哇，我还没忘记你耶！爱爱是一瞬间心被俘虏了，不是因为你多好而是他觉得你好你才显得如此珍贵。
隔水望伊人·2024-01-05 05:19

用 Python 抓取 bilibili 弹幕并分析！

接着，对数据进行分词。最后，做了评论的可视化。02弹幕数据平常我们在看视频时，弹幕是出现在视频上的。实际上在网页中，弹幕是被隐藏在源代码中，以XML的数据格式进行加载的。
爱编程的鱼·2024-01-04 21:24

实现中文jieba分词

目录问题描述：代码实现：问题描述：使用中文分词库jieba从给定的文本中提取指定范围内的前后词语。特殊的，如果前面是‘的’即再向前取一位，这个可根据自己的实际需求做出更改。
薰珞婷紫小亭子·2024-01-04 18:27

NLP-分词算法（一）：Byte-Pair Encoding (BPE) / Byte-level BPE【BPE是char级别】

首先，它依赖于一种预分词器pretokenizer来完成初步的切分。pretokenizer可以是简单基于空格的，也可以是基于规则的；分词之后，统计每个词出现的频次，供后续计算使用。
u013250861·2024-01-04 16:14

NLP中的BPE（byte pair encoding）分词算法

本篇博客的算法来源的论文是NeuralMachineTranslationofRareWordswithSubwordUnits，感兴趣的读者可以自行在Google学术上搜索。算法提出的问题背景2016年左右（改论文发表于2016）Neuralmachinetranslation(NMT)中有着一个众所周知的问题——稀有词与未知词的翻译问题。一般来说，神经网络中的词表被限制在30000-50000
算法菜鸟飞高高·2024-01-04 16:13

NLP基础——中文分词

简介分词是自然语言处理（NLP）中的一个基本任务，它涉及将连续的文本序列切分成多个有意义的单元，这些单元通常被称为“词”或“tokens”。
小风_·2024-01-04 07:23

中文自然语言处理库(SnowNLP)的简单使用

它基于自然语言处理技术，提供了多种功能，包括分词、词性标注、情感分析、文本转换（简繁转换）等。这个库的核心优势在于对中文文本的处理能力，尤其是情感分析功能。
阡之尘埃·2024-01-04 06:30

65自然语言处理底层技术实现及应用--基于字典的中文分词方法

基于字典的中文分词方法中文分词介绍中文分词就是将一个汉语句子中的词切分出来。为机器翻译、文本挖掘、情感分析等任务打好基础。你可能会好奇，为什么一定要先进行分词呢？
Jachin111·2024-01-03 23:02

【NLP】词向量 笔记

目的：记录自己感觉经常忘的部分、和理解不深的知识点Skip-Gram【参考：Skip-Gram模型_skipgram模型_Irelia.的博客-CSDN博客】注意数据构建方式先把句子分词转成onehot
myaijarvis·2024-01-03 23:00

188.【2023年华为OD机试真题（C卷）】中文分词模拟器（字典树动态规划算法—Java&Python&C++&JS实现）

文章目录188.【2023年华为OD机试真题（C卷）】中文分词模拟器（字典树动态规划算法—Java&Python&C++&JS实现）
一见已难忘·2024-01-03 19:35

中文分词算法及python代码实现（持续更新中）

文章目录1.机械分词算法1.1.正向最大匹配算法1.2.逆向最大匹配算法参考链接：https://blog.csdn.net/lcwdzl/article/details/78493637https:/
lankuohsing·2024-01-03 18:34

ElasticSearch常用的分词器

本文来说下有关ElasticSearch分词器的几个问题文章目录概述什么是Analysis分词器的组成AnalyzerAPIES分词器StamdardAnalyzerSimpleAnalyzerWhitespaceAnalyzerStopAnalyzerKeywordAnalyzerPatternAnalyzerLanguageAnalyzer
wh柒八九·2024-01-03 16:51

docker环境下ES启动及IK分词器启动命令记录

dockerrun--nameelasticsearch-p9200:9200-p9300:9300-e"discovery.type=single-node"-eES_JAVA_OPTS="-Xms64m-Xmx512m"-v/gdc/app/es/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml
cai_code·2024-01-03 08:35

Stable Diffusion模型概述

5.条件设定5.1文本条件（从文本到图像）5.2分词器5.3嵌入5.
T1.Faker·2024-01-03 08:10

安装elasticsearch、kibana、IK分词器、扩展IK词典

安装elasticsearch、kibana、IK分词器、扩展IK词典后面还会安装kibana，这个会提供可视化界面方面学习。需要注意的是elasticsearch和kibana版本一定要一样！！！
Bunny0212·2024-01-03 07:18

28、商城系统（十）：ElasticSearch的映射，nginx下载安装，es分词器，springboot整合es

目录一、Mapping映射1.es7删除类型2.es给字段设置字段类型，即映射（1）创建映射
鹏哥哥啊Aaaa·2024-01-03 07:12

Vary: Scaling up the Vision Vocabulary for Large Vision-Language Models

然而，对于一些需要密集和细粒度视觉感知的特殊视觉任务，例如文档级OCR或图表理解，尤其是在非英语环境中，CLIP风格的词汇可能在分词视觉知识方面效率较低，甚至遇到词汇表外问题。
Vicky__3021·2024-01-03 06:12

【NLP论文】02 TF-IDF 关键词权值计算

之前写了一篇关于关键词词库构建的文章，没想到反响还不错，最近有空把接下来的两篇补完，也继续使用物流关键词词库举例，本篇文章承接关键词词库构建并以其为基础，将计算各关键词的TF-IDF权值，TF-IDF权值主要用于表达各关键词的重要程度
尹煜·2024-01-03 05:26

Springboot+Elasticsearch+IK分词器实现全文检索（2）

Springboot+Elasticsearch+IK分词器实现全文检索（2）logstash实时同步数据到Elasticsearch中logstash下载地址[\[https://blog.csdn.net
ZXZ程序猿1024·2024-01-03 04:01

2022-02-21：NlP处理基本思路

2.语料的预处理2.1语料清洗：人工去重，对齐，标注或者规则提取内容，根据词性和命名实体提取2.2分词：将文本分成词语。
AllTimeStudy·2024-01-03 00:07

java 开源中文的繁简体转换工具 opencc4j-01-overview

拓展阅读pinyin汉字转拼音pinyin2hanzi拼音转汉字segment高性能中文分词opencc4j中文繁简体转换nlp-hanzi-similar汉字相似度word-checker拼写检测sensitive-word
老马啸西风·2024-01-02 23:55

命名实体识别综述

先贴一篇别人的文章，下面的内容主要是借鉴别人的文章，然后加一点自己各方面的理解NER调研报告NER的工作主要分成两个步骤：1.识别出实体的边界对于给定的某句话，识别出其中每个实体的start和end的位置，即分词
小小程序员一枚·2024-01-02 20:35

不定式——非谓语动词之第一讲

非谓语动词包括不定式、现在分词、过去分词和动名词。非谓语动词在句子中，一般相当于形容词、副词或动名词的作用，虽然仍有动词概念但不能直接充当谓语。接下来，本文就从不定式开始一一介绍。
大雨时行·2024-01-02 20:26

自然语言处理之snownlp

snownlp是一个很方便的自然语言处理库1、安装方式：pipinstallsnownlp2、常见用法包括分词、词性标注、断句、情感分析、转化为拼音、转化为繁体、关键字抽取、概括总结、TFIDF词频分析
蓝天0809·2024-01-02 15:07

snownlp库各功能及用法

目录1中文分词2词性标注3情感分数4转换拼音5前n个关键词6前n个关键(中心)句7TF值8IDF值9繁简体转换首先导入库fromsnownlpimportSnowNLPs=SnowNLP('字太小,而且纸张也不好
爱吃修狗的菜包·2024-01-02 15:06

ElasticSearch7.6.2 JavaAPI创建索引并设置IK分词

文章目录1、ElasticSearch配置类2、创建测试类3、IK分词器两种分词模式ik_max_wordik_smart4、查看效果1、ElasticSearch配置类RestHighLevelClient.java
鬼客·2024-01-02 13:00

三国演义人名统计及可视化

1.人名统计首先，三国演义.txt需要各位自行下载，然后我们需要导入jieba(结巴)库，在后续完成代码的过程中我们需要使用jieba来帮我们自动分词然后是对于一些不需要分词的词语我们需要剔除：1.单字成词的我们不需要
在远方的眺望·2024-01-02 11:53

八步理清现在完成时，又一语法“so easy”!

二、时态构成助动词have/has+过去分词三、时态句型肯定句:主语+have/has+过去分词+其它否定句:主语+have/has+no
勤勤01·2024-01-02 02:11

Elasticsearch安装教程包含IK分词器、head插件安装

一、Elasticsearch安装1.安装环境准备Linux、elasticsearch-6.4.3.tar.gz、SecureCRTSecureFX_HH_x64_7.0.0.326、elasticsearch-analysis-ik-6.4.3.zip2.文件上传将es安装文件elasticsearch-6.4.3.tar.gz通过SecureCRTSecureFX_HH_x64_7.0.0.
LLYYYYSS·2024-01-01 22:29

Elasticsearch安装配置启动，kibana、head插件安装，中文分词ik、拼音分词安装

Elasticsearch安装1、下载ESwgethttps://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.5.2.tar.gz或者在windows下载好，放到服务器上tar-xvfelasticsearch-5.5.2.tar.gz注意版本：5.5.2注意：需要jdk1.8+2、修改配置修改conifig/elast
Z_城南花已开·2024-01-01 22:59
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他