中科院分词

NLP学习（二）—中文分词技术

本次代码的环境：运行平台：WindowsPython版本：Python3.xIDE：PyCharm一、前言这篇内容主要是讲解的中文分词，词是一个完整语义的最小单位。
陈易德·2024-02-09 02:19

NLP词典切分算法

目录一、词典的加载二、切分算法2.1完全切分2.2正向最长匹配2.3逆向最长匹配2.4双向最长匹配3.速度测评词的定义在语言学上，词语的定义是具备独立意义的最小单位在基于词典的中文分词中，词典中的字符串就是词词的性质一
卡拉比丘流形·2024-02-09 02:19

python使用nltk进行中文语料库的词频分布统计

本文就以大秦帝国第一部小说为例进行实验本文可以使用在毕业设计中，如果有帮助采用请点赞关注下呗，欢迎大家交流技术，也可以私聊毕设题目交流解决方法构建语料库因为我们要处理的语言是中文，部分方法NLTK是针对英文语料的，中文语料不通用（典型的就是分词
Love _YourSelf_CS·2024-02-09 02:19

使用NLTK进行自然语言处理：英文和中文示例

1.分词（Tokenization）分词是将文本拆分为单词或子句的过程。NLTK提供了适用于英文和中文的分词工具。英文分词示例：importnltkfromnltk.to
茫茫人海一粒沙·2024-02-09 02:19

Python 词云 【中/英】小白简单入门教程

1.分析构建词云需要具备：原料即文章等内容将内容进行分词将分词后的内容利用构建词云的工具进行构建保存成图片2.需要的主要模块jieba中文分词wordcloud构建词云3.模块原理wordcloud的实现原理文本预处理词频统计将高频词以图片形式进行彩色渲染
嗨学编程·2024-02-09 01:08

使用embedding实现简单的内容查找

思路通过将一个待查找文本使用分词器划分，然后使用embedding处理成张量。询问者输入问题也被处理一个张量此时进行匹配，程序将相似文本返回。在e
南子大帅哥·2024-02-08 17:09

java多线程 封装_【原创】中文分词系统 ICTCLAS2015 的JAVA封装和多线程执行（附代码）...

本文针对的问题是ICTCLAS2015的多线程分词，为了实现多线程做了简单的JAVA封装。如果有需要可以自行进一步封装其它接口。
洪文律所·2024-02-08 16:31

【NLP 自然语言处理(一)---词向量】

文章目录什么是NLP自然语言处理发展历程自然语言处理模型模型能识别单词的方法词向量分词一个向量vector表示一个词词向量的表示-one-hot多维词嵌入wordembeding词向量的训练方法CBOWSkip-gram
y_dd·2024-02-08 09:56

2021最新版 ElasticSearch 7.6.1 教程详解 爬虫jsoup+es模拟京东搜索（狂神说）

和Solr的区别5.了解ELK二、软件安装1.ElasticSearch2.ElasticSearchHead3.Kibana三、ElasticSearch使用详解1.ES核心概念文档索引倒排索引ik分词器
Super_Song_·2024-02-07 22:10

【自然语言处理-工具篇】spaCy＜1＞--介绍及安装指南

它提供了许多功能，包括分词、词性标注
大表哥汽车人·2024-02-07 19:50

java SpringBoot2.7整合Elasticsearch(ES)7 进行文档增删查改

首先我们在ES中加一个books索引且带有IK分词器的索引首先pom.xml导入依赖org.springframework.bootspring-boot-starter-data-elasticsearchapplication
瑞晟技术服务中心-耿瑞·2024-02-07 17:51

用Py做文本分析3：制作词云图

1.词频统计在词频统计之前，需要先完成分词工作。因为词频统计是基于分词后所构建的list进行的。
凡有言说·2024-02-07 16:19

分词算法HMM隐马尔可夫模型

前言在网上看了很多关于马尔可夫模型的资料，有很多文章写得不错，在此记录自己学习过程中的笔记一HMM隐马尔可夫模型隐马尔可夫模型(HiddenMarkovModel,HMM)是关于时序的概率模型，描述由一个隐藏的马尔可夫链随机生成不可观测的状态随机序列，再由各个状态生成一个观测而产生观测随机序列的过程。隐藏的马尔可夫链随机生成的状态的序列，称为状态序列；每个状态生成一个观测，而由此产生的观测的随机序
曾飞廉·2024-02-07 15:24

【代码分享】基于RIME-CNN-LSTM-Attention（霜冰算法优化卷积神经网络融合注意力机制）的时间序列回归预测

程序名称：基于RIME-CNN-LSTM-Attention（霜冰算法优化卷积神经网络融合注意力机制）的多变量回归预测实现平台：matlab代码简介：霜冰优化算法（RIME）是一项2023年发表于SCI、中科院二区
电力系统爱好者·2024-02-07 11:39

Elasticsearch（三）

他们的任务是在分词前整理字符串。一个字符过滤器可以用来去掉HTML，或者将&转化成and。分词器：其次，字符串被分词器分为单个的词条。一个简单的分词器遇到空格和标点的
蒋一清·2024-02-07 09:45

科研人员集体离职的背后：人才该怎样被对待

近日有一则消息引起了清风君的好奇：合肥物质科学研究院所属研究单元，有90人集体离职，中科院党组已经派出调查组展开调查。有人说，这90个人是被挖走的。但负责人却说，走的这批人是保安。
北杨清风·2024-02-07 08:13

simhash去重算法实践

自己实践simhash算法的几点经验：１数据已处理，正则表达式去除各种转义符号２将文本中的数字和字母等去除３分词后去除停顿词步骤，１文本预处理代码步骤1jieba分词获取features2hash函数计算
想努力的人·2024-02-07 08:37

Task04 编写BERT模型

1BertTokenizer（Tokenization分词）组成结构：BasicTokenizer和WordPieceTokenizerBasicTokenizer主要作用：按标点、空格分割句子，对于中文字符
def1037aab9e·2024-02-07 06:46

华为OD机试真题C卷-篇2

文章目录启动多任务排序有效子字符串最长子字符串的长度最长子字符串的长度（二）两个字符串间的最短路径问题生成Huffman树可以处理的最大任务中文分词模拟器手机App防沉迷系统根据IP查找城市文件缓存系统寻找最优的路测线路
laufing·2024-02-07 06:50

我，28岁，一无所有

近日，中科院博士论文的致谢部分引起大家热议，不由得让人思考人生的意义。图片来源于网络黄博士的这句话很触动我，“人后的苦尚且还能克服，人前的尊严却无比脆弱。”
略略略_4d84·2024-02-07 06:15

elasticsearch使用ik中文分词器

一、背景es自带了一堆的分词器，比如standard、whitespace、language(比如english)等分词器，但是都对中文分词的效果不太好，此处安装第三方分词器ik，来实现分词。
huan1993·2024-02-07 05:31

D7 Elasticsearch-Mongodb（搜索记录）

知识库链接：D7elasticsearch-Mongodb（搜索记录）·语雀引入elasticsearch，是为了更高效率的搜索（模糊搜索，关键字搜索等）可以实现语句分词操作。
南城余coding·2024-02-07 02:16

随身的无价之宝——《父母的语言》

五年前，我做了一个决定——报名研修中科院心理所儿童发展与教育心理学，通过学习我愈发深刻地意识到为人父母是需要学习的，生孩子只是第一步，如何引导和教育孩子才是最为关键的。
娜子木·2024-02-07 00:15

ChinaXiv：中科院科技论文预发布平台

文章目录Main彩蛋Main主页：https://chinaxiv.org/home.htm彩蛋
猛码Memmat·2024-02-07 00:34

中科院文献情报中心正式发布《国际期刊预警名单（试行）》，你怎么看

老编首先说两句评价的依据（期刊载文量、作者国际化程度、拒稿率、论文处理费（APC）、期刊超越指数、自引率、撤稿信息等）过于粗糙，从某种程度上来说，可能还不如某些单位自己制定的名单目录（这里讲的主要是生物医学方面的哈！其他领域的我不了解...）。文章发的多少、国际化程度这两个指标所占的权重不知道是多少，个人感觉很不适合作为评价的参数。还有就是，时间因素得考虑进来，像PloSOne这类期刊，以前或许确
唯问生物·2024-02-06 20:55

elk之倒排索引

1：正排索引和倒排索引正排索引就是通过文档id找文档内容，而倒排索引就是通过文档内容找文档id，如下图：2：倒排索引原理假定我们有如下的数据：为了建立倒排索引，我们需要先对文档进行分词，如下：分词后每一个词有一个专门的名词来表示
一户董·2024-02-06 20:32

【语音合成】中文-多情感领域-16k-多发音人

前端包含文本正则、分词、多音字预测、文本转音素和韵律预测等模块，它的功能是把输入文本进行解析，获得音素、音调、停顿和位置等语言学特征。后端包含时长模型、声学模型和声码器，它
太空眼睛·2024-02-06 16:36

你愿意给孩子加分吗？

壹姐：尹建莉父母学堂金牌辅导员，中科院心理研究所儿童早期教育指导师我有两个慢热的小孩来自尹建莉父母学堂00:0029:26点上方绿标即可收听主播夏木黄鹂朗读音频音乐：TillBrönner-InMySecretLife
爱的践行者·2024-02-06 13:05

[自然语言处理|NLP] 文本分类与情感分析，数据预处理流程，包括了同义词替换和拼写纠正，以及使用NLTK库和TextBlob库进行标记化和情感分析（附代码）

以下是常用的NLP技术和原理，以及它们的使用场景的介绍：分词（Tokenization）：分词是
代码讲故事·2024-02-06 12:30

NLP_Bag-Of-Words(词袋模型)

文章目录词袋模型用词袋模型计算文本相似度1.构建实验语料库2.给句子分词3.创建词汇表4.生成词袋表示5.计算余弦相似度6.可视化余弦相似度词袋模型小结词袋模型词袋模型是一种简单的文本表示方法，也是自然语言处理的一个经典模型
you_are_my_sunshine*·2024-02-06 10:48

ubuntu安装JDK11

需求背景：因为ES7的启动和安装分词组件时都需要使用java11，启动的时候我改成了jdk1.7后，能正常启动，但是使用分词插件的时候，却不行了，干脆安装java11好了。
veminhe·2024-02-06 07:56

pkuseg按照用户自定义词典分词错误修正

importpkusegc=pkuseg.pkuseg(user_dict="./data/dict.txt")sentence='数字传播实验班'print(c.cut(sentence))字典中包含“”数字传媒与人文学院"，添加自定义词典后，文本被错误分成““数字传播实验班”，debug发现solve方法有bugGPT4分析：修改后的方法：defsolve(self,txt):outlst=[
回到工作狂状态·2024-02-06 07:52

OCR文本纠错思路

文字错误类别：多字少字形近字当前方案文本纠错思路简单：一、构建自定义词典，提高分词正确率。不在词典中，也不是停用词，分成单字的数据极有可能是错字（少部分可能是新词）。
回到工作狂状态·2024-02-06 07:48

ES核心干货学习（原理及数据结构）

2.需要进行分词检索，语义检索3.需要大数据分析符合上面特征都可以考虑，如日志收集、订单数据链查询，文章检索等。1.3为啥选
li644872790·2024-02-06 07:23

Opencc4j 开源中文繁简体使用介绍

支持自定义分词支持判断单个字（词）是否为简体/繁体支持返回字符串中简体/繁体的列表信息支持中国台湾地
老马啸西风·2024-02-06 06:02

SPSSAU上线文本分析啦|“尔滨”旅游攻略文本分析

二、文本分析常见研究步骤文本分析的常见步骤有五步，包括数据搜集、分词、数据清洗、特征提取以及建模和
spssau·2024-02-06 06:55

基于BiLSTM-CRF模型的分词、词性标注、信息抽取任务的详解，侧重模型推导细化以及LAC分词实践

基于BiLSTM-CRF模型的分词、词性标注、信息抽取任务的详解，侧重模型推导细化以及LAC分词实践1.GRU简介GRU（GateRecurrentUnit）门控循环单元，是[循环神经网络]（RNN）的变种种
汀、人工智能·2024-02-06 06:51

ElasticSearch 8.x 使用 High Level Client 以 HTTPS 方式链接，SSL 证书、主机名验证器 各是什么，如何忽略

ElasticSearch学习随笔之javaapi操作4、ElasticSearch学习随笔之SpringBootStarter操作5、ElasticSearch学习随笔之嵌套操作6、ElasticSearch学习随笔之分词算法
YPhen·2024-02-06 06:06

python显示词云

'zaa.txt'f=io.open(filepath,'r',encoding='utf-8')t=f.read()#读取文件内容f.close()#关闭io流ls=jieba.lcut(t)#获取分词后的列表
计西·2024-02-06 02:24

#每天一本书+一页笔记# 1181《变量2》

#一生一万本计划#10000/1181【阅读日期】20210610【书名】变量2【作者】何帆【关键词】中国经济的基本盘【分类】观点【简评】作者是经济学者，教授，曾任职于中科院、北大、上海交大，拥有20多年政策研究和市场咨询经验
May终身阅读者·2024-02-06 01:18

功勋科学家——潘建伟

潘建伟，46岁，物理学家，中科院院士。2016年8月16日，由我国科学家自主研制的世界首颗量子科学实验卫星“墨子号”在酒泉卫星发射中心成功发射，它将在世界上首次实现卫星和地面之间的量子通信。
黄大年·2024-02-05 19:02

TF-IDF入门与实例

我们对文档分析的时候，通常需要提取关键词，中文分词可以使用jieba分词，英文通过空格和特殊字符分割即可。那么分割之后是不是出现频率越高这些词就能越好代表这篇文章描述的内容呢？
lawenliu·2024-02-05 17:50

什么是网络数据抓取？有什么好用的数据抓取工具？

目前网络数据抓取采用的技术主要是对垂直搜索引擎（指针对某一个行业的专业搜索引擎）的网络爬虫（或数据采集机器人）、分词系统、任务与索引系统等技术的综合运用。
vx_15083607332·2024-02-05 16:20

赘婿词云图制作

数据准备赘婿小说txt停用词表一张赘婿相关背景图制作流程读取小说文本利用jieba库对文本进行分词设置停用词表利用wordcloud库制作词云图代码根据上面的流程，编写代码。
罗罗攀·2024-02-05 16:35

什么是网络数据抓取？有什么好用的数据抓取工具？

目前网络数据抓取采用的技术主要是对垂直搜索引擎（指针对某一个行业的专业搜索引擎）的网络爬虫（或数据采集机器人）、分词系统、任务与索引系统等技术的综合运用。
Miya(QQ3088716563)·2024-02-05 14:57

探索未知世界

12岁进入中科院。等等。。。。。。刘光除了对科学热爱同时也是一个有高度爱国情节的人。每每看到国家受到不公平对待他都恨自己为国家做的还不够多。他虽拥有光速运输机技术。但他始终害怕不肯把它用在军事上
二片叶子·2024-02-05 12:32

给娃精挑细选的新年礼物：这十本书，好妈妈都收藏啦

有朋友说，元旦来了，新年快到了，可是不知道为娃买啥，那就推荐几本书，综合了清华、北大、人大、中科院等院校部分毕业父母的选择。一起来看看吧。
若水时光·2024-02-05 12:12

python词频统计并生成词云

.1.看效果image.png2.看代码github地址：StatWordOfPoem步骤：1.协程爬取诗词网站获取诗词内容2.分词3.生成词云4.用法eg:pythonmain.py苏轼main.py
10xjzheng·2024-02-05 09:29

【2023华为OD-C卷-第三题-中文分词模拟器】100%通过率（JavaScript&Java&Python&C++）

OJ权限获取可以在购买专栏后访问网站：首页-CodeFun2000题目描述给定一个连续不包含空格的字符串，该字符串仅包含英文小写字母及英文标点符号(逗号、分号、句号)，同时给定词库，对该字符串进行精确分词
塔子哥学算法·2024-02-05 09:00

自然语言处理从零到入门 分词

自然语言处理从零到入门分词–Tokenization一、什么是分词？二、为什么要分词？
BlackStar_L·2024-02-05 09:24
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他