NLP入门笔记第7页

用python进行自然语言处理_用 Python 和 Stanford CoreNLP 进行中文自然语言处理

实验环境：Windows7/Python3.6.1/CoreNLP3.7.0一、下载CoreNLP二、安装stanzastanza是StanfordCoreNLP官方最新开发的Python接口。

weixin_39636696·2024-02-09 02:20

NLP学习笔记(十) 分词(下)

大家好，我是半虹，这篇文章来讲分词算法1概述所谓分词就是将文本段落分解成基本语言单位，这里的基本单位也可以称为词元在上篇文章，我们主要从分词过程的角度出发，介绍了一些不同类型的分词算法而本篇文章，我们将要从分词结果的角度出发，来介绍一些不同粒度的分词算法2按粒度划分分词算法按照粒度可以分为以下三类：词粒度、字粒度、子词粒度，下面会逐一进行讨论2.1词粒度基于词粒度的分词是最为直观的分词，这与人类理

半虹·2024-02-09 02:20

NLP学习（二）—中文分词技术

本次代码的环境：运行平台：WindowsPython版本：Python3.xIDE：PyCharm一、前言这篇内容主要是讲解的中文分词，词是一个完整语义的最小单位。分词技术是词性标注、命名实体识别、关键词提取等技术的基础。本篇博文会主要介绍基于规则的分词、基于统计的分词、jieba库等内容。一直在说中文分词，那中文分词和欧语系的分词有什么不同或者说是难点的呢？主要难点在于汉语结构与印欧体系语种差异

陈易德·2024-02-09 02:19

NLP词典切分算法

完全切分2.2正向最长匹配2.3逆向最长匹配2.4双向最长匹配3.速度测评词的定义在语言学上，词语的定义是具备独立意义的最小单位在基于词典的中文分词中，词典中的字符串就是词词的性质一、词典的加载加载HanLP

卡拉比丘流形·2024-02-09 02:19

EMNLP 2023精选：Text-to-SQL任务的前沿进展（下篇）——Findings论文解读

导语本文记录了今年的自然语言处理国际顶级会议EMNLP2023中接收的所有与Text-to-SQL相关（通过搜索标题关键词查找得到，可能不全）的论文，共计12篇，包含5篇正会论文和7篇Findings论文

Q同学的nlp笔记·2024-02-09 01:58

LLM少样本示例的上下文学习在Text-to-SQL任务中的探索

会议：EMNLP2023Findings标题：EnhancingFew-shotText-to-SQLCa

Q同学的nlp笔记·2024-02-09 01:56

使用embedding实现简单的内容查找

embedding在深度学习中通常用于NLP（自然语言处理）。其作用是将文本处理成一个张量。思路通过将一个待查找文本使用分词器划分，然后使用embedding处理成张量。

南子大帅哥·2024-02-08 17:09

java多线程封装_【原创】中文分词系统 ICTCLAS2015 的JAVA封装和多线程执行（附代码）...

首先ICTCLAS2015的传送门(http://ictclas.nlpir.org/)，其对中文分词做的比较透彻，而且有一定的可调式性。

洪文律所·2024-02-08 16:31

感恩日记第126天20190330

有人问我在学什么，我说在学NLP，然后大概讲了一下，我发现我自己对NL

屈玉华·2024-02-08 12:47

无法坚持写作的本质问题？就是因为你的价值观出了问题

NLP的解释是这样的。（NLP是专业术语，不懂可以百度一下）价值是事情的意义和一个人能够在事情里得到的好处。在这件事情里什么最

阿斌传媒工作室·2024-02-08 12:17

自然语言处理（NLP）——使用Rasa创建聊天机器人

1基本概念1.1自然语言处理的分类IR-BOT：检索型问答系统Task-bot：任务型对话系统Chitchat-bot:闲聊系统1.2任务型对话Task-Bot:task-orientedbot这张图展示了一个语音对话系统（或聊天机器人）的基本组成部分和它们之间的工作流程。这个系统可以接受语音信号作为输入，输出文本响应，并且它包括以下几个主要部分：1.2.1自动语音识别（ASR）这个部分的任务是将

思诺学长·2024-02-08 11:46

Task02 消息传递图神经网络

参考链接：https://github.com/datawhalechina/team-learning-nlp/blob/master/GNN/Markdown%E7%89%88%E6%9C%AC/4

沫2021·2024-02-08 11:04

CV大（混合）模型之GLIP代码，原理解析

众所周知，随着NLP类的大模型问世，以chatgpt为代表，后续各大大厂相继出现自己的大模型，如百度的“文心一言”，华为的“盘古”，科大讯飞的“星火”，阿里的“通义千问”，商汤的“日日新”等，同样在CV

ywyErwin·2024-02-08 11:35

【NLP冲吖~】二、隐马尔可夫模型（Hidden Markov model, HMM）

0、马尔可夫模型某一状态只由前一个状态决定，即为一阶马尔可夫模型；状态间的转移依赖于前n个状态的过程，即为n阶马尔可夫模型马尔科夫链：如果St+1S_{t+1}St+1只依赖于前一时刻StS_tSt，不依赖于S1,...,St−1S_1,...,S_{t-1}S1,...,St−1，则称S1,S2,...,ST,...{S_1,S_2,...,S_T,...}S1,S2,...,ST,...为马尔

漂泊老猫·2024-02-08 11:33

自然语言处理(NLP)-第三方库(工具包)：Faiss【向量最邻近检索工具】【为稠密向量提供高效相似度搜索】【多种索引构建方式，可根据硬件资源、数据量选择合适方式】【支持十亿级别向量的搜索】

一、Faiss介绍Faiss是FacebookAI团队开源的针对聚类和相似性搜索库，为稠密向量提供高效相似度搜索和聚类，支持十亿级别向量的搜索，是目前最为成熟的近似近邻搜索库。它包含多种搜索任意大小向量集（备注：向量集大小由RAM内存决定）的算法，以及用于算法评估和参数调整的支持代码。Faiss用C++编写，并提供与Numpy完美衔接的Python接口。除此以外，对一些核心算法提供了GPU实现。相

u013250861·2024-02-08 10:07

【NLP 自然语言处理(一)---词向量】

文章目录什么是NLP自然语言处理发展历程自然语言处理模型模型能识别单词的方法词向量分词一个向量vector表示一个词词向量的表示-one-hot多维词嵌入wordembeding词向量的训练方法CBOWSkip-gram

y_dd·2024-02-08 09:56

NLP_“预训练+微调大模型”模式和Prompt/Instruct模式的异同

NLP应用人员可以根据自己的需要，对模型的头部或者部分参数进行适应性的调整，这通常涉及在相对较小的有标注数据集上进行有监督学习，让模型适应特定任务的需求。这就

you_are_my_sunshine*·2024-02-08 09:54

NLP_Seq2Seq编码器-解码器架构

定义编码器和解码器类4.定义Seq2Seq架构5.训练Seq2Seq架构6.测试Seq2Seq架构归纳Seq2Seq编码器-解码器架构小结Seq2Seq架构起初，人们尝试使用一个独立的RNN来解决这种序列到序列的NLP

you_are_my_sunshine*·2024-02-08 09:53

探索NLP中的N-grams：理解，应用与优化

简介n-gram[1]是文本文档中n个连续项目的集合，其中可能包括单词、数字、符号和标点符号。N-gram模型在许多与单词序列相关的文本分析应用中非常有用，例如情感分析、文本分类和文本生成。N-gram建模是用于将文本从非结构化格式转换为结构化格式的众多技术之一。n-gram的替代方法是词嵌入技术，例如word2vec。N-grams广泛用于文本挖掘和自然语言处理任务。示例通过计算每个唯一的n元语

冷冻工厂·2024-02-08 09:23

自然语言NLP

什么是NLPNLP（NaturalLanguageProcessing）是自然语言处理的缩写，是计算机科学和人工智能领域的一个研究方向。NLP致力于使计算机能够理解、处理和生成人类自然语言的能力。

Flying_Fish_roe·2024-02-08 09:50

详解各种LLM系列｜LLaMA 1 模型架构、预训练、部署优化特点总结

作者|Sunnyyyyy整理|NewBeeNLPhttps://zhuanlan.zhihu.com/p/668698204后台留言『交流』，加入NewBee讨论组LLaMA是Meta在2023年2月发布的一系列从

kaiyuan_sjtu·2024-02-08 07:29

【最大似然估计】详解概率论之最大似然估计

个人主页：有梦想的程序星空个人介绍：小编是人工智能领域硕士，全栈工程师，深耕Flask后端开发、数据挖掘、NLP、Android开发、自动化等领域，有较丰富的软件系统、人工智能算法服务的研究和开发经验。

程序遇上智能星空·2024-02-08 05:22

Pytorch学习记录-GEC语法纠错

理论方面的论文也都是英文的，国内这块做的真的不行啊……学习计划GEC概念AlibabaatIJCNLP-2017Task1:EmbeddingGrammaticalFeaturesintoL

我的昵称违规了·2024-02-08 05:49

lua入门笔记2 深入函数深入函数迭代器与泛型for 编译、协同程序(coroutine)执行与错误

这一篇章的内容深入函数迭代器与泛型for编译、执行与错误协同程序(coroutine)1.深入函数基础知识Lua中，函数是第一类值,和所有其他值一样都是匿名的，即他们都没有名称。当讨论一个函数名时（例如print）实际上是讨论持有某个函数的变量第一类值：表示Lua中函数与其他传统类型的值（数字、字符串）具有相同的权利。函数可以存储到变量中（无论是全局变量还是局部变量）或table中，可以作为实参传

Charon_ted·2024-02-08 05:00

2021-7-31晨间日记

今天是什么日子起床：7：00就寝：天气：晴朗，有云心情：平静纪念日：叫我起床的不是闹钟是梦想年度目标及关键点：练就心理咨询师的硬本领本月重要成果：熟练10个nlp练习技能今日三只青蛙/番茄钟成功日志-记录三五件有收获的事务财务检视花了

快乐悦读·2024-02-08 03:50

【前沿技术杂谈：深度学习新纪元】探索人工智能领域的革命性进展

探索人工智能领域的革命性进展深度学习的进展深度学习的基本原理和算法深度学习的历史发展神经网络的基本构成神经元层次结构激活函数关键技术和算法反向传播算法卷积神经网络（CNN）循环神经网络（RNN）长短期记忆网络（LSTM）实际应用案例图像识别语音到文本转换自然语言处理深度学习的应用实例自然语言处理（NLP

jcfszxc·2024-02-08 02:48

我把整个秋招 NLP 算法岗的面经都在这里分享了！

年底了，最近技术群组织了一次AI算法岗面试讨论会，今天分享一位特别棒的同学，把整个秋招的NLP算法岗面经面试经历都共享了出来。如果你想加入我们的讨论群，见文末。

Python算法实战·2024-02-08 01:29

如何培养孩子的良好习惯？听听专家来给你支招

同时也是“袋鼠想学首席讲师”以及“NLP亲子导师”、“萨提亚家庭治疗师”、“家庭系统排列治疗师”、“国家二级心理咨询师”、“四川卫视专访家庭教育专家”.......讲座还未正式开始，广大家长陆续来到活动现场

袋鼠想学·2024-02-08 00:05

三种内感官之我是感觉型

NLP很不喜欢把人定型，因而我们会通过很多的途径来判断这个人，到底是属于哪个内感官的人。恰恰相反的是

幸福中昀人·2024-02-07 22:51

Markdown入门笔记

hellomarkdown是一个重量级的标记语言我们一般用来写文档，这样来帮助我们更好的展示效果我是一级标题我是二级标题一级标题二级标题三级标题四级标题五级标题六级标题斜体文字斜体文字使用两个**星号两个下划线表示粗体粗体文字粗体文字使用三个***星号两个下划线表示粗斜体文字粗斜体文字粗斜体文字分割线：删除线用左右~~来表示删除线下划线无序列表可以使用-+*三种方法前端开发的技能htmlcssjs

星魂1·2024-02-07 21:10

R语言入门笔记2.3

for循环for循环用于多次执行相似的代码。其基本语法如下：for(variableinsequence){#在每次迭代中执行的代码}其中：variable是一个变量，用于在每次迭代中存储序列中的当前元素。sequence是一个向量，可以是数字序列、字符序列或其他可迭代对象。在每次迭代中，variable会依次取sequence中的每个元素的值，然后执行for循环中的代码块。例1：>n=c(1,2

Mrji1995·2024-02-07 19:04

R语言入门笔记2.2

ifelse语句结构：ifelse(条件,表达式1,表达式2)#满足条件，则进入表达式1，否则为表达式2例1：>a=1>ifelse(a<0,"a小于0",ifelse(a==0,0,"a大于0"))[1]"a大于0"a=1-这行代码给变量a赋值为1。ifelse(a<0,"a小于0",ifelse(a==0,0,"a大于0"))-这是一个嵌套的ifelse语句。它的结构是ifelse(condi

Mrji1995·2024-02-07 19:03

自然语言处理中的embeddings

1.背景自2010年代初以来，嵌入一直是自然语言处理（NLP）的主流热词之一。将信息编码成低维向量表示，在现代机器学习算法中很容易集成，这在NLP的发展中起到了核心作用。

一个好梦·2024-02-07 19:21

HanziNLP 软件包介绍-中文自然语言处理，建模和可视化

HanziNLP一个用户友好且易于使用的自然语言处理包，专为中文文本分析、建模和可视化而设计。HanziNLP中的所有功能都支持中文文本，并且非常适用于中文文本分析！

miracles_S·2024-02-07 19:20

NLP中的嵌入和距离度量

NLP中的嵌入嵌入是连续向量空间中对象、单词或实体的数值表示。在NLP中，词嵌入捕获词之间的语义关系，使算法能够更好地理解文本的上下文和含义。

deephub·2024-02-07 19:50

NLP自然语言处理实战(三):词频背后的语义--5.距离和相似度&反馈及改进

特征向量（词向量、主题向量、文档上下文向量等）之间的距离驱动着NLP流水线或任何机器学

Nobitaxi·2024-02-07 19:50

以《好好思考》为起点，思考逻辑六层次模型的组合运用（14）

逻辑层次模型的组合运用逻辑层次模型的百度百科解释：在NLP中环境、行为、能力称为低三层，这是我们可以意识到的层次，而信念/价值观、身份、精神（系统）称为高三层，这在我们日常生活中需细心分析才有可能被发现

青蓝zz·2024-02-07 18:14

NLP分享：“以前的我，就像和世界隔了一堵墙”

心理学传播者·2024-02-07 15:01

2019-10-21

今天我参加的番禺分公司NLP入门班的助教。早上5点半起床，把所有的准备工作搞好，来到分公司是8点10分。

71a102e45a81·2024-02-07 14:51

NLP_神经概率语言模型(NPLM)

文章目录NPLM的起源NPLM的实现1.构建实验语料库2.生成NPLM训练数据3.定义NPLM4.实例化NPLM5.训练NPLM6.用NPLM预测新词NPLM小结NPLM的起源在NPLM之前，传统的语言模型主要依赖于最基本的N-Gram技术，通过统计词汇的共现频率来计算词汇组合的概率。然而，这种方法在处理稀疏数据和长距离依剌时遇到了困难。NPLM是一种将词汇映射到连续向量空间的方法，其核心思想是利

you_are_my_sunshine*·2024-02-07 13:20

深度 | 从各种注意力机制窥探深度学习在NLP中的神威

机器之心也介绍过基于循环与卷积的序列建模方法，而近日一篇综述文章进一步介绍了NLP中各种深度技术。由

机器学习算法那些事·2024-02-07 12:18

阅读法-书籍分类

刻意练习——思想类——书评4.像Ted一样演讲—思想——导图5.自控力——思想——导图6.瞬变——思想——关键句7.慢思考——思想——关键句8.执行力——规则——关键句9.时间分割法——工具——关键句10.NLP

简悦健身·2024-02-07 10:32

细拆Python爬虫代码，建设自己的GPT助手！

GPT时代-数据的重要性GPT是一种自然语言处理（NLP）算法，它通过处理和分析大量文本数据来自动生成具有连贯性和逻辑性的文本。

我是雷老师·2024-02-07 08:20

学习知识记录

神经网络语言模型：ANeuralProbabilisticLanguageModel------阅读笔记_hx14301009的博客-CSDN博客2、Word2vec的skipgram模型输入是中心词和背景词NLP

想努力的人·2024-02-07 08:36

nlp学习领悟

数据理解：长句子相对于短句子，存在一个特性，长句子比短句子有更多的单词，因此长句子在保持原有的类别标签的情况，能吸收更多的噪声。

想努力的人·2024-02-07 08:05

NLP_循环神经网络(RNN)

文章目录RNN结构RNN实战RNN小结RNN结构NPLM在处理长序列时会面临一些挑战。首先，由于它仍然是基于词的模型，因此在处理稀有词汇或者词汇表外的词汇时效果不佳。其次，NPLM不能很好地处理长距离依赖关系。而上面这两个局限，恰恰就是RNN的优势。RNN的核心思想是利用“循环”的机制，将网络的输出反馈到输入，这使得它能够在处理数据时保留前面的信息，从而捕获序列中的长距离依赖关系，在处理序列数据，

you_are_my_sunshine*·2024-02-07 07:40

飞桨自然语言处理框架 paddlenlp的 trainer

飞桨（PaddlePaddle）的NLP库PaddleNLP中的Trainer类是一个用于训练和评估模型的简单但功能完整的循环。它被优化用于与PaddleNLP一起使用。

路人与大师·2024-02-07 07:37

NLP第二天学习心得

正确对待问题。以什么样心态看问题决定问题结果的取向。你是问题的受害者？还是责任者？取决于你的选择。选择不同，因果各不相同。如果把问题当问题，那你就会在问题圈中恶性循环。如果你把问题当能力，那你拥有更多的成功可能性。凡事至少三种以上解决办法。做自己人生的主人，不做受害者，主动权在自己手里，你说的算！

做更好的你2019·2024-02-07 05:36

Gumbel-Softmax简介

一、GumbelSoftmaxtrick的使用场景1.argmax简介在NLP领域的强化学习或者对抗学习中，token的生成是离散的。

大白菜～·2024-02-07 04:55

NLP自然语言处理-第一章NLP基础

第一章NLP基础在本章你将学到NLP（自然语言处理）相关的基础知识。

Viterbi·2024-02-06 21:38

推荐频道

NLP入门笔记