NLP自然语言处理

NLP自然语言处理实例——实现机器自动生成商品的推荐标题和推荐语

NLP自然语言处理实例——实现机器自动生成商品的推荐标题和推荐语一、案例目的及实现二、环境配置1、安装库时遇到的问题三、数据预处理1.移除特殊符号2.去除停用词3.文本分词jiaba四、主题词提取1.简单介绍
庭院深深深几许、·2022-12-03 05:38

NLP自然语言处理学习笔记

目录前言阶段一1.数据处理1.1数值化信息CategoricalFeatures&NumericalFeatures1.2文本处理Tokenization1.3词嵌入WordEmbedding实操案例1：对IMDB网站的电影评论（英文）进行情感分类遇到的困难1.数据读取之os模块的使用总结：前言开始基础：具备基础的编程能力，了解机器学习的基本概念，但是没有NLP领域的实践经历。目的/目标：理解NL
PURSUE BEAUTY·2022-12-02 18:50

【AI视野·今日NLP 自然语言处理论文速览 第十七期】Thu, 1 Jul 2021

AI视野·今日CS.NLP自然语言处理论文速览Thu,1Jul2021Totally28papers上期速览✈更多精彩请移步主页DailyComputationandLanguagePapersOnthePowerofSaturatedTransformers
hitrjj·2022-11-30 23:30

NLP自然语言处理—主题模型LDA案例：挖掘人民网留言板文本数据|附代码数据

全文链接：http://tecdat.cn/?p=2155随着网民规模的不断扩大，互联网不仅是传统媒体和生活方式的补充，也是民意凸显的地带。领导干部参与网络问政的制度化正在成为一种发展趋势，这种趋势与互联网发展的时代需求是分不开的（点击文末“阅读原文”获取完整代码数据）。▼人民网《地方领导留言板》是备受百姓瞩目的民生栏目,也是人民网品牌栏目,被称为“社情民意的集散地、亲民爱民的回音壁”。最近我们被
·2022-11-30 06:50

【AI】人工智能之深度学习（1）—— 入门

简介人工智能包含的东西很多，据我所了解的，主要包括以下的内容（可能不全，望指点），NLP自然语言处理引擎、DL机器学习引擎、KG知识图谱引擎、CV计算机视觉引擎、DL深度学习引擎，可能还有其他的，本人在这方面涉及的不多
比嗨皮兔·2022-11-28 04:58

day1 CV学习笔记--深度之眼

本学习笔记系深度之眼系列课程：【视频PPT+课件资料见置顶评论】前沿论文直播，CV计算机视觉，NLP自然语言处理前沿paper解读分享_哔哩哔哩_bilibili【视频PPT+课件资料见置顶评论】前沿论文直播
qq_35821503·2022-11-27 20:12

NLP自然语言处理-机器学习和自然语言处理介绍（五）

NLP自然语言处理-机器学习和自然语言处理介绍-知识抽取构建流程1.什么是知识抽取知识抽取，即从不同来源、不同结构的数据中进行知识提取，形成知识(结构化数据)存入到知识图谱。
皇儒无上·2022-11-25 23:21

AI中台的快速实现

三、功能设计AI中台具体的功能模块包括：平台管理、数据标注、特征工程、特征库、模型库、算法库、NLP自然语言处理、OCR
超级酷乐猫·2022-11-23 16:05

NLP自然语言处理学习笔记（一）（转自咕泡AI）

1深度学习的介绍目标知道什么是深度学习知道深度学习和机器学习的区别能够说出深度学习的主要应用场景知道深度学习的常见框架1.深度学习的概念深度学习（英语：deeplearning）是机器学习的分支，是一种以人工神经网络为架构，对数据进行特征学习的算法。2.机器学习和深度学习的区别2.1区别1：特征提取从特征提取的角度出发：机器学习需要有人工的特征提取的过程深度学习没有复杂的人工特征提取的过程，特征提
程哥哥吖·2022-11-23 16:14

python练习题（4）——NLP入门

前言本文已参与「新人创作礼」活动，一起开启掘金创作之路，今天更新一下NLP自然语言处理中的一些基本操作，在用python进行自然语言处理时我们可能经常用到两个库：（1）jieba;(2)gensim,jieba
臭小子222·2022-11-23 14:05

NLP自然语言处理实战(三):词频背后的语义--1.从词频到主题得分

过去的NLP实验人员发现了一种揭示词组合的意义的算法，该算法通过计算向量来表示上述词组合的意义。它被称为隐语义模型（latentsemanticanalysis，LSA）。当使用该工具时，我们不仅可以把词的意义表示为向量，还可以用向量来表示整篇文档的意义。在本章中，我们将学习这些语义或主题向量。我们将使用TF目录1.TF-IDF向量及词形归并2.主题向量3.思想实验4.一个主题评分算法5.一个LD
Nobitaxi·2022-11-23 07:45

【NLP自然语言处理】LSI/LSA原理介绍

文本挖掘中，主题模型。聚类算法关注于从样本特征的相似度方面将数据聚类。比如通过数据样本之间的欧式距离，曼哈顿距离的大小聚类等。而主题模型，顾名思义，就是对文字中隐含主题的一种建模方法。比如从“人民的名义”和“达康书记”这两个词我们很容易发现对应的文本有很大的主题相关度，但是如果通过词特征来聚类的话则很难找出，因为聚类方法不能考虑到到隐含的主题这一块。那么如何找到隐含的主题呢？主要是统计方法与非统计
CODE_WangZIli·2022-11-23 07:03

NLP自然语言处理—文本分类入门

前言NLP作为机器学习三大热门领域之一，现在的发展也是越来越完备，从2012年神经网络崛起之后，自然语言领域就迎来了春天，特别是当预训练方法横空出世之后，NLP作为最先尝到预训练甜头的先锋，可以说是如虎添翼。虽然我个人做NLP方面的东西比较少(主要是穷，设备有限，跑不动模型)，但是在结构化数据挖掘中有时候还是会遇到NLP相关的问题，比如在某些电商问题中，很多数据是文本数据，这些数据还是需要用到NL
CquptDJ·2022-11-22 04:39

NLP自然语言处理——文本分类（CNN卷积神经网络）

文本分类是NLP自然语言处理中一项基本功能，它在新闻分类、主题分类、问答匹配、意图识别、情感分类、推断等领域都有涉及。
难熬吗1884·2022-11-22 04:05

NLP自然语言处理之句法分析

1、句法分析的基本概念句法分析不是一个自然语言处理任务的最终目标，但它往往是实现最终目标的关键环节。目的：确定句子的语法结构句子中词汇之间的依存关系句法分析分为句法结构分析和依存关系分析两种。以获取整个句子的句法结构为目的的称为完全句法分析，而以获得局部成分为目的的语法分析称为局部分析，依存关系分析简称依存分析。主要任务有三种：判断输出的字符串是否属于某种语言消除输入句子中词法和结构等方面的歧义分
鞍-·2022-11-21 17:15

Python实现某站热门评论情感分析----NLP自然语言处理

文章目录前言准备工作总体思路开始动手Python爬取热门视频评论信息BaiduAI分析所得评论的情感信息Excel自动写入所有评论情感信息主函数(开始执行)运行结果Excel文件结果小结前言最近在研究自然语言处理NLP相关知识概念，学起来总是很痛苦，没有头绪，无聊。歇息片刻，便想找个有趣的项目练练手，提升下兴趣，便开始了这个小项目。准备工作一些基础申请一个百度AI开放平台的账号，并免费开通自然语言
Gaolw1102·2022-11-20 19:35

[论文素材]Background----NLP

监督NLP非监督NLP自然语言理解自然语言生成NLP的5个难点什么是NLP自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。
weixin_48474362·2022-11-19 19:30

python 小说词频统计_Python中文分词及词频统计

分词主要用于NLP自然语言处理（NaturalLanguageProcessing），使用场景有：搜索优化，关键词提取（百度指数）语义分析，智能问答系统（客服系统）非结构化文本媒体内容，如社
weixin_39650756·2022-11-19 10:44

python结巴分词去掉停用词、标点符号、虚词_NLP自然语言处理入门-- 文本预处理Pre-processing...

引言自然语言处理NLP(naturelanguageprocessing)，顾名思义，就是使用计算机对语言文字进行处理的相关技术以及应用。在对文本做数据分析时，我们一大半的时间都会花在文本预处理上，而中文和英文的预处理流程稍有不同，本文就对中、英文文本挖掘的常用的NLP的文本预处技术做一个总结。文章内容主要按下图流程讲解：1.中英文文本预处理的特点中英文的文本预处理大体流程如上图，但是还是有部分区
房东家的狗·2022-11-19 10:43

NLP自然语言处理学习笔记（十一）（转自咕泡AI）

问答机器人介绍目标知道问答机器人是什么知道问答机器人实现的逻辑1.问答机器人在前面的课程中，我们已经对问答机器人介绍过，这里的问答机器人是我们在分类之后，对特定问题进行回答的一种机器人。至于回答的问题的类型，取决于我们的语料。当前我们需要实现的问答机器人是一个回答编程语言（比如python是什么，python难么等）相关问题的机器人2.问答机器人的实现逻辑主要实现逻辑：从现有的问答对中，选择出和问
程哥哥吖·2022-11-17 20:35

NLP自然语言处理学习笔记（十二）（转自咕泡AI）

问答机器人排序模型目标知道模型中排序中的概念和目的知道模型中排序的实现方法1.排序模型的介绍前面的课程中为了完成一个问答机器人，我们先进行了召回，相当于是通过海选的方法找到呢大致相似的问题。通过现在的排序模型，我们需要精选出最相似的哪一个问题，返回对应的答案2.排序模型的实现思路我们需要实现的排序模型是两个输入，即两个问题，输出的是一个相似度。所以和之前的深度学习模型一样，我们需要实现的步骤如下：
程哥哥吖·2022-11-17 20:05

nlp自然语言处理之word2vec--cbow和skip gram讲解

1、模型结构——CBOW输入层：上下文单词的onehot。单词向量空间dim为V，上下文单词个数为C所有onehot分别乘以共享的输入权重矩阵W。V*N矩阵，N为自己设定的数，初始化权重矩阵W所得的向量相加求平均作为隐层向量，size为1*N.乘以输出权重矩阵W'得到向量1*V激活函数处理得到V-dim概率分布，对应V个单词概率最大的index所指示的单词为预测出的中间词与truelabel的on
鞍-·2022-11-16 17:07

NLP自然语言处理（零）—— NLP的来龙去脉

网上有些人说的DeepNLP，不是什么深层次的自然语言处理模型DeepNLP=DeepLearning+NLP就是用深度学习的方法来进行自然语言处理现在研究的热点也就是用深度学习的方法来进行自然语言处理，即现在研究的热点也就是DeepNLP一、DeepNLP的核心关键：语言表示（Representation）最近DeepNLP非常火热。当常规的机器学习MachineLearning升级发展到了一定
hxxjxw·2022-11-14 11:56

15个小时彻底搞懂NLP自然语言处理（2021最新版附赠课件笔记资料）【LP自然语言处理涉及到深度学习和神经网络的介绍、 Pytorch、 RNN自然语言处理】 笔记

15个小时彻底搞懂NLP自然语言处理（2021最新版附赠课件笔记资料）【LP自然语言处理涉及到深度学习和神经网络的介绍、Pytorch、RNN自然语言处理】笔记教程与代码地址P1机器学习与深度学习介绍P22
电信保温杯·2022-11-10 10:36

NLP自然语言处理学习笔记（七）（转自咕泡AI）

走进聊天机器人学习目标知道常见的bot的分类知道企业中常见的流程和方法1.目前企业中的常见的聊天机器人QABOT（问答机器人）：回答问题代表：智能客服、比如：提问和回答TASKBOT(任务机器人)：帮助人们做事情代表：siri比如：设置明天早上9点的闹钟CHATBOT(聊天机器人)：通用、开放聊天代表：微软小冰2.常见的聊天机器人怎么实现的2.1问答机器人的常见实现手段信息检索、搜索（简单，效果一
程哥哥吖·2022-11-04 17:35

NLP自然语言处理学习笔记（八）（转自咕泡AI）

分类的目的和分类的方法目标能够说出项目中进行文本的目的能够说出意图识别的方法能够说出常见的分类的方法1.文本分类的目的回顾之前的流程，我们可以发现文本分类的目的就是为了进行意图识别在当前我们的项目的下，我们只有两种意图需要被识别出来，所以对应的是2分类的问题可以想象，如果我们的聊天机器人有多个功能，那么我们需要分类的类别就有多个，这样就是一个多分类的问题。例如，如果希望聊天机器人能够播报当前的时间
程哥哥吖·2022-11-04 17:35

NLP自然语言处理学习笔记（十）（转自咕泡AI）

Attention的原理和实现目标知道Attention的作用知道Attention的实现机制能够使用代码完成Attention代码的编写1.Attention的介绍在普通的RNN结构中，Encoder需要把一个句子转化为一个向量，然后在Decoder中使用，这就要求Encoder把源句子中所有的信息都包含进去，但是当句子长度过长的时候，这个要求就很难达到，或者说会产生瓶颈（比如，输入一篇文章等场
程哥哥吖·2022-11-04 17:35

NLP自然语言处理学习笔记（九）（转自咕泡AI）

闲聊机器人的介绍目标了解闲聊机器人是什么介绍在项目准备阶段我们知道，用户说了一句话后，会判断其意图，如果是想进行闲聊，那么就会调用闲聊模型返回结果，这是我们会在项目中实现的功能。目前市面上的常见闲聊机器人有微软小冰这种类型的模型，很久之前还有小黄鸡这种体验更差的模型常见的闲聊模型都是一种seq2seq的结构，在后面的课程中我们会学习并使用seq2seq来实现我们的闲聊机器人Seq2Seq模型的原理
程哥哥吖·2022-11-04 17:00

阿里、腾讯、百度、快手NLP自然语言处理实习生面经

两年制硕士，今年春季开始找暑期实习，只有一个项目，一个比赛，一段本科时大厂数据分析的实习经历，无论文，直到5月24才等来了阿里的意向书，按照时间顺序，写一下具体面试内容，我就是人菜要求多的典范，小厂看不上，简历都没投，大厂投了要不是简历挂要不就是一面挂，磕磕绊绊俩月了，终于有大厂收我了简历挂的厂：微软字节（后来发笔试通知了，但我没做）好未来搜狗美团（笔试做完取消面试了，也没人捞我）4.6腾讯一面（
qq_38829768·2022-11-01 22:56

NLP自然语言处理知识结构索引汇总

python自然语言处理实战python和nltk电子书自然语言处理简介第一章实例代码NLTK文本整理和清洗示例代码NLTK对文本结构进行语法分析代码示例NLTK获取文章摘要代码示例NLTK朴素贝叶斯,文本分类代码示例采样SMSSpamCollection数据集下载混淆矩阵(Confusionmatrix)的原理及使用(scikit-learn和tensorflow)gensim安装文本主题模型代
光英的记忆·2022-10-29 07:31

NLP自然语言处理——文本分类之特征提取

特征提取一、词向量化与文本向量化1、独热编码（One-HotEncoding）2、词袋模型（BagofWords）3、词频-逆文档频次算法（TF-IDF）TF-IDF的公式4、词嵌入参考文献一、词向量化与文本向量化1、独热编码（One-HotEncoding）独热编码又称一位有效编码，是经典的词向量化方法。其基本思想是，首先构建包含数据集中所有词的语料库，然后使用与语料库总词数相同的向量表示每个词
Little_Yuu·2022-10-22 22:33

NLP自然语言处理的文本数据增强——回译（内含python工具包）

回译自然语言处理过程经常面临缺乏数据，因此需要进行数据增强。其中，回译，即将中文翻译成外文，再翻译回中文的操作可以扩展数据集，是一种好办法。这里直接提供工具包NLP工具包-回译数据增强，可以直接调用实现回译增强，而且返回的数据非常丰富。⭐源码=>NLP工具包-回译数据增强⭐戳这里=>NLP数据增强在线版提供了多个大厂的公开免费翻译接口：包括百度、腾讯、谷歌、有道、讯飞，数据结果非常丰富；你可以自己
jionlp数据分析·2022-10-22 22:30

NLP自然语言处理——文本分类之数据集汇总

文本分类数据集汇总名词解释一、“达观杯”文本智能处理挑战赛数据集二、东方财富网上市公司公告数据集2.1获取手段：python网络爬虫。具体方法和代码见我的另一篇博客。2.2时间区间：2014年——2019年2.3股票范围：沪深A股所有股票公告2.4特征字段中文分词三、THUCTC中文分类数据集3.1数据预先处理步骤及代码实现参考文献记录idea备忘录matplotlib不能显示中文问题1、下载字体
Little_Yuu·2022-10-21 07:57

NLP自然语言处理简介

一、NLP是什么NLP（NaturalLanguageProcessing，自然语言处理）是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法（摘自百度百科）。不同的语言之间是无法直接沟通的，比如说人类就无法听懂狗叫，甚至不同语言的人类之间都无法直接交流，需要翻译才能理解各自的意思。而对于人类与计算机来说，NLP就是在机器语言和人类语言之
Gent_倪·2022-10-10 16:10

NLP自然语言处理（九）—— Attention机制

Attention是被广泛运用于深度学习领域中的一种方法，此方法也比较符合人类的认知常识。人类在观察一个事物或者图片的时候，会对不同的区域投入不一样的关注度。我们的相机也会对重点的区域进行对焦。比如下面一幅图片中。人类会关注到骏马、草地和蓝天。尤其是骏马一定是最博人眼球的。但计算机一开始在认识这张图的时候，它“看到”的是一个个三通道的像素值。在计算机视觉的不同任务上有不同的标签，然后利用计划函数获
hxxjxw·2022-10-10 16:08

2022nlp视频教程大全 NLP自然语言处理教程 自然语言处理NLP从入门到项目实战

获取更多NLP实战资料系统性地学NLP本来就既不可能也没必要，这么大个领域，而且一直在飞速发展，等你学完了黄花菜都凉了。NLP的方法可以分成基于规则的方法和基于统计的方法。由于自然语言具备歧义性、递归性和创新性等特点，基于规则的方法局限性非常大，因此主流的是基于统计的方法——机器学习/深度学习方法可以视作基于统计的方法的延伸。到2020年的今天，数据驱动的监督式学习方法（包括传统机器学习和深度学习
coder20222022·2022-10-10 16:06

NLP自然语言处理与神经网络——01.embedding实现（理论+实践）

RNN1.分词tokenization：分词，每个词语是一个token分词方法：把句子转化为词语比如我爱深度学习=》{我，爱，深度学习}把句子转化为单个字比如我爱深度学习=》{我，爱，深，度，学，习}把连续多个字作为一个词2.N-garm表示方法分词的第三种方法，N-garm，一组一组的词语，其中N表示能够被一起使用的词语数量。在传统的机器学习中，用N-gram往往会取得很好的效果，但是在深度学习
头发没了还会再长·2022-10-04 07:40

数据代码分享|PYTHON用NLP自然语言处理LSTM神经网络TWITTER推特灾难文本数据、词云可视化

全文链接：http://tecdat.cn/?p=28877作者：YunfanZhangTwitter是一家美国社交网络及微博客服务的网站，致力于服务公众对话。迄今为止，Twitter的日活跃用户达1.86亿。与此同时，Twitter也已成为突发紧急情况时人们的重要沟通渠道。由于智能手机无处不在，人们可以随时随地发布他们正在实时观察的紧急情况。因此，越来越多的救灾组织和新闻机构对通过程序方式监视T
·2022-09-26 13:29

【NLP自然语言处理】文本特征提取

文本表示方法：One-hotBagofWordsN-gramTF-IDF这几种文本表示方法存在的缺陷：转换得到的向量维度很高，需要较长的训练实践；没有考虑单词与单词之间的关系，只是进行了统计。CountVecotrs(BagofWords词袋模型）词向量之词袋模型(BOW)详解sklearn——CountVectorizer详fromsklearn.feature_extraction.texti
—Xi—·2022-09-23 16:27

Bert系列 源码解读 四 篇章

模型主体源码解读Bert系列（三）——源码解读之Pre-trainBert系列（四）——源码解读之Fine-tune转载自：https://www.jianshu.com/p/3d0bb34c488a[NLP
weixin_30883777·2022-09-02 10:06

[NLP自然语言处理]谷歌BERT模型深度解析【转】

转自：https://blog.csdn.net/qq_39521554/article/details/83062188BERT模型代码已经发布，可以在我的github:NLP-BERT--Python3.6-pytorch中下载，请记得start哦目录一、前言二、如何理解BERT模型三、BERT模型解析论文的核心：详解BERT模型架构关键创新：预训练任务实验结果四、BERT模型的影响对BERT
catbird233·2022-09-02 10:05

【AI视野·今日NLP 自然语言处理论文速览 第二期】Mon, 7 Jun 2021

AI视野·今日CS.NLP自然语言处理论文速览Mon,7Jun2021Totally52papers上期速览✈更多精彩请移步主页DailyComputationandLanguagePapersNeuralsemi-MarkovCRFforMonolingualWordAlignmentAuthorsWuweiLan
hitrjj·2022-09-02 07:29

【AI视野·今日NLP 自然语言处理论文速览 第三十期】Thu, 14 Apr 2022

AI视野·今日CS.NLP自然语言处理论文速览Thu,14Apr2022Totally35papers上期速览✈更多精彩请移步主页DailyComputationandLanguagePapersFastFew-shotDebuggingforNLUTestSuitesAuthorsChristopherMalon
hitrjj·2022-08-24 07:42

【AI视野·今日NLP 自然语言处理论文速览 第二十四期】Thu, 30 Sep 2021

AI视野·今日CS.NLP自然语言处理论文速览Thu,30Sep2021Totally24papers上期速览✈更多精彩请移步主页DailyComputationandLanguagePapersOverviewoftheArabicSentimentAnalysis2021CompetitionatKAUSTAuthorsHindAlamro
hitrjj·2022-08-24 07:42

【AI视野·今日NLP 自然语言处理论文速览 第三十三期】Thu, 21 Apr 2022

AI视野·今日CS.NLP自然语言处理论文速览Thu,21Apr2022Totally56papers上期速览✈更多精彩请移步主页DailyComputationandLanguagePapersMedicalDatasetClassificationforKurdishShortTextoverSocialMediaAuthorsAriM.Saeed
hitrjj·2022-08-24 07:42

NLP(自然语言处理)系列-5篇-有图有码（转）

读后感：本文由浅入深的介绍l了NLP自然语言处理的概念，相关算法及程序代码，一步步形象生动的说明，原理解释的比较通俗易懂，非常适合入门者参考！
H_MZ·2022-08-20 07:43

Python人工智能20个小时玩转NLP自然语言处理

课程内容：1.Pytorch基础知识2.自然语言处理入门3.文本预处理4.HMM和CRF5.RNN,LSTM,GRU6.Transformer适用人群：1、对自然语言处理技术感兴趣的在校生和应届生。2、希望从事人工智能行业高薪工作的在职人员。3、对自然语言处理技术感兴趣的相关人员。基础课程主讲内容包括：第一章:Pytorch基础知识1.Pytorch基础元素和函数2.Pytorch构建神经网络案例
m0_59289726·2022-08-13 07:50

PyTorch显存机制是什么样的？今天来彻底分析一下。

我从研一开始学习NLP自然语言处理，经常使用PyTorch框架。一开始用的时候对于PyTorch的显存机制也是一知半解，连蒙带猜的，经常来知乎上来找答案。
小余同学s·2022-08-11 07:19

视频库：人工智能开发_人工智能工程师_AI人工智能

人工智能Python语言入手→→机器学习核心技术→→深度学习核心技术→→NLP自然语言处理技术→→CV计算机视觉技术视频库：人工智能开发_人工智能工程师_AI人工智能01—人工智能开发入门掌握Python
测试小扎·2022-07-15 07:51

【AI视野·今日NLP 自然语言处理论文速览 第二十八期】Wed, 1 Dec 2021

AI视野·今日CS.NLP自然语言处理论文速览Wed,1Dec2021Totally27papers上期速览✈更多精彩请移步主页DailyComputationandLanguagePapersAutomaticExtractionofMedicationNamesinTweetsasNamedEntityRecognitionAuthorsCarolAnderson
hitrjj·2022-07-09 07:17
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他