CS224N

CS224N笔记 Lecture1: Introduction and Word Vectors

0目录教学目标人类语言和词义（wordmeaning）Word2vec介绍Word2vec目标函数梯度优化方法1教学目标了解有效的现代深度学习方法首先学习基础知识，然后学习一些NLP领域中重要的方法：RNN，以及attention机制等等对人类语言的全局把握以及理解和形成人类语言的一些困难理解并掌握怎样去构造一个系统（PyTorch）来解决NLP领域中的一些主要的问题：WordMeaningDep
WadeFrank·2020-07-06 07:48

CS224N笔记 Lecture12 Subword Models

0大纲AtinybitoflinguisticsPurelycharacter-levelmodelsSubword-models:BytePairEncodingandfriendsHybridcharacterandwordlevelmodelsFastText1人类语言发音：语音（Phonetics）和语音学（Phonology）语音（Phonetics）是发音流–是一种毫无争议的"物理信息
WadeFrank·2020-07-06 07:17

cs224n 2019assignment 1

CS224NAssignment1:ExploringWordVectors(25Points)WelcometoCS224n!Beforeyoustart,makesureyoureadtheREADME.txtinthesamedirectoryasthisnotebook.importnltk#nltk.download()AllImportStatementsDefinedHereNote
Demonwuwen·2020-07-06 04:31

CS224n(2019):Assignment2 参考答案

CS224n：Assignment2参考答案本文为cs224n课程(winter,2019)的assignment2中的公式推导部分参考答案。如有疑问或者错误之处，欢迎交流。
Cris_Lee卡卡卡·2020-07-02 10:30

CS224n笔记二之word2vec与softmax推导

最近刚刚开始看斯坦福CS224n系列视频，主要讲的是自然语言处理与深度学习的结合。笔者怕自己看完视频就忘了，因此想记录下学习过程中的笔记。当然笔者发现了网上已经有人也发了一些CS224n的学习笔记。
Webbley·2020-07-02 09:28

CS224n 2019 Winter 笔记（二）：神经网络（矩阵求导、反向传播推导）

CS224n2019Winter笔记（二）：神经网络（矩阵求导、反向传播推导）一、交叉熵损失函数（CrossEntropyLossFunction）二、DerivativeofMatrix（一）矩阵的几种乘积（1）点积（内积）（2）点乘（hadamardproduct,哈达码积）（3）克罗内克积（kroneckerproduct）（二）矩阵的运算（1）微分运算（2）点乘运算（3）迹运算（4）其他运
lairongxuan·2020-07-02 07:48

斯坦福大学-自然语言处理与深度学习（CS224n）笔记 第十一课 NMT与RNN的进一步讨论

本课概要1、gatedrecurrentunits比如GRUs和LSTM的再次回顾2、机器翻译评估3、单词生成问题一、gatedrecurrentunits比如GRUs和LSTM的再次回顾在RNN的后馈计算中，很容易出现梯度消失的问题。梯度消失的原因是因为RNN结构中，所有的节点是一个一个按顺序相连的，所以权值矩阵就会依次相乘，很容易造成梯度消失。而在GRUs中，长距离的节点之间也可以直接相连，这
sansheng su·2020-07-02 07:56

cs224n学习笔记 2

1WordMeaning需要掌握的主要是词的表示方法，大体来说，词的表示主要有下面两种：1.1discreterepresentation用一个one-hot向量来表示一个词，比如现在有三个词apple，banana，orange分别对应向量的每个位置，那么[0,1,0]表示banana。这种表示被称作是一种本地表示（localistrepresentation）当全部单词比较多的时候，discr
jijijix·2020-07-02 05:48

cs224n学习笔记L4: Backpropagation and computation graphs

文章目录课堂安排一、反向传播·续1.1∂s∂W\frac{\partials}{\partialW}∂W∂s的计算推导1.2梯度推导温馨提示1.3输入x的偏导1.4下游任务更新词向量存在的风险二、计算图及其反向传播2.1计算图的概念2.2一个简单地计算实例2.3分支网络的处理2.5高效计算：每个局部误差信号仅计算一遍2.6更复杂的计算图三、神经网络代码实现及相关框架3.1自动求导3.2计算图的代码
geek_hch·2020-07-02 00:10

cs224n学习笔记L3:Neural Networks

cs224n学习笔记L2:wordvectorsandwordsenses文章目录一、课程安排1.1近期安排1.2本节课安排二、分类2.1分类介绍2.2传统方案分类2.3交叉熵(crossentropy
geek_hch·2020-07-02 00:10

CS224n学习笔记 02_Word Vectors and Word Senses

CS224n学习笔记02Word2vecMainideaofword2vecWord2vec:moredetails基于统计的词向量GloveCo-occurrenceMatrixConclusionWord2vecMainideaofword2vec
duxiaodong1122·2020-07-01 23:06

【笔记3-2】CS224N课程笔记+作业参考代码 - 词向量表示 word2vec

CS224N（二）WordVectors如何表示字的含义基于SVD的方法基于迭代的方法-Word2vecCBOW(continuousbagofwords)skip-gram梯度的推导过程skip-gram
jessie_weiqing·2020-07-01 20:59

CS224n笔记——Introduction and Word Vectors（一）

系列文章Lecture1:IntroductionandWordLecture2:WordVectorsandWordSenses目录1.Thecourse2.Humanlanguageandwordmeaning3.Word2vecintroduction4.Word2vecobjectivefunctiongradients5.Optimizationbasics6.Skip-gram详解1.
清崎教练·2020-07-01 18:51

【NLP CS224N笔记】Lecture 2 - Word Vector Representations: word2vec

I.WordmeaningMeaning的定义有很多种，其中有：theideathatisrepresentedbyaword,phrase,etc.theideathatapersonwantstoexpressbyusingwords,signs,etc.1.Discreterepresentation那么在计算机中是如何获取一个word的meaning的呢？常见的解决办法是使用像WordNe
aiwanghuan5017·2020-07-01 16:30

CS224N（NLP）组队学习-L1 Introduction and Word Vectors

1.学习内容1.词义2.如何对一个词进行表示3.什么是word2vector4.word2vector的目标函数本项目参见https://github.com/datawhalechina/team-learning/tree/master/04%20%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%862.词义词义：语言或文字符号所表示的某种
Zee_Chao·2020-07-01 15:57

cs224n 2019春季学习笔记 01 word2vec

参考资料：https://www.bilibili.com/video/av61620135/?p=2&t=2024word2vec的核心思想在于，定义一个词的意思，取决于这个词的邻居。这是word2vec的核心思想。基于这个概念，提出两个模型，其中一个skip模型，其核心思想在于，由中心词推断中心词附近个单位词。在给定的所有样本文本中，文本单词长度为，总文本数为。按文本中顺序每一个词逐一将作为中
Sue_qx·2020-07-01 13:54

CS224n lecture 1&2 Introduction and Word Vectors

CS224nlecture1IntroductionandWordVectors？如何来表示一个词的含义呢如果我们遇到一个不认识的单词又想知道它的用法，最直接的一个方法就是查字典。根据字典中给出的关于单词的释义，我们就可以知道它的意思和具体的用法。一种理解单词意思的最普遍的语言方式是：signifiersignified:词的形式通常和词的意思具有很大的联系，这在存在大量象形字的汉字中尤其明显si
Forlogen·2020-07-01 09:05

CS 224n 推荐阅读文献

这是阿三的第64期分享作者|阿三首发|程序员遇见GitHub大家好，我是阿三，今天给大家带来的是CS224n这门课程的推荐阅读文献。
机器学习算法与自然语言处理·2020-07-01 07:40

【NLP CS224N笔记】Lecture 2 - Word Vectors2 and Word Senses

本次梳理基于Datawhale第12期组队学习-CS224n-预训练模块详细课程内容参考(2019)斯坦福CS224n深度学习自然语言处理课程1.写在前面自然语言处理(NLP)是信息时代最重要的技术之一
Miracle8070·2020-07-01 06:54

2019 CS224N lecture2 Word Vectors and Word Senses

文章目录word2vecword2vec的主要思想：优化：梯度下降使用SGD（随机梯度下降）来加快更新速度带有负采样的Skip-grams（HW2）为什么不直接统计共现次数1.采用window方式（即统计word共现）2.统计word-document共现矩阵Countbasedvs.directpredictionGloVe评价词向量Intrinsic（内部评价）词向量类比（WordVector
24kb_·2020-07-01 06:50

[cs224n] Lecture 2 – Word Vectors and Word Senses

Lecture2–WordVectorsandWordSenses1.Review:Mainideaofword2vecWord2vecparametersandcomputationsWord2vecmaximizesobjectivefunctionbyputtingsimilarwordsnearbyinspace2.Optimization:GradientDescentGradientD
gdtop818·2020-07-01 06:54

cs224n 2019 Lecture 2: Word Vectors and Word Senses课程笔记

课程目标简单回顾词向量和词向量模型word2vec优化基础通过计数，我们能更有效的抓住这一本质吗词向量的glove模型评估词向量词的含义本人也是刚入门，有些地方因为不是很理解翻译的不好，希望大家积极指正！！！一、word2vec的复习迭代语料库中的每个单词使用词向量预测周围的单词向量是行向量的形式。U*v4是外围词向量和中心词向量的乘积。在计算乘积的softmax。简单的说word2vec就是把意
努力努力再努力_越努力越幸运·2020-07-01 03:58

cs224n学习笔记L2:word vectors and word senses

cs224n学习笔记L1:自然语言处理简介文章目录一、课堂计划二、词向量计算方法2.1回顾word2vec计算2.2word2vec中计算方法详解2.3高频词(the)引起的问题三、优化基础3.1梯度下降
geek_hch·2020-07-01 02:04

CS224N（NLP）组队学习-L2 Word Vectors2 and Word Senses

1.学习内容1.了解word2vector的具体实现方法2.介绍其他实现方法本项目参见https://github.com/datawhalechina/team-learning/tree/master/04%20%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%862.Word2vector的实现细节Word2vector是计算单词词向量的
Zee_Chao·2020-07-01 01:00

cs224n学习笔记--Subword Models

SubwordModels基于词级的模型（word-levelModel）使用基于单词的模型时需要处理规模庞大的词汇表，例如Word2Vec，是利用wordembedding的方法来得到每一个word的vec，这种方法需要去处理规模庞大的词汇表。这种方式虽然效果不错，但是对于单词而言，只要稍微做些改变就是另一个单词了。造成的后果：OOV(out-of-vocabulary)出现单词不存在于词汇库中
Demonwuwen·2020-06-30 20:07

基于神经网络的依存句法分析总结及代码详解

上一篇文章CS224n之句法分析总结，介绍了句法分析以及具体的依存分析中的arc-standard算法。arc-standard系统是transitionsystems中最流行的一个系统之一。
宇过天晴li·2020-06-30 09:49

利用gensim里word2vec训练实例——分析三国里人物关系

前言万物皆可Embedding入坑cs224N后看完第二周和相关论文。
So_weak_yx·2020-06-30 07:27

CS224n 笔记1-自然语言处理与深度学习简介

1自然语言处理简介我们从讨论“什么是NLP”开始本章的内容1.1NLP有什么特别之处自然（人工）语言为什么如此特别？自然语言是一个专门用来表达语义的系统，并且它不是由任何形式的物质表现产生。正因为如此，人工语言与视觉或者其他任何机器学习任务非常不同。大多数单词只是一个超语言实体的符号：单词是映射到一个表征（想法或事物）的记号。例如，“火箭”一词是指火箭的概念，并且进一步可以指定火箭的实例。有一些单
致Great·2020-06-30 06:16

自然语言处理（NLP）发展历程（1），什么是自然语言处理?

一、什么是自然语言处理（NLP）  首先先了解一下什么是自然语言，自然语言是人类社会发展过程中自然产生的语言，是最能体现人类智慧和文明的产物，也是大猩猩与人的区别（2019斯坦福cs224n，lesson1
hanzi5·2020-06-29 08:59

【全面】《斯坦福CS224n NLP》 学习大纲&资料&笔记

斯坦福CS224n自然语言处理课-学习大纲-为期13周说明每周具体学习时间划分为4个部分:1部分安排周一到周二2部分安排在周四到周五3部分安排在周日4部分作业是本周任何时候空余时间周日晚上提交作业运行截图
和你在一起^_^·2020-06-29 05:14

斯坦福大学2019自然语言处理CS224n，Lecture6：Language Models and Recurrent Neural Networks

内容大纲：语言模型：N-gram语言模型：n-gram指的是n个连续的词。通过统计不同n-gram的词频信息来预测下一个词是什么。假设前提：长文本的第X(t+1)这个词出现概率等于前面的n-1个词预测下一个词出现的概率，也就是说：怎么求上面的概率呢？在一个很大的语料文本中计算他们出现的次数做比例。举个例子：对于4-gram，我们忽略掉除了三个文本之前的词汇，然后分别计算连续三个词汇出现的次数，以及
不吃西瓜霜含片·2020-06-28 23:56

深度学习NLP笔记（一）：词向量表示

入坑自然语言处理，学习路线按照CS224N课程来，本人小白一枚，写的不对或不明确的地方请随意指正。
二伟在努力·2020-06-28 22:09

【NLP】cs224n课程笔记

通过经典的斯坦福cs224n教程，让我们一起和自然语言处理共舞！也希望大家能够在NLP领域有所成就！
Jack_Kuo·2020-06-28 20:01

word2vec进阶之skim-gram和CBOW模型（Hierarchical Softmax、Negative Sampling）

HierarchicalSoftmax的skip-gram模型基于HierarchicalSoftmax的CBOW与skip-gram的异同NegativeSampling系列目录（系列更新中）第二讲cs224n
蜗牛蜗牛慢慢爬·2020-06-27 09:25

第二讲 cs224n系列之word2vec & 词向量

框架结构3.4相关推导4训练优化参考文献本系列是一个基于深度学习的NLP教程，2016年之前叫做CS224d:DeepLearningforNaturalLanguageProcessing，之后改名为CS224n
蜗牛蜗牛慢慢爬·2020-06-27 09:53

理解GloVe模型（+总结）

文章目录系列目录（系列更新中）概述统计共现矩阵使用GloVe模型训练词向量模型公式模型怎么来的Glove和skip-gram、CBOW模型对比实战教程系列目录（系列更新中）第二讲cs224n系列之word2vec
蜗牛蜗牛慢慢爬·2020-06-27 09:22

2019斯坦福CS224n深度学习自然语言处理笔记（5）——句法分析

文章目录1.原理1.1.为什么需要句子结构？1.2如何理解句子结构？1.3有什么难点？1.1.1介词短语依附（PPs）修饰会使得句子有歧义1.1.2并列范围模糊1.1.3.形容词修饰歧义1.1.4.动词短语歧义2.语料库3.方法3.1任务定义3.1.1成分句法分析3.1.2依存句法分析3.2传统机器学习方法3.2.2基于转移的句法分析3.3神经网络方法3.4评估标准课程视频连接：《深度学习与自然语
刘炫320·2020-06-25 09:13

2019斯坦福CS224n深度学习自然语言处理笔记（1）——绪论与Word2Vec

绪论2.语言的来源3.符号理论的表示及运算方法4.Word2Vec推导过程课程视频链接《深度学习与自然语言处理（1）》——————————————————————————本文内容整理自2019年斯坦福CS224n
刘炫320·2020-06-25 09:42

Softmax及其损失函数求导推导过程

以前学机器学习时了解过softmax，但没仔细推导过，这段时间在学CS224n课程，要自己推导，看
linyu0716·2020-06-24 05:05

斯坦福大学-自然语言处理与深度学习（CS224n）笔记 第十三课 NLP中的卷积神经网络（CNN）

课程概要1、卷积神经网络（CNN）为什么需要在自然语言处理中引入卷积神经网络？什么是卷积？单层的卷积多通道(Multi-channel)在完成卷积之后，如何进行分类任务？2、训练技巧3、CNN的一些变体应用4、模型比较一、卷积神经网络（CNN）1为什么需要在自然语言处理中引入卷积神经网络？因为在RNN无法再忽视前文的情况下，获得词组的信息。卷积神经网络的一个观点是：尝试为每一个词组计算向量。比如“
sansheng su·2020-06-24 01:36

斯坦福大学-自然语言处理与深度学习（CS224n） 笔记 第五课 反向传播与项目指导

课程概要1、反向传播的四种解释2、项目指导一、反向传播的解释1任务：和上一课一样，判断中心词是否是一个命名实体地点，窗口定义和最后一层的函数都是一样的结构：含有两个隐层二、反向传播的解释2：circuits例子来源于：CS231n:http://cs231n.github.io/optimization-2/用类似树的结构来模拟计算，每个子节点表示一个数字，每个中间节点表示一个运算。从右往左，我们
sansheng su·2020-06-24 01:35

斯坦福大学-自然语言处理与深度学习（CS224n） 笔记 第二课 词向量（word vector）

课程概要1、单词含义2、word2vec介绍3、word2vec目标函数的梯度推导4、目标函数优化：梯度下降法一、单词含义含义（meaning）指的是由单词表达的观点。我们一般使用单词含义的方法是，使用像WordNet那样的分类词典，给每个单词对应的上下义关系以及同义词集合（具体可见斯坦福大学-自然语言处理入门笔记第十九课单词含义与相似性第二节）。上面的这种方法会存在的问题有：会忽略一些细微差别，
sansheng su·2020-06-24 01:35

斯坦福大学-自然语言处理与深度学习（CS224n）笔记 第八课 循环神经网络

课程概要1、传统语言模型2、循环神经网络3、实例（python）4、RNN处理的一些技巧5、针对其他任务的序列模型6、总结一、传统语言模型语言模型可以计算一些系列的单词的概率P（w1，…,wT)可以用来进行机器翻译单词顺序：p(thecatissmall)>p(smalltheiscat)单词选择：p(walkinghomeafterschool)>p(walkinghouseafterschoo
sansheng su·2020-06-24 01:35

斯坦福大学-自然语言处理与深度学习（CS224n） 笔记 第三课 词向量（2）

一、word2vec1、回顾：skip-gramsword2vec的主要步骤是遍历整个语料库，利用每个窗口的中心词来预测上下文的单词，然后对每个这样的窗口利用SGD来进行参数的更新。对于每一个窗口而言，我们只有2m+1个单词（其中m表示窗口的半径），因此我们计算出来的梯度向量是十分稀疏的。对于2dv的参数而言，我们只能更新一小部分。因此一个解决方法是提供一个单词到词向量的哈希映射。2、负采样（ne
sansheng su·2020-06-24 01:35

斯坦福大学-自然语言处理与深度学习（CS224n） 笔记 第四课 单词窗口分类与神经网络

课程概要1、分类问题背景2、窗口分类与交叉熵导数建议3、后馈（Backpropagation)训练一、分类问题背景1、分类的一些主要符号说到分类任务，我们一般会有一个数据集包含样本：{xi,yi}i=1N\{x_i,y_i\}^N_{i=1}{xi,yi}i=1Nxi表示输入，比如单词（序号或者向量），上下文窗口，句子，文档等等yi表示我们尝试预测的标签，比如分类：情感、命名实体、买卖决策；其他的
sansheng su·2020-06-24 01:35

斯坦福大学-自然语言处理与深度学习（CS224n） 笔记 第一课 介绍

课程概要1、什么是自然语言处理2、什么是深度学习（DL）3、课程简介4、为什么自然语言处理很难？5、DeepNLP=Deeplearning（深度学习）+NLP一、什么是自然语言处理自然语言处理是计算机科学，人工智能与语言学的交叉领域。目的：使得计算机能够处理/理解自然语言，以完成任务，比如购物，问答（siri，cortana等）充分理解并表征语言的含义是一个非常困难的任务自然语言处理层次自然语言
sansheng su·2020-06-24 01:02

深度学习NLP-词向量篇（含代码实现）

本文是最近学习了斯坦福大学的NLP课程CS224N，和一些相关教程后，整理出来的一篇关于词向量的学习笔记。
秃然变强了·2020-06-23 23:19

NLP（一）：从规则到统计

编程语言：Python参考书籍：《数学之美》《统计自然语言处理》--宗成庆参考教程：《机器读心术之自然语言处理》《CS224n第一讲-深度自然语言处理》自然语言处理——NLP自然语言处理（NaturalLanguageProcessing
打不死的小黑·2020-06-23 17:40

CS224n笔记1 自然语言处理与深度学习简介

  本节课结合了旧版的前半部分（NLP的基本概念的内容）以及新版的绝大多数内容。0.本节课程计划NLP的基本概念和人类语言的本质。什么是深度学习。课程安排。为什么NLP难？NLP的应用。1.NLP的基本概念1.1什么是NLP？  NLP是计算机科学、人工智能、语言学的交叉学科。  它的目标是让计算机理解人类语言，从而完成有意义的任务。例如：下订单或者买东西知识问答，如Siri、谷歌助手、微软小冰等
herosunly·2020-06-23 14:51

cs224n学习笔记L8:机器翻译(MT)、Seq2Seq、Attention

文章目录一、机器翻译1.1基于规则1.2基于概率(statistical)统计（SMT）1.2.1P(x|y)的学习1.3神经网络机器翻译(NMT)1.3.1seq2seq结构1.3.2seq2seq模型训练1.3.3贪心解码1.3.4穷举(exhaustive)搜索解码1.3.5启发式搜索方法：BeamSearch1.3.6NMT优势与缺点1.3.7模型验证1.3.8NMT发展史及现存问题二、A
geek_hch·2020-06-23 10:29
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他