CS224N

2019年CS224N课程笔记-Lecture 18:Constituency Parsing

资源链接：https://www.bilibili.com/video/BV1r4411f7td?p=18正课内容1.ThespectrumoflanguageinCS词袋模型复杂形式的语言表达结构这是真.词‘袋’语言的语义解释——不仅仅是单词向量我们怎样才能弄清楚更大的短语的含义？例如：ThesnowboarderisleapingoveramogulApersononasnowboardjum
任菜菜学编程·2020-09-12 00:29

Stanford / Winter 2020 CS224n 课程学习笔记03-04

引言命名实体识别（NamedEntityRecognition，简称NER），又称作“专名识别”，是指识别文本中具有特定意义的实体，主要包括人名、地名、机构名、专有名词等。通常包括两部分：（1）实体边界识别；（2）确定实体类别（人名、地名、机构名或其他）。英语中的命名实体具有比较明显的形式标志（即实体中的每个词的第一个字母要大写），所以实体边界识别相对容易，任务的重点是确定实体的类别。和英语相比，
丶Morghulis·2020-09-09 14:19

deeplearn学习笔记 cs224n lecture4

Lecture4主要内容ClassificationbackgroundUpdatingwordvectorsforclassificationWindowclassification&crossentropyerrorderivationtipsAsinglelayerneuralnetworkMax-Marginlossandbackprop分类开始和标注分类直觉softmax训练softma
lyc1635566ty·2020-08-24 09:41

deeplearn学习笔记 cs224n lecture5

Lecture5反向传播Overview:1.从一层到多层神经网络2.全向量梯度计算3.反向传播算法为什么要用多层？神经网络表示更多的特征能用更好的结果随机梯度下降更新公式如何计算损失函数的梯度1.手算2.用反向传播算法为什么要学习梯度的所有细节？1.现代的深度学习框架为你计算框架2.但是为什么要在为您实现编译器或者系统时使用类呢？了解什么是瓶颈很重要3.反向传播不会总是工作完美的。明白这些对于d
lyc1635566ty·2020-08-24 09:41

deeplearn学习笔记 cs224n lecture3

Lecture3随机梯度下降skip-gram负采样word2vec总结1.游览语料库的每个单词2.预测每个单词周围的单词3.同时捕捉一个单词Windowbasedco-occurrencematrixProblemswithsimpleco-occurrencevectors解决方案：降低向量维度svd的问题:1.对大数据效果很差、2.纳入新的词语很困难、3.不同的学习策略和dl基于统计和直接预
lyc1635566ty·2020-08-24 09:40

deeplearn学习笔记 cs224n lecture2

WordNet单词用不相关的符号组成Word2Vec概述L(θ)和J(θ)L(θ)和J(θ)的定义L(θ)L(θ)likelihoodJ(θ)J(θ)lossfunctionCenterwordContextwordPredictionfunctionTrainthemodelWord2vec更多细节为什么用两个变量更容易优化可以取平均两个模型变型Skip-grams(SG)ContinuousB
lyc1635566ty·2020-08-24 09:40

2019年CS224N课程笔记-Lecture 17:Multitask Learning

资源链接：https://www.bilibili.com/video/BV1r4411f7td?p=16正文内容现在有一种想法比较流行：在一个模型中完成10个不同的任务（十项全能比赛）把所有预处理后发现可能对于一个词在不同的模型中含义是不一样的NLP&AI的下一步是什么？基于特征工程的机器学习->特征学习的深度学习->针对单个任务的深层架构工程->？单任务学习的局限性鉴于{dataset，tas
任菜菜学编程·2020-08-24 07:38

【NLP CS224N笔记】Assignment 1 - Exploring Word Vectors

作业来源：https://github.com/xixiaoyao/CS224n-winter-together1.写在前面这篇文章是CS224N课程的第一个大作业，主要是对词向量做了一个探索，并直观的感受了一下词嵌入或者词向量的效果
Miracle8070·2020-08-24 04:08

2019 CS224N Assignment 1: Exploring Word Vectors

文章目录包的导入Part1:Count-BasedWordVectorsQuestion1.1:Implementdistinct_wordsQuestion1.2:Implementcompute_co_occurrence_matrixQuestion1.3:Implementreduce_to_k_dimQuestion1.4:Implementplot_embeddingsQuestion
24kb_·2020-08-24 04:36

2019-CS224n-Assignment1

我的原文：www.hijerry.cn/p/54554.htm…去年冬季学习了cs224n的2017课程，做了三个assignments，用的是TensorFlow。
weixin_33971130·2020-08-24 03:39

CS224N刷题——Assignment3.1_A window into NER

Assignment#3Aprimeronnamedentityrecognition这一节作业我们会建立几种不同的模型来实现命名实体识别（NER）。NER是信息抽取的一个子任务，旨在将文本中的命名实体定位并分类为预先定义的类别，如人名、组织、地点、时间表达式、数量、货币值、百分比等。对于上下文中给定的一个单词，预测它是否代表下列四个类别中的一个：人名（PER）：例如“MarthaStewart”
韩明宇·2020-08-24 01:24

CS224n——1：Introduction and Word Vectors笔记

CS224n:NaturalLanguageProcessingwithDeepLearningStanford/Stanford/Winter20191：IntroductionandWordVectors
Laura_Wangzx·2020-08-24 01:54

CS224N笔记——RNN和语言模型

目录传统语言模型循环神经网络语言模型损失函数训练RNN时的困难梯度消失问题梯度消失实例防止梯度爆炸减缓梯度消失困惑度结果问题：softmax太大且太慢一个实现技巧序列模型的应用双向和深层RNNs双向RNNs深层双向RNNs评测传统语言模型语言模型就是计算一个单词序列（句子）的概率的模型。可以用于机器翻译中，判断译文序列中一种词序的自然程度高于另一种，判断一种用词选择优于另一种。为了简化问题，引入马
韩明宇·2020-08-24 01:52

CS224N笔记——神经机器翻译与Attention机制

目录神经机器翻译NMT神经机器翻译的架构神经机器翻译的青铜时代现代神经机器翻译的序列模型RNNEncoderDecoder:循环语言模型机器翻译的发展神经机器翻译的四大优势统计/神经机器翻译神经机器翻译主要由工业界促进Attention:朴素RNN&长序列Attention机制词语对齐同时学习翻译和对齐Scoring神经机器翻译NMT神经机器翻译是用一个大型神经网络建模整个翻译过程的系统。神经机器
韩明宇·2020-08-24 01:52

CS224N笔记——机器翻译和GRU以及LSTM

目录复习使用RNN的机器翻译GRULSTM复习Word2Vec：Glove：Nnet&Max-margin：，MultilayerNnet&Backprop：，RNN：，CrossEntropy：Mini-batchSGD：使用RNN的机器翻译红圈所示特征表示必须能捕捉整个原文短语的语义，但是RNN无法记住太久之前的事情，大概五六个单词就到极限了。所以这不是个实用的模型。在这个最简单的模型中，En
韩明宇·2020-08-24 01:52

cs224n学习5：homework1 Exploring Word Vectors

ExploringWordVectorsPart1:Count-BasedWordVectorsQuestion1.1:Implementdistinct_wordsQuestion1.2:Implementcompute_co_occurrence_matrixQuestion1.3:Implementreduce_to_k_dimQuestion1.4:Implementplot_embedd
Rock_y·2020-08-23 23:41

My solution to cs224n assignment1(1-2)

Mysolution1.softmax(a)sotfmax的性质容易证明该性质。Note指出，这个性质可以应用于计算softmax函数的值。这样手动把最大值调整成了0，避免了上溢出，而即使产生下溢出，也是下溢出到零，不会太损失精度。(b)softmax的计算Note指出numpy的向量化计算比较快，所以尽量少用for循环。numpy向量化运算相比循环，跳转逻辑更少，更容易并行，也更容易使用显卡算力
pku_zzy·2020-08-23 23:57

CS224n Assignment1:exploring_word_vectors

导入所需的库文件#AllImportStatementsDefinedHere#Note:Donotaddtothislist.#Allthedependenciesyouneed,canbeinstalledbyrunning.#----------------importsysassertsys.version_info[0]==3assertsys.version_info[1]>=5fro
Forlogen·2020-08-23 23:01

limitations and issues in NLP

http://web.stanford.edu/class/cs224n/lectures/cs224n-2017-lecture17.pdfhttp://web.stanford.edu/class/
重新出发_砥砺前行·2020-08-22 15:05

语言模型与RNN

注：cs224n语言模型：一个用来预测下一个单词的系统模型用公式可以表示为：$P(x^{(t+1)}=w_j|x^{(t)},...,x^{(1)})$这里$w_j$是一个位于词汇表V={$w_1,..
kaiyin_hzau·2020-08-22 15:15

cs224n学习笔记 04：Contextual Word Embeddings

课程目标ReflectionsonwordrepresentationsPre-ELMoandELMOULMfitandonwardTransformerarchitecturesBERTReflectionsonwordrepresentations之前的CS22N的课程介绍了词向量比如，Word2vec,GloVe,fastText。通过这些词向量能在神经网络的训练中起到一个很好的效果，如图所
Irving_III·2020-08-22 14:37

cs224n学习笔记 01: Introduction and word vectors

本节首先介绍NLP的一些一本概念；然后讨论如何用向量（numericvector）来表示一个一个的单词（word）；最后，我们对时下比较流行生成wordvector方法进行探讨。1词向量英语中近130万的单词，并且这些单词之间也存在一定的联系，比如：cat-feline，hotel-motel。很多研究表明，可以只要使用N维的向量空间，其中万，就足以对一种语言的全部语义进行表达。例如，语义空间可以
Irving_III·2020-08-22 14:37

【cs224n学习作业】Assignment 1 - Exploring Word Vectors【附代码】

前言这篇文章是CS224N课程的第一个大作业，主要是对词向量做了一个探索，并直观的感受了一下词嵌入或者词向量的效果。这里简单的记录一下我探索的一个过程。
Irving_III·2020-08-22 14:37

cs224n学习笔记 03:Subword Models（fasttext附代码）

课程内容语言学的一点小知识词级字符级模型n-gram思想FastText模型1、人类语言声音：语音学和音系学语音学是音流，这是属于物理层面的东西词法学：一个n-grams的代替方案在基于单词的模型中存在一些问题：需要处理很大的词汇表，在英语中单词只要变个形态就是另一个单词了，比如说：goooooodbye字符级别模型单词嵌入可以由字符嵌入表示：能为不知道的单词生成嵌入相似的拼写有相似的嵌入解决了o
Irving_III·2020-08-22 14:06

CS224n - 任务3 - 2. RNN解决命名实体问题

给定输入，每个RNNcell使用sigmoid函数得到隐藏状态向量。然后我们使用隐藏状态来预测每个时间步的输出：为了训练模型，我们对每个预测的标记使用交叉熵损失：(a)i.RNN模型：有个参数，有个参数基于window的模型：有个参数ii.预测长T的句子标签的时间复杂度：：：：(b)很难直接对F1进行优化F1不可微分需要从整个语料库预测来计算，这使批处理和并行化非常困难(c)在q2_rnn_cel
yyyybupt·2020-08-22 13:18

机器翻译概述、seq2seq、attention机制

机器翻译发展概述CS224N机器翻译讲解2.seq2seqseq2seq模型，即SequencetoSequence，从一个序列到另一个序列的转换。
一只NLP的萌新er·2020-08-22 13:28

cs224n学习2：Word Vectors II: GloVe, Evaluation and Training

WordVectorsII:GloVe,EvaluationandTraining1.单词表示的全局向量（GloVe）1.1与先前方法的比较1.2共现矩阵1.3最小二乘目标1.4结论2词向量的评估2.1内部评价2.2外在评价2.3内部评估示例：词向量类比2.4内部评估例子：类比评估2.5内部评估示例：相关评估2.6进一步阅读：处理歧义3外部任务训练3.1问题表述3.2训练词向量3.3Softmax
Rock_y·2020-08-22 12:29

cs224n学习1：Word2Vec发展及代码实现

Word2Vec语言模型计算缺点基于马尔科夫的假设n-gram模型构造语言模型词向量独热编码语言模型生成词向量word2vecContinuousBagofWords（CBOW）Skip-gram训练技巧目标函数公式推导代码实现语言模型语⾔模型：预测每个句⼦在语⾔中出现的概率P(S)也被称为语言模型，即用来计算一个句子概率的模型。计算表示整句话在训练语料库中出现的次数除以不算当前词Wi后句⼦出现的
Rock_y·2020-08-22 12:57

Task 2: Word Vectors and Word Senses （附代码）（Stanford CS224N NLP with Deep Learning Winter 2019）

Task2:WordVectorsandWordSenses目录Task2:WordVectorsandWordSenses一、词向量计算方法1回顾word2vec的计算2word2vec中计算方法详解3高频词(the)引起的问题二、优化基础1梯度下降2随机(stochastic)梯度下降（SGD）三、wordvector优化过程1SGD引起的稀疏数据2两种词向量建模方案3训练效率提升方案四、基于
南有芙蕖·2020-08-22 04:16

Task 1: Introduction and Word Vectors（附代码）（Stanford CS224N NLP with Deep Learning Winter 2019）

Task1:IntroductionandWordVectors目录Task1:IntroductionandWordVectorsLecturePlan1.Howdowerepresentthemeaningofaword?Howdowehaveusablemeaninginacomputer?ProblemswithresourceslikeWordNetRepresentingwordsas
南有芙蕖·2020-08-22 04:16

【CS224n-2019学习笔记】Lecture 1: Introduction and Word Vectors

附上斯坦福cs224n-2019链接：https://web.stanford.edu/class/archive/cs/cs224n/cs224n.1194/文章目录1.课程简单介绍1.1本课程目标1.2
进击的AI小白·2020-08-22 04:36

CS224N学习笔记（十二）Subword Models

1.引入课程首先花了很多时间说明了一下语言的特点和语言词汇内部的结构相关，比如英语的发音（Phoneticsandphonology）还有英语的词法（Morphology）。另外，不同语言的写作表达的不同也体现在，词汇的内部结构上。这些都为sub-wordNLP模型提供了一定的形式上的基础。常规的wordlevelmodel还需要解决大量的词汇问题，包括：复杂的词法词，人民词的音译，非正式的拼写等
沃特么.拆基.达柴机·2020-08-22 03:38

自然语言处理 cs224n 2019 Lecture 12: Information from parts of words: Subword Models课程笔记

课程内容语言学的一点小知识纯粹的字符级别的模型子单词模型：BytePairEncodingandfriendsHybridcharacter和单词级的模型fastText(这节课也没怎么听懂，以后要边听边做笔记了)一、人类语言声音：语音学和音系学语音学是音流，这是属于物理层面的东西词法学：一个n-grams的代替方案在基于单词的模型中存在一些问题：需要处理很大的词汇表，在英语中单词只要变个形态就是
努力努力再努力_越努力越幸运·2020-08-22 02:38

Task 3: Subword Models （附代码）（Stanford CS224N NLP with Deep Learning Winter 2019）

Task3:SubwordModels目录Task3:SubwordModels回顾：Word2vec&Glove一、人类语言声音：语音学和音系学二、字符级模型（Character-LevelModels）三、子词模型（Sub-wordmodels）BytePairEncoding（BPE）四、混合字符和词级模型1、HybridNMT2、Charsforwordembeddings五、FastTe
南有芙蕖·2020-08-22 00:42

CS224n课程Assignment3参考答案

solutionByJonariguezAssignment\#3-solution\quadBy\JonariguezAssignment#3−solutionByJonariguez所有的代码题目对应的代码已上传至github/CS224n
Jonariguez·2020-08-21 10:06

CS224n课程Assignment2参考答案

solutionByJonariguezAssignment\#2-solution\quadBy\JonariguezAssignment#2−solutionByJonariguez所有的代码题目对应的代码已上传至github/CS224n
Jonariguez·2020-08-21 10:34

CS224n课程Assignment1参考答案

JonariguezAssignment\#1-solution\quadBy\;JonariguezAssignment#1−solutionByJonariguez所有的代码题目对应的代码已上传至github/CS224n
Jonariguez·2020-08-21 10:33

CS224n 斯坦福深度自然语言处理课笔记 Lecture02—词向量表示

课程概要1.词义2.Word2vec介绍（学习词汇向量模型（2013年提出））（当然还有别的方法进行词汇表征（后续会提到））3.Word2vec目标函数的梯度推导4.目标函数优化：梯度下降法一、词义定义：meaning：（Websterdictionary）用单词、短语等表达的想法；人们想要通过单词、符号等表达想法某种意义上来说，这非常接近于语言学上最常理解的meaning的含义利用分类资源，例如
佳钰小甜心·2020-08-15 17:20

斯坦福大学NLP课程CS224N课第一次作业第一部分

斯坦福大学NLP课程CS224N课第一次作业第一部分最近准备认真学习NLP，所以找了一个比较好的NLP课程即斯坦福大学的CS224N，总共有三次作业，我已经完成了第一次作业，把做的过程和方法写成博客，一个目的是分享
pvop·2020-08-15 15:53

斯坦福大学NLP课程CS224N课第一次作业第二部分（上）

斯坦福大学NLP课程CS224N课第一次作业第二部分第二部分包括三个python文件，同时也相当于实现三个小功能，分别是梯度检验、sigmoid和简单的神经网络。
pvop·2020-08-15 15:53

cs224n | 高级词向量表示

参考博客：word2vec原理推导与代码分析CS224n笔记3高级词向量表示关于word2vec的回顾skipgram：利用中心词预测上下文example:Ilikedeeplearningandnlp
seeInfinite·2020-08-15 15:10

CS224N笔记——词向量表示

目录WordmeaningWord2vecintroductionWord2vec目标函数的梯度Wordmeaning如何表示一个词的词义？在韦氏词典中meaning的词义为：(1)用单词、短语等表示的想法；(2)人们想要通过单词、符号等表示的想法；(3)在写作、艺术等作品中表达的思想。如何用计算机处理词义？最常用的方法：用分类资源来处理词义，如果是英语，最著名的分类资源是WordNet，能够查询
韩明宇·2020-08-15 15:35

2019斯坦福CS224n深度学习自然语言处理笔记（2）——词向量与Glove

文章目录1.为什么不直接使用词共现矩阵获得词向量？1.1词共现矩阵方法（窗口统计和全局统计）1.2解决上述问题方法——SVD1.3基于统计和直接预测方法比较2.Glove3.词向量评估4.一词多义视频课程链接：《深度学习与自然语言处理（2）》继续上一节的内容。还是沿着之前的思路，首先想到为什么不直接使用词共现矩阵，然后提出SVD的解决方法。在比较了基于统计和直接预测两种方法后，提出Glove模型。
刘炫320·2020-08-15 15:45

CS224n笔记三之词向量模型与GloVe

词向量模型语言学家J.R.Firth提出，通过一个单词的上下文可以得到它的意思，所以我们可以定义一个以预测某个单词的上下文的模型：p(context|wt)=...我们的目标当然是希望概率p越大越好，所以我们可以定义一个目标函数：J′(θ)=∏t=1T∏−m≤j≤m,j≠0P(wt+j|wt;θ)我们的目的就是最大化上面这个目标函数。但一般来说，我们都是想最小化目标函数的，所以我们可以改写目标函数
Webbley·2020-08-15 14:41

CS224n笔记——Subword Model（十二）

系列文章Lecture1:IntroductionandWordLecture2:WordVectorsandWordSensesLecture12:SubwordModel目录1.ELMO2.GPT2.1无监督pretrain2.2有监督finetune3.BERTverynice的BERT入门级讲解1.ELMO首先介绍一下ELMo(EmbeddingsfromLanguageModels)算法
清崎教练·2020-08-15 13:19

【2019斯坦福CS224N笔记】（6）RNN和与语言模型

csdn：https://blog.csdn.net/abcgkjgithub：https://github.com/aimi-cn/AILearners一、传统的语言模型1.什么是语言模型语言建模是一项基准测试任务，它帮助我们衡量我们在理解语言方面的进展。语言建模是许多NLP任务的子组件，特别是那些涉及生成文本或估计文本概率的任务：预测输入、语音识别、手写识别、拼写/语法修正、身份识别、机器翻译
kaijie234·2020-08-15 13:31

【2019斯坦福CS224N笔记】（2）词向量的优化与评价

计算机视觉这件小事’获取更多AI干货csdn：https://blog.csdn.net/abcgkjgithub：https://github.com/aimi-cn/AILearners写在前面在【2019斯坦福CS224N
kaijie234·2020-08-15 13:31

【CS224n】笔记8 RNN和语言模型

1语言模型语言模型就是计算一个单词序列（句子）的概率（P(w1,…,wm)）的模型。或者在机器翻译的问题中：在翻译"猫很小"时，单词的语序问题中我们会使概率P(thecatissmall)>P(smalltheiscat);在翻译"放学后走回家"时，单词的选择问题中我们会使概率P(walkinghomeafterschool)>P(walkinghouseafterschool)2传统语言模型当前
20%橙小鱼·2020-08-15 13:48

NLP笔记 CS224n （6） —— RNN 和 Language Model

传送门笔者在总结时跳过了第3，4，5节课。其中第3，4节课分别介绍了神经网络和反向传播，笔者假定读者有着基本的机器学习和神经网络相关的知识，所以掠过了这两章内容。其中第5节课介绍了语法结构，但是因为与笔者目前方向不一致，故略去。本节为第6节课，介绍了LanguageModel并且以此为契机引入了RNN模型。LanguageModel语言模型天气预报说今天下雨，所以出门要________语言模型要做
是不是测评机针对我·2020-08-15 12:20

NLP笔记 CS224n （2） —— 词向量与词传感器

传送门Word2VecOptimization梯度下降，随机梯度下降。实质上是无监督学习，每个batch的最小单位可以是一组word2word的映射，输入值是一个中心词，输出值是一个其对应的outside词，要学习是从中心词要其对于outside词的映射，训练结束后只需要过程中的隐藏层信息，即词向量。MoreDetialsofWord2Vec一个词要两个向量的原因？为了更容易优化，但是一个也行事后
是不是测评机针对我·2020-08-15 12:20
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他