cs224n

NLP笔记 CS224n（1）—— 词向量

词向量NLP处理文本，所以在进行处理之前，要先解决文本的表示。文本由词组成，本文讨论了表示词汇的几种方案。WordNet这种方法基于如下思想：用词汇的意义来代表词。所以我们可以建立若干个集合，每个集合代表一组同义词，每个词都可以映射到某个集合中，表示这个词汇的意思。其优点在于可以很好的处理词汇之间的联系，即同义词。但是缺点同样明显：忽略了同义词之间的差异，忽略了一词多义性难以迭代更新，忽略词语的新
是不是测评机针对我·2020-08-15 12:20

CS224n学习笔记 13_Contextual Word Embeddings

CS224n学习笔记13RepresentationsforawordTipsforunknownwordswithwordvectorsTwoproblemsfortheserepresentationsforawordPetersetal
JimmyTotoro·2020-08-13 14:18

CS224n学习笔记 01_Introduction and Word Vectors

CS224n学习笔记01Howdowerepresentthemeaningofaword?Howdowehaveusablemeaninginacomputer?
JimmyTotoro·2020-08-13 14:17

CS224n学习笔记 12_Subword Models

CS224n学习笔记12Humanlanguagesounds:PhoneticsandphonologyCharacter-LevelModelsBelowtheword:WritingsystemsPurelycharacter-levelmodelsPurelycharacter-levelNMTmodelsFullyCharacter-LevelNeuralMachineTranslati
JimmyTotoro·2020-08-13 14:17

2019年CS224N课程笔记-Lecture 15:Natural Language Generation

资源链接：https://www.bilibili.com/video/BV1r4411这节课讲的是文本生成（是一个超级超级广的概念，几乎各个地方都可以牵扯到），NLG甚至每个方面都可以开创一个讲座正课内容NaturalLanguageGeneration(NLG)/文本生成自然语言生成指的是我们生成（即写入）新文本的任何设置NLG包括以下成员：机器翻译摘要对话（闲聊和基于任务）创意写作：讲故事，
任菜菜学编程·2020-08-10 14:58

2019年CS224N课程笔记-Lecture 13: Contextual Word Representations and Pretraining

资源链接：https://www.bilibili.com/video/BV1r4411之前大部分都是课件内容翻译+自己的一些总结，以后更倾向于自己的总结咯～正课内容词的表示方法一开始时学过的单词向量Word2vec,GloVe,fastText都可以表示词，甚至是ont-hot编码也可以表示（只不过不是很恰当）两个人大概花了七周时间训练无人监督的单词表示/词向量，生成的向量只有100维（也就是图
任菜菜学编程·2020-08-10 14:58

2019年CS224N课程笔记-Lecture 16:Coreference Resolution

资源链接：https://www.bilibili.com/video/BV1r4411f7td?p=16正课内容WhatisCoreferenceResolution?/什么是共指消解？识别所有涉及到相同现实世界实体的提及，指的是在一短文本内多个表达段/句子指向现实世界中的同一个实体，例如下属例子这一段话中有许多实体（蓝色部分），其中许多实体指的是同一个人/现实中的事物，例如：红色部分和橙色部分
任菜菜学编程·2020-08-10 14:58

2019年CS224N课程笔记-Lecture 14: Transformers and Self-Attention

资源链接：https://www.bilibili.com/video/BV1r4411（np带个妹子让课堂不尴尬～）正课内容可变长数据的表示，也就是序列学习的基本使用组件，主要包括神经机器翻译，摘要，问答等项目通常使用RNN学习变长的表示：RNN本身适合句子和像素序列，LSTMs,GRUs和其变体在循环神经网络模型中占主导地位。但是序列计算抑制了并行化（RNN也是这个缺点），没有对长期和短期依赖
任菜菜学编程·2020-08-10 14:58

2019年CS224N课程笔记-Lecture 12: Subword Models

资源链接：https://www.bilibili.com/video/BV1r4411正文内容人类语言声音：语音学和音韵学（Phoneticsandphonology）（课件内容，不是很懂。。。）Phonetics语音学是一种音流——物理学或生物学Phonology语音体系假定了一组或多组独特的、分类的单元：phoneme音素或者是独特的特征这也许是一种普遍的类型学，但却是一种特殊的语言实现分类
任菜菜学编程·2020-08-10 14:57

NLP.TM[29] | 近期做NER的反思

往期回顾：NLP.TM[24]|TextCNN的个人理解NLP.TM[25]|CS224N学习小结NLP.TM[26]|bert之我见-attention篇NLP.TM[27]|bert之我见-positionalencodingNLP.TM
机智的叉烧·2020-08-09 19:59

NLP.TM[28] | 浅谈NLP算法工程师的核心竞争力

往期回顾：NLP.TM[22]|如何修正NLP问题的badcaseNLP.TM[24]|TextCNN的个人理解NLP.TM[25]|CS224N学习小结NLP.TM[26]|bert之我见-attention
机智的叉烧·2020-08-09 19:29

NLP.TM[26] | bert之我见-attention篇

NLP.TM[20]|词权重问题NLP.TM[21]|语言模型发展思路NLP.TM[22]|如何修正NLP问题的badcaseNLP.TM[24]|TextCNN的个人理解NLP.TM[25]|CS224N
机智的叉烧·2020-08-09 19:28

NLP.TM[25] | CS224N学习小结

[20]|词权重问题NLP.TM[21]|语言模型发展思路NLP.TM[22]|如何修正NLP问题的badcaseNLP.TM[24]|TextCNN的个人理抱着对NLP有更加深入和全面的了解开始学习CS224N
机智的叉烧·2020-08-09 19:28

NLP.TM[27] | bert之我见-positional encoding

往期回顾：NLP.TM[21]|语言模型发展思路NLP.TM[22]|如何修正NLP问题的badcaseNLP.TM[24]|TextCNN的个人理解NLP.TM[25]|CS224N学习小结NLP.TM
机智的叉烧·2020-08-09 19:28

CS224n NLP with Deep Learning（1）：Introduction NLP与深度学习入门

引言课程笔记：笔记pdfyoutube观看链接：youtube列表bilibili观看链接：斯坦福CS224n本讲主要包括四个方面：什么是自然语言处理？什么是深度学习？
Avada__Kedavra·2020-08-05 20:45

Stanford CS224n 第六讲：依存分析

这一节课基本都是在讲解一些语言学的概念以及如何进行依存分析，说实话前半部分陌生的名词有点多，看了好几遍才梳理好他的脉络。两种语言结构：~1.1短语结构~1.2依存句法结构标注数据的崛起依存句法树依存句法分析方法依存句法分析方法的效果评估方法神经网络依存句法分析器1.两种语言结构：1.1短语结构如何描述语法，有两种不同的角度，其中一种是短语结构文法也叫做上下文无关文法（CFGs），通过写出一定数量的
江南丶·2020-08-04 02:02

CS224N（Natural Language Processing with Deep Learning）总结：模型、任务、作业、作业中涉及到的特殊代码

模型：word2vec（skip-gram、CBOW）、GloVe、DNN/BP/Tipsfortraining、RNN/GRU/LSTM、Attention、CNN、TreeRNN应用：NeuralMachineTranslation、DependencyParsing、CoreferenceResolution作业：skip-gram、window-basedsentimentclassifi
mmc2015·2020-08-03 20:52

资源 | 斯坦福最新NLP课程上线，选择PyTorch放弃TensorFlow

整理|Jane出品|AI科技大本营今天在斯坦福大学2019年冬季CS224n最新课程已经正式更新到官网啦。
AI科技大本营·2020-08-03 16:01

Word2Vec Tutorial（2）- Negative Sampling 负采样（Stanford cs224n 词向量学习之拓展阅读2）

本文为阅读过程中记录的中文要点框架，有助于快速理清思路和复习。详情可以看如下原文：http://mccormickml.com/2017/01/11/word2vec-tutorial-part-2-negative-sampling/本部分涉及对skip-gram基本模型的改进，使其具有更高的效率，正真具有可行性。本文三个创新：1、在模型中将常用单词对，或短语，视为单个“单词”。2、对频繁的词进
auto59·2020-08-02 22:20

CS224n作业2

参考资料：CS224n异闻录（二）单词(word)、词性(pos)、指向的单词(head)、关系(label)用tensorflow搭建一个简单的线性分类器主要还是要熟悉tensorflow的编程，其他的很简单
抬头挺胸才算活着·2020-08-01 12:07

CS224N学习笔记（十四）Transformers and Self-Attention

原文链接：https://zhuanlan.zhihu.com/p/126780292Lecture14TransformersandSelf-AttentionForGenerativeModelsguestlecturebyAshishVaswaniandAnnaHuang学习变长数据的表示，这是序列学习的基本组件（序列学习包括NMT,textsummarization,QA）通常使用RNN学
沃特么.拆基.达柴机·2020-07-28 10:16

【2019斯坦福CS224N笔记】（3）神经网络

搜索微信公众号:‘AI-ming3526’或者’计算机视觉这件小事’获取更多AI干货csdn：https://blog.csdn.net/abcgkjgithub：https://github.com/aimi-cn/AILearners本文内容我们主要讲述一下深度学习中的神经网络，在此之前，我们先来简单回顾一下机器学习的主要任务和常用算法。一、机器学习（ML）1.ML主要任务机器学习中主要有两种
kaijie234·2020-07-27 18:15

2019年CS224N课程笔记-Lecture 10: Question Answering

资源链接：https://www.bilibili.com/video/BV1r4411正文内容当我们在谷歌浏览器中搜索澳大利亚第三任总统是谁时，谷歌浏览器会告诉我们答案，这就是一个问答系统而且这是通过我们提问语句的特征进行回答的，而不是基于结构化数据存储的问答，我们今天要讨论的也主要是神经问答系统问答系统产生的动机大概意思就是我们现在有特别多的全文文本，早起搜索可能就是返回相关的文档（类似于你想
任菜菜学编程·2020-07-19 22:27

2019年CS224N课程笔记-Lecture 9: Practical Tips for Final Projects

资源链接：https://www.bilibili.com/video/BV1r4411课程一开始介绍了一些作业情况，具体就不介绍了，不过推荐了很多比较好的nlp的数据的网址，这个建议大家保留下：https://machinelearningmastery.com/datasets-natural-languageprocessing/https://github.com/niderhoff/nl
任菜菜学编程·2020-07-16 20:11

CS224n_Stanford NLP 2019年春季课程视频

1.介绍斯坦福自然语言处理小组2019年的最新课程《CS224n:NLP与深度学习》春季课程已经全部结束了，课程内容囊括了深度学习在各项NLP任务中应用的最新技术，非常值得一看。
Mr.Jk.Zhang·2020-07-16 03:31

第四期 | 带学斯坦福CS224n自然语言处理课+带打全球Kaggle比赛（文末重金招募老师！）...

在未来五年，你认为人工智能领域最具有商业价值的方向是什么？上个月我和一个算法工程师朋友聊了聊，询问算法岗的行业薪资，他说现在计算机视觉算法岗工程师年薪大约50万左右，正当我感叹如今计算机视觉的火爆时，他又和我说，自然语言处理工程师的年薪已经接近100万了！我瞬间崩溃了！这样的行业薪资分配，不禁让我想起了一句行话：“人工智能领域，现在是CV的，未来是NLP的”。自然语言处理算法，由于在智能客服、语音
PaperWeekly·2020-07-15 13:35

CS224N Assignment 2: word2vec (43 Points)

CS224NAssignment2:word2vec(43Points)这一次作业是说如何实现一个word2vec的，word2vec方法的主要思路是迭代产生结果。通过每一步的计算损失函数，以及损失函数的梯度，修改当前的单词向量，（这里其实包含了凸优化方法的思路）使用随机梯度下降中的步长以解决最优化问题。Part1Written:Understandingword2vec(23points)a)(
CSJ_CH3COOK·2020-07-15 08:03

CS224N Assignment 1: Exploring Word Vectors (25 Points)

下载链接：斯坦福cs224n课程网站Part1:Count-BasedWordVectors(10points)之前导入软件包如果出现问题的话，根据所需的包名一个个导入就可以了，推荐使用国内镜像网站，在
CSJ_CH3COOK·2020-07-15 08:03

cs224n学习笔记

*.Tips:loga(x)log_a(x)loga(x)在机器学习中默认为ln(x)ln(x)ln(x)0.主要参考:CS224n专栏AILearners/blog/nlp/cs224n/1.note1
dev_zyx·2020-07-12 21:38

[cs224n] Lecture 3 – Neural Networks

Lecture3–NeuralNetworks1.Courseplan:comingupHomeworksAnoteonyourexperience!LecturePlan2.ClassificationsetupandnotationClassificationintuitionDetailsofthesoftmaxclassifierTrainingwithsoftmaxandcross-en
gdtop818·2020-07-12 10:55

CS224n笔记5 反向传播与项目指导

为什么80%的码农都做不了架构师？>>>本文由码农场同步，最新版本请查看原文：http://www.hankcs.com/nlp/cs224n-backpropagation-and-project-advice.html最后一次数学课，其实都是些很基础的推导而已。从四个不同的层面讲解反向传播，其中电路和有向图类比还是很直观新颖的解释。任意层的通用公式第$l$层的残差：varmathConfig=
weixin_34233421·2020-07-12 09:43

斯坦福 CS224n 中文笔记整理活动 | ApacheCN

参与方式：github.com/apachecn/st…整体进度：github.com/apachecn/st…项目仓库：github.com/apachecn/st…贡献指南请您勇敢地去翻译和改进翻译。虽然我们追求卓越，但我们并不要求您做到十全十美，因此请不要担心因为翻译上犯错——在大部分情况下，我们的服务器已经记录所有的翻译，因此您不必担心会因为您的失误遭到无法挽回的破坏。（改编自维基百科）课
weixin_34128237·2020-07-12 09:59

斯坦福cs224n教程--- 学习笔记1

通过经典的斯坦福cs224n教程，让我们一起和自然语言处理共舞！也希望大家能够在NLP领域有所成就！
葡萄数·2020-07-12 03:11

斯坦福cs224n教程--- 学习笔记2-11

一、每周学习时间安排每周具体学习时间划分为4个部分:·1部分安排周一到周二·2部分安排在周四到周五·3部分安排在周日·4部分作业是本周任何时候空余时间·周日晚上提交作业运行截图·周三、周六休息_（以下的部分链接在手机端无法正常显示，请复制链接到电脑浏览器打开）二、分节学习内容第1部分学习任务：（1）高级LSTM及GRU：LSTMandGRU，观看课件lecture09、视频、学习笔记学习时长：12
葡萄数·2020-07-12 03:11

斯坦福cs224课程笔记

CS224N:NaturalLanguageProcessingwithDeepLearning课程主页：CS224n:NaturalLanguageProcessingwithDeepLearninghttp
cookie_17·2020-07-12 03:04

《斯坦福CS224n NLP》 学习大纲&资料&笔记

斯坦福CS224n自然语言处理课-学习大纲-为期13周说明每周具体学习时间划分为4个部分:1部分安排周一到周二2部分安排在周四到周五3部分安排在周日4部分作业是本周任何时候空余时间周日晚上提交作业运行截图
夏普通·2020-07-11 17:01

自然语言处理 cs224n 2019 Lecture 13: Contextual Word Representations and Pretraining

上下文词表示和预训练主要内容词表示上的映射Pre-ELMo和ELMOULMfit和onwardTransformer架构bert一、词表示上的映射现在为止，我们基本上可以说我们有一个词向量的表示了：word2vec，glove，fastText预训练词向量：模型使用了预训练词向量之后，得分得到了提升：预训练词向量可以开始的时候给单词一个随机词向量，然后再训练它们。在大多数情况下，使用预训练的词向量
努力努力再努力_越努力越幸运·2020-07-11 17:34

cs224n lecture8 Recurrent Neural Networks and Language Models

TraditionallanguagemodelsRNNsRNNlanguagemodelstrainingproblemsandtricksRNNforothersequencetasksBianddeeprnnsLanguageModelscomputesaprobabilityforasequenceofwordsP(w1,...,wT)P(w1,...,wT)MLwordordering(
feitianlzk·2020-07-11 05:08

【2019斯坦福CS224N笔记】（9）Deep Learning for NLP Best Practices

本人在看CS224nLecture9课程后，本节课程主要讲的是Finalproject和回顾了GRU和LSTM网络。没有特别多的新内容，故在网上找到了一篇国外大佬写的关于NLP实践总结的博文，故翻译之与大家进行分享。原文作者：SebastianRuder[原文链接](http://ruder.io/deep-learning-nlp-best-practices/index.html#attent
kaijie234·2020-07-11 01:40

2019年CS224N课程笔记-Lecture 1: Introduction and Word Vectors

p=1（中英文字母版，不过可能由于up主不了解专业术语，许多专业术语翻译的不是很好，不过也要感谢up的辛苦劳作了～）（2019的感觉相对于之前的少了许多类似前言介绍的内容，我在这里将总结一下之前版本的CS224N
任菜菜学编程·2020-07-10 23:16

2019年CS224N课程笔记-Lecture 3: Word Window Classification, Neural Networks, and Matrix Calculus

资源链接：https://www.bilibili.com/video/BV1r4411正课内容分类的介绍和概念xi是输入，例如单词、句子、文档（索引或是向量），维度为dyi是我们尝试预测的标签（C个类别中的一个），例如：以一个简单样例为例：对于上图的训练过程如下：任务：固定的二维单词向量分类(输入是单词向量（2维），输出是单词对应的类别标签，类似于y=ax1+bx2+c)使用softmax/lo
任菜菜学编程·2020-07-10 16:17

2019年CS224N课程笔记-Lecture 4: Backpropagation and Computation Graphs

资源链接：https://www.bilibili.com/video/BV1r4411正课内容神经网络的梯度让我们再看他一下s对w的求导反向传播中梯度的计算（上图的大概意思就是，考虑单个权重Wij的导数，Wij只对zi有贡献，例如W23只对z2有贡献，而对z1没有贡献）对于单个Wij的导数来说，为：我们想要整个W的梯度，但是每种情况都是一样的：梯度求导需要注意的小心的定义变量而且要始终关注它们的
任菜菜学编程·2020-07-10 16:17

2019年CS224N课程笔记-Lecture 5: Linguistic Structure: Dependency Parsing

资源链接：https://www.bilibili.com/video/BV1r4411，部分内容参考来自于码农场»CS224n笔记6句法分析和https://zhuanlan.zhihu.com/p/
任菜菜学编程·2020-07-10 16:17

2019年CS224N课程笔记-Lecture 6: Language Models, RNN, GRU and LSTM

资源链接：https://www.bilibili.com/video/BV1r4411正文感觉本节课就讲了两个内容，语言模型和RNN模型。本章我也会发力多多补充，上节课实在太难受了，感觉听不懂，大部分都是各种查资料各种参考555，终于来了个有基础的了5555LanguageModeling/语言模型语言建模的任务是预测下一个单词是什么，其实语言模型就是用来判断生产下一个词的概率的一个模型。如下图
任菜菜学编程·2020-07-10 16:17

2019年CS224N课程笔记-Lecture 2: Word Vectors and Word Senses

资源链接：https://www.bilibili.com/video/BV1r4411f7td?p=1（中英文字母版）word2vec的复习其实没什么内容就是将上节课说的复习了一遍，不过最后又添加了一下新内容，如下：word2vec是根据语义进行训练的，相同语义的词在空间上是比较靠近的，而且能很好的表示类比关系，例如：国王-男人+女人=王后/皇后；相对于瓶子和盖子的关系，类比暖壶，可能输出壶塞。
任菜菜学编程·2020-07-10 16:45

CS224n自然语言处理与深度学习 Lecture Notes Two

本笔记主要内容翻译自斯坦福大学CS224n:NaturalLanguageProcessingwithDeepLearningLectureNotes:PartII更多见iii.runGlobalVectorsforWordRepresentation
mmmwhy·2020-07-10 01:56

【CS224n课程笔记】Lecture 01 Introduction and Word Vectors

目录1.wordvectors词向量2.Representingwordsbytheircontext3.objectivefunction目标函数4.梯度下降：链式法则（基础的求导知识）LecturePlan1.Thecourse(10mins)2.Humanlanguageandwordmeaning(15mins)3.Word2vecintroduction(15mins)4.Word2ve
Cherzhoucheer·2020-07-09 10:52

【NLP CS224N笔记】Lecture 13 - Contextual Word Representations and Pretraining

本次梳理基于Datawhale第12期组队学习-CS224n-预训练模块详细课程内容参考(2019)斯坦福CS224n深度学习自然语言处理课程1.写在前面自然语言处理(NLP)是信息时代最重要的技术之一
Miracle8070·2020-07-09 01:50

【NLP CS224N笔记】Lecture 12 - Information from parts of words Subword Models

本次梳理基于Datawhale第12期组队学习-CS224n-预训练模块详细课程内容参考(2019)斯坦福CS224n深度学习自然语言处理课程1.写在前面自然语言处理(NLP)是信息时代最重要的技术之一
Miracle8070·2020-07-09 01:50

CS224N笔记 Lecture2: Word Vectors and Word Sences

0大纲回顾词向量和word2vec优化基础基于统计的词向量Glove模型和词向量1回顾词向量和word2vec关于word2vec的更多细节1为什么每个词要对应两个词向量？虽然一个词对应一个词向量也能够实现，但每个词对应两个词向量的平均优化时间更短。2两个模型Skip-grams（SG）给出中心词（centerword）预测上下文的词（outside）ContinuousBagofWords（CB
WadeFrank·2020-07-06 07:48
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他