初识RNN2

CNN

卷积神经网络的核心当然是卷积

存在着一个个填充着数字的小方格,他们被称之为卷积核


词向量模型

word2vec

自然语言处理-词向量模型

如何将文本向量化

看词频和总体的个数和整体的关系

  • 改变顺序不应该改变词频
  • 让计算机更好的认识文本
  • 词相近应该再向量上的表达应该是相同的

学习顺序

  • 先学习神经网络
  • 再了解词向量模型

如何实现文本向量化

相近的词应该表达的是相同的含义

一些小点

  • 在描述一个东西的时候应该要考虑多重的因素
  • 应该从多方面进行研究,综合考虑多个指标
  • 二维空间进行研究显然不合适,信息太少
  • 词向量谷歌推荐使用300维的

向量和向量之间

  • 做相似度计算
  • 判断哪些词之间是相近的,是相反的
  • 前提是构建不同的词向量

模型整体框架

词向量

无非就是一个值

  • 向量的数值很难表达其含义
  • 训练好一个词向量,并不难
  • 相似的词在特征表达中是比较相似的!也就是说明词的特征是有实际意义的!
  • 很多位置的颜色是相似的!
  • 说明训练结果有效
  • 男人和男孩这个词是相近的!

考虑?词向量模型中的输入和输出是?

  • 神经网络是黑盒子
  • 神经网络希望他学到说话的关系

输出

  • 数据如何进行构建
  • 词如何从神经网络输入
  • 一个词用4个小格来表示
  • 词先到词库中找到自己的向量embedding look up
  • 库中的代表怎么来?
    • 随机初始化的操作
    • 随机构造初始化的策略
    • 进行随机初始化

训练数据构建

数据从哪来?

语言是可以跨区域的

  • 一切有正常含义的都可以当成训练数据

如何构建训练数据

滑动窗口

  • 任务不需是一个必监督的数据集
  • 拿窗口去扫描即可
  • 构建数据集

有了训练数据就可以来训练模型了

不同模型的对比

CBOW

  • 输入是上下文
  • 输出是当前词

SKIP-GRAM模型

每一个窗口进行滑动

  • 得到巨大的词
  • 得到loss函数
  • 反向传播
  • 权重函数如何更新
  • 对结果的影响程度

两步走

  • 更新权重参数
  • 更新输入数据

语料库太大,结果太多,最后一层相当于softmax,计算过程耗时耗力,如何解决?

通过A如何去预测B?

  • A和B同时输入,预测可能性有多大?
  • 希望target标签预测的结果是1
    初识RNN2_第1张图片

学起来,每天边哭边学

你可能感兴趣的:(神经网络,深度学习,人工智能,神经网络)