深度学习第一章引言深度学习计算机从经验中学习，并根据层次化的概念体系来理解世界，而每个概念则通过与某些相对简单的概念之间的关系来定义。层次化的概念让计算机构建较简单的概念来学习复杂概念。如果绘制出这些概念如何建立在彼此之上的图，我们将得到一张"深"（层次很多）的图。深度学习的难点一个人的日常生活需要关于世界的巨量知识。很多这方面的知识是主观的、直观的，因此很难通过形式化的方式表达清楚。人工智能的一

模型选择、欠拟合和过拟合训练误差和泛化误差训练误差指模型在训练数据集上表现出的误差泛化误差指模型在任意⼀个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。让我们以⾼考为例来直观地解释训练误差和泛化误差这两个概念。训练误差可以认为是做往年⾼考试题（训练题）时的错误率，泛化误差则可以通过真正参加⾼考（测试题）时的答题错误率来近似。假设训练题和测试题都随机采样于⼀个未知的依照相同考

好久未更新笔记了，借口：工作比较忙，懒得动手了......。最近因为工作驱动读了点机器学习相关资料。本系列文章记录一下机器学习中的一些容易忘记、比较绕的东西，如有错误请各位兄弟姐妹不吝赐教，谢谢！  本篇文章主要梳理自己对神经网络中的后向反馈的理解，核心问题：改变Weights与Biases的值如何影响CostFunction？一、问题由来了解机器学习的同学们肯定知道，在机器学习中，经常会碰到一个

缓解过拟合权重衰减权重衰减等价于L2范数正则化（regularization）。L2范数正则化在模型原损失函数基础上添加L2范数惩罚项，从而得到训练所需要最小化的函数。L2范数惩罚项指的是模型权重参数每个元素的平⽅和与⼀个正的常数的乘积。丢弃法丢弃法有⼀些不同的变体。本节中提到的丢弃法特指倒置丢弃法（inverteddropout）设丢弃概率为ppp，那么有ppp的概率hih_ihi会被清零，有1

读了《Python深度学习》这本书的第二章，对张量运算有所理解，因而记录总结一下。逐元素运算relu运算和加法运算都是逐元素的运算，所谓逐元素，是指对张量中的每一个元素逐一进行运算。其中，relu(X)是max(X，0)#逐元素relu运算defnaive_relu(x):assertlen(x.shape)==2#x是一个Numpy的2D张量x=x.copy()foriinrange(x.sha

第一章．什么是深度学习机器学习的技术定义：在预先定义好的可能性空间中，利用反馈信号的指引寻找输入数据的有用表示。深度学习的深度是指一系列连续的表示层。分层表示通过叫做神经网络的模型来学习。决策树类似于流程图结构，对输入数据点进行分类或根据给定输入来预测输出值。特征工程：为初试输入数据选择合适的方法，手动为数据设计好的表示层。深度学习特征：渐进逐层方式形成越来越复杂的表示，对中间渐进的表示共同进行学

预训练网络：之前在大型数据集上训练好，保存好的网络。如果原始数据集足够大，足够通用，则预训练网络学到特征的空间层次结构可以有效的作为通用模型。使用预训练网络的两种方法：特征提取：对于卷积神经网络而言，特征提取就是取出之前训练好网络的卷积基（池化层和卷积层部分）。这部分学到的表示更加通用，更适合重复使用。卷积层提取表示的通用性取决于层中模型的深度，更靠近底部的是局部的高度通用的特征图，靠近顶部的是更

第六章，深度学习用于文本和序列深度学习不会接收原始文本作为输入，只能处理数值张量，文本向量化是指将文本转换为数值张量的过程。（文本可分割为标记：单词，字符，n-gram，分解为标记的过程叫做分词，然后将其转换为张量）one-hot将每个单词与一个唯一的整数索引相关联，将整数索引i转换为长度为N的二进制向量。One-hot编码是标记转化为向量最基本最常用的方法，得到的是二进制的，稀疏的维度很高的向量

卷积神经网络的可视化：可视化卷积神经网络中间输出（中间激活），可视化卷积神经网络的过滤器，可视化图像中类激活的热力图。可视化中间激活：对于指定输入，展示网络中各个卷积层和池化层输出的特征图（层的输出通常叫做层的激活）特征图中，第一层是更重边缘探测器的集合，随着层数加深，激活变得越来越抽象，激活的稀疏度随着层数的加深而增大。深度神经网络可以有效的作为信息蒸馏管道，输入原始数据，反复对其进行变换，过滤

循环神经网络RNN：遍历所有序列元素，并保存一个状态，其中包含已查看和内容相关的信息。实际上是一类具有内部环的神经网络。重复使用前一次迭代的计算结果。前馈网络:将所有待处理数据转换为一个大向量，然后一次性处理。SimpleRNN能够像其他Keras层一样处理序列批量。可以在两种模式下运行：1.返回每个时间步连续输出的完整序列(batch_size,timesteps,output_features

循环神经网络的高级技巧：循环dropout,堆叠循环层,双向循环层。GRU层工作原理和LSTM相同，做了简化，运行计算代价更低。#观察数据集中数据importosdata_dir='D:\\jupyter_code\\jena_climate'fname=os.path.join(data_dir,'jena_climate_2009_2016.csv')f=open(fname)data=f.r

Sequential模型假设，网络只有一个输入和一个输出，并且网络是层的线性堆叠。然而有的网络看起来像层构成的图。许多最新开发的神经架构要求非线性的网络拓扑结构，即网络结构为有向无环图。使用函数式API，直接操作张量，把层当做函数来用，接收张量并返回张量fromkerasimportInput,layers#一个张量input_tensor=Input(shape=(32,))#一个层是一个函数d

第五章，深度学习用于计算机视觉密集连接层和卷积层的根本区别在于：Dense层（全连接层）从输入特征空间中学到是全局模式，卷积层学到的是局部模式。卷积神经网络学到的模式具有平移不变性，可以学到模式的空间层次结构。对于包括两个空间轴（高度和宽度）和一个深度轴（通道轴，每个维度都是一个特征（或过滤器））的3D张量，卷积也叫做特征图。卷积工作原理：输入的特征图上滑动设定的窗口，提取不同位置图块，图块与权重

过拟合和欠拟合欠拟合：模型不能在训练集上获得足够低的误差；过拟合：训练误差和测试误差之间的差距太大。通过调整模型的容量，可以控制模型是否偏向过拟合或者欠拟合。从预先知道的真实分布p(x,y)预测而出现的误差被称为贝叶斯误差。任何模型容量小于最优容量的固定参数模型会渐进到大于贝叶斯误差的误差值。没有免费午餐定理在所有可能的数据生成分布上平均之后，每一个分类算法在未事先观测的点上都有相同的错误率。这可

一从数据中学习表示机器学习的要素输入数据点预期输出的示例衡量算法效果好坏的方法机器学习和深度学习的核心问题在于有意义的变换数据，换句话说在于学习输入数据的有用表示学习指的是寻找更好数据表示的自动搜索过程二深度学习的工作原理深度学习:学习数据表示的多级方法1深度学习的目标：寻找权重参数2深度学习的衡量标准损失函数3深度学习的核心算法反向传播算法三深度学习的helloword手写数字识别1加载kera

电影评论分类：二分类问题加载IMDB数据集1fromkeras.datasetsimportimdb2(train_data,train_labels),(test_data,test_labels)=imdb.load_data(num_words=10000)将整数序列编码为二进制矩阵（One-hot编码）importnumpyasnpdefvectorize_sequences(sequen

Keras重要特性相同的代码可以在CPU或GPU上无缝切换运行。具有用户友好的API，便于快速开发深度学习模型的原型。内置支持卷积网络（用于计算机视觉）、循环网络（用于序列处理）以及二者的任意组合。支持任意网络架构：多输入或多输出模型、层共享、模型共享等。这也就是说，Keras能够构建任意深度学习模型，无论是生成式对抗网络还是神经图灵机Keras有三个后端实现：TensorFlow后端、Thean

神经网络剖析训练神经网络主要围绕以下四个方面:层，多个层组合成网络（或模型）输入数据和相应的目标损失函数，即用于学习的反馈信号优化器，决定学习过程如何进行如图3-1所示：多个层链接在一起组成了网络，将输入数据映射为预测值。然后损失函数将这些预测值与目标进行比较，得到损失值，用于衡量网络预测值与预期结果的匹配程度。优化器使用这个损失值来更新网络的权重。层：深度学习的基础组件层是一个数据处理模块，将一

标量（0D张量）仅包含一个数字的张量叫作标量（scalar，也叫标量张量、零维张量、0D张量）。在Numpy中，一个float32或float64的数字就是一个标量张量（或标量数组）。你可以用ndim属性来查看一个Numpy张量的轴的个数。标量张量有0个轴（ndim==0）。张量轴的个数也叫作阶（rank）。下面是一个Numpy标量。>>>importnumpyasnp>>>x=np.array(

MNIST数据集包含60000张训练图像和10000张测试图像，由美国国家标准与技术研究院（NationalInstituteofStandardsandTechnology，即MNIST中的NIST）在20世纪80年代收集得到。类和标签在机器学习中，分类问题中的某个类别叫作类（class）。数据点叫作样本（sample）。某个样本对应的类叫作标签（label）。MNIST数据集预先加载在Kera

人工智能什么是人工智能、机器学习与深度学习（见图1-1）？这三者之间有什么关系？人工智能的简洁定义如下：努力将通常由人类完成的智力任务自动化。因此，人工智能是一个综合性的领域，不仅包括机器学习与深度学习，还包括更多不涉及学习的方法。例如，早期的国际象棋程序仅包含程序员精心编写的硬编码规则，并不属于机器学习。在相当长的时间内，许多专家相信，只要程序员精心编写足够多的明确规则来处理知识，就可以实现与人

人工智能AI起于1950图灵测试图灵测试是人通过常识无法判断制造出某些效果的对方是人还是机器，可认为机器是智能的。整体进展经历了大致3个阶段：50-60年代推理期(重要事件：达特茅斯会议1955.8.31,AI被首次提出)70-80年代知识期90-2000年代学习期（2005深度学习）image.png机器学习是从输入到输出的映射过程，将训练数据喂给机器学习算法得到一个满意的模型，用来对未知数据进

（个人感觉书写得比较混乱，没看完就不想看了，个人不推荐看这本书）神经网络与深度学习读书笔记《神经网络与深度学习》中国工信出版集团电子工业出版社作者：吴岸城0.写在前面：神经网络的历史Turing《CanMachinesthink

Chapter9ConvolutionalNetworks（卷积神经网络）卷积网络仅仅是在其至少一个层中使用卷积代替一般矩阵乘法的神经网络。TheConvolutionOperationTheconvolutionoperationistypicallydenotedwithanasterisk:在卷积网络术语中，卷积的第一个参数（在本例中为函数x）通常称为输入，第二个参数（在本例中为函数w）作为

Chapter9ConvolutionalNetworks（卷积神经网络）卷积网络仅仅是在其至少一个层中使用卷积代替一般矩阵乘法的神经网络。TheConvolutionOperationTheconvolutionoperationistypicallydenotedwithanasterisk:*在卷积网络术语中，卷积的第一个参数（在本例中为函数x）通常称为输入，第二个参数（在本例中为函数w）作

书本来源这两天骑车不小心把一颗门牙整个磕断了。心情十分不好，书也没怎么看……证明和代码部分随便翻了翻。真是烦死了，自己怎么这么不小心……北京看牙齿真贵，一颗镶牙要好几千，一颗种植牙2w…然后老师又分配了嵌入式系统相关的任务，以后又要开始重拾嵌入式部分，这次好像是写sylixos的网络驱动，原来还没写过底层的网络驱动，又不知道要学习多久，有点紧张也有点期待，更多的是无从下手。今天继续看书，第三章，第

深度学习读书笔记之RBM声明：1）看到其他博客如@zouxy09都有个声明，老衲也抄袭一下这个东西2）该博文是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看参考文献。

深度学习读书笔记之AE声明：1）该博文是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看参考文献。具体的版本声明也参考原文献。2）本文仅供学术交流，非商用。

深度学习读书笔记之RBM声明：1）看到其他博客如@zouxy09都有个声明，老衲也抄袭一下这个东西2）该博文是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看参考文献。

/***************************** 转自：http://blog.csdn.net/mytestmy/article/details/9150213****************************/声明：1）看到其他博客如@zouxy09都有个声明，老衲也抄袭一下这个东西2）该博文是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看参考文献。具体

深度学习读书笔记之RBM/***************************** 转自：http://blog.csdn.net/mytestmy/article/details/9150213**

转自：http://blog.csdn.net/mytestmy/article/details/9150213声明：1）看到其他博客如@zouxy09都有个声明，老衲也抄袭一下这个东西2）该博文是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看参考文献。具体的版本声明也参考原文献。2）本文仅供学术交流，非商用。所以每一部分具体的参考资料并没有详细对应，更有些部分本来就是直接从

深度学习读书笔记之AE声明：1）该博文是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看参考文献。具体的版本声明也参考原文献。2）本文仅供学术交流，非商用。

深度学习读书笔记之AE声明：1）该博文是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看参考文献。具体的版本声明也参考原文献。2）本文仅供学术交流，非商用。

深度学习读书笔记之RBM声明：1）看到其他博客如@zouxy09都有个声明，老衲也抄袭一下这个东西2）该博文是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看参考文献。

深度学习读书笔记之RBM声明：1）看到其他博客如@zouxy09都有个声明，老衲也抄袭一下这个东西2）该博文是整理自网上很大牛和机器学习专家所无私奉献的资料的。具体引用的资料请看参考文献。