具体请查看官方文档keras官方文档1.基本概述neurallayers(神经层),costfunctions(损失函数),optimizers(优化器),initializationschemes(初始化方案),activationfunctions(激活函数),regularization(正则化项)在keras中都是独立的模块，可以自由组合。keras的核心是一个模型，用来阻止各个网络层次结

1.数据预处理是必要的，这里以最简单的MNISTdataset的输入数据预处理为例。A.设置随机种子np.random.seed(1337)#forreproducibilityB.输入数据维度规格化，这里每个样本只是size为784的一维数组。X_train=X_train.reshape(60000,784)将类别标签转换为one-hotencoding，这一步对多分类是必须的one_hot_

Keras学习中文版https://keras-cn.readthedocs.io/en/latest/发现一个超详细代码介绍https://www.imooc.com/article/79490原理部分见另外

keras针对几种常见的输入深度学习模型和输入数据形态，提供了几个易于使用的工具来处理数据，其中包括针对序列模型的数据预处理，文字输入的数据处理，图片输入的数据处理。所有的函数都存在在keras.preprocessing这个库里面，分别包含text，sequence，image三个字库。文字预处理：一般需要把原始文字拆解成单字，单词，或者词组，然后将这些拆解后的要素进行索引，标记化拱机器学习算法

原文地址：https://nbviewer.jupyter.org/github/fchollet/deep-learning-with-python-notebooks/blob/master/5.3-using-a-pretrained-convnet.ipynbUsingapre-trainedconvnet在小型图像数据集上进行深度学习的常用和高效方法是利用预先训练好的网络。预先训练的网络

1.处理流程建立token字典：因为深度学习模型是无法处理文字的，必须将文字对应成可以计算的数字，所以需要将“影评文字”对应成为“数字列表”建立一一对应关系，本训练中提取最常用的前2000个高频词语进行建立token字典，因为最常用的词语对情感分析是最为重要的。同时为保持所用影评的“数字列表”的长度都是统一的（放入模型中的参数必须规格统一），采取取长补短法，短的在前面填0，长的截取前面的元素。将“

在用keras学习GAN网络的时候遇到如下的错误代码：tensorflow.python.framework.errors_impl.FailedPreconditionError:Errorwhilereadingresourcevariable_AnonymousVar33fromContainer

keras学习率余弦退火CosineAnnealing1.引言2.余弦退火的原理3.keras实现1.引言当我们使用梯度下降算法来优化目标函数的时候，当越来越接近Loss值的全局最小值时，学习率应该变得更小来使得模型不会超调且尽可能接近这一点

ZongweiZhou|周纵苇Weibo:@MrGiovanniEmail:[email protected]“为什么不早发现但现在也不算晚”系列基于Theano的深度学习(DeepLearning)框架Keras

keras学习笔记-黑白照片自动着色的神经网络-Alpha版如今，上色都是人手工用Photoshop做的，一张图片要花好几个月才能完成，需要进行大量调查研究，光是其中的一张脸就需要多达20层图层。

社区ppv大数据社区深度学习知乎博客特征工程知乎深度学习的理解数学之美技术方面Keras/Python深度学习中的网格搜索超参数调优aetrossklearn的一些总结keras学习笔记3——Merge

参考：Keras学习率调整深度学习框架Keras使用心得一、如何调整学习率Keras提供两种学习率适应方法，可通过回调函数实现。

找到指定元素的索引使用numpy进行皮尔逊相关性的计算tensorflow-keraskeras中文文档TensorFlow中的Keras用法和自定义模型和层如何为LSTM重新构建输入数据（Keras）Keras

SimpleRNNwithKeras—generatingtext当初写的时候就是用英文,考虑大部分都是代码,也就懒得在换成中文了:)RNNshavebeenusedextensivelybythenaturallanguageprocessing(NLP)communityforvariousapplications.Onesuchapplicationisbuildinglanguagemod

  在处理序列数据时，由于我们需要进行批量处理，所以我们要保证每个序列样本都有相同的序列长度。一般文献中给出的方法是padding：即先确定一个序列长度，然后将每个样本都固定到这个长度上，如果原始序列是长于这个值就截断；如果原始序列是短于这个值就补齐(一般补0)。这样做尽管实现了批量处理，但是存在着数据的丢失和噪声的加入，这在一定程度上相当于是修改了原始数据，那么如何才能不用padding方式既保

  Keras是一个高度封装的库，它的优点是可以进行快速的建模，缺点是它不处理底层运算，如张量内积等。为了弥补这个问题，Keras提供“后端引擎”来实现底层运算操作。目前Keras支持的后端引擎有tensorflow，CNTK，Theano。默认的是使用tensorflow，你可以在.keras/keras.json文件中更改backend。我们可以使用keras提供的后端来实现任意你想实现的la

1.Embedding层的作用  以NLP词嵌入举例，Embedding层就是为了训练一个词嵌入矩阵出来，然后可以获得任意的一个词的词向量。  也就是说对于像一个句子样本X=[1,2,3](1,2,3表示单词在词典中的索引)这样的输入可以先对它one-hot然后乘上词嵌入矩阵就可得到这个句子的词嵌入向量表示。要想得到好的词向量，我们需要训练的就是这个矩阵W(shape=(input_dim,out

本章包括1、一个神经网络的例子2、张量和张量操作3、神经网络如何通过反向传播和梯度下降来学习一、一个神经网络的例子GitHub链接  使用Python库Keras学习对手写数字进行分类的神经网络（将手写数字

循环神经网络RNN3.1RNN与LSTM介绍：循环神经网络中的神经单元类似于模拟数字电路技术中的门电路，具有很多控制门来控制输入输出。RNN结构:LSTM结构:相比与传统的神经网络，RNN在上一层输入的基础上加入了一个x（该时刻）的输入，但是并不能解决长时间依赖。LSTM设计加入了忘记门，输入门，输出门，除了此时的输出还有一个该时刻的转态值，并独立传出到下一层。忘记门：决定是否忘记上一级的状态输入

卷积神经网络CNN2.1使用函数介绍：（1）tf.truncated_normal(shape,mean,stddev):shape表示生成张量的维度，mean是均值，stddev是标准差。这个函数产生正太分布，均值和标准差自己设定。这是一个截断的产生正太分布的函数，就是说产生正太分布的值如果与均值的差值大于两倍的标准差，那就重新生成。和一般的正太分布的产生随机数据比起来，这个函数产生的随机数与均

Tensorflow回归与分类1.1Tensorflow是什么？Tensorflow是谷歌公司推出的开源深度学习框架，利用它我们可以快速搭建深度学习模型。1.2Tensorflow是什么样的框架？Tensorflow跟很多机器学习库类似，采用了“流图”方式，这样做的好处可以减小计算开销。一般情况下，python的数值计算库会将矩阵乘法之类的复杂计算传送到外部外部语言计算（更高效的语言c,汇编等），

Keras由纯Python编写而成并基Tensorflow、Theano以及CNTK后端。Keras为支持快速实验而生，能够把你的idea迅速转换为结果，它的可读性非常强！笔者在这参考了中文文档给自己做了个小结，方便以后查阅。认识序贯（Sequential）模型序贯模型是深度学习中最基本的模型，从字面意思理解就是顺序排列，也就是线形叠加的结构，比如最基本的BP神经网络、VGGNet等。实现起来很简

Permute:置换输入维度RepeatVector：重复输入Lambda：自定义layer层ActivityRegularization（暂不清楚功能）其中功能原文为：Layerthatappliesanupdatetothecostfunctionbasedinputactivity.应该翻译为：此网络层对基于输入活动的代价函数应用一个更新Masking：覆盖掉不考虑的序列元素SpatialD

最近在读paper，看keras复现模型时看到了除了用Sequential()不断add(layers)的写法之外还有另一种方式，即在layer类后加(layer)这种方式，花了些时间去理解和学习，在此分享一下两种表述。以下两种代码搭建的是相同的网络结构。[1]利用Sequential()作为起始，不断add()后面的layer，架构线性表示，即y=f(x)→z=g(y)→m=h(z)→…y=f(

CNN架构卷积层layers.Conv2Ddata-format:输入图像的格式,当为"channels_last"时为(batch,height,width,channels);当为"channels_first"时为(batch,channels,height,width)filters:生成多少个卷积核(要得到的图像的厚度),即变换后的图像通道数kernel_size:卷积核大小stride

定义模型一、激活函数activationmodel=models.Sequential()model.add(layers.Dense(隐藏层个数，activation=‘’))1、softmax2、softplus3、softsign4、relu5、tanh6、sigmoid7、hard_sigmoid8、linear编译模型必选两个参数：优化器optimizers和损失函数（目标函数）loss

上一次的博客中，我学习了使用顺序模型去实现一个网络模型的基本内容。首先我们要线性的堆叠网络层，这里要先使用Sequential构造器来构造一个模型对象，然后使.add()方法去添加网络层，第一层的全连接层一定要指定输入大小。接下来，对模型进行编译，使用.compile()方法配置网络，包含损失函数，优化方法和评估标准三个参数，最后，通过.fit()函数对模型进行训练。这事一个简单的顺序模型过程，下

介绍AutoML这个topic在机器学习领域越来越火，新的研究成果也是层出不穷。在网络架构(NAS)，模型压缩(AMC)，数据增强(AutoAugment)，优化器设计(NeuralOptimizerSearch)，平台相关优化(AutoTVM)等领域，我们都可以看到相应的研究成果表明机器学习可以达到比人肉调参更优的结果。自动化方法正在逐步替代调参工。相信不久的将来，我们面对一个场景，只要喂数据，

介绍AutoML这个topic在机器学习领域越来越火，新的研究成果也是层出不穷。在网络架构(NAS)，模型压缩(AMC)，数据增强(AutoAugment)，优化器设计(NeuralOptimizerSearch)，平台相关优化(AutoTVM)等领域，我们都可以看到相应的研究成果表明机器学习可以达到比人肉调参更优的结果。自动化方法正在逐步替代调参工。相信不久的将来，我们面对一个场景，只要喂数据，

近期跑github的kerasyolov3代码，遇到了一些问题，此博客以记录。代码地址：https://github.com/qqwweee/keras-yolo3#usage在使用yolo_video.py检测视频时，最后会报错，且无法保存视频。报错如下：Traceback(mostrecentcalllast):File"yolo_video.py",line75,indetect_video

环境描述：系统ubantu16.04安装anaconda版本conda4.5.4创建虚拟环境tf-gputensorflow-gpu版本（1.7.0-gpu,能够importtensorflow）tf-gpu环境下已安装的包：(1)condainstallscipymatplotlibscikit-learnscikit-image(2)condainstallkeras正文一直对keras和tf

区别：1.GlobalMaxPooling1D:在steps维度（也就是第二维）对整个数据求最大值。比如说输入数据维度是[10,4,10]，那么进过全局池化后，输出数据的维度则变成[10,10]。2.MaxPooling1D：也是在steps维度（也就是第二维）求最大值。但是限制每一步的池化的大小。比如，输入数据维度是[10,4,10]，池化层大小pooling_size=2，步长stride=1

经过前面的教程，想必大家对于简单二分类、多分类、回归的建模方法都有了一定的了解。接下来，先不对模型本身进一步深入，而是针对机器学习中常见的数据载入、数据预处理、k折交差验证、参数选择、模型保存等操作进行基本的讲解，这些操作会贯穿后续学习的整个过程中。（如遇到部分操作需要有模型配合讲解的，则默认采用第（3）节中构建的Iris多分类模型）1.文本文件数据载入文本文件是最常见的数据集格式之一（后缀不重要

由于模型在构造的时候会引入大量的随机参数，所以神经网络有个非常重要的一个问题就是模型无法复现。在模型的训练过程中，我们需要保证特定模型的性能是不变的。以确定性能的变化是来自模型还是数据集的变化，或者仅仅是一些新的随机样本点带来的结果。下面的代码片段解决模型复现的问题，针对Python3环境，以TensorFlow作为keras的后端。importnumpyasnpimporttensorflowa

在实际应用中，遇到最多的还是多分类。如果你已经根据教程（2）实现了二分类，那么本篇几乎不需要花费多少额外的功夫。1.概念约定为方便后续讲解，约定如下：x,y：分别代表整个数据集的特征、类别x_train,y_train：分别代表训练集的特征、类别x_test,y_test：分别代表测试集的特征、类别2.分步搭建数据载入本例同样采用Scikit-Learn自带的数据集Iris，一个4维输入特征、3-

数据归一化通过上次对cifar10数据集分类的任务，我的分类精度在0.79，但是当我对输入的数据做了归一化后，精度达到了0.99，实现的语句如下：X_train=X_train.astype('float32')/255X_test=X_test.astype('float32')/255Y_train=Y_train.reshape(Y_train.shape[0])/10Y_test=Y_te

学习过tensorflow后，继续学习了keras，想用keras自己去写一个卷积神经网络，用于cifar10的数据分类问题。实例：CIFAR10分类下面代码主要介绍了keras中三种构建网络结构的方式，仅供参考，可能还有更多的写网络结构的方式，但目前我作为初学者，了解的没有那么广泛。'''注：第二种构建网络方法，我没有写完，so识别精度很低，但是可以跑通，如果有兴趣的话可以自己去补全，我没有加任

之前看了一个用karas构建的一个GAN网络，这个网络的目的是基于cifar10中数据，生成出和真实数据相似的数据。现在想把这个网络转换成用tensorflow写的网络，因此开始学习keras的基本语法。之后会把keras实现的GAN网络做一个解释。最后会写出一个能跑通的tensorflow实现的GAN网络。1.兼容性backendkeras有两个backend，当第一次importkeras时，

keras提供很多训练好的模型vgg16,vgg19,InceptionV3等如何获取这些模型的某一层的输出这些模型每个模型都有超过10个层，如果想检查中间的某层输出如何操作1.加载模型以vgg16为例fromkeras.applications.vgg16importVGG16model=VGG16(weights='imagenet',include_top=False)print(model

本文主要介绍如何在Keras中保存和加载模型。示例代码：importnumpyasnpnp.random.seed(1337)#forreproducibilityfromkeras.modelsimportSequentialfromkeras.layersimportDensefromkeras.modelsimportload_model#createsomedataX=np.linspac

本文主要介绍使用keras实现自编码。自编码：将数据压缩再解压，并进行cost的计算。（主要用于对数据进行降维，提取数据的主要部分）代码：importnumpyasnpfromkeras.datasetsimportmnistfromkeras.utilsimportnp_utilsfromkeras.modelsimportModelfromkeras.layersimportDense,Inp

本文主要介绍使用RNN来实现回归，对曲线进行预测。示例代码：importnumpyasnpfromkeras.datasetsimportmnistfromkeras.utilsimportnp_utilsfromkeras.modelsimportSequentialfromkeras.layersimportDense,TimeDistributed,LSTMfromkeras.optimiz

本篇文章主要介绍通过RNN实现MNIST手写数据集分类。示例代码：importnumpyasnpfromkeras.datasetsimportmnistfromkeras.utilsimportnp_utilsfromkeras.modelsimportSequentialfromkeras.layersimportDense,Activation,SimpleRNNfromkeras.opti

首先容易谷歌到的两种方法:1.构造metrics这种方法适用于二分类，在模型训练的时候可以作为metrics使用。使用的是固定阈值0.5。fromkerasimportbackendasKdeff1(y_true,y_pred):defrecall(y_true,y_pred):"""Recallmetric.Onlycomputesabatch-wiseaverageofrecall.Compu

Keras是一个高层神经网络API，Keras由纯Python编写而成并基Tensorflow、Theano以及CNTK后端。Keras为支持快速实验而生，能够把你的idea迅速转换为结果，如果你有如下需求，请选择Keras：简易和快速的原型设计（keras具有高度模块化，极简，和可扩充特性）支持CNN和RNN，或二者的结合无缝CPU和GPU切换。我们从三个问题出发，实现keras的快速入门。三个

CNN即ConvolutionalNeuralNetworks即卷积神经网络，是一种多层神经网络，擅长处理图像特别是大图像的相关机器学习问题。本次使用keras实现CNN,包含两层卷积(Conv)，两层最大池化(MaxPooling)，两层全连接（Dense）.本次实例运行程序：#-*-coding:UTF-8-*-"""Toknowmoreorgetcodesamples,pleasevisit

承接上次笔记，这次进行mnist的手写体目标识别实例，先说明一下出现的问题。如上图，源程序类似keras的mnist_example实例，数据源是通过url=https://s3.amazonaws.com/img-datasets/mnist.npz进行下载的。访问该url地址被墙了，导致MNIST相关的案例都卡在数据下载的环节。所以小编选择事先下载好mnist的数据集，然后修改程序，直接调用本

目录：Keras使用陷阱TF卷积核与TH卷积核向BN层中载入权重Keras的可训练参数在前，不可训练参数在后Merge层的层对象与函数方法本系列参考官方文档官方文档这就是keras可以参考前篇：这就是keras

complie中的metrics参数model.compile(...metrics=['accuracy'])如上,metrics中有两个arguments,y_true,和y_pred它所接收的评估指标为,损失函数,(mse等)和准确率(accuracy等),它们都作用于训练集和验证集(eg:loss:..acc..mae..val_loss:..val_acc..val_mae..),当然该

一个完整的分类模型fromkeras.layersimportInput,Densefromkeras.modelsimportModel#Thisreturnsatensorinputs=Input(shape=(784,))#alayerinstanceiscallableonatensor,andreturnsatensorx=Dense(64,activation='relu')(inpu