1、RNN在DNN和CNN中，训练样本的输入和输出往往都是确定的，并且对单个样本前后之间的关系不关心。这就导致DNN和CNN不好解决训练样本输入是连续的序列,且序列的长短不一，比如基于时间的序列：一段段连续的语音，一段段连续的文字。这些序列比较长，且长度不一，比较难拆分成一个个独立的样本来通过DNN/CNN进行训练，并且序列前后之间往往有很大的关系。而这正是RNN比较擅长的任务。先晒一张大家经常看

TensorFlow笔记（11）GoolgeNet1.Inception块2.数据读取3.构建模型4.训练模型5.评估模型6.模型预测1.Inception块根据深度学习笔记（30）Inception网络可以了解到可以利用

TensorFlow笔记（10）CheckPoint1.checkpoint2.保存检查点3.读取检查点1.checkpoint随着数据的复杂性和网络深度的加深，训练的强度就会加大万一电脑训练太久炸裂，

最近在看TF2.0的内容，顺便把以前的内容也做下笔记，以便查阅。所有程序在不注明的情况下，默认使用tensorflow1.14版本。数据加载是训练模型的第一步，合理的数据加载方式虽然不会对模型效果有促进作用，但是会大大加快训练过程。TensorFlow中常用的数据加载方式有四种：内存对象数据集，在学习阶段最常见的数据加载方式，在session中直接用字典变量feed_dict给变量喂数据，这种方式

TensorFlow笔记（9）ResNet1.残差网络分类问题2.数据读取3.构建模型4.训练模型5.评估模型6.模型预测1.残差网络分类问题非常深的神经网络是很难训练的，因为存在梯度消失和梯度爆炸问题根据深度学习笔记

深度学习的视频：北京大学人工智能实践：Tensorflow笔记（更新中）https://www.bilibili.com/video/av22530538慕课，网易云课堂，百度也能直接搜索到对应项目。

Tensorflow笔记——channelshuffle的实现Channelshuffle:因为groupconvolution会导致channel具有局部性,这样对模型的泛化能力有点弱,影响模型的准确率

断点恢复在做深度学习训练的时候，由于训练时间比较长，迭代次数比较多，经常会出现无法一次完成train的情况，那么这个时候我们需要用到tensorflow中的断点恢复。不多说直接上例子#step=int(ckpt.model_checkpoint_path.split('/')[-1].split('-')[-1])通过文件名得到模型保存时迭代的轮数#tf.train.get_checkpoint_

人工智能之深度学习框架：深度学习Tensorflow笔记介绍一、深度学习二、TensorFlow环境搭建三、TensorFlow入门四、深层神经网络笔记介绍通过参考书：“TensorFlow实战Google

目录介绍利用slim.dataset.Dataset读写tfrecord文件利用tf.parse_single_example读写tfrecord文件对比使用tf.image.decode_jpeg进行tobytes格式的解码读取总结介绍最近在读取tfrecord时，遇到了关于tensorfshape的问题。我们需要知道，大多数情况下图片进行encode编码保存在tfrecord时是一个一维张量，

目录一、辅助函数1.1slim.arg_scope（）1.2slim.utils.collect_named_outputs()1.3slim.utils.convert_collection_to_dict()二、层函数2.1batch_norm处理2.3tf.contrib.slim.conv2d()2.4slim.max_pool2d2.5slim.fully_connected一、辅助函数

tf.reduce_mean函数用于计算张量tensor沿着指定的数轴（tensor的某一维度）上的的平均值，主要用作loss计算，降维或者计算tensor（图像）的平均值。reduce_mean(input_tensor,axis=None,keep_dims=False,name=None,reduction_indices=None)第一个参数input_tensor：输入的待降维的tens

TensorFlow笔记（8）LeNet-5卷积神经网络1.卷积神经网络分类问题2.数据读取3.构建模型4.训练模型5.评估模型6.模型预测1.卷积神经网络分类问题假如对单神经元的模型92.28%的准确率还不满意根据深度学习笔记的深度学习笔记

目的TensorFlow是Google发布的一款非常优秀的机器学习工具包，其功能强大、易用性高、获取方便。本文旨在发布我在学习TensorFlow时用到的一些资源，以方便查阅。资料网站教程网站Tensorflow官网：https://www.tensorflow.org/?hl=zh_cnw3cschool的TensorFlow官方文档：https://www.w3cschool.cn/tenso

深度学习day1最常用的框架：TensorFlow和Pytorchcaffe和caffe2次之PyTorch和Torch更适用于学术研究；TensorFlow、caffe、caffe2更适用于工业界的生产环境部署caffe适用于处理静态图像；Torch和PyTorch更适用于动态图像；TensorFlow两种情况下都适用TensorFlow和caffe2可在移动端使用TensorFlow结构1、T

8讲入门课程（代码实践课）：人工智能概念、机器学习方法、深度学习的TensorFlow框架第讲讲解内容学生可学会一人工智能、机器学习、神学学习、神经网络发展、典型应用、环境搭建二Python语法织成网Python基本用法三TensorFlow名词解释，给出神经网络八股神经网络八股四神经网络优化神经网络基本优化方法五MINIST数据集、全连接网络基础手写数字识别，输出识别正确率六MINIST数据集、

generateds.py生成数据importnumpyasnpimportmatplotlib.pyplotaspltseed=2defgenerateds():rdm=np.random.RandomState(seed)X=rdm.randn(300,2)Y_=[int(x0*x0+x1*x1<2)for(x0,x1)inX]#1红0绿Y_c=[['red'ifyelse'blue']for

TensorFlow笔记（1）基础概念1.TensorFlow简介2.TensorFlow概念3.计算图4.Tensor张量5.Operation操作6.Session会话1.TensorFlow简介TensorFlow

1、使用Tensorflow搭建神经网络时，通常用张量表示数据，用计算图搭建神经网络，用会话执行计算图，再优化神经网络的参数（权重），获得更准确的模型2、张量与计算图张量（tensor）：多维数组（列表）阶：张量的维数0阶张量就是标量判断张量是几阶的，就可以看方括号有几个，n个就是n阶张量可以表示0阶到n阶数组（列表）表示result是一个名叫add:0的张量，是一个长度为2的一维数组，数据类型是

1、图灵是人工智能之父。图灵在1950年在论文《机器能思考吗？》中提出了图灵测试，一种用于判定机器是否具有智能的试验方法把提问者C和回答者A和B分隔开，提问者多次向回答者提问，如果有30%的提问者认为对面是人而不是机器，那么这台机器就通过了图灵测试，具备了人工智能。这就是人工智能的概念，用机器模拟人的意识和思维2、现在的主流的4款人工智能助理3、人工智能的先驱他们也是在人工智能寒冬仍在坚守的科学家

Tensorflow笔记——交通标志识别本博客的内容是：在BlackWalnutLabs完成交通标志标志识别实验的学习笔记其中主要的部分是BlackWalnutLabs的实验过程介绍，少部分自己实验过程中的心得

FashionMNISTDataset有T恤、短靴等10个类别图像，每张图片为28*28像素的灰阶图像共70000张图像，60K当作训练集，10K当作测试集#!pipinstall-Utensorflow_datasets#!pipinstall-U-ihttps://pypi.tuna.tsinghua.edu.cn/simpletensorflow-gpu==1.12.0#2.0.0a0imp

本地连接远程服务器上Tensorboard的问题文章目录一、问题提出一、解决方案一、问题提出本机是windows系统，tensorflow程序运行在远端服务器，通常使用Xshell登陆服务器操作。按照tf教程，训练网络的summary存在设定的log_dir中，检查tensorboard安装完好，找tf安装目录：pipshowtensorflow-gputensorboard文件夹在tf同级目录，

内容源于曹建老师的tensorflow笔记课程源码链接:https://github.com/cj0012/AI-Practice-Tensorflow-Notes测试图片下载:https://github.com

这是另一个系列，是北大教授的TensorFlow笔记课程，会根据学习，对其中的一部分进行更博，希望一起学习共同进步TensorFlow学习手册汇总：0.python的高级用法——列表推导式，生成式1.神经网络框架

目录1、神经网络模型的保存2、神经网络模型的加载1、神经网络模型的保存一般神经网络训练完成之后就直接退出了，并没有将训练得到的模型保存下来方便下次直接使用。为了让训练结果可以复用，需要将训练好的神经网络模型持久化，保存下来，可以提供给之后进行使用。TensorFlow提供了一个非常简单的API，即tf.train.Saver类来保存和还原一个神经网络模型。下面代码给出了保存TensorFlow模型

1，网易公开课：内蒙古大学公开课：数学分析选讲2，网易公开课：麻省理工公开课：线性代数3，中国大学MOOC：高等数学——微积分CAP（山东大学）4，中国大学MOOC：人工智能实践——Tensorflow

tf.placeholder(dtype,shape=None,name=None)解析：此函数可以理解为形参，用于定义过程，在执行的时候再赋具体的值参数：dtype：数据类型。常用的是tf.float32,tf.float64等数值类型shape：数据形状。默认是None，就是一维值，也可以是多维，比如[2,3],[None,3]表示列是3，行不定name：名称。importtensorflow

tf.cast()函数的作用是执行tensorflow中张量数据类型转换，比如读入的图片如果是int8类型的，一般在要在训练前把图像的数据格式转换为float32。cast定义：cast(x,dtype,name=None)第一个参数x:待转换的数据（张量）第二个参数dtype：目标数据类型第三个参数name：可选参数，定义操作的名称例如将int32转换为float32：(tf14)zhangkf

argmax()官方文档如下：tf.argmax(input,dimension,name=None)Returnstheindexwiththelargestvalueacrossdimensionsofatensor.Args:input:ATensor.Mustbeoneofthefollowingtypes:float32,float64,int64,int32,uint8,int16,i

1、tf.argmax(vector,1)返回的是vector中的最大值的索引号，如果vector是一个向量，那就返回一个值，如果是一个矩阵，那就返回一个向量，这个向量的每一个维度都是相对应矩阵行的最大值元素的索引号。importtensorflowastfimportnumpyasnpA=[[1,3,4,5,6]]B=[[1,3,4],[2,4,1]]withtf.Session()assess

目录一、Linux查看Nvidia显卡信息及使用情况二、第一种是通过tf.device()函数来指定训练时所要使用的GPU三、通过CUDA_VISIBLE_DEVICES来指定四、tensorflow的显卡使用方式1、直接使用2、分配比例使用3.动态申请使用4指定GPU一、Linux查看Nvidia显卡信息及使用情况Nvidia自带一个命令行工具可以查看显存的使用情况：nvidia-smizhan

目录1、基本概念：1.1、基于Tensorflow的NN:1.2、张量：1.3、数据类型：1.4、计算图：1.5、会话（Session）:2、神经网络的参数2.1、神经网络的参数：2.2、神经网络的搭建2.3、前向传播（以全连接网络为例子）4、反向传播：目的就是优化模型参数3、搭建神经网络的8股4、实战演练4.1、导入模块，生成数据集；4.2、定义神经网络的输入，参数和输出，定义前向传播过程。4.

前言这是一次使用《TensorFlow笔记（1）——TensorFlow中的相关基本概念》中学习到的知识进行机器学习的实验，一来是为了理解机器学习大概是什么样的，另一方面也算是将之前学习到的一些知识活学活用

1.os.path.join()函数表示把参数字符串按照路径命名规则拼接。例如：importosos.path.join('/hello/','good/boy/','doiido')输出结果：'/hello/good/boy/doiido'2.字符串.split()函数表示按照指定“拆分符”对字符串拆分，返回拆分列表。例如：'./model/mnist_model-1001'.split('/'

TensorFlow笔记--学习率衰减1.Why?2.What？3.How?

前言Tensorflow是一个编程系统，使用图（graph）来表示计算任务，图（graph）中的节点称之为op(operation），一个op获得0个或多个Tensor，执行计算，产生0个或多个Tensor。Tensor看作是一个n维的数组或列表。图必须在会话（Session）里被启动。基本概念使用图（Graph）来表示计算任务在被称为会话（Session）的上下文（context）中执行图使用t

TensorFlow笔记--求解二次函数最小值对应的值问题：代码段：运行结果如下：最近学习在TensorFlow，看了两行代码后觉得TensorFlow真是一个不错的工具。

1.环境介绍CPU：IntelCorei57500OS：Windows1064bitVS：VisualStudio20152.安装TensorFlow安装TensorFlow环境，可以参考本人另一篇博客文章：Windows10系统下安装和搭建TensorFlow（forCPUonly），已经安装TensorFlow的可以跳过该步骤。安装完成后，请记下Anaconda中TensorFlow环境的路径

目录一、什么是Anaconda？二、安装Anaconda三、安装Tensorflow四、（补充）linux上anaconda的卸载一、什么是Anaconda？简单来说，Anaconda是一个包管理器和环境管理器。当安装好Anaconda并开始运行时，就会发现我们电脑里面安装好的环境和依赖包都可以在Anaconda里面找到，管理（安装、更新、卸载等）起来简直不能再方便。而且Anaconda附带一大批

无监督逐层训练:预训练+微调权共享:神经元使用相同连接权，cNN感知机:可以理解为单层神经网络，无法模拟异或运算二分类一般用阈值分割，但手写数字识别这种十分类一般不采用阈值前向与后向，后向更像是有反馈，比如标签不匹配就改参数

creat_date:2017-03-09前言:根据我本人学习TensorFlow实现LSTM的经历，发现网上虽然也有不少教程，其中很多都是根据官方给出的例子，用多层LSTM来实现PTBModel语言模型，比如：tensorflow

#前向传播：描述了网络结构minist_forward.py#反向传播：描述了模型参数的优化方法mnist_backward.py#测试输出准确率minist_test.pyimporttensorflowastf#首先定义神经网络的相关参数INPUT_NODE=784#神经网络输入节点是784个，因为输入是图片像素值，每张图片28*28,共784像素点，每个像素点是0~1之间的浮点数，这784个

tf.train.Saver类TensorFlow中的模型存取都是通过这个类来实现的以my_model为例，存储时会在目录下生成四个文件，分别是checkpoint文件、my_model.meta文件、my_model.index文件和my_model.data-00000-of-00001文件checkpoint文件：该文件在目录下只会生成一个，是用来记录和管理整个目录下的所有模型文件my_mo

学习率决定了参数更新的幅度。通常我们希望在学习开始阶段提供一个较大的学习率，使得参数快速更新，达到最优解附近。然后随着训练的进行，我们希望在学习率随着训练次数的增加而减少，即在接近最优解的时候能够以较小的学习率逼近最优解TensorFlow为我们提供了tf.train.exponential_decay()函数实现这个功能tf.train.exponential_decay()函数定义tf.tra

tf.nn.sigmid()函数函数表达式f(x)=11+e−xf(x)=\frac{1}{1+e^{-x}}f(x)=1+e−x1函数图像函数性质对其求导可得到f′(x)=f(x)(1−f(x))f'(x)=f(x)(1-f(x))f′(x)=f(x)(1−f(x))sigmoid函数取值范围在(0,1)区间内，常用于输出层进行二分类sigmoid函数之前使用很广泛，但因为sigmoi

常量tf.constant()函数tf.constant(value,dtype=None,shape=None,name='Const',verify_shape=False)用于定义常量，可以直接传入一个list来初始化vaule，也可以指定value和shape来进行填充。tensor=tf.constant([1,2,3,4,5,6,7])#[1234567]tensor=tf.const

主要是按照视频代码贴一下，出现的错误可以展示并给出解决方案。1#coding:utf-82#导入模块，生成模拟数据集3importtensorflowastf4importnumpyasnp5BATCH_SIZE=86seed=234557#seed(n)这样生成的随机数每次是一样的8#基于seed()产生随机数9rng=np.random.RandomState(seed)10#随机数返回32行

tensorflow笔记：reduce_mean()函数axis参数理解tf.reduce_mean(input_tensor,axis=None,keepdims=False,name=None,reduction_indices

LSTM是LongShort-TermMemory的简称，中文又叫做长短期记忆，是当下最流行的RNN形式之一。之前说过RNN是在有序的数据上进行学习的。为了记住这些数据，RNN会像人一样产生对先前数据发生记忆，不过一般形式的RNN就像一位老爷爷，有的时候还是比较健忘的，为什么会这样呢？想象现在有这样一个RNN，它的输入值是一句话“我今天要做红烧排骨，首先要准备排骨，然后，，，最后美味的一道菜就出锅