术语神经网络NeuralNetworks输入层inputlayer隐藏层hiddenlayer输出层ourputlayera(j)i第j层第i个激活项（具体的一个神经元输入或输出的值）θ(j)权重矩阵（控制从第j层到第j+1层映射）例子

第四章、卷积神经网络4.1卷积神经网络（上）为什么使用卷积神经网络一般的深度全连接神经网络，在较高分辨率的图像情况下，特征向量维度很大，导致每一个全连接层计算的权值数量是非常多的，如果数据不够，很容易训练出过拟合的情况，即使有庞大数据做支撑，那也会对硬件和内存造成很大的负担。而卷积神经网络就会改善这一问题。卷积层操作重要操作：卷积操作：利用卷积核/过滤器将原图像矩阵卷积为新的卷积矩阵padding

卷积神经网络一.全连接神经网络的局限性二.卷积神经网络背景1962年Hubel和Wiesel通过对猫视觉皮层细胞的研究，提出了感受野(receptivefield)的概念。视觉皮层的神经元就是局部接受信息的，只受某些特定区域刺激的响应，而不是对全局图像进行感知。1984年日本学者Fukushima基于感受野概念提出神经认知机(neocognitron)。CNN可看作是神经认知机的推广形式。三.卷积

系列文章目录RCNN系列参考视频FCN参考视频文章目录系列文章目录目标检测（ObjectDetection）语义分割（Semanticsegmentation）实例分割（Instancedivision）RCNN系列算法前言一、开山之作：RCNN1、候选区域生成2、CNN特征提取3、SVM分类器4、位置精修5、总体二、端到端：FastRCNN1、候选区域与特征提取2、RoI全连接、分类器与边界框回

一个模型先看效果再了解原理。不懂原理也可以得到效果。深度学习原理不是非常清楚，解释性不够强，但是效果比较好。1980高峰，起始1995年，SVM/GBDT,深度学习进入低谷2014-2015，爆发。数据量暴增，计算机性能更好。二分类LR，大部分线性不可分，处理方式：多项式来搞增加维度SVM核方法非线性变换线性变换（例如向量乘以一个矩阵），在空间中表现出来是对一个点进行平移。无法解决线性不可分问题。

GraphAttentionNetworks学习笔记这是一个excitingfield前提引入：1.图神经网络GNN介绍：https://www.bilibili.com/video/BV1Tf4y1i7Go8分钟小视频形态：就是《数据结构》、《离散数学》等所说的那个“图”的概念：节点、邻居、关系(有向、无向)、度、出度、入度然后，我们把邻接矩阵A，度矩阵D，特征矩阵X再有个印象就OK了。操作-1

1常用函数（1）tf.Variable()标记训练网络中的参数，如W，将变量标记为”可训练“，神经网络训练中，常用该函数标记待训练参数w=tf.Variable(tf.random.normal([2,2],mean=0,stddev=1))#标记w为待训练参数，初始化生成两行两列的正态分布的随机数，均值为0，标准差为1（2）tf.matmul，矩阵乘（3）tf.data.Dataset.from

目录1.循环神经网络1.1循环神经网络大致结构1.2延时神经网络（TimeDelayNeuralNetwork，TDNN）1.3按时间展开1.4反向传播1.5梯度消失，梯度爆炸2.lstm门控原理3Matlab实现整个博文，原理和代码实现建议配合视频食用，口感更佳LSTM长短期记忆网络从原理到编程实现LSTM长短期记忆网络从原理到编程实现_哔哩哔哩_bilibili代码链接链接：https://p

神经网络基础一、机器学习基本概念1.机器学习流程概述1数学模型2损失函数3梯度下降算法二、神经网络1神经元2多层感知机3训练神经网络总结一、机器学习基本概念随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。1.机器学习流程概述提取特征——建立模型——确定损失函数进行优化求解模型可以看做一个复杂的函数f(X;W),建立输入到输出之间的映

表示学习一、离散表示与分布表示二、端到端学习三、基于重构损失的方法——自编码器四、基于基于对比损失的方法—Word2vec自动地从数据中去学习“有用”的特征，并可以直接用于后续的具体任务———称为表示学习一、离散表示与分布表示独热向量编码（one-hot），它将研究的对象表示为向量，这个向量只在某个维度上值是1，其余维度上值全为0，可以想象有多少种类型，这个向量的长度就有多长。比如要用这种方式去将

全连接神经网络和卷积神经网络，他们都只能单独的取处理一个个的输入，前一个输入和后一个输入是完全没有关系的。但是，某些任务需要能够更好的处理序列的信息，即前面的输入和后面的输入是有关系的。比如，当我们在理解一句话意思时，孤立的理解这句话的每个词是不够的，我们需要处理这些词连接起来的整个序列；当我们处理视频的时候，我们也不能只单独的去分析每一帧，而要分析这些帧连接起来的整个序列。这时，就需要用到深度学

系列文章目录文章目录系列文章目录AI绘画GAN前言一、生成网络与判别网络的协同进化1、生成器与判别器的学习趋向2、部分算法理念Diffusion前言一、Diffusion前向过程二、Diffusion反向过程AI绘画AI绘画，目前AI领域里最有话题性的技术，上一个这么火的话题是swintransformer网络，而2022年8月JasonAllen凭借AI绘画作品《太空歌剧院》拿下科罗拉多州博览会

系列文章目录神经网络学习笔记1——ResNet残差网络、BatchNormalization理解与代码神经网络学习笔记2——VGGNet神经网络结构与感受野理解与代码参考博客1参考博客2文章目录系列文章目录前言一

最近在学习一门深度学习与机器视觉的专业课，感觉自己的深度学习的基础很是不牢固，所以打算从最简单的神经网络整理一下知识在B站发现了一个神经网络可视化的视频，很nice，推荐给大家神经网络可视化这篇文章很是实用《深度学习》课程总结-深度学习的实用层面在这里记录一下有关epoch、iteration、batch_size的概念batchsize：批大小。在深度学习中，一般采用SGD训练，即每次训练在训练

张量（tensor）就是多维数组阶代表张量的维数维数阶名字0-D0标量scalar1-D1向量vector2-D2矩阵matrixn-Dn张量tensor张量可以表示0阶到n阶的数组（列表）数据类型tf.int,tf.float…tf.int32,tf.float32,tf.float64tf.booltf.constant([True,False])tf.stringtf.constant(“H

感知器神经网络作用：用于简单的模式分类问题。原理：将R个输入变量Pi赋予不同权值后相加，并加入偏差。网络传递函数：阈值函数hardlim。感知器学习规则：输入输入样本Pi，期望目标Ti，将期望目标与训练时产生的输出目标进行比较。获得网络误差，然后应用学习规则对网络权值和偏差进行调整，是训练后输出接近于正确目标。感知器学习算法：P为输入，T为期望输出，训练时实际输出为a，训练目的为尽可能减小误差E=

卷积神经网络学习笔记一、深度学习概述深度学习是机器学习的一种基于对数据进行表征学习的方法，但深度学习的基础是神经网络，对更为复杂的模型进行分析，从而使模型对数据的理解更加深入。

Pytorch官网：https://pytorch.org/建造第一个神经网络目录建造第一个神经网络1关系拟合(回归)（1）建立数据集（2）建立神经网络（3）训练网络（4）可视化训练过程（5）完整代码2区分类型(分类)（1）建立数据集（2）建立神经网络（3）训练网络（4）可视化训练过程（5）完整代码3快速搭建法4保存提取（1）保存（2）提取网络（3）提取网络参数（4）显示结果5批训练6加速神经网络

5.1神经元模型神经网络是由具有适应性简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界所做出的交互反应，其基本成分为神经元（neuron）模型M-P神经元模型即神经元接收来自n个其他神经元传递过来的输入信号，这些输入信号通过带权重的连接进行传递，神经元将接收到的总输入值与神经元的阈值进行比较，然后通过“激活函数”处理以产生神经元的输出。实际中，常常使用sigmoid函数作为

一、神经网络的兴起1、神经网络的发展史很早之前就听过神经网络这个名词，感觉很神秘、很强大，但是具体是做什么的，怎么用，一无所知。其实，最初产生的是神经元模型MP，即一个具有输入、输出和计算功能的细胞单元：Z=g(a1*w1+a2*w2+a3*w3)。此时，w1、w2、w3都是固定的。后来，产生了含有两层神经元（输入层、输出层）的感知器，具备了识别简单图像的能力，这也是最初的神经网络的样子。与神经元

cs224w3-1Nodeembedding引入我们输入一张图，对图按不同的层级做特征工程，之后进行算法训练，完成预测；我们大部分的时间都花在了特征工程上面，我们都在想一种能够更简单更简洁表达图的特征的方法？我们能使特征工程这一步自动化吗？我们将自动学习图上面的特征的一些方法成为FeatureRepresentationLearning或嵌入Embedding；我们的任务是，将节点映射到embed

cs224w1-2ApplicationofGraphMLDifferentTypeofTask传统的图机器学习任务有四种:①节点级别②边级别③子图级别④图级别（如图级别预测或生成图）各个级别对应的任务：1.NodeLevel–Classification：节点分类（用户分类、项目分类）例子：蛋白质氨基酸序列，3D折叠形状复杂；给定氨基酸序列，能否预测蛋白质的3D折叠形状？AIphaFold提升了

cs224w1-3ChoiceofGraphRepresentation1.图的组成与建立N节点；E边；G图；图是解决问题时的一种通用语言，但为问题选择一种表示方法是一个困难的问题如何构建图去解决问题是我们的重点2.有向图、无向图和二部图Degree：节点连接的边的数量，中文称之为度Avg.Degree：所有节点的度的平均（2E的原因是每条边都被计算了两次）InDegree:出度OutDegree

cs224w2-1TraditionalFeature-basedMethods-Node前言：传统图机器学习方法1.传统图机器学习的三个层级我们可以将传统图机器学习任务分为三个层级：节点、边、图；图数据有两种属性特征：1.节点、边、图的特征属性；2.图数据的结构特性（局部网络结构localnetworkstructure这些额外的特征描述了网络的拓扑结构，能使预测更加准确）2.传统机器学习的两大

cs224w2-2TraditionalFeature-basedMethods-Line边层级上节课我们介绍了关于节点相关的基础知识，这节课我们将关注于**“边”**。任务：利用现有的链接来预测新的链接的产生；我们需要评估所有为连接的节点对；并对他们进行排序，排名前K个为我们的预测结果；这里的重点是“节点对”特征的设计，我们可以将点A和点B的特征融合起来来作为“节点对”，但失去了点之间的关系信息

cs224w1-1WhyGraph？ManyTypesofDataareGraph作者举了几个例子，计算机网络，生信蛋白质分子等很多数据可以用图来表示，图是用于描述和分析有关联性的实体的一种语言，使用图会更接近现实。TypesofNetworksandGraph自然界的图类别：社交网络：70亿人的集合与他们的联系交流交易网络：电子设备之间通信、交易、电话、金融交易等生物信息网络：生物信息网络：基因

cs224w2-3TraditionalFeature-basedMethods-Graph图层级我们要用什么方式来表示图的结构呢？我们下面将介绍图的特征描述的描述符号，以便我们进行特征描述；KernelMethods（核方法）核方法被广泛应用于解决图层级的预测的传统的机器学习；思想：设计内核来代替特征向量；简单介绍一下Kernel：1.两个图的核K(G,G,)K(G,G^,)K(G,G,)，衡量

1图神经网络应用芯片设计、场景分析问题推理、推荐系统、欺诈检测风控相关、道路交通动态流量预测、自动驾驶、无人机等、化学医疗等场景2图神经网络基本组成点(vertex)、边(edge)、全局图(global)，图神经网络（GNN，GraphNeuralNetwork）主要作用还是跟传统神经网络的作用一样——特征提取，只是提取特征的方式和提取特征的目标不一样。图神经网络主要是为了提取整个图的全局特征而

系列文章目录神经网络学习笔记1——ResNet残差网络、BatchNormalization理解与代码神经网络学习笔记2——VGGNet神经网络结构与感受野理解与代码文章目录系列文章目录A、Transformer

系列文章目录博客依托于国外GNN综述结合沐神视频文章目录系列文章目录图神经一、图是什么？二、机器学习中使用图1、邻接矩阵的表达2、GNN1.独自更新2.VE交互更新3.UVE交互更新3、GCN总结图神经什么是图：图是一种对节点和节点间关系建模的数据结构，是机器学习中唯一的非欧几里得数据，图分析可用于节点分类、链接预测和聚类。GNN的来源：CNN：CNN可以提取大量本地紧密特征并组合为高阶特征，但C

CNN卷积神经网络学习笔记对于其实现过程，大致可分为以下几个步骤：输入层卷积层激活函数池化层全连接层即INPUT-CONV-RELU-POOL-FC卷积层：用它来进行特征提取。

深度神经网络学习笔记–AlexNethttps://blog.csdn.net/weixin_44791964/article/details/102748770用AlexNet网络构建一个图像分类模型看了无数遍也记不住的

用python搭建了个简单的神经网络关系拟合importtorchfromtorch.autogradimportVariableimporttorch.nn.functionalasFimportmatplotlib.pyplotaspltx=torch.unsqueeze(torch.linspace(-1,1,100),dim=1)#unsqueeze把一维数据变成二维数据#torch当中只

一、线性回归1.线性回归的数学假设：假设输入的x和y是线性关系，输入的x和y满足，其中e为误差，满足均值为0，方差为某一确定值的正太分布2.线性回归的建模：3.损失函数：简单的损失函数可以选择为平方损失二、Softmax对于神经网络中，直接使用输出层的输出有两个问题：一方面，由于输出层的输出值的范围不确定，我们难以直观上判断这些值的意义。例如，刚才举的例子中的输出值10表示“很置信”图像类别为猫，

前馈神经网络每一层的神经元只接受前一层神经元的输入，并且输出到下一层。BP神经网络一种按照误差逆向传播算法训练的多层前馈神经网络。BP即BackPropagation，就是常用的反向传播算法。激活函数激活函数是对输入做的一种非线性的转换。转换的结果输出，并当作下一个隐藏层的输入。激活函数又称为非线性映射函数，讲神经元的输入映射到输出。常用的激活函数包括：Sigmoid型函数、tanh(x)型函数、

目录Trick不增加计算损耗的trick（Bagoffreebies）仅增加微小的计算损耗的trick（Bagofspecials）issue性能评价指标物体检测：混淆矩阵（confusionmatrix）Precision&recallAP（averageprecision）mAP（meanaverageprecision）语义分割：（1）像素准确率（PixelAccuracy，PA）（2）类别

目录填了歌词方便大家学习和了解神经网络有兴趣可以看看哈哈哈1卷积神经网络在机器视觉上的应用2.基础原理3.单层神经网络（公式）4.卷积网络实例6.池化层7.完整卷积神经网络实例填了歌词方便大家学习和了解神经网络有兴趣可以看看哈哈哈《孤勇者》卷积者——卷积神经网络原理从入门到会唱《孤勇者》卷积者——卷积神经网络原理从入门到会唱_哔哩哔哩_bilibili1卷积神经网络在机器视觉上的应用1.图像识别比

先表达一下歉意吧不好意思拖了这么久才整理，弄完考试的事情就在研究老师给安排的新任务，一时间还有点摸不到头脑，就直接把百度网盘链接放在视频下面了但是最近才发现那个链接发出来了看不到，所以现在有时间了就来重新整理一下！（发了之后看好多人管我要，我还奇怪，原来是没法出去o(╥﹏╥)o）目录先表达一下歉意吧下面是视频地址和代码数据BP神经网络原理及编程实现_哔哩哔哩_bilibili1.bp神经网络原理1

一、BP神经网络简述人工神经元概述归纳一下生物神经元传递信息的过程：生物神经元是一个多输入、单输出单元。常用的人工神经元模型可用下图模拟。当神经元j有多个输入xi(i=1，2,…,m)和单个输出yj时，输入和输出的关系可表示为:其中j为阈值，wij为从神经元i到神经元j的连接权重因子，f()为传递函数，或称激励函数。BP神经网络概述BP神经网络是一种2层或者3层以上的多层神经网络，按照有导师学习方

先上链接：最容易听懂的BP神经网络教程----萌新入门首选课_哔哩哔哩_bilibili看一下BP神经网络训练的整个过程。1.网络拓扑结构：网络分为三层，输入层、隐含层和输出层。若有多个隐含层，就可以称之为深度神经网络。通常使用全连接的方式。输入层：接收外部信息和数据隐藏层：对信息进行处理、调整权值、反馈输出层：对计算结果进行输出全连接神经网络是指当前层的每个神经元都与前一层的所有神经元相连，且每

一.几个知识点1.卷积神经网络和人工神经网络的区别传统意义上的人工神经网络只有输入层、隐藏层、输出层，其中隐藏层的层数根据需要而定，构建的步骤是：特征映射到值，特征是人工挑选。卷积神经网络在原来多层神经网络的基础上，加入了特征学习部分，就是在原来全连接层前面加入了部分连接的卷积层和池化层，构建的步骤是：信号->特征->值，特征是由网络自己选择的。2.卷积神经网络的基本组成卷积层：卷积就是图片中的局

全连接神经网络前馈神经网络包含的层：线性层和卷积层：这两种层对输入进行线性计算。层内维护着线性运算的权重激活层：这层对数据进行非线性运算。非线性运算时可以逐元素非线性运算的，也可以是其它类习惯的非线性运算归一化层：根据输入的均值和方差对数据进行归一化，使得数据的范围在一个相对固定的范围内池化层和视觉层：这两种层和数据重采样有关，包括对数据进行下采样（就是隔几个数据采一个数据）、上采样（把一个数据复

全连接神经网络前馈神经网络包含的层：线性层和卷积层：这两种层对输入进行线性计算。层内维护着线性运算的权重激活层：这层对数据进行非线性运算。非线性运算时可以逐元素非线性运算的，也可以是其它类习惯的非线性运算归一化层：根据输入的均值和方差对数据进行归一化，使得数据的范围在一个相对固定的范围内池化层和视觉层：这两种层和数据重采样有关，包括对数据进行下采样（就是隔几个数据采一个数据）、上采样（把一个数据复

通过学习吴恩达的课程，学习到了很多之前不太清晰的概念。比如卷积网络是如何起作用的。下面的笔记主要针对卷积神经网络的工作原理进行解析。垂直边缘区分通过卷积操作，神经网络能够很好的将物体的边缘进行区分卷积操作实现边缘划分可以看出，通过乘上一个3X3的卷积核，原矩阵转化成了一个新的矩阵，同时其值体现了边缘所在的位置。边缘正负两边的区分不同的边缘变化体现在值的正负上面如果不在意边缘的正负，可以通过直接输出

图嵌入综述图分析任务可以大致抽象的分为以下四类：（a)节点分类（b)链接预测（c)聚类（d)可视化。真实的图（网络）往往是高维、难以处理的，20世纪初，研究人员发明了图形嵌入算法，作为降维术的一部分。嵌入的思想是在向量空间中保持连接的节点彼此靠近。自2010年以来，关于图嵌入的研究已经转移到解决网络稀疏性的可伸缩图嵌入技术上，例如，图分解（GraphFactorization)使用邻接矩阵的近似分

什么是神经网络学习笔记:Thetermdeeplearningreferstotrainingneuralnetworks.术语"深度学习"指的是训练神经网络.Let’sstartwithanexampleofhousepriceforecasting

环境：Windows10，Anaconda，CUDA10.0，PaddlePaddle1.8.51、PaddlePaddle-GPU的依赖项：CUDA安装CUDA：CUDA英文全称是ComputeUnifiedDeviceArchitecture，是显卡厂商NVIDIA推出的运算平台。CUDA™是一种由NVIDIA推出的通用并行计算架构，该架构使GPU能够解决复杂的计算问题。按照官方的说法是，CU

本文为图神经网络学习笔记，讲解学习聚合函数GraphSAGE。

其实我很不愿意写这篇文章的，主要是我代码没跑通！没跑通！没跑通！对于我一个多月没敲过代码后敲的第一份代码来说打击感巨大。但是想了想之前两篇文章都说了国庆要写一篇……然后我的完美主义犯了……代码没跑通其实真不是我的原因，因为书上代码是错的……一方面是书上用python2写的，我是python3环境，第二方面是代码中的公式错了……这个代码我用了3天时间，推了整整3页草稿纸，又向师兄请教了两天，最后发现

本文为图神经网络学习笔记，讲解SGC。欢迎在评论区与我交流前言本教程讲解如何使用Tensorflow构建GCN的变体SGC模型进行节点分类任务。