深入浅出图神经网络学习笔记(2)神经网络基础

神经网络基础

  • 一、机器学习基本概念
    • 1.机器学习流程概述
      • 1数学模型
      • 2 损失函数
      • 3 梯度下降算法
  • 二、神经网络
    • 1 神经元
    • 2 多层感知机
    • 3训练神经网络
  • 总结


一、机器学习基本概念

随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器学习,本文就介绍了机器学习的基础内容。

1.机器学习流程概述

提取特征——建立模型——确定损失函数进行优化求解
模型可以看做一个复杂的函数f(X;W),建立输入到输出之间的映射,其中X是输入特征,W是定义模型的参数
调整模型使它可以完成有意义的预测,首先需要一个数值量化预测模型的对错,损失函数就是衡量输出与输入标签之间的差异,我们可以根据损失函数调整模型不断减少损失值。

1数学模型

以分类问题为例 训练集输入用集合X={(xi,yi)|i=1,2,…,N}表示。
其中xi∈Rd表示每个样本是一个d维的向量
标签yi是一系列离散值yi∈Y={0,1,2,…,K}
表示样本xi所属的类别,K为类别的种类数。
我们的目的是建立一个能完成分类功能的模型,即
需要这样一个模型:
f:Rd→RK,输入是d维的向量,经过f映射,
输出在每个类别上的概率分布P(Y|xi)=f(xi;θ),
这样就可以取概率最大的类别作为结果。
用集合X={(xi,yi)|i=1,2,…,N}表示。每一个样本xi都有对应的标签yi,其中xi∈Rd表示每个样本是一个d维的向量,标签yi是一系列离散值yi∈Y={0,1,2,…,K},表示样本xi所属的类别,K为类别的种类数。我们的目的是建立一个能完成分类功能的模型,即需要这样一个模型:f:Rd→RK,输入是d维的向量,
经过f映射,输出在每个类别上的概率分布P(Y|xi)=f(xi;θ),这样就可以取概率最大的类别作为结果,这个是输出结果yi*=argmax(P(Y|xi))

2 损失函数

怎么判断模型的好坏呢?
我们通过比较输出结果yi*和输入标签yi之间的差异
——损失函数 通常用L(y,f(x;θ))来表示,
调整f的参数θ,使得损失函数值降低,当损失函数取最小值时,也就找到了一个不错的模型
在这里插入图片描述深入浅出图神经网络学习笔记(2)神经网络基础_第1张图片

3 梯度下降算法

1 通过随机初始化为需要求解的参数赋初值,作为优化的起点;
2使用模型对所有样本进行预测,计算总体的损失值;3利用损失值对模型参数进行求导,得到相应的梯度;
4基于梯度调整参数,得到迭代之后的参数。
5重复上述过程,直到达到停止条件。

二、神经网络

1 神经元

一个基本的神经元包括3个基本组成部分:
输入信号、线性组合和非线性激活函数

深入浅出图神经网络学习笔记(2)神经网络基础_第2张图片
其中x0,x1,…,xm是输入信号,wi0,wi1,…,wim是神经元的权值,zi是输入信号的线性组合,b是偏置,激活函数为σ(.),ai是神经元输出信号。

2 多层感知机

深入浅出图神经网络学习笔记(2)神经网络基础_第3张图片

多层感知器可以分为3个部分:输入层、隐藏层、输出层,其中隐藏层可以包括一层或者多层;每一层都由若干神经元组成,每个神经元承担的计算功能包括线性加权和非线性变换;层与层之间通过权值建立联系,后一层的每个神经元与前一层的每个神经元都产生连接。

3训练神经网络

神经网络的运行过程分为三步:前向传播、反向传播、参数更
新,通过不断迭代进行模型参数的更新,以从数据中挖掘出有价值的信息,如图2-8所示。
1)前向传播:给定输入和参数,逐层向前进行计算,最后输出预测结果;
2)反向传播:基于前向传播得到的预测结果,使用损失函数得到损失值,然后计算相关参数的梯度,该计算方法称为反向传播
3)参数更新:使用梯度下降算法对参数进行更新,重复上述过程,逐步迭代,直到模型收敛。
深入浅出图神经网络学习笔记(2)神经网络基础_第4张图片

总结

提示:
以上就是今天要讲的内容,本文仅仅简单介绍了机器学习的流程和神经网络的基本知识,为以后的学习打下基础

你可能感兴趣的:(图神经网络,神经网络,学习,机器学习)