李宏毅《机器学习》(DL方向)阶段性总结

Datawhale202211——李宏毅《机器学习》DL总结


文章目录

  • Datawhale202211——李宏毅《机器学习》DL总结
  • 前言
  • 一、系列文章指路
    • 原创
    • 队友创(@晨哥是个好演员)
  • 二、重要知识点
    • 梯度下降
    • 损失函数
    • 反向传播
    • CNN
  • 三、实例实战(fashion-mnist演示)
    • 1.知识回顾
    • 2.三种定义方式+代码示例
  • 四、参考文档
    • 来自Datawhale的投喂
    • 来自官方的投喂
  • 总结


前言

李宏毅机器学习的组队学习告一段落,接下来我们对最近的内容做一期总结,承上启下,后面接着好好干!本文提供一个应用示例,用的数据集是fashion-mnist。


一、系列文章指路

原创

ML/DL入门介绍(底层理解+基本概念)
ML/DL入门介绍——回归
误差与梯度下降(李宏毅《机器学习》)
深度学习入门—反向传播
神经网络训练技巧—“神经网络训练不起来怎么办”(李宏毅《机器学习》<深度学习向>)
CNN入门全面介绍(李宏毅《机器学习》<深度学习方向>)

队友创(@晨哥是个好演员)

回归模型介绍
神经网络训练不起来,怎么办?
卷积神经网络

二、重要知识点

梯度下降

损失函数

反向传播

CNN

三、实例实战(fashion-mnist演示)

1.知识回顾

1)Module类是torch.nn里提供的应该模型构造类,是用于构造所有神经网网络模块的积累,其他模型的搭建可以通过继承它。
2)它提供三种定义方式,分别是Sequential、ModuleList、ModuleDict。

2.三种定义方式+代码示例

(在进行代码演示前,需要引入需要的库)

import os
import numpy as np
import collections
import torch
import torch.nn as nn
import torch.nn.functional as F
import torchvision

1)Sequential(nn.Sequential())
模型在进行前向计算时通过简单串联各个层,Sequential通过更为简单的方式定义模型。接收一个模块的OrderedDict或一系列模块作为参数来注意添加Module的示例,模型的前向计算就是在按序计算这些示例,代码演示如下:

直接排列

import torch.nn as nn
net1=nn.Sequential(
   nn.Linear(784,256),
   nn.ReLU(),    
   nn.Linear(256,10),
      )
   print(net1)
 #结果
 Sequential(
  (0): Linear(in_features=784, out_features=256, bias=True)
  (1): ReLU()
  (2): Linear(in_features=256, out_features=10, bias=True))
  #利用OrderedDict
  import collections
  import torch.nn as nn
  net2=nn.Sequential(collections.OrderedDict([
   ('fcl',nn.Linear(784,256)),('relu1',nn.ReLU()),       ('fc2',nn.Linear(256,10))
   ]))
   print(net2)
  #结果
  Sequential(
  (fcl): Linear(in_features=784, out_features=256, bias=True)
  (relu1): ReLU()
  (fc2): Linear(in_features=256, out_features=10, bias=True)
  )

2)ModuleList(nn.ModuleList())

ModuleList接受一个子模块的列表作为输入,因此可以进行append和extend的操作,同时,子模块或层的权重也会自动添加到网络中。

net3=nn.ModuleList([nn.Linear(784,256),nn.ReLU()])
net3.append(nn.Linear(256,10))
print(net3[-1])
print(net3)
Linear(in_features=256, out_features=10, bias=True)
ModuleList(
 (0): Linear(in_features=784, out_features=256, bias=True)
 (1): ReLU()
 (2): Linear(in_features=256, out_features=10, bias=True)
 )

需要注意的时,ModuleList并不能提供示例,只是简单地把各模块组合在一起,使用它来进行模型实例化需要进行以下操作,否则会报错

(NotImplementedError)
class Net3(nn.Module):
   def __init__(self):
          super().__init__()
                 self.modulelist=nn.ModuleList([nn.Linear(784,256),nn.ReLU()])      self.modulelist.append(nn.Linear(256,10))    
   def forward(self,x):   
           for layer in self.modulelist:    
             x=layer(x)     
            return xnet3_=Net3()
            out3_=net3_(a)
            print(out3_.shape)

3)ModuleDict(nn.ModuleDict())

ModuleDict和ModuleList类似,前者可以更好地为各层添加名称有助于大模型的实现。

net4=nn.ModuleDict({
'linear':nn.Linear(784,256), 'act':nn.ReLU(),
})
net4['output']=nn.Linear(256,10)print(net4['linear'])
print(net4.output)

四、参考文档

来自Datawhale的投喂

李宏毅《机器学习》开源内容1:
https://linklearner.com/datawhale-homepage/#/learn/detail/93
李宏毅《机器学习》开源内容2:
https://github.com/datawhalechina/leeml-notes
李宏毅《机器学习》开源内容3:
https://gitee.com/datawhalechina/leeml-notes

来自官方的投喂

李宏毅《机器学习》官方地址
http://speech.ee.ntu.edu.tw/~tlkagk/courses.html
李沐《动手学深度学习》官方地址
https://zh-v2.d2l.ai/


总结

1.这次的组队学习实际上是一个引子,让我看到了经典课程的魅力,任重道远,持续进步!!!
2.感谢Datawhale的组织者们,仍然是一次非常棒的学习体验!!!还有感谢get it 小队成员的互相帮助和支持,坚持下来非常不易。

你可能感兴趣的:(笔记,深度学习,PyTorch,深度学习,人工智能)