李宏毅机器学习课程笔记第31页

李宏毅机器学习笔记——14. Attack ML Models and Defense（机器学习模型的攻击与防御）

摘要：本章讲解了机器学习模型的攻击与防御，主要是围绕攻击去展开一系列介绍。之所以要研究攻击与防御，是因为机器学习模型很可能会遭到恶意攻击，从而对模型结果造成错误。围绕攻击，讲解了攻击的基本原理与分类，以及攻击之所以会生效的原因。接着介绍了如何去攻击，与攻击方式（FGSM），以及对黑盒模型如何去攻击，与在现实世界中的实例应用。最后是有关防御Defense的部分。可分为被动防御Passivedefen

HSR CatcousCherishes·2023-01-04 09:45

【抗疫不出门】李宏毅教授机器学习课程笔记三——攻击和防御

这一讲是：AttackandDefense视频地址Attack讲的是如何攻击机器学习Defense讲的是如何来抵御这个攻击攻击是比较容易的（现有的很多机器学习模型都容易被攻击）。防御却比较困难（如何有效防御，还有很远的路要走）。文章目录1动机2Attack2.1什么是机器学习攻击2.2Attack的损失函数和约束条件2.2.1损失函数2.2.2约束条件2.3如何解Attack这个优化问题举个例子试

humuhumunukunukuapua·2023-01-04 09:11

李宏毅《机器学习》课程笔记（作业六：对抗攻击）

为了将机器学习在实际生活中应用上，需要考虑一些恶意攻击。无目标攻击：攻击的时候，固定模型参数，希望调整输入数据，使得效果越差越好有目标攻击：不仅跟原来的答案越远越好，而且要跟希望的错误答案越接近越好限制是我们输入的攻击的数据跟正常的数据非常接近。那么怎么找输入数据呢？还是用梯度下降。考虑距离限制以后需要一个修改版的梯度下降，每次做了梯度下降以后判断是否符合距离条件，如果不符合等比例缩小就可以了。F

逝水留痕9611·2023-01-04 09:40

李宏毅机器学习之Attack and Defense

李宏毅机器学习之AttackandDefense机器训练出来的模型不光性能要强，还要能够对抗人类的恶意、攻击通过人为地对图片加上噪声，使得分类产生错误。

loserChen.·2023-01-04 09:01

2021李宏毅机器学习笔记--12 attack ML models

2021李宏毅机器学习笔记--12attackMLmodels摘要一、图像模型的攻击1.1原理1.2Constraint1.3参数训练1.4一个例子1.5攻击方法1.5.1FGSM(FastGradientSignMethod

guoxinxin0605·2023-01-04 09:56

李宏毅机器学习笔记(十九)——对ML模型的攻击和防御

文章目录一.背景二.对图像模型进行攻击1.基本思想2.相似度限制3.训练参数4.攻击效果与出现的原因5.更多的新型攻击方式(1).FGSM(2).OnePixelAttack6.面向纯黑箱的攻击三.对语音模型进行攻击1.对ASR和ASV的攻击2.隐藏语音攻击(1).TDI(2).RPG(3).HFA(4).TS四.对模型进行防御1.被动防御2.主动防御一.背景神经网络不仅是要用在研究上，最后更

Unique13·2023-01-04 09:23

【一起入门MachineLearning】中科院机器学习第*课-线性鉴别分析：Fisher判别

专栏介绍：本栏目为“2021秋季中国科学院大学周晓飞老师的机器学习”课程记录，不仅仅是课程笔记噢～如果感兴趣的话，就和我一起入门MachineLearning吧目录线性鉴别的思想目标函数类别间距离类别内距离求解最佳投影方向要讲清楚

vector<>·2023-01-03 21:38

matlab用relu函数优化逻辑回归_吴恩达老师课程笔记系列第 29节 -逻辑回归之高级优化 (5)...

第29节-逻辑回归之高级优化(5)参考视频:6-6-AdvancedOptimization(14min).mkv在上一个视频中，我们讨论了用梯度下降的方法最小化逻辑回归中代价函数J(θ)。在本次视频中，我会教你们一些高级优化算法和一些高级的优化概念，利用这些方法，我们就能够使通过梯度下降，进行逻辑回归的速度大大提高，而这也将使算法更加适合解决大型的机器学习问题，比如，我们有数目庞大的特征量。现在

weixin_39607474·2023-01-03 12:44

MIT_线性代数笔记_10_四个基本子空间

MIT公开课：GilbertStrang《线性代数》课程笔记（汇总）Lecture10:Thefourfundamentalsubspaces课程10：四个基本子空间四个基本子空间设A是一个m×n维矩阵

诗意de栖居·2023-01-03 09:39

线性代数导论10——四个基本子空间

本文是GilbertStrang的线性代数导论课程笔记。

leifenglian·2023-01-03 09:05

李宏毅机器学习（9）

CNNWhyCNNforImageFNN处理图片的缺点需要很多的参数假设有一张尺寸100×100的图片（尺寸已经算很小了），那输入层就有100×100×3=30K个像素，假设第一个隐藏层有1K个神经元（一个神经元包含30K个参数），这就已经需要30M个参数了……该架构中每个神经元就是一个分类器，这是没必要的第一个隐藏层作为最基础的pattern分类器（比如判断有无绿色、边缘等），第二个隐藏层基于第

Baigker·2023-01-02 10:03

【学习笔记】尚硅谷-Redis6 2.Redis配置文件和事务

本博客为尚硅谷课程笔记，课程来源：【尚硅谷】Redis6入门到精通超详细教程_哔哩哔哩_bilibili部分参考博文：Redis6从入门到精通文章目录Redis配置文件发布和订阅Jedis操作Jedis

Morejay·2023-01-02 07:06

【学习笔记】尚硅谷-Redis6 1.Redis入门及数据类型介绍

本博客为尚硅谷课程笔记，课程来源：【尚硅谷】Redis6入门到精通超详细教程_哔哩哔哩_bilibili部分参考博文：Redis6从入门到精通文章目录NoSQL与Redis概述NoSQL简介Redis介绍与安装常用

Morejay·2023-01-02 07:34

2020李宏毅机器学习笔记——18. Recursive Network(递归网络)

摘要：本章主要讲解了RecursiveNetwork(递归网络)的基本原理，首先通过情感分析任务为例来说明递归神经网络（recursiveneuralnetwork）和循环神经网络（recurrentneuralnetwork）的关系，即循环神经网络可以看做递归神经网络的特殊情况，以及Recursive模型与具体的实现过程。接着阐述了RecursiveStructure中functionf的具体设

HSR CatcousCherishes·2023-01-01 20:29

吴恩达机器学习课程笔记(英文授课) Lv.2 新手村（分类）

目录6-1分类6-2假设陈述6-3决策界限decisionboundary6-4代价函数6-5简化代价函数与梯度下降6-6高级优化算法6-7多元分类：一对多7-1过拟合问题7-2代价函数7-3线性回归的正则化7-4logistic回归的正则化温故而知新~~~~6-1分类1.内容：当预测的变量y是一个离散值（012345.。。）情况下的分类问题，逻辑（logistic）回归算法，当今最流行、最广泛使

玉一·2023-01-01 13:20

吴恩达《机器学习》课程笔记

机器学习机器学习分类：主要分为监督学习和无监督学习两类。1.监督学习：回归（regression）问题：线性回归分类（classfication）问题：logistic回归，神经网络，SVM2.无监督学习：聚类（cluster）问题：k-means降维问题：主成分分析（PCA）异常检测问题———————————————————————————————————————优化算法一般的监督学习步骤：0.

遠坂凜·2023-01-01 13:16

Stanford机器学习课程笔记——LR的公式推导和过拟合问题解决方案

Stanford机器学习课程笔记——LR的公式推导和过拟合问题解决方案1.LogisticRegression前面说的单变量线性回归模型和多变量线性回归模型，它们都是线性的回归模型。

bigface1234fdfg·2023-01-01 00:16

吴恩达课程笔记-第二课高级学习算法（主讲神经网络）

目录概论神经网络模型基本建立流程神经网络前向传播基于TensorFlow的模型训练过程（基础版-模型，策略，算法）神经元的激活函数选择为什么要使用激活函数？激活函数-softmax回归多类别分类问题-softmax一般神经网络模型-隐藏层用ReLU,输出层用SoftmaxTensorflow中损失函数计算产生的精度误差问题（Tensorflow代码-改进版）多标签分类问题（Multi-labelc

Lofty_goals·2022-12-31 12:05

李宏毅机器学习（六）自监督学习（一）

学习内容前情提要BERT与芝麻街这些都是BERT的组件BERT与进击的巨人BERT（340M参数）ELMO（94M）GPT-2（1542M）Megatron（8B）T5（11B）TuringNLG（17billion）GPT-3（170billion）Bert的基本知识前提监督学习：有标签自监督学习：由于没有标签，我们需要将文章的某一部分作为特征，另一部分作为标签，使得特征经过模型后和标签距离更近

追赶早晨·2022-12-30 21:33

Udacity机器人软件工程师课程笔记（五）-样本搜索和找回-基于漫游者号模拟器-自主驾驶

9.自主驾驶在接下来的环节中，我们要实现漫游者号的自动驾驶功能。完成这个功能我们需要四个程序，第一个为感知程序，其对摄像头输入的图片进行变换处理和坐标变换使用。第二个程序为决策程序，功能是帮助漫游者号根据当前条件和状态进行相应的决策，以实现漫游者号前进，后退，转向等功能。第三个是支持程序，来定义一些关于漫游者号状态的类等。最后为主程序，来调用三个函数对漫游者号进行控制的。Udacity提供的初始程

Stan Fu·2022-12-30 20:45

1.语法与入门-pytorch与自然语言处理

课程链接：Python人工智能20个小时玩转NLP自然语言处理【黑马程序员】_哔哩哔哩_bilibili本系列是自己记的课程笔记pytorch概念与基本元素是基于numpy的科学计算包，提供使用GPU能力的深度学习平台关键元素

还我的鸭脖！·2022-12-30 08:14

yxc算法课程笔记

这里写目录标题快速排序堆排序归并排序大数加法大数减法大数乘法大数除法二维前缀和二维差分双指针求最长不重复子串区间合并kmp算法trie树插入并查询单词并查集实现1.判断两个元素是否属于同一个集合2.将两个集合合并DFS和BFSDFS实现全排列DFS实现八皇后BFS求走出迷宫的最短路径（左上走到右下）质数质数的判定：o（sqrt（n）复杂度）短除法给一串数，筛选其中的质数快速幂简单快速幂快速排序#i

mallocbict·2022-12-29 20:00

机器学习 | 台大林轩田机器学习基石课程笔记8 --- Noise and Error

课程主页课程视频和PPT上一节课，我们主要介绍了VCDimension的概念。如果Hypothesesset的VCDimension是有限的，且有足够多N的数据，那么,同时能够找到一个hypothesis使它的,那么就能说明机器学习是可行的。本节课主要讲了数据集有Noise的情况下，是否能够进行机器学习，并且介绍了假设空间H下演算法A的Error估计。目录1.NoiseandProbabistic

CoreJT·2022-12-29 19:15

【MindStudio训练营第一季】课程笔记

【MindStudio训练营第一季】课程笔记新手班课程零基础入门之后，可以了解AI应用的开发流程。使用MindStudio可视化完成流程编排，迅速上手昇腾AI应用开发。

weixin_48453538·2022-12-29 19:04

知识图谱系统课程笔记（二）——知识抽取与挖掘

知识图谱系统课程笔记（二）——知识抽取与挖掘文章目录知识图谱系统课程笔记（二）——知识抽取与挖掘OWL、RDF与RDFS关系知识抽取任务定义和相关比赛知识抽取技术知识获取关键技术与难点知识抽取的子任务实体抽取命名实体识别非结构化数据的实体抽取序列标注方法

微莱羽墨·2022-12-29 19:33

李宏毅机器学习（四）Spatial Transformer Layer

学习内容架构；目的就是克服CNN的旋转和缩放不变性的缺点的！前情提要CNNisnotinvarianttoscalingandrotation；CNN对缩放和旋转不是不变的；也就是说CNN是变化的，不具有旋转和缩放不变性；因为如果你将某个小狗缩放到一张图片的小部分或者是将3旋转为m，那么CNN可能会给你识别成金拱门；所以怎么消除这个问题呢？添加一个NNlayer！将目标放大！当然，它也是一个neu

追赶早晨·2022-12-29 15:25

【深度学习】03-04-Spatial Transformer Layer（选修）-李宏毅老师21&22深度学习课程笔记

03-04-SpatialTransformerLayer（选修）不变性为什么CNN有transitioninvariant?1卷积2池化CNN并不是完全transitioninvariantCNN有不完全transitioninvariant无scalinginvariant无rotationinvariantSpatialTransformerLayerSTL概览STN如何实现Transfor

暖焱·2022-12-29 15:21

python写篮球游戏_程序员们把“蔡徐坤打篮球”写成了一个游戏

原标题：程序员们把“蔡徐坤打篮球”写成了一个游戏github一直是一个人才辈出的地方从“杨超越杯编程大赛”到“清华课程笔记”无数令人惊叹“还能这样”的项目都源于在github上默默求star的程序员们近期由于

weixin_39810441·2022-12-29 11:48

Coursera课程Big Data Analysis with Scala and Spark Week 1笔记

Coursera上的spark课程笔记。spark为什么快把尽可能多的不可变数据存到内存里，记录对数据的一系列操作。如果某个节点出现问题，重新执行一遍操作即可还原结果，无需太多的磁盘操作。

zhang35·2022-12-29 10:05

PaddlePaddle - 人脸关键点检测课程笔记

文章目录一、问题定义二、数据准备2.2查看图像2.3数据集定义作业1：自定义Dataset，完成人脸关键点数据集定义2.4训练集可视化2.5Transforms作业2：实现自定义ToCHW2.6使用数据预处理的方式完成数据定义三、模型组建3.1组网可以很简单作业3：根据上图，实现网络结构3.2网络结构可视化四、模型训练4.1模型配置4.2自定义评估指标作业4：实现模型的配置和训练4.2模型训练4.

鱼不辞水·2022-12-28 18:00

机器学习 | 台大林轩田机器学习基石课程笔记7 --- The VC Dimension

课程主页课程视频和PPT前几节课着重介绍了机器能够学习的条件并做了详细的推导和解释。机器能够学习必须满足两个条件：假设空间H的SizeM是有限大的，即当N(D的大小)足够大时，那么对于假设空间中任意一个假设h，有.利用演算法A从假设空间H中，挑选一个最好的h，记为g，使得,则。这两个条件，正好对应着test和trian两个过程。train的目的是使损失期望;；test的目的是使将算法用到新的样本时

CoreJT·2022-12-28 12:22

林轩田《机器学习基石》课程笔记第七章-VC Dimension

林轩田《机器学习基石》课程笔记7-VCDimension一、概念VCDimension就是某假设集H能够shatter的最多的input的个数，即最大完全正确的分类能力。

f_jiaqi·2022-12-28 12:19

课程笔记：深度学习与人类语言处理 ——李宏毅，2020 (P5)

原创·作者|阿芒Aris学校|北京理工大学研究方向|自然语言处理来自|AINLP语音辨识模型2、3、4、5：CTC、RNN-T（&RNA）、NeuralTransducer、MoChA李宏毅老师2020新课深度学习与人类语言处理课程主页：http://speech.ee.ntu.edu.tw/~tlkagk/courses_DLHLP20.html视频链接地址：https://www.bilibi

zenRRan·2022-12-28 02:44

php代码审计课程笔记

代码审计第一章代码审计环境PHP核心配置详解（前5个很重要）register_globals（全局变量注册开关）版本5.4.0移除功能：把用户GET、POST等方式提交上来的参数注册成全局变量，并初始化值为参数对应的值，使得提交参数可以直接在脚本中使用。**allow_url_include（是否允许包含远程文件）**5.2.0默认off功能：直接包含远程文件，当存在include(var)且va

Amire0x·2022-12-27 07:32

吴恩达（Andrew Ng）深度学习课程笔记目录

第一门课程中，你将学习如何建立神经网络（包含一个深度神经网络），以及如何在数据上面训练他们。在这门课程的结尾，你将用一个深度神经网络进行辨认猫。接下来在第二门课中，我们将使用三周时间。你将进行深度学习方面的实践，学习严密地构建神经网络，如何真正让它表现良好，因此你将要学习超参数调整、正则化、诊断偏差和方差以及一些高级优化算法，比如Momentum和Adam算法，犹如黑魔法一样根据你建立网络的方式。

开始King·2022-12-27 06:18

模仿学习笔记：生成判别模仿学习 Generative Adversarial Imitation Learning, GAIL

这里简单地回顾一下GAN，详细的可见NTU课程笔记7454GAN_UQI-LIUWJ的博客-CSDN博客GAN由生成器(Generator)和判别器(Discriminator)组成，它们各是一个神经网络

UQI-LIUWJ·2022-12-26 23:01

深度学习课程笔记（三）Backpropagation 反向传播算法

深度学习课程笔记（三）Backpropagation反向传播算法2017.10.06材料来自：http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLDS17.html

a1424262219·2022-12-26 22:36

数据挖掘-基础知识-笔记汇总5：数据预处理-主成分分析（PCA）和特征提取

课程笔记第四篇本课程笔记的课程来源于清华大学深圳研究生院-袁博老师的《数据挖掘：理论与算法》。视频在学堂在线或者b站都有。

bensonrachel·2022-12-26 21:21

UFLDL教程（四）之Softmax回归

关于AndrewNg的machinelearning课程中，有一章专门讲解逻辑回归（Logistic回归），具体课程笔记见另一篇文章。

weixin_30509393·2022-12-26 16:34

2021-08-21

李宏毅机器学习P13深度学习简介DL的发展DL的步骤1.构建model2.设置lossfunction3.调整参数，使得totalloss最小（这样就获得最好的function）深度学习与机器学习反向传播机制深度学习简介

z7mysun·2022-12-26 15:15

2021-08-16

李宏毅机器学习P1-P2P1机器学习介绍P1机器学习介绍机器学习是具有一种学习能力（寻找最好的function）；Regression输出是一个数，Classification输出的是Yes/no或classx

z7mysun·2022-12-26 15:45

2021-08-19

李宏毅机器学习P5-P8P5误差误差的来源BiasVarianceHowtodowitherror?

z7mysun·2022-12-26 15:45

Coursera机器学习+deeplearning.ai+斯坦福CS231n

日志20170410Coursera机器学习2017.11.28updatedeeplearning台大的机器学习课程：台湾大学林轩田和李宏毅机器学习课程Coursera机器学习Week5：NeuralNetworks

weixin_34005042·2022-12-26 07:34

吴恩达【神经网络和深度学习】Week1——深度学习概述

4、Quiz课程笔记整理按照所讲章节的标题来完成1、Whatisaneuralnetwork?以房价预测模型为例，是一个由size过渡

小白有颗大白梦·2022-12-26 07:31

1.1 图像分类：数据驱动的方法，k-近邻，划分训练集/验证集/测试集

本文是对斯坦福大学“CS231n：用于视觉识别的卷积神经网络”课程笔记的翻译。

Hao-qiang·2022-12-25 23:10

Udacity机器人软件工程师课程笔记（十五）-运动学-正向运动学和反向运动学(其二)-DH参数等

正向运动学和反向运动学目录2D中的旋转矩阵sympy包旋转的合成旋转矩阵中的欧拉角平移齐次变换及其逆变换齐次变换的合成Denavit-Hartenberg参数DH参数分配算法正向运动学反向运动学反向运动学举例7.齐次变换的合成齐次变换的合成与旋转的合成遵循着相同的逻辑。假设从坐标系C到坐标系B的变换是已知的，从坐标系B到坐标系a的变换也是已知的。CrP/Co^C\bold{r}P/CoCrP/Co

Stan Fu·2022-12-25 22:15

NLP-D8-李宏毅机器学习---预训练模型问题&adaptation&explainable AI&RL&learningmap

----0648今天还是醒的挺早的，4点50就起床了。在犹豫是去看比赛，还是把老师的课听完。因为还是很想看无监督学习和强化学习的，最后决定先看课叭。看了姜成翰助教关于预训练模型中遇到问题的讲解。一共讲了两个问题，以及相应解决方法：1、数据量小，模型难以fine-tune的问题2、参数量过大问题其中我产生了两个问题：1、promt-tuning和fine-tuning有什么不同？大体来说，原来是多加

甄小胖·2022-12-25 21:31

【大四上学期】过程控制系统课程笔记

过程控制系统笔记食用指南(bySJJ)期末考试内容=过程控制系统+过程控制工程,包含小题(填空,判断等),大题(简答,计算等),期中考试的内容期末也会考到,但不一定是一样的题目,会换种形式.掌握1-9章(8除外)各种各样的典型控制系统是分析后面10-13章工程控制系统的基础.前9章内容(8除外)明显远多于后4章,大家可以根据自己的进度进行重点复习.过程控制系统部分:内容完整✔️过程控制工程部分:1

olioolii·2022-12-24 19:37

[Datawhale组队学习|李宏毅机器学习]学习笔记03

本篇笔记包含学习章节：P5误差从哪来P6梯度下降P7梯度下降（用AOE演示）P8梯度下降（用Minecraft演示）目录一、误差的来源二、梯度下降（一）学习率的选择（1）手动调整（2)自适应学习率（3）Adagrad算法（4）随机梯度下降法（5）特征缩放（二）梯度下降法的数学基础（三）梯度下降的限制：局部最优一、误差的来源error来自于bias和variance。关于偏差和方差的认识可以从射箭的

喜欢皂粉·2022-12-24 14:16

【学习】无监督学习、PCA、Matrix Factorization、HAC、K-means、分布式表示、NE、LLE、 t-SNE

李宏毅机器学习一、无监督学习clustering1、K-means2、HAC分布式表示线性降维3、PCA弱点应用矩阵分解MatrixFactorization无监督学习:邻居嵌入NEManifoldLearningLLE

Raphael9900·2022-12-24 13:14

推荐频道

李宏毅机器学习课程笔记