D.Silver课程笔记第31页

课程笔记：优化器

优化器：管理并更新梯度的参数可学习参数是指：权重或偏置更新策略：梯度下降基本属性：defaults:存储学习率，momentum，weight_decaystate：例如再采用momentum时，会用到前几次更新时使用的梯度，就将其存储在state中，在这次更新中使用param_groups：管理一系列参数，是list，其中的每一个元素是字典，而字典中的key是最关键的_step_count：例如

笨笨同学·2022-11-29 01:19

吴恩达机器学习系列课程笔记——第四章：多变量线性回归(Linear Regression with Multiple Variables)

4.1多维特征https://www.bilibili.com/video/BV164411b7dx?p=18目前为止，我们探讨了单变量/特征的回归模型，现在我们对房价模型增加更多的特征，例如房间数、楼层、楼屋年限等，构成一个含有多个变量的模型，模型中的特征为(x1,x2,…,xn)。增添更多特征后，我们引入一系列新的注释：n代表特征的数量x(i)代表第i个训练实例，是特征矩阵中的第i行，是一个*

Lishier99·2022-11-28 20:56

吴恩达机器学习课程笔记－2.单变量线性回归

文章目录2.单变量线性回归（LinearRegressionwithOneVariable）2.1模型表示（ModelRepresentation）2.2代价函数（CostFunction）2.3代价函数的直观理解I（CostFunctionIntuitionI）2.4代价函数的直观理解II（CostFunctionIntuitionII）2.5梯度下降（GradientDescent）2.6梯度

st4yfoolish·2022-11-28 20:55

Apollo Udacity自动驾驶课程笔记——高精度地图、厘米级定位

前言：目前Apollo内部高精地图主要应用在高精定位、环境感知、决策规划、仿真运行四大场景，帮助解决林荫道路GPS信号弱、红绿灯是定位与感知以及十字路口复杂等导航难题。1高精度地图1、高精地图与传统地图1.1定义：高精地图是当前无人驾驶车技术不可或缺的一部分。它包含了大量的驾驶辅助信息，最重要是包含道路网的精确三维表征，例如交叉路口布局和路标位置。1.2高精地图还包含很多语义信息，地图上可能会报告

查里王·2022-11-28 14:36

APOLLO UDACITY自动驾驶课程笔记——规划、控制

1、路径规划使用三个输入，第一个输入为地图，Apollo提供的地图数据包括公路网和实时交通信息。第二个输入为我们当前在地图上的位置。第三个输入为我们的目的地，目的地取决于车辆中的乘客。2、将地图转为图形该图形由“节点”(node)和“边缘”(edge)组成。节点代表路段，边缘代表这些路段之间的连接。我们可以对一个节点移动到另一个节点所需的成本进行建模。3、路径查找算法A*从初始节点开始，我们需要确

查里王·2022-11-28 14:36

APOLLO UDACITY自动驾驶课程笔记——感知、预测

1、计算机视觉无人驾驶车有四个感知世界的核心任务：检测——指找出物体在环境中的位置；分类——指明确对象是什么；跟踪——指随时间的推移观察移动物体；语义分割——将图像中的每个像素与语义类别进行匹配如道路、汽车、天空。2、Camera图像RGB图像，深度为33、Lidar图像激光雷达传感器创建环境的点云表征，提供了难以通过摄像头图像获得的信息如距离和高度。点云中的每个点代表反射回传感器的激光束，可以告

查里王·2022-11-28 14:03

吴恩达《卷积神经网络》课程笔记（1）

1、机器视觉（上图展示了一个神经风格转换（NeuralStyleTransfer）的例子）使用传统神经网络处理机器视觉的一个主要问题是输入层维度很大。例如64x64x3的图片，神经网络输入层的维度为12288。而现在的图片将近几千x几千x3的内存，而导致神经网络输入层的维度达到几百万。这样会造成两个后果，一是神经网络结构复杂，数据量相对不够，容易出现过拟合；二是所需内存、计算量较大。解决这一问题的

逸耀·2022-11-28 00:57

吴恩达：28张图全解深度学习知识

这不仅仅是一份课程笔记，同时还是一套信息图与备忘录。下面，我们将从深度学习基础（01-13）、卷积网络（14-22）和循环网络（23-28）三个方面介绍该笔记，并需要

AI致力·2022-11-27 20:42

笔记：神经网络与深度学习—绪论

神经网络与深度学习绪论绪论一、关于本课程1.知识结构2.推荐教材3.推荐课程二、常用的深度学习框架绪论最近开始学习机器学习，从B站找到了一篇网课：复旦大学——邱锡鹏的《神经网络与机器学习》，因此写了几篇课程笔记

zhenpigmilk·2022-11-27 17:07

斯坦福机器学习夏令营

Stanford-Machine-Learning-camp课程资料课程主页课程笔记课程视频环境配置Anaconda作业介绍比赛环境推荐使用Linux或者Mac系统，以下环境搭建方法皆适用:Docker

SKY_H_N·2022-11-27 10:54

TensorRT ONNX 基础

TensorRTONNX基础tensorRT从零起步迈向高性能工业级部署（就业导向）课程笔记，讲师讲的不错，可以去看原视频支持下。

Adenialzz·2022-11-27 09:55

神经网络和深度学习-第二周神经网络基础-第三节：Logistic 回归损失函数

本系列博客是吴恩达(AndrewNg)深度学习工程师课程笔记。全部课程请查看吴恩达(AndrewNg)深度学习工程师课程目录在上一节中，讲解的是logistic回归模型。

geekidentity·2022-11-27 09:52

Udacity机器人软件工程师课程笔记（二十九) - 全卷积网络（FCN）

全卷积网络（FCN）1.全卷积神经网络介绍FCN对图像进行像素级的分类，从而解决了语义级别的图像分割（semanticsegmentation）问题。与经典的CNN在卷积层之后使用全连接层得到固定长度的特征向量进行分类（全联接层＋softmax输出）不同，FCN可以接受任意尺寸的输入图像，采用反卷积层对最后一个卷积层的featuremap进行上采样,使它恢复到输入图像相同的尺寸，从而可以对每个像素

Stan Fu·2022-11-27 09:52

【机器学习】课程笔记11_支持向量机(Support Vector Machines)

支持向量机优化目标（OptimizationObjective）大间距的直观理解（LargeMarginIntuition）大间距分类背后的数学（TheMathematicsBehindLargeMarginClassification）核函数1（KernelsⅠ）核函数2（KernelsⅡ）使用支持向量机（UsingAnSVM）优化目标（OptimizationObjective）支持向量机（S

雀栎·2022-11-27 08:51

机器学习课程笔记---聚类

应用评价指标距离k-means算法前提要选取k个点重心点不变了就可以。存在的问题1、初始点2、k，从1开始试，慢慢增加，看趋势聚类之前需要做的事！！！一定要归一化，不同维度的值统一到一个范围中。以及均值中心化。2、k-means++这里的概率就是用轮盘赌算法对于数值型的，可以算距离；对于离散的属性，怎么算距离？K-prototype为了防止分类距离对整体距离的影响还与分类属性的取值频度也有关系，比

野生蘑菇菌·2022-11-27 08:13

【机器学习】课程笔记13_降维(Dimensionality Reduction)

降维目标1：数据压缩（MotivationⅠ:DataCompression）目标2：可视化（MotivationⅡ:DataVisualization）主成分分析问题（PrincipalComponentAnalysisProblemFormulation）主成分分析算法（PrincipalComponentAnalysisAlgorithm）重建的压缩表示（Reconstructionfrom

雀栎·2022-11-27 08:36

【机器学习】课程笔记12_聚类(Clustering)

聚类无监督学习（UnsupervisedLearningIntroduction）K-均值算法（K-meansAlgorithm）优化目标（OptimizationObjective）随机初始化（RandomInitialization）选取聚类数量（ChoosingtheNumberofClusters）无监督学习（UnsupervisedLearningIntroduction）无监督学习：将

雀栎·2022-11-27 08:35

李宏毅2021春机器学习课程笔记——自注意力机制（Self-Attention）

本文作为自己学习李宏毅老师2021春机器学习课程所做笔记，记录自己身为入门阶段小白的学习理解，如果错漏、建议，还请各位博友不吝指教，感谢！！全连接网络的输入是一个向量，但是当输入是一个变长的向量序列时，就不能再使用全连接网络了。这种情况通常可以使用卷积网络或循环网络进行编码来得到一个相同长度的输出向量序列。基于卷积或循环网络的序列编码都是一种局部的编码方式，只建模了输入信息的局部依赖关系。虽然循环

sykai1·2022-11-27 03:22

台大李宏毅老师——深度学习课程笔记一（Summary Regression Basic Concept)

文章目录概述SupervisedLearningReinforcementLearningUnsupervisedLearning前沿研究MetalearningLife-longlearningRegressionRegressionApplicationExampleAplicationBasicConcept概述机器学习不只是有分类和回归任务，还有GAN。也就是自动生成结构性的复杂数据，比如

大叔爱学习.·2022-11-27 02:16

吴恩达机器学习系列课程笔记——第十二章：支持向量机(Support Vector Machines)

12.1优化目标https://www.bilibili.com/video/BV164411b7dx?p=70到目前为止,你已经见过一系列不同的学习算法。在监督学习中，许多学习算法的性能都非常类似，因此，重要的不是你该选择使用学习算法A还是学习算法B，**而更重要的是，应用这些算法时，所创建的大量数据在应用这些算法时，表现情况通常依赖于你的水平。**比如：你为学习算法所设计的特征量的选择，以及如

Lishier99·2022-11-26 21:53

CS231n课程笔记翻译：图像分类笔记

译者注：本文智能单元首发，译自斯坦福CS231n课程笔记imageclassificationnotes，由课程教师AndrejKarpathy授权进行翻译。本篇教程由杜客翻译完成。

buaadf·2022-11-26 13:36

cs231n图像分类

CS231n课程笔记翻译：图像分类笔记（上）杜客1年前译者注：本文智能单元首发，译自斯坦福CS231n课程笔记imageclassificationnotes，由课程教师AndrejKarpathy授权进行翻译

立志胡IT·2022-11-26 13:34

《机器学习基石》课程笔记（3）

不同输出空间下的机器学习输出空间实际应用二元分类Y={−1,+1}信用卡分发或不分发、识别垃圾邮件和非垃圾邮件、病人有病或没病、广告是否盈利、答案是否正确多元分类Y={1,2,3,...,K}手写字体分类、图片识别、垃圾邮件更详细的分类回归Y=R或者Y=[lower,upper]⊂R根据病人的特征判断还有多长时间痊愈、通过公司数据预测股票价格、根据天气数据预测温度结构化学习（序列标记问题）Y=st

nudt_oys·2022-11-26 02:18

【deeplearning.ai】吴恩达深度学习课程笔记目录

自2020.11.30开始学习DeepLearning，该学习笔记最后一次更新于2021.2.21Part1深度学习概论深度学习笔记（一）深度学习概论Part2神经网络基础深度学习笔记（二）LogisticRegression逻辑回归深度学习笔记（三）计算图及其导数运算方法深度学习笔记（四）Vectorization向量化深度学习笔记（五）BroadcastinginPython广播吴恩达深度学习

Mr.zwX·2022-11-25 20:17

(自动调整学习速率)-李宏毅老师21&22深度学习课程笔记

自动调整学习速率总结Trainingstuck≠SmallGradient（训练卡住不代表小梯度）-有可能是梯度还很大但是训练停止了（在峡谷间震荡不能到峡谷底部）为什么需要自动调整学习率？-单一固定（one-size-fits-all）的学习率Model训练到驻点很困难（学习率太大不能收敛，学习率太小收敛太慢）如何客制化学习率？-引入参数σσ常见的计算方式-Rootmeansquare（均方根）A

暖焱·2022-11-25 20:14

(局部最小值local minima & 鞍点saddle point)-李宏毅老师21&22深度学习课程笔记

02-02-类神经网络训练不起来怎么办?局部最小值localminima&鞍点saddlepoint总结如何判断Optimization是否失败？-损失值较大&与其他模型相比效果不好为什么Optimization会失败？-SaddlePoint&LocalMinima为什么想要知道是卡在localminima还是saddlepoint？如何判断LocalMinimaorSaddlePoint?-H

暖焱·2022-11-25 20:44

吴恩达老师机器学习课程笔记 01 引言

1引言1.1欢迎机器学习算法应用于生活中的方方面面，如网页搜索、照片标记、反垃圾邮件。机器学习的起源、流行和发展机器学习起源于AI。为了创造智能的机器，传统的编程只能让机器做一些基本的事情，如求两点之间的最短路径。但如果让机器自己学习，则可以做更多有趣的事情，如上述的三个例子。因此，机器学习是计算机开发的一项新功能，如今已涉及工业和基础科学的许多领域。机器学习应用领域举例数据挖掘把电子医疗记录变为

3077491278·2022-11-25 19:56

吴恩达深度学习课程笔记之卷积神经网络（1st week）

0参考资料[1]【中英字幕】吴恩达深度学习课程第四课—卷积神经网络_哔哩哔哩_bilibili[2]02-吴恩达深度学习系列课程/04卷积神经网络/PDFs·大大鹏/Bilibili资料-码云-开源中国(gitee.com)[3]深度学习笔记-目录(ai-start.com)——深度学习笔记(ai-start.com)[4]CNN笔记：通俗理解卷积神经网络_结构之法算法之道-CSDN博客_卷积神经

syphomn·2022-11-25 18:50

吴恩达深度学习课程笔记之卷积神经网络（2nd week）

0参考资料[1]大大鹏/Bilibili资料-Gitee.com[2]【中英字幕】吴恩达深度学习课程第四课—卷积神经网络_哔哩哔哩_bilibili[3]深度学习笔记-目录(ai-start.com)1为什么要进行实例探究？（Whylookatcasestudies?）就像很多人通过看别人的代码来学习编程一样，学习深度学习最直观的方式之一就是去看一些案例。过去几年计算机视觉研究中的大量研究都集中在

syphomn·2022-11-25 18:50

吴恩达深度学习课程笔记（一）—— 卷积神经网络基础

一、计算机视觉在运行神经网络对图像进行处理时，对于64*64大小的图像，图像就有12288个参数，而对于一张1000*1000大小的图像，参数更是多达300万个，假设隐藏层有1000个神经元，那么参数就是300万*1000个，300亿个参数，可想而知数据量过于庞大。为解决此问题，我们需要采用卷积计算。二、边缘检测①用神经网络的前几层来检测图像边缘，然后用后面的层检测特征，可以完成对一个完整物体进行

Echo_`·2022-11-25 18:19

卷积神经网络笔记--吴恩达深度学习课程笔记（一）

一.卷积神经网络（一）1.1计算机视觉卷积神经网络一般应用于计算机视觉领域，由于有的时候图片的像素点很多，导致神经网络输入特征值的维数很多。1.2边缘检测示例如下图所示，原图是一个661的矩阵，卷积核是一个331的矩阵，经过卷积后得到一个441的矩阵。计算过程如下：|3|0|1|…………|1|0|-1||1|5|8|…*….….|1|0|-1|=3+1+2-1-8-2=-5|2|7|2|…………|

无乎648·2022-11-25 18:48

吴恩达深度学习课程笔记（初步认识神经网络）

吴恩达深度学习课程笔记1课程主要内容1.神经网络与深度学习介绍2.ImprovingDeepNeuralNetworks:超参数调整，正则化，优化方法3.结构化机器学习工程：比如如何分割训练集，比较集，

fuulish·2022-11-25 18:48

【图像处理】PyTorch实战之CIFAR10数据集分类（LeNet分类器）

官网入门实现一个图像分类器下图是卷积，池化，全连接层在神经网络中的作用（分工）本文是学习B站深度学习与图像处理的up做的笔记本文参考主要如下：1.B站宝藏up讲解视频2.PyTorch官方文档3.某博主的课程笔记官方

少年白马·2022-11-25 17:40

[课程笔记]（图像分割入门到实战）

文章目录语义分割与实例分割概述语义分割的应用语义分割数据集损失函数1.crossentropyloss2.weightedloss3.Focalloss4.DiceLossFCN全连接卷积神经网络转置卷积实现二维转置卷积转置卷积是一种卷积使用FCN进行语义分割Unet网络的编解码过程网络结构为什么适用于医学图像？Unet++deeplab分割算法概述简述空洞卷积的设计思路条件随机场CRF和隐马尔科

小黑子和篮球·2022-11-25 16:18

2021斯坦福CS224N课程笔记~1

2021斯坦福CS224课程leture1~2笔记leture1~IntroductionandWordVectorsWord2vec模型leture2~NeuralClassifiersGlove模型leture1~IntroductionandWordVectors首先简要介绍传统NLP的缺陷和分布式语义思想，其次重点讲解word2vec模型。1.传统NLP的缺陷：把词语看作离散的符号，one

波悠悠的菠萝·2022-11-25 16:13

CS224W课程笔记第一章 Introduction: Machine Learning with Graphs

目录：CourseLogistics一些注意事项和先修知识主要是课程需要的先修的课程和用到的工具WhyGraphs？ApplicationsofGraphMLChoiceofGraphRepresentation1.CourseLogisticsGraphRepresentationLearningBook课程推荐的参考书Tools（工具）:PyTorchGeometric(PyG),DeepSN

Temple_of_light·2022-11-25 16:10

Chapter7-3_BERT and its family - ELMo, BERT, GPT, XLNet, MASS, BART, UniLM, ELECTRA, and more

pre-trainmodel5ELECTRA6SentenceEmbedding本文为李弘毅老师【BERTanditsfamily-ELMo,BERT,GPT,XLNet,MASS,BART,UniLM,ELECTRA,andmore】的课程笔记

zjuPeco·2022-11-25 15:20

Chapter7-2_BERT and its family - Introduction and Fine-tune

1Whatispre-trainmodel2Howtofine-tune2.1Input2.2Output2.3Fine-tune2.4WeightedFeatures3Whyfine-tune本文为李弘毅老师【BERTanditsfamily-IntroductionandFine-tune】的课程笔记

zjuPeco·2022-11-25 15:50

李宏毅老师《机器学习》课程笔记-2.1模型训练技巧

注：本文是我学习李宏毅老师《机器学习》课程2021/2022的笔记（课程网站），文中图片除了两幅是我自己绘制外，其余图片均来自课程PPT。欢迎交流和多多指教，谢谢！文章目录Lecture2Whattodoifmynetworkfailstotrain1.模型性能的分析思路（1）先看trainingloss（2）如果trainingloss小，再看testingloss（3）如何挑选模型？valid

宁萌Julie·2022-11-25 15:37

动手学深度学习课程笔记ch02

ch_02线性代数线性代数李老师讲得比较少，需要自己下去多看看书，后期还是需要一些矩阵论的知识。基本知识标量：由只有一个元素的张量表示（一般为数据的标签）。#创建标量进行运算importtorchx=torch.tensor([3.0])y=torch.tensor([2.0])x+y,x*y,x/y,x**y输出：(tensor([5.]),tensor([6.]),tensor([1.5000

lazyoneguy·2022-11-25 08:08

李宏毅老师Transformer课程笔记 [Attention is all your need]

Transformer会议：NIPS2017论文：https://arxiv.org/pdf/1706.03762.pdfinput是x1～x4x_1～x_4x1～x4，经过embending之后得到a1～a4a_1～a_4a1～a4，输入到self-attention中。对于每一个input，都乘上三个不同的权值矩阵，得到三个不同的向量q,k,vq,k,vq,k,v。qqq：query(toma

M1kk0·2022-11-25 03:25

李宏毅Transformer课程笔记

文章目录课程视频和PPT链接self-attentionself-attention的具体结构计算相关性方法self-attention的具体结构的计算multi-headself-attentionpositionalencodingself-attention的一些应用self-attentionforspeechself-attentionforimageself-attentionv.s.

--ccyyy·2022-11-25 03:20

课程笔记5：Scrapy框架——Item Pipeline的用法

ItemPipeline（项目管道）。Spider解析完Response就会产生Item，Item就会被Engine传递到ItemPipeline，被定义的ItemPipeline组件就会顺次被调用，完成一连串的处理过程：清洗HTML数据验证爬取数据，检查爬取字段查重并丢弃重复内容将爬取结果存储到数据库中核心方法必须实现的方法：process_item(item,spider)可选实现的方法：op

MagicKong21·2022-11-25 00:30

【课程笔记】李宏毅机器学习[4]：Classification: Probabilistic Generative Model

本系列课程笔记为李宏毅2017,秋，台湾大学课程。视频网址链接：https://www.bilibili.com/video/av15889450?

tjwyj·2022-11-24 18:47

吴恩达deeplearning.ai系列课程笔记+编程作业(11)第四课卷积神经网络-第二周深度卷积网络：实例探究（Deep convolutional models: case studies）

第四门课卷积神经网络（ConvolutionalNeuralNetworks）第二周深度卷积网络：实例探究（Deepconvolutionalmodels:casestudies）文章目录第四门课卷积神经网络（ConvolutionalNeuralNetworks）第二周深度卷积网络：实例探究（Deepconvolutionalmodels:casestudies）2.1为什么要进行实例探究？（W

geekxiaoz·2022-11-24 18:15

吴恩达deeplearning.ai系列课程笔记+编程作业(3)第一课神经网络和深度学习-第三周：浅层神经网络(Shallow neural networks)

第一门课神经网络和深度学习(NeuralNetworksandDeepLearning)第三周：浅层神经网络(Shallowneuralnetworks)文章目录第一门课神经网络和深度学习(NeuralNetworksandDeepLearning)第三周：浅层神经网络(Shallowneuralnetworks)3.1神经网络概述（NeuralNetworkOverview）3.2神经网络的表示