coursera机器学习笔记第9页

机器学习笔记-阻尼牛顿法

文章目录前言一、阻尼牛顿法二、算法实例总结前言在学习了牛顿法之后，我们了解到牛顿法存在一个致命的问题：牛顿法的搜索方向不一定就是下降方向。这直接可能会导致牛顿法不会收敛。为了解决这个问题，我们主要的改进的方向有两点：改进使得牛顿法的搜索方向就是其函数值下降的方向。改进使得牛顿法不是下降方向的搜索方向变成是下降方向的搜索方向。一、阻尼牛顿法阻尼牛顿法就上述改进点中的第二点，为牛顿法沿牛顿方向

复杂混沌·2023-08-27 19:41

机器学习笔记之优化算法(十九)经典牛顿法的收敛性分析

机器学习笔记之优化算法——经典牛顿法的收敛性分析引言回顾：算法的收敛性分析Wolfe\text{Wolfe}Wolfe准则的收敛性分析梯度下降法在凸函数的收敛性分析梯度下降法在强凸函数的收敛性分析经典牛顿法的收敛性分析收敛性定理介绍证明过程关于隐含条件的说明引言上一节整体介绍了经典牛顿法

静静的喝酒·2023-08-27 19:09

机器学习笔记 - 数据科学中基于 Scikit-Learn、Tensorflow、Pandas 和 Scipy的7种最常用的特征工程技术

坐望云起·2023-08-27 13:09

PCR

：PCRRecipe-steps.png摘自：Genomic-Data-Science-Specialization/1---Introduction-to-Genomic-Technologies(Coursera

yuzaifei11·2023-08-27 06:16

41、P1 W6 U6.4 翻译Symbols符号

视频：如果本次课程对应的Coursera的视频打不开，可以点击下面链接P1W6U6.3-TheAssemblyProcess-HandlingSymbols上节课讲了A指令和C指令如何处理。

shazizm·2023-08-26 17:26

机器学习笔记之优化算法(十九)牛顿法与正则化

机器学习笔记之优化算法——再回首:牛顿法与正则化引言回顾：经典牛顿法及其弊端牛顿法：算法步骤迭代过程中可能出现的问题正则化HessianMatrix\text{HessianMatrix}HessianMatrix

静静的喝酒·2023-08-26 11:08

机器学习笔记：神经网络层的各种normalization

0预处理中的normalization和standardization归一化normalization找到某种映射关系，将原数据映射到[a,b]区间上eg,min-maxnormalization标准化（Standardization）用大数定理将数据转化为一个标准正态分布*batchnormalization这些做的其实感觉类似于standardization的事儿1Normalization的

UQI-LIUWJ·2023-08-26 07:34

机器学习笔记之优化算法(十八)经典牛顿法

机器学习笔记之优化算法——经典牛顿法引言回顾：下降方向下降方向的几何意义经典牛顿法整体介绍关于牛顿方向判断牛顿方向是否为下降方向引言本节将介绍优化算法——经典牛顿法(NewtonMethod)(\text

静静的喝酒·2023-08-26 00:34

机器学习笔记之优化算法(十七)梯度下降法在强凸函数的收敛性分析

机器学习笔记之优化算法——梯度下降法在强凸函数的收敛性分析引言回顾：梯度下降法在强凸函数的收敛性二阶可微——梯度下降法在强凸函数的收敛性推论引言上一节介绍并证明了：梯度下降法在强凸函数上的收敛速度满足Q

静静的喝酒·2023-08-25 16:16

论文笔记： MOGRIFIER LSTM

2020ICLR修改传统LSTM当前输入和隐藏状态充分交互，从而获得更佳的上下文相关表达1MogrifierLSTMLSTM的输入X和隐藏状态H是完全独立的机器学习笔记：GRU_gruc_UQI-LIUWJ

UQI-LIUWJ·2023-08-25 05:22

想要做什么：技能

技能一：空耳听美剧，学习coursera视频技能一进阶：可以用英语清晰表达自己想表达的东西技能二：深度学习工程师微专业每一步都要认真学习，考虑自己能否据此找到工作理论基础了解~夯实+初步系统+工程经验+

叶晚林·2023-08-23 14:14

机器学习笔记 - 使用 AugMix 增强图像分类模型的鲁棒性

一、简述图像分类模型能够预测与训练数据具有相同分布的数据。然而，在现实场景中，输入数据可能会发生变化。例如，当使用不同的相机进行推理时，照明条件、对比度、颜色失真等可能与训练集不同，并显着影响模型的性能。为了应对这一挑战，Hendrycks等人提出了AugMix算法。可以应用于任何图像分类模型，以提高其鲁棒性和不确定性估计。AugMix是一种数据增强技术，可生成每个训练图像的增强变化。当与一致性损

坐望云起·2023-08-23 12:41

机器学习笔记 - PyTorch Image Models图像模型概览 (timm)

一、简述PyTorchImageModels(timm)是一个用于最先进的图像分类的库，包含图像模型、优化器、调度器、增强等的集合；是比较热门的论文及代码库。虽然越来越多的低代码和无代码解决方案可以轻松开始将深度学习应用于计算机视觉问题，但我们经常与希望寻求定制解决方案的客户合作针对他们的具体问题；利用最新、最伟大的创新来超越这些服务提供的性能水平。由于新的架构和训练技术被引入到这个快速发展的领域

坐望云起·2023-08-23 02:45

机器学习笔记 - 使用 ResNet-50 和余弦相似度的基于图像的推荐系统

坐望云起·2023-08-22 21:23

李宏毅机器学习笔记——16. Conditional Generation by RNN&Attention(RNN条件生成与注意力机制)

摘要：本章内容是讲解了Generation，Attention，TipsforGeneration，一是围绕用RNN实现Generation（生成）的方法与基本原理，先应用生成句子去介绍生成的基本原理，接着举例无条件的生成图片，其不同的是：将图片上的每个像素点看成一个word，并需要考虑各像素之间的几何关系，所以我们需要借助3D-LSTM完善了Generation图片功能。但是在实际应用中，我们的

HSR CatcousCherishes·2023-08-22 17:05

机器学习笔记之优化算法(十五)Baillon Haddad Theorem简单认识

机器学习笔记之优化算法——BaillonHaddadTheorem简单认识引言BaillonHaddadTheorem\text{BaillonHaddadTheorem}BaillonHaddadTheorem

静静的喝酒·2023-08-21 13:19

机器学习笔记之优化算法(十六)梯度下降法在强凸函数上的收敛性证明

机器学习笔记之优化算法——梯度下降法在强凸函数上的收敛性证明引言回顾：凸函数与强凸函数梯度下降法：凸函数上的收敛性分析关于白老爹定理的一些新的认识梯度下降法在强凸函数上的收敛性收敛性定理介绍结论分析证明过程引言本节将介绍

静静的喝酒·2023-08-21 13:19

关于Coursera网站视频无法观看

文章目录前言找Ip改hosts验证前言众所周知，coursera是很不错的学习网站，但由于国内访问限制，导致我的学习之路举步维艰在科学上网彻底崩盘后，终于断了我的学习热情（真的很想骂人）网站只能登入，看脚本和文字

Dean_xiu·2023-08-20 22:23

机器学习笔记 - 基于keras + 小型Xception网络进行图像分类

一、简述Xception是深度为71层的卷积神经网络，仅依赖于深度可分离的卷积层。论文中将卷积神经网络中的Inception模块解释为常规卷积和深度可分离卷积运算（深度卷积后跟点卷积）之间的中间步骤。从这个角度来看，深度可分离卷积可以理解为具有最大数量塔的Inception模块。下图是原始深度可分离卷积Xception中改进的深度可分离卷积原始的深度可分离卷积是深度卷积后跟点卷积。修改后的深度可分

坐望云起·2023-08-20 07:04

机器学习笔记 - 使用VGG16深度学习模型进行图像相似度比较

一、简述VGG16是一个强大的预训练模型，可用于识别图像之间的相似性。通过使用该模型，我们可以从不同图像中提取高级特征并进行比较以识别相似性。该技术具有广泛的应用，从图像搜索和推荐系统到安全和监控。在本文中，将利用该模型来查找两个图像之间的相似性。这里利用机器学习库（例如keras和）scikit-learn来构建和训练我们的图像相似性模型。除了提到的库之外，我们还将分别使用numpy和matpl

坐望云起·2023-08-18 08:56

5-2 Coursera吴恩达《序列模型》第二周课程笔记-自然语言处理和词嵌入

上一篇文章5-1Coursera吴恩达《序列模型》第一周课程笔记-循环序列网络(RNN)我们主要介绍了循环神经网络（RNN）的基本概念、模型和具体应用。

双木的木·2023-08-17 19:42

钻石就在你家后院——鸡汤故事考据

沃顿商学院在Coursera上的公开课《Success》中讲了一个故事：一个人离开家，历经艰难险阻去寻找钻石，最后却发现，钻石就在他的农场之中。

好奇望远镜·2023-08-17 15:23

机器学习笔记：线性链条件随机场（CRF）

0引入：以词性标注为例比如我们要对如下句子进行标注：“小明一把把把把住了”那么我么可能有很多种词性标注的方法，中间四个“把”，可以是“名词+名词+动词+名词”，可以是“名词+动词+动词+名词”等多种形式。那么，哪种标注序列最有可能是正确的呢？我们如果可以给每一个标注序列进行打分，打分越高的表示这个标注序列越靠谱，那么就会容易的多。打分最高的就是最可能的标注序列。对于标注序列问题，我们可以设计一组特

UQI-LIUWJ·2023-08-17 14:09

机器学习笔记：主动学习（Active Learning）初探

1基本介绍监督学习问题中，存在标记成本昂贵且难以大量获取的问题。针对一些特定任务，只有行业专家才能为样本做上准确标记。在此问题背景下，主动学习（ActiveLearning,AL）尝试通过选择性地标记较少数据而训练出表现较好的模型。主动学习最重要的假设是不同样本对于特定任务的重要程度不同，所以带来的表现提升也不全相同。选取较为重要的样本可以使当前模型以较少的标记样本数得到较好的表现在这一过程中，主

UQI-LIUWJ·2023-08-17 14:09

机器学习理论笔记（一）：初识机器学习

文章目录1前言：蓝色是天的机器学习笔记专栏1.1专栏初衷与定位1.2本文主要内容2机器学习的定义2.1机器学习的本质2.2机器学习的分类3机器学习的基本术语4探索"没有免费的午餐"定理（NFL）5结语1

蓝色是天·2023-08-16 23:47

机器学习笔记 - 在 Vision Transformer 中可视化注意力

2022年，视觉变换器(ViT)成为卷积神经网络(CNN)的有力竞争对手，后者现已成为计算机视觉领域的最先进技术，并广泛应用于许多图像识别应用中。在计算效率和准确性方面，ViT模型超过了当前最先进的(CNN)几乎四倍。一、视觉转换器(ViT)如何工作？视觉转换器模型的性能由优化器、网络深度和数据集特定的超参数等决策决定。CNN比ViT更容易优化。纯Transformer和CNN前端之间的区别在于将

坐望云起·2023-08-15 07:39

机器学习笔记：李宏毅 stable diffusion

1基本框架①：文字变成向量②：喂入噪声+文字encoder，产生中间产物③：decoder还原图片2textencoder这张图越往右下表示效果越好，可以看到textencoder尺寸越大，对后续生成图片的增益越多3评价图片生成好坏的标准3.1FID现有一个训练好的CNN模型，可以生成真实影像和生成图像的representation这两组表征的分布越近，效果越好——>我们sample一堆图片，然后

UQI-LIUWJ·2023-08-14 01:49

机器学习笔记：李宏毅diffusion model

1概念原理首先sample一个都是噪声的vector然后经过denoisenetwork过滤一些杂质接着继续不断denoise，直到最后出来一张清晰图片【类似于做雕塑，一开始只是一块石头（噪声很杂的雕塑），慢慢雕刻出想要的花纹】同一个denoisenetwork的模型反复使用但每一个stage输入的图片的状况差异很大——>完全是同一个模型效果不一定好denoisenetwork还多需要一个输入，野

UQI-LIUWJ·2023-08-14 01:46

Coursera离散数学概论笔记

DiscreteMathematics数理逻辑命题非真即假：T/F，1/0排中律：反证法逻辑联结词+原子命题（p,q,r,s）--复合命题逻辑联结词：非~，和^（合取），或v（析取），蕴含：如果。。那么。。p->q(只有在p为1而q为0的时候这个命题是假命题，和逆否命题等价)，充分/必要条件，双向蕴涵pq命题公式：A,B,C优先级：非，和/或，蕴涵，双向蕴涵真值表：n个命题变元，k个联结词，2^n

MaverHardcore·2023-08-13 10:45

机器学习笔记 - 基于PyTorch + 类似ResNet的单目标检测

坐望云起·2023-08-13 06:21

机器学习笔记 - 关于向量嵌入embedding在机器学习中的使用

向量嵌入概述向量嵌入是机器学习中最有趣和最有用的概念之一。它们是许多NLP、推荐和搜索算法的核心。如果您曾经使用过推荐引擎、语音助手、语言翻译器等工具，您就会遇到过依赖嵌入的系统。与大多数软件算法一样，机器学习算法也需要使用数字。有时，我们的数据集包含数值列或可以转换为数值的值（序数、分类等）。其他时候我们会遇到更抽象的东西，比如整个文本文档。我们为这样的数据创建向量嵌入，它们只是数字列表，以便用

坐望云起·2023-08-12 20:59

机器学习笔记 - 基于C++的深度学习二、实现卷积运算

一、卷积卷积是信号处理领域的老朋友。最初的定义如下在机器学习术语中：I(…)通常称为输入K(…)作为内核，并且F(…)作为给定K的I(x)的特征图。虑多维离散域，我们可以将积分转换为以下求和对于二维数字图像，我们可以将其重写为：<

坐望云起·2023-08-12 14:48

机器学习笔记 - 基于C++的深度学习三、实现成本函数

机器学习中的建模作为人工智能工程师，我们通常将每个任务或问题定义为一个函数。例如，如果我们正在开发面部识别系统，我们的第一步是将问题定义为将输入图像映射到标识符的函数F(X)。但是问题是如何知道F(X)公式？事实上，使用公式或一系列固有规则来定义F(X)是不可行的（有一天我会解释原因）。一般来说，我们不是寻找或定义正确的函数F(X)，而是尝试找到F(X)的近似值。我们将这种近似称为假设函数，或者简

坐望云起·2023-08-12 05:59

机器学习笔记：李宏毅chatgpt 大模型 & 大资料

1大模型1.1大模型的顿悟时刻EmergentAbilitiesofLargeLanguageModels，TransactionsonMachineLearningResearch2022模型的效果不是随着模型参数量变多而慢慢变好，而是在某一个瞬间，模型“顿悟”了这边举的一个例子是，比如让模型回答鸡兔同笼问题一开始小模型什么都学不到，故而效果不好随着模型参数量增大，模型慢慢地会一定地推导了，但是

UQI-LIUWJ·2023-08-12 03:37

吴恩达机器学习笔记（二）

模型描述：根据房间的大小（平方数）预测其能售卖出的价格1、监督学习（每个例子都有一个正确的输出值）1.1、回归问题，可以预测一个准确的数值输出1.2、分类问题，可以预测离散值输出（只有0和1的离散值输出）2、训练集（trainingset）：在监督学习中提供“参考”的数据集合三个要素：训练集的数量，输入变量，输出变量训练样本（trainingexample）：（x^(i),y^(i)）第i个训练样

五大人·2023-08-12 02:26

机器学习笔记之优化算法(十三)关于二次上界引理

机器学习笔记之优化算法——关于二次上界引理引言回顾：利普希兹连续梯度下降法介绍二次上界引理：介绍与作用二次上界与最优步长之间的关系二次上界引理证明过程引言本节将介绍二次上界的具体作用以及它的证明过程。

静静的喝酒·2023-08-11 20:41

机器学习笔记值优化算法(十四)梯度下降法在凸函数上的收敛性

机器学习笔记之优化算法——梯度下降法在凸函数上的收敛性引言回顾：收敛速度：次线性收敛二次上界引理梯度下降法在凸函数上的收敛性收敛性定理介绍证明过程引言本节将介绍梯度下降法在凸函数上的收敛性。

静静的喝酒·2023-08-11 20:10

机器学习笔记 - 基于C++的深度学习一、向量运算

由于它们的可扩展性和灵活性，现在很少找到不使用TensorFlow、PyTorch、Paddle......（这里的省略号是指各种成熟的深度学习库）的项目。花时间从头开始编写机器学习算法（即在没有任何基础框架的情况下）似乎有些重复造轮子的感觉。然而，事实并非如此。自己编写算法可以让我们清楚、扎实地理解算法如何工作以及模型真正在做什么。C++曾经是一种古老的语言，但在过去十年中发生了巨大的发展。主要

坐望云起·2023-08-11 08:37

机器学习笔记 - 使用CLIP在没有数据的情况下创建图像分类器

想象一下，如果我们现在需要对人们是否戴眼镜进行分类，但您没有数据或资源来训练自定义模型。该怎么办？这里我们了解如何使用预先训练的CLIP模型来创建自定义分类器，而无需任何培训。这种方法称为零样本图像分类，它可以对原始CLIP模型训练期间未明确看到的类别图像进行分类。一、CLIP理论背景CLIP（对比语言-图像预训练）模型由OpenAI开发，是一种多模态视觉和语言模型。它将图像和文本描述映射到相同的

坐望云起·2023-08-11 02:31

机器学习笔记之优化算法(十一)梯度下降法：凸函数VS强凸函数

机器学习笔记之优化算法——梯度下降法：凸函数VS强凸函数引言凸函数：凸函数的定义与判定条件凸函数的一阶条件凸函数的梯度单调性凸函数的二阶条件强凸函数强凸函数的定义强凸函数的判定条件强凸函数的一阶条件强凸函数的梯度单调性强突函数的二阶条件引言本节将介绍凸函数

静静的喝酒·2023-08-10 10:01

神经网络基础-卷积神经网络

本文参考：本文参考吴恩达老师的Coursera深度学习课程，很棒的课，推荐本文默认你已经大致了解深度学习的简单概念，如果需要更简单的例子，可以参考吴恩达老师的入门课程：http://study.163.

Dominic221·2023-08-10 06:09

赶紧学起来，成为人生赢家很简单，只需这五个网站就能实现

一、Coursera（www.coursera.org）是一个知名的在线学习平台，提供大量的在线课程，涵盖各种学科领域，包括计算机科学、数据科学、商业管理、人文社科等等。

云表平台·2023-08-10 02:09

作业三多分类和神经网络

importnumpyasnpimportmatplotlib.pyplotaspltimportscipy.ioassiofromscipy.optimizeimportminimize#优化函数data=sio.loadmat('D:\桌面\Coursera-ML-AndrewNg-Notes-master

月下思艳·2023-08-10 00:13

机器学习笔记1_逻辑回归

@[toc]1LogisticRegressionLogisticRegression逻辑回归，简称LR，适合于分类问题1.1LR模型对于线性回归模型，需要拟合一个的函数，回归问题适合于连续的问题，而对于分类问题，需要得到一系列离散的标签，以二分类为例，需要预测的类别为0，1.可以使用sigmoid函数将连续问题转化为离散问题:sigmoid函数的图像为：sigmoid其中，时，，时，.Sigmo

cuiyr123·2023-08-09 17:41

机器学习笔记：李宏毅ChatGPT Finetune VS Prompt

1两种大语言模型：GPTVSBERT2对于大语言模型的两种不同期待2.1“专才”2.1.1成为专才的好处IsChatGPTAGoodTranslator?APreliminaryStudy2023Arxiv箭头方向指的是从哪个方向往哪个方向翻译表格里面的数值越大表示翻译的越好可以发现专门做翻译的工作会比ChatGPT好一些HowGoodAreGPTModelsatMachineTranslatio

UQI-LIUWJ·2023-08-09 08:43

吴恩达机器学习笔记（自用）

吴恩达机器学习机器学习的定义什么是机器学习？机器学习算法1.监督学习（SupervisedLearning）2.无监督学习（UnsupervisedLearning）单变量线性回归模型描述（ModelRepresentation）代价函数梯度下降线性回归中的梯度下降凸函数（convexfunction）多变量线性回归多元梯度下降法特征缩放（FeatureScaling）学习率（Learningra

cosθ·2023-08-09 06:02

机器学习笔记自用

matplotlib.legend中的ncol，例如plt.legend(label,loc=0,ncol=4)表示一行可放置4个标签loc表示位置常用位置如下

鄙人不善奔跑·2023-08-09 05:00

「AI大咖谈」阿里算法专家谈大规模推荐系统粗排层的设计与实现

这里是「王喆的机器学习笔记」的第三十七篇文章。今天我们「AI大咖谈」邀请的大咖是阿里的算法专家王哲，所以今天是一次王喆对王哲的访谈。

王喆的机器学习笔记·2023-08-09 05:20

机器学习笔记之优化算法(十一)凸函数铺垫：梯度与方向导数

机器学习笔记之优化算法——凸函数铺垫：梯度与方向导数引言回顾：偏导数方向余弦方向导数方向导数的几何意义方向导数的定义方向导数与偏导数之间的关联关系证明过程梯度(Gradient)(\text{Gradient

静静的喝酒·2023-08-08 18:38

机器学习笔记：李宏毅ChatGPT：生成式学习的两种策略

1策略1“各个击破”——autoregressivemodel“各个击破”——一个一个生成出来2策略2：“一次到位”——non-autoregressvemodel一步到位，全部生成出来2.1non-autoregressivemodel如何确定长度？两种策略策略1：始终生成固定长度（比如100），如果出现end，那么end后面的部分直接扔掉策略2：首先输出一个数字n，表示之后我们要输出多长，然后

UQI-LIUWJ·2023-08-08 17:41

推荐频道

coursera机器学习笔记