机器学习笔记——吴恩达第6页

吴恩达RLHF课程笔记

1.创建偏好数据集一个prompt输入到LLM后可以有多个回答，对每个回答选择偏好比如{prompt,answer1,answer2,prefer1}2.根据这个数据集（偏好数据集），创建rewardmodel，这个model也是一个LLM,并且它是回归模型，返回的是对每个answer的score，loss是最大化winningcandidate和losingcandidate的score。训练结

鱼鱼9901·2023-12-23 14:56

ML学习安排和资源链接

第一阶段：学习前置数学知识机器学习的数学基础_二进制人工智能的博客-CSDN博客第二阶段：认知机器学习吴恩达机器学习【2022中文版教程全集】_哔哩哔哩_bilibili视频5h，看了一点发现后面没字幕了

Nice night·2023-12-23 13:55

机器学习笔记（一）从波士顿房价预测开始，梯度下降

从波士顿房价开始目标其实这一章节比较简单，主要是概念，首先在波士顿房价这个问题中，我们假设了一组线性关系，也就是如图所示我们假定结果房价和这些参数之间有线性关系，即:然后我们假定这个函数的损失函数为均方差，即：那么就是说，我们现在是已知y和x，来求使得这个损失函数Loss最小化的一个w和b的组合读取数据点击查看代码defload_data():#从文件导入数据datafile='./work/ho

Leventure_轩先生·2023-12-23 09:37

吴恩达深度学习笔记(28)-网络训练验证测试数据集的组成介绍

从今天开始我们进入新的一个大方向了，改善深层神经网络：超参数调试、正则化以及优化，首先进入深度学习的一个新层面，先认识下在深度学习中的数据集的分类。之前可能大家已经了解了神经网络的组成的几个部分，那么我们将继续学习如何有效运作神经网络，内容涉及超参数调优，如何构建数据，以及如何确保优化算法快速运行，从而使学习算法在合理时间内完成自我学习。训练，验证，测试集（Train/Dev/Testsets）在

极客Array·2023-12-21 06:18

机器学习笔记：支持向量机回归SVR

1主要思想主要思路类似于机器学习笔记：支持向量机SVM_支撑向量学习-CSDN博客和SVM的区别主要有解法和SVM区别不大，也是KKT2和线性回归的区别对SVR，如果f(x)和y之间的差距小于阈值ε【也即落在两条间隔带之间

UQI-LIUWJ·2023-12-20 23:16

吴恩达深度学习-序列模型 3.10触发字监测 + 课程总结

今天学习的是触发字检测，这个说起来可能有点学术，但是简单来说就是。hey,siri!然后你的手机就会亮起来，这就是触发字检测。首先，关于触发字检测还处于发展阶段，并没有一个以绝对优势取胜的算法。如果我们想建立一个算法，那么我们首先要知道数据集如何进行标记，如果从简单的结果来想，我们可以在每次完成一次触发字之后的那个时间设置为1，其他时间设置为0。但这样做是有一些问题的，因为大部分时间是不会触发的，

prophet__·2023-12-20 12:21

机器学习资料整理

ML&DLBookThefastaideeplearninglibrary入门导师，带我走进了机器学习的世界Coursera-ML-AndrewNg-Notes吴恩达老师的机器学习课程个人笔记,"小时候

FMsunyh·2023-12-19 06:52

Coursera机器学习笔记3

Week44.1神经网络模型表示1神经网络可以分为三部分：（输入）树突、（logistic）激励、（输出）轴突。一个简单的模型如下图。image1.pngx0通常为1，第一层为输入层；在这个例子中，中间层为ai(2)。第j个权重矩阵决定了第j层到第j+1层的调整，如果第j层有s(j)个单元，第j+1层有s(j+1)个单元，则第j个权重矩阵的维度是s(j+1)*(s(j)+1)image1.png4

los_pollos·2023-12-18 22:22

【机器学习】简单认识监督学习

所以我打算从0开始学习机器学习算法，根据吴恩达老

釉色清风·2023-12-18 10:21

LLM tip

openaiembedding+openai3.5turbo快速搭建一个本地知识问答系统，视频也尝试了本地模型进行embedding，效果比较差视频附上相关的ipynb的代码代码链接微软AutoGen链接吴恩达

summermoonlight·2023-12-18 07:28

progressive random convolutions for single domain generalization论文阅读过程

采用的是吴恩达老师的论文阅读方法。

目标是分享一切·2023-12-18 06:59

如何开发一个prompt?prompt的使用有哪些原则？

提示词迭代开发写提示词时，第一次尝试是值得的，反复完善提示，获得越来越接近你想要的结果原文来源于B站吴恩达提示工程教学公开课。

贾欣晓·2023-12-18 05:55

机器学习笔记

1.什么是机器学习从数据中自动分析获得模型，并利用模型对位置数据进行预测。关键词：数据模型预测2.机器学习算法分类2.1监督学习数据集有标签监督学习三要素：模型算法策略2.1.1分类classification离散型数据常用算法：Knn，朴素贝叶斯，svm，决策树与随机森林，逻辑回归2.1.2回归regression连续型数据常用算法：线性回归，岭回归2.2非监督学习数据集无标签常用算法：聚类，K

偏偏偏执先生·2023-12-17 17:40

深度学习记录--矩阵维数

如何识别矩阵的维数如下图矩阵的行列数容易在前向和后向传播过程中弄错，故写这篇文章来提醒易错点顺便起到日后查表改错的作用本文仅作本人查询参考(摘自吴恩达深度学习笔记)

蹲家宅宅·2023-12-17 11:02

机器学习笔记 - 了解学习率对神经网络性能的影响

一、简述深度学习神经网络使用随机梯度下降优化算法进行训练。学习率是一个超参数，它控制每次更新模型权重时响应估计误差而改变模型的程度。学习率值太小可能会导致训练过程过长并可能陷入困境，而值太大可能会导致过快地学习次优权重或训练过程不稳定。配置神经网络时，学习率是重要的超参数。因此，了解学习率对模型性能的影响很有价值。训练期间权重更新的量称为步长或“学习率”。二、不同学习率的评估在此示例中，我们从1E

坐望云起·2023-12-16 14:33

吴恩达《机器学习》11-3-11-5:类偏斜的误差度量、查准率和查全率之间的权衡、机器学习的数据

一、类偏斜的误差度量误差度量的关键性之前的课程中已经提到了误差分析和设定误差度量值的重要性。评估学习算法并衡量其表现需要使用一个实数，这就是误差度量值。然而，在某些情况下，特别是当处理偏斜类时，选择正确的误差度量值可能会对算法的性能产生微妙但重要的影响。偏斜类的问题偏斜类的情况发生在训练集中某一类实例数量非常多，而其他类的实例数量很少或没有的情况下。举例来说，如果希望用算法来预测肿瘤是否是恶性的，

不吃花椒的兔酱·2023-12-16 12:01

吴恩达《机器学习》12-2-12-3:大边界的直观理解、大边界分类背后的数学

一、大边界的直观理解1.大间距分类器的背景支持向量机的大间距分类器着眼于构建一个能够在正负样本之间划定最大间距的决策边界。为了理解这一点，首先观察支持向量机的代价函数，其中涉及到正负样本的代价函数cos1()和cos0()。对于正样本（=1），我们希望^的值大于等于1，而对于负样本（=0），希望^的值小于等于-1。这要求决策边界不仅能够正确分离样本，还需要具备足够的“安全间距”。2.支持向量机的大

不吃花椒的兔酱·2023-12-16 12:01

吴恩达《机器学习》12-4-12-5:核函数 1、核函数 2

一、核函数11.多项式模型的局限性在之前的学习中，了解到可以使用多项式模型来解决无法用直线进行分隔的分类问题。例如，对于判定边界的建模，可能会使用类似于以下形式的模型：然而，这样的多项式模型在实际应用中可能存在一些问题，特别是对于高维度的数据。因此，需要一种更有效的方法来构造新的特征。2.核函数的引入为了解决上述问题，引入了核函数的概念。核函数允许我们通过将原有特征与预先选定的地标（Landmar

不吃花椒的兔酱·2023-12-16 12:55

机器学习笔记：linear scaling learning rate （学习率和batch size的关系）

在训练神经网络的过程中，随着batchsize的增大，处理相同数据量的速度会越来越快，但是达到相同精度所需要的epoch数量越来越多换句话说，使用相同的epoch数量时，大batchsize训练的模型与小batchsize训练的模型相比，验证准确率会减小——>提出了linearscalinglearningrate在mini-batchSGD训练时，增大batchsize不会改变梯度的期望，但是会

UQI-LIUWJ·2023-12-15 12:59

深度学习学习顺序梳理

spm_id_from=333.999.0.0&vd_source=9607a6d9d829b667f8f0ccaaaa142fcb1.吴恩达机器学习课程已学完，时间较久了，后续可以重新听一遍，整理一下笔记

陌上阳光·2023-12-14 23:37

吴恩达《机器学习》12-1:优化目标

在机器学习的旅程中，我们已经接触了多种学习算法。在监督学习中，选择使用算法A还是算法B的重要性逐渐减弱，而更关键的是如何在应用这些算法时优化目标。这包括设计特征、选择正则化参数等因素，这些在不同水平的实践者之间可能表现出截然不同的效果。在支持向量机（SupportVectorMachine，SVM）这一强大而受欢迎的算法中，我们发现了一种更为清晰且强大的学习方式，尤其在处理复杂非线性方程时。在这篇

不吃花椒的兔酱·2023-12-14 22:34

单变量线性回归的机器学习代码

本文为学习吴恩达版本机器学习教程的代码整理，使用的数据集为https://github.com/fengdu78/Coursera-ML-AndrewNg-Notes/blob/f2757f85b99a2b800f4c2e3e9ea967d9e17dfbd8

ShawnWeasley·2023-12-14 22:59

学习机器学习开始的一些别人的看法

吴恩达晒妻又晒车，顺便宣布了一个重大消息清华系“AI帮”崛起，要驱动1500亿元产业规模

wang--moumou·2023-12-14 19:15

# 解决Github克隆下载代码慢的问题（超级简单不用修改Hosts）

最近我在学习吴恩达的机器学习课程，我需要将一些资料从Github中下载下来，如下图image但是如果直接在Github上克隆下载代码往往速度特别慢，200M的东西速度却是24kb/s，心态炸了。

Vicent·2023-12-05 23:30

吴恩达深度学习笔记(36)-神经网络的梯度消失/梯度爆炸

梯度消失/梯度爆炸（Vanishing/Explodinggradients）训练神经网络，尤其是深度神经所面临的一个问题就是梯度消失或梯度爆炸，也就是你训练神经网络的时候，导数或坡度有时会变得非常大，或者非常小，甚至于以指数方式变小，这加大了训练的难度。这节课，你将会了解梯度消失或梯度爆炸的真正含义，以及如何更明智地选择随机初始化权重，从而避免这个问题。假设你正在训练这样一个极深的神经网络，为了

极客Array·2023-12-05 23:01

【23-24 秋学期】NNDL 作业11 LSTM

习题6-4推导LSTM网络中参数的梯度，并分析其避免梯度消失的效果习题6-3P编程实现下图LSTM运行过程李宏毅机器学习笔记：RNN循环神经网络_李宏毅rnn笔记_ZEERO~的博客-CSDN博客https

HBU_David·2023-12-04 15:03

机器学习笔记 - 什么是3D语义场景完成/补全？

一、什么是3D语义场景补全？3D语义场景完成（SemanticSceneCompletion）是一种机器学习任务，涉及以体素化形式预测给定环境的完整3D场景(完成3D形状的同时推断场景的3D语义分割的任务)。这是通过使用深度图和为场景提供上下文的可选RGB图像来完成的。目标是以一种可轻松用于各种应用的方式提供环境的准确表示。这项任务的关键是场景的语义方面。输出中的每个体素代表环境中的某个物体或障碍

坐望云起·2023-12-04 06:29

吴恩达《机器学习》10-4-10-5:诊断偏差和方差、正则化和偏差/方差

一、诊断偏差和方差在机器学习中，诊断偏差和方差是改进模型性能的关键步骤。通过了解这两个概念，能够判断算法的问题究竟是欠拟合还是过拟合，从而有针对性地调整模型。1.概念理解偏差（Bias）：表示模型对于训练数据的拟合程度。高偏差意味着模型过于简单，无法捕捉数据的复杂性，导致欠拟合。方差（Variance）：表示模型对于训练数据的敏感程度。高方差意味着模型过于复杂，几乎完美地适应训练数据，但在未见过的

不吃花椒的兔酱·2023-12-03 22:30

吴恩达《机器学习》10-1-10-3:决定下一步做什么、评估一个假设、模型选择和交叉验证集

一、决定下一步做什么在机器学习的学习过程中，我们已经接触了许多不同的学习算法，逐渐深入了解了先进的机器学习技术。然而，即使在了解了这些算法的情况下，仍然存在一些差距，有些人能够高效而有力地运用这些算法，而其他人可能对接下来的步骤感到陌生，不清楚如何正确运用这些知识。在本节课程中，我们将讨论一个关键问题：在机器学习项目中，当我们面临改进算法性能的任务时，我们应该如何决定接下来的工作方向呢？为了解答这

不吃花椒的兔酱·2023-12-03 22:00

吴恩达《机器学习》11-1-11-2:首先要做什么、误差分析

一、首先要做什么选择特征向量的关键决策以垃圾邮件分类器算法为例，首先需要决定如何选择和表达特征向量。视频提到的一个示例是构建一个由100个最常出现在垃圾邮件中的词构成的列表，根据这些词是否在邮件中出现来创建特征向量，尺寸为100×1。构建分类器算法的决策对于垃圾邮件分类器，面临多个决策：收集更多数据：获取更多垃圾邮件和非垃圾邮件的样本，以提高算法的性能。基于邮件的路由信息开发特征：利用邮件的路由信

不吃花椒的兔酱·2023-12-03 22:29

机器学习笔记-支持向量机

文章目录前言一、支持向量机介绍二、线性可分SVM2.1.SVM数学模型的推导2.2.拉格朗日数乘法与对偶问题转换2.3.线性可分SVM学习算法三、线性不可分SVM3.1.线性不可分与软间隔3.2.线性不可分SVM学习算法四、非线性SVM4.1.非线性分类问题4.2.核函数4.3.非线性SVM学习算法总结前言终于到支持向量机这一分类算法了，支持向量机是所有入门机器学习小伙伴必须掌握的算法之一，我

复杂混沌·2023-12-03 19:50

机器学习笔记(九)——手撕支持向量机SVM之间隔、对偶、KKT条件详细推导

SVM概述支持向量机(SVM)是一种有监督的分类算法，并且它绝大部分处理的也是二分类问题，先通过一系列图片了解几个关于SVM的概念。上图中有橙色点和蓝色点分别代表两类标签，如果想要将其分类，需要怎么做呢？可能有的伙伴会想到上一篇文章讲到的逻辑回归拟合决策边界，这肯定是一种不错的方法，本文所讲的SVM也是可以解决这种分类问题的；既然都是分类算法，所以通过一个例子可以比对出二者的相同点和不同点。超平面

奶糖猫Esong·2023-12-03 19:49

GPT 中文提示词技巧：参照 OpenAI 官方教程

概述-OpenAIAPI部分案例是参考：根据吴恩达老师教程总结出中文版prompt教程_哔哩哔哩_bilibiliup主的内容。

灰海宽松·2023-12-03 15:34

06、基于内容的过滤算法Tensorflow实现

06、基于内容的过滤算法Tensorflow实现开始学习机器学习啦，已经把吴恩达的课全部刷完了，现在开始熟悉一下复现代码。对这个手写数字实部比较感兴趣，作为入门的素材非常合适。

怡步晓心l·2023-12-03 11:16

05、基于梯度下降的协同过滤算法

05、基于梯度下降的协同过滤算法理论与实践Python开始学习机器学习啦，已经把吴恩达的课全部刷完了，现在开始熟悉一下复现代码。对这个手写数字实部比较感兴趣，作为入门的素材非常合适。

怡步晓心l·2023-12-03 11:46

03、K-means聚类实现步骤与基于K-means聚类的图像压缩（2）

：03、K-means聚类实现步骤与基于K-means聚类的图像压缩（1）03、K-means聚类实现步骤与基于K-means聚类的图像压缩（2）K-means聚类的图像压缩开始学习机器学习啦，已经把吴恩达的课全部刷完了

怡步晓心l·2023-12-03 11:45

04、基于高斯分布的异常检测算法

04、基于高斯分布的异常检测算法原理与实践开始学习机器学习啦，已经把吴恩达的课全部刷完了，现在开始熟悉一下复现代码。对这个手写数字实部比较感兴趣，作为入门的素材非常合适。

怡步晓心l·2023-12-03 11:39

2020-12-17 吴恩达-神经网络与深度学习-第四周编程练习

Github地址：https://github.com/Poissons/wuenda-Deep-Learning-And-Neural-Network-fourth-week-excercise.git

Vivivivi安·2023-12-03 02:35

机器学习笔记 - 基于百度飞桨PaddleSeg的人体分割模型以及TensorRT部署说明

一、简述虽然SegmentAnything用于图像分割的通用大模型看起来很酷（飞桨也提供分割一切的模型），但是个人感觉落地应用的时候心里还是更倾向于飞桨这种场景式的，因为需要用到一些人体分割的需求，所以这里主要是对飞桨高性能图像分割开发套件进行了解和使用，但是暂时不训练，因为搞数据集挺费劲。PaddleSeg内置45+模型算法及140+预训练模型。最新发布HumanSeglite模型超轻量级人像分

坐望云起·2023-12-02 18:34

李宏毅老师机器学习课程笔记_ML Lecture 1: ML Lecture 1: Regression - Demo

视频链接（bilibili）：李宏毅机器学习(2017)另外已经有有心的同学做了速记并更新在github上：李宏毅机器学习笔记(LeeML-Notes)所以，接下来我的笔记只记录一些我自己的总结和听课当时的

leogoforit·2023-12-02 17:21

机器学习笔记 - week6 -（十、应用机器学习的建议）

10.1决定下一步做什么假设我们需要用一个线性回归模型来预测房价，当我们运用训练好了的模型来预测未知数据的时候发现有较大的误差，我们下一步可以做什么？获得更多的训练样本——通常是有效的，但代价较大，下面的方法也可能有效，可考虑先采用下面的几种方法。尝试减少特征的数量尝试获得更多的特征尝试增加多项式特征尝试减少正则化程度尝试增加正则化程度我们不应该随机选择上面的某种方法来改进我们的算法，而是运用一些

火箭蛋头·2023-12-02 16:14

吴恩达《ChatGPT Prompt Engineering for Developers》学习笔记

来自：口仆本笔记是deeplearning.ai最近推出的短期课程《ChatGPTPromptEngineeringforDevelopers》的学习总结。1引言总的来说，当前有两类大语言模型（LLM）：「基础LLM」和「指令微调LLM」。基础LLM基于大量文本数据训练而成，核心思想为预测一句话的下一个单词（即词语接龙）。基于语料的限制，有时会返回不符合预期的结果（如上图所示）。指令微调LLM基于

stay_foolish12·2023-12-02 02:50

吴恩达神经网络和深度学习 assignment3 编程作业构建神经网络模型

1、导入包#Packageimportsimportnumpyasnpimportmatplotlib.pyplotaspltfromtestCasesimport*importsklearnimportsklearn.datasetsimportsklearn.linear_modelfromplanar_utilsimportplot_decision_boundary,sigmoid,loa

sy今天看代码了吗·2023-12-01 23:50

Course1-Week3-分类问题

实现梯度下降4.过拟合与正则化4.1线性回归和逻辑回归中的过拟合4.2解决过拟合的三种方法4.3正则化4.4用于线性回归的正则方法4.5用于逻辑回归的正则方法笔记主要参考B站视频“(强推|双字)2022吴恩达机器学习

虎慕·2023-12-01 15:33

如何阅读一篇论文

来自于吴恩达斯坦福CS230课程步骤：1.列出所有相关文章2.跳过列表3.列出1-5篇文章从0%-100%开始阅读阅读量5-20Paper基本了解一个领域阅读量50-100Paper基本掌握这个领域吴恩达是怎么读论文的

gezigezao·2023-12-01 14:14

2018-03-02-初识机器学习

回家过春节的这段时间，也仅仅是在基友网上copy了吴恩达老师机器学习的教程，也无暇深入研习。现在已经三月初，在所里工作已经有一周左右，慢热的进入状态，开始了机器学习的征程。

cppcwang·2023-12-01 08:36

纯干货——《面向开发者的 ChatGPT Prompt工程》学习笔记

前言本文为吴恩达教授联合Isa一起开设的提示工程教程笔记，记录了一些重要的知识点，并且把实践源码中文版贴出来了，可以跟着本文一起实操～也可以跟着视频过一遍此教程的主要目的是为大家介绍如何在自己的应用开发过程中

MonsterQy·2023-11-30 19:55

吴恩达深度学习笔记(45)-Adam 优化算法(Adam optimization)

Adam优化算法(Adamoptimizationalgorithm)在深度学习的历史上，包括许多知名研究者在内，提出了优化算法，并很好地解决了一些问题，但随后这些优化算法被指出并不能一般化，并不适用于多种神经网络，时间久了，深度学习圈子里的人开始多少有些质疑全新的优化算法，很多人都觉得动量（Momentum）梯度下降法很好用，很难再想出更好的优化算法。所以RMSprop以及Adam优化算法，就是

极客Array·2023-11-30 04:58

【吴恩达机器学习】第十周—大规模机器学习和随机梯度下降

31.jpg1.大规模机器学习1.1大型数据集现实世界中，往往数据集的规模很大，譬如人口普查数据、谷歌、阿里、亚马逊,....等这些互联网公司产生的海量数量。不论采用怎样的算法或优化，可能最后决定模型准确度的主要因素就是数据集的规模，于是，研究和优化大规模数据集的训练变成了很重要的内容。1.png针对大数据集，如果我们一上来就用传统的梯度下降算法，可能往往会训练很慢很慢，达不到预期要求。那么我们该

Sunflow007·2023-11-30 02:10

吴恩达机器学习课后作业Python实现 03 Multi-class Classification & Neural Network

文章目录题目描述数据集介绍逻辑回归（多元分类）神经网络题目描述在本练习中，将使用逻辑回归和神经网络来识别手写数字(从0到9)。练习的第一部分，将扩展之前的逻辑回归实现，将其应用于一对多的分类；第二部分将使用神经网络进行数字识别。数据集介绍该数据集共有5000个训练样本，每个样本是20*20像素的灰度图像，每个像素为一个浮点数，表示该位置的灰度强度。20×20的像素网格被展开成一个400维的向量。在

shy~·2023-11-30 01:27

推荐频道

机器学习笔记——吴恩达