----机器学习笔记

机器学习笔记-感知机对偶形式

文章目录前言一、感知机对偶形式二、感知机对偶形式的实现总结前言  感知机模型是有两种形式的，上一篇文章中详细学习了感知机的原始形式数学模型，我们知道，感知机应该还有对偶形式，这篇文章就来记录一下感知机对偶形式的的数学模型。一、感知机对偶形式  我们知道感知机的学习算法可以解释为：当一个实例点被误分类时，即位于分离超平面的错误一侧时，则根据这个误分类点来调整www和bbb的值，使分离超平面向误分类点
Pijriler·2022-12-23 10:21

LHY机器学习笔记-4

文章目录lhy机器学习笔记-4深度学习三个步骤神经网络完全连接前反馈神经网络FC矩阵运算模型评价选取最优函数Backpropagation以单个神经元为例考虑forwardpassbackwardpasssummarylhy
白马非马lxl·2022-12-23 09:06

机器学习笔记六-----------------使用Prophet（时间序列模型）预测空气质量的数据的例程的笔记

一，源码及数据的下载链接https://github.com/marcopeix/air-quality二，源码解读2.1，读入原始数据原始数据大小【9471，17】DATAPATH='/home/kongxianglan/code/air-quality-master/data/AirQualityUCI.csv'data=pd.read_csv(DATAPATH,sep=';')data.he
YOULANSHENGMENG·2022-12-23 06:12

机器学习笔记-最大熵模型

最大熵  在学习最大熵模型前，我们需要知道熵是什么，在前面决策树那一节，我们介绍了决策树在选择特征时所采用的三种策略：信息增益、信息增益比和基尼指数，其中信息增益和信息增益比都是基于熵计算的，在那里介绍了熵是表示随机变量不确定性的度量，如果设随机变量XXX的概率分布为:P(X=xi)=pi,     i=1,2,⋯ ,nP(X=x_i)=p_i,\,\,\,\,\,i=1,2,\cdots,nP(
Pijriler·2022-12-22 16:49

机器学习笔记一 ：读取iris数据集，并可视化

1.下载iris数据集点击进入UCI数据库把下载的文件的iris.data改成iris.csv2.利用pycharm，对前两维数据进行可视化我是将数据集的label改成了1,2,3所以代码里面的判断依据是1,2,3
Tanvanyo·2022-12-22 13:20

机器学习笔记 二十：在Iris数据集上实现决策树的可视化

决策树可视化写在前面Iris数据集使用plot_tree绘制决策树graphviz绘制决策树dtreeviz绘制决策树写在前面决策树是一种用于机器学习的监督算法。它使用一个二进制树形图（每个节点有两个孩子）为每个数据样本分配一个目标值，目标值呈现在树叶中。为了到达树叶，样本通过节点传播，从根节点开始。在每个节点中，决定它应该去哪个子孙节点。决定是根据所选样本的特征做出的。决策树学习是一个根据所选指
Amyniez·2022-12-22 13:06

2020李宏毅机器学习笔记-ELMO, BERT, GPT

目录摘要1.Background2.ELMO3.BERT3.1TrainingofBERT3.1.1Approach1:MaskedLM3.1.2Approach2:NextSentencePrediction(NSP)3.2HowtouseBERT3.2.1case1:classification3.2.2case2:SlotFilling（插槽填充）3.2.3case3:NLI（自然语言推理）
ZN_daydayup·2022-12-22 06:03

训练seq2seq模型的一些Tips——李宏毅机器学习笔记

CopyMechanism有时我们并不需要decoder创造一些东西出来，有些内容是可以从encoder复制而来。最早具有复制能力的模型：PointerNetwork例如：chat-botSummarization至少要训练百万篇文章GuidedAttentionMonotonicAttentionLocation-awareattention语音识别往往也会犯很多低级的错误，例如语音合成中念短句
我是小蔡呀～～～·2022-12-22 06:27

2021李宏毅机器学习笔记--17 transformer

2021李宏毅机器学习笔记--17transformer摘要一、transformer二、Self-Attention三、Muliti-headself-attention四、PositionEncoding
guoxinxin0605·2022-12-22 06:25

【Transformer】——李宏毅机器学习笔记

Transformer前言transformer是一个sequence-to-sequence(seq2seq)的modelinputasequence，outputasequence.Theoutputlengthisdeterminedbymodel.例如语音辨识：那么为什么不能把以上三种模型结合起来，进行语音识别呢？因为有一些语言根本没有文字。Languagewithouttext.台语、闽
我是小蔡呀～～～·2022-12-22 06:23

Transformer及变体详解教程（更新中）

Transformer：李宏毅机器学习笔记——Transformer_NLP小白+的博客-CSDN博客_李宏毅transformer详解Transformer中Self-Attention以及Multi-HeadAttention
KuromiHan·2022-12-22 03:11

机器学习笔记之玻尔兹曼机(一)基本介绍

机器学习笔记之玻尔兹曼机——基本介绍引言回顾：玻尔兹曼机的模型表示模型参数的对数似然梯度关于模型参数W\mathcalWW的对数似然梯度关于模型参数L,J\mathcalL,\mathcalJL,J的对数似然梯度引言在受限玻尔兹曼机
静静的喝酒·2022-12-21 17:32

论文笔记02：深度学习实体关系抽取研究综述

公众号：数据挖掘与机器学习笔记摘要、前言实体关系抽取：通过对文本信息建模，从文本中自动抽取实体对间的语义关系，提取出有效的语义关系应用领域：信息抽取、自然语言理解、信息检索、机器翻译、语义网标注、知识图谱等抽取方法
大雄没有叮当猫·2022-12-21 12:53

可解释机器学习笔记合集

task01导论【学习打卡01】可解释机器学习之导论Task01预备知识学习task02ZFNet【学习打卡】ZFNet深度学习图像分类算法【学习打卡02】可解释机器学习笔记之ZFNet【算法】可解释机器学习
爱学习的书文·2022-12-21 11:17

机器学习笔记 - 基于JavaScript的顶级机器学习框架

1、概述虽然Python和C++编程语言已成为机器学习框架的流行选择，但JavaScript也并不落后。环顾四周，可能会发现JavaScript框架也已在AI中实现。事实上，根据GitHub对最佳机器学习技术的评论，JavaScript排在Python和C++之后的第三位，而R则排在第八位。这些JavaScript框架正在通过人工智能和机器学习促进业务增长。在本文中，我们不分先后，列出了一些基于J
坐望云起·2022-12-20 22:54

机器学习笔记：kMeans聚类

kMeans聚类优点：容易实现。缺点：可能收敛到局部最小值，在大规模数据集上收敛较慢。适用数据类型：数值型数据K-均值算法：先随机确定k个初始点作为质心，然后将数据集中的每个点分配到一个簇中，具体来讲为每个点找距其最近的质心，并将其分配给该质心所对应的簇。再每个簇更新质心为该簇所有点的平均值。Python3.6实现kMeans算法importnumpyasnp#加载数据defloadDataSet
TccccD·2022-12-19 13:36

spark机器学习笔记：（七）用Spark Python构建聚类模型

声明：版权所有，转载请联系作者并注明出处http://blog.csdn.net/u013719780?viewmode=contents博主简介：风雪夜归子（英文名：Allen），机器学习算法攻城狮，喜爱钻研MeachineLearning的黑科技，对DeepLearning和ArtificialIntelligence充满兴趣，经常关注Kaggle数据挖掘竞赛平台，对数据、MachineLea
风雪夜归子·2022-12-19 10:24

机器学习笔记week1

监督学习：需要数据集已有正确答案回归问题：预测连续值如：预测房价分类问题：预测离散值如：预测是否是恶性肿瘤监督学习工作方式trainingset->learningalgorithm->hypothesis-------------------------------------------------------------------------------------------------
sunsi_10·2022-12-19 10:32

吴恩达机器学习笔记week1——初识机器学习

吴恩达机器学习笔记week1——初识机器学习1-1.欢迎参加《机器学习》课程1-2.什么是机器学习？
Saulty·2022-12-19 10:55

基于python的分类预测_[Python] 机器学习笔记 基于决策树的分类预测

一、介绍决策树是一种常见的分类模型，在金融分控、医疗辅助诊断等诸多行业具有较为广泛的应用。决策树的核心思想是基于树结构对数据进行划分，这种思想是人类处理问题时的本能方法。决策树的主要优点：具有很好的解释性，模型可以生成可以理解的规则。可以发现特征的重要程度。模型的计算复杂度较低。决策树的主要缺点：模型容易过拟合，需要采用减枝技术处理。不能很好利用连续型特征。预测能力有限，无法达到其他强监督模型效果
weixin_39627405·2022-12-19 08:15

机器学习笔记（5）集成算法

集成算法Ensemblemethod多个学习器联合解决同一个问题要求是：“好而不同”对于集成算法的分类：个体学习器之间存在强烈依赖关系，必须串行生成序列化方法：Boosting；给定学习器之间不存在强依赖关系，可同时生成的并列化方法：Bagging、RandomForestBoosting这里其实应该把随机森林放在前面，随机森林是那种比较容易理解的“集成”，Boosting方法是一种“迭代”形式的
是魏小白吗·2022-12-19 01:30

机器学习笔记（一）——KNN学习

一、概念：KNN（K-NearestNeighber,简称KNN）学习是一种常用的监督学习方法。（一）工作机制：给定测试样本，基于某种距离度量找出训练集中与其最靠近的k个训练样本，然后基于这k个“邻居”的信息来进行预测，其实就是所谓“近朱者赤，近墨者黑”。（二）训练过程：KNN学习，没有显式的训练过程，是典型的“懒惰学习”的技术，在训练阶段中仅仅把样本保存起来，训练时间开销为零，待收到测试样本后再
爱学习的老青年·2022-12-18 17:55

【Datawhale可解释性机器学习笔记】CAM

CAM是什么论文：LearningDeepFeaturesforDiscriminativeLocalizationCAM全称ClassActivationMapping，既类别激活映射图，也被称为类别热力图、显著性图等。是一张和原始图片等同大小图，该图片上每个位置的像素取值范围从0到1，一般用0到255的灰度图表示。可以理解为对预测输出的贡献分布，分数越高的地方表示原始图片对应区域对网络的响应越
JeffDingAI·2022-12-18 14:15

机器学习笔记——pandas

文章目录一.Pandas基本介绍1.Series3.DataFrame的简单运用二.Pandas选择数据1.简单的筛选2.根据标签loc3.根据序列iloc4.根据混合的这两种ix（老版本可用）5.通过判断的筛选三.Pandas设置值1.根据位置设置loc和iloc2.根据条件设置3.按行或列设置4.添加数据四.Pandas处理丢失数据1.pd.dropna()2.pd.fillna()五.Pan
老墨墨pro·2022-12-18 11:45

李弘毅机器学习笔记：第十五章—半监督学习

李弘毅机器学习笔记：第十五章—半监督学习监督学习和半监督学习半监督学习的好处监督生成模型和半监督生成模型监督生成模型半监督生成模型假设一：Low-densitySeparationSelf-training
weixin_mm975247003·2022-12-18 10:45

机器学习笔记-PCA(主成分分析）

参考资料（大量参考了第一个链接，里面讲的非常详细）：https://zhuanlan.zhihu.com/p/77151308统计学习方法（李航）https://zhuanlan.zhihu.com/p/29846048https://zhuanlan.zhihu.com/p/58064462
Serendipity-Wu·2022-12-17 14:49

机器学习笔记（七）-主成分分析PCA

原创不易，转载前请注明博主的链接地址：Blessy_Zhuhttps://blog.csdn.net/weixin_42555080本次代码的环境：运行平台：WindowsPython版本：Python3.xIDE：PyCharm一、前言解决模型过拟合问题的基本方法有：增加数据量正则化降维直接降维：人工的特征选择线性降维：PCA、MDS非线性降维：流形：ISOMAP，LLE这次要介绍的内容是高维数
Blessy_Zhu·2022-12-17 14:19

机器学习笔记-投票法（Voting）理论与实现

投票法（Voting）简介投票法（Voting）是利用多个模型来训练数据集，最终使用投票的方式来选择结果。Voting分为两种类型：软投票（SoftVoting）和硬投票(HardVoting)。软投票：输出类概率硬投票：输出类标签投票法（Voting）实现硬投票importnumpyasnpfromsklearn.treeimportDecisionTreeClassifierfromsklea
小刘同学要努力呀·2022-12-17 14:14

机器学习笔记-K-Means理论及实现

聚类算法聚类算法与分类算法的区别如下所示：聚类算法可以应用于寻找优质客户、社区发现、异常点监控等方面。K-Means简介K-Means算法是最简单的聚类算法，核心思想是以空间中k个点为中心进行聚类，对最靠近他们的对象归类。通过迭代的方法，逐次更新个聚类中心的值，直至得到最好的聚类结果。K-Means算法的具体过程如下所示：先从没有标签的元素集合A中随机取K个元素，作为K个子集各自的重心。分别计算剩
小刘同学要努力呀·2022-12-17 14:14

机器学习笔记-DBSCAN

DBSCAN简介DBSCAN(Density-BasedSpatialClusteringofApplicationswithNoise)是一个比较有代表性的基于密度的聚类算法。与划分和层次聚类方法不同，它将簇定义为密度相连的点的最大集合，能够把具有足够高密度的区域划分为簇，并可在噪声的空间数据库中发现任意形状的聚类。DBSCAN中的特定定义：Ε邻域：给定对象半径为Ε内的区域称为该对象的Ε邻域；如
小刘同学要努力呀·2022-12-17 14:14

机器学习笔记09---PCA主成分分析

在机器学习中，对高维数据进行降维的主要目的是希望找到一个合适的低维空间，在此空间中进行学习能比原始空间性能更好。主成分分析(PrincipaiComponentAnalysis,简称PCA)是最常用的一种降维方法。在介绍PCA之前，不妨先考虑这样一个问题：对于正交属性空间中的样本点，如何用一个超平面（直线的高维推广）对所有样本进行恰当的表达？容易想到，若存在这样的超平面，那么它大概具有这样的性质：
一件迷途小书童·2022-12-17 14:14

机器学习笔记-主成分分析（PCA）

主成分分析（PCA）简介PCA（principalcomponentsanalysis）即主成分分析技术，又称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标。具体如下图将2D压缩为1D：如下图将3D压缩为2D：降维分析降维就是找到数据中最重要的方向，即方差最大的方向。对于高维数据需要先找到第一个主成分方差最大的方向提取出来，第二个主成分来自于方差次大的那个数据，并且与第一个主成分正
小刘同学要努力呀·2022-12-17 14:09

机器学习笔记-Week02-卷积神经网络

卷积神经网络文章目录卷积神经网络深度学习三部曲损失函数全连接网络处理图像卷积神经网络卷积池化全连接卷积神经网络典型结构AlexNetZFNetVGGGoogleNetResNet手动实现一个简单的ResNet网络MNIST数据集分类加载MNIST数据集利用matplotlib加载数据可视化创建全连接网络和卷积神经网络定义训练测试函数利用全连接网络训练利用卷积神经网络训练打乱训练图像的像素定义打乱数
爱吃章鱼的怪兽·2022-12-17 11:05

【机器学习笔记】利用KNN算法进行分类预测遇到的问题和解决记录

机器学习笔记利用KNN算法进行分类预测遇到的问题和解决记录：1.由于是老师给的数据放在了txt里，并不是sklearn自带的数据，所以作为小白来说不知道如何将数据导入进去并进行数据特征和数据标签的标记，
秦哈哈·2022-12-17 09:16

机器学习笔记-数据的图表展示

统计图表类别数据条形图：条形图是用宽度相同的条形来展示各类频数的图形；帕累托图：帕累托图将各类别数据出现的频数按从大到小排序后绘制的条形图；饼图：饼图是用圆形及园内扇形的角度来表示一个样本（或总体）中各类别的频数占总频数数比例大小的图形；环形图：环形图可以显示多个样本各类别频数占其相应总频数的比例；数值数据直方图：直方图是用来展示数值数据分布的一种常用图形；箱型图：用来反映一组数据的分布；其它图形
Pijriler·2022-12-17 07:02

机器学习笔记：scikit-learn pipeline使用示例

0.前言在机器学习中，管道机制是指将一系列处理步骤串连起来自动地一个接一个地运行的机制。Scikit-Learn提供了pipeline类用于实现机器学习管道，使用起来十分方便。既然要将不同处理步骤串联起来，首先必须确保每个步骤的输出与下一个步骤的输入的数据是匹配的。所以，管道中的每个步骤都包含两个方法，fit()用于拟合（或者说训练），transform()用于数据转换（将数据转换为下一个步骤所需
笨牛慢耕·2022-12-17 07:45

spark机器学习笔记：（四）用Spark Python构建分类模型（上）

声明：版权所有，转载请联系作者并注明出处http://blog.csdn.net/u013719780?viewmode=contents博主简介：风雪夜归子（英文名：Allen），机器学习算法攻城狮，喜爱钻研MeachineLearning的黑科技，对DeepLearning和ArtificialIntelligence充满兴趣，经常关注Kaggle数据挖掘竞赛平台，对数据、MachineLea
风雪夜归子·2022-12-16 17:35

机器学习笔记

kNN计算距离测试样本最近的k个训练样本，统计k个样本类别的出现频率或次数，返回最大的那个类别作为该样本类别。其中距离采用欧式距离。没有显式的训练过程，是‘惰性学习’的代表。（注意有两个排序，第一个是对距离排序，从小到大，选择前k个；第二个是对返回的类别计数容器，从大到小，选择最大的作为最终类别；另外，对于返回的k个样本，认为同等重要，即当k为20，第1名和第20名，都是一票）决策树的核心是递归创
アナリスト·2022-12-16 15:26

scikit-learn机器学习笔记——KMeans聚类

scikit-learn机器学习笔记——KMeans聚类KMeans步骤KMeansAPIKMeans性能评估指标Kmeans性能评估指标APIKMeans应用实例KMeans步骤1、随机设置K个特征空间内的点作为初始的聚类中心
学习爱好者fz·2022-12-16 11:44

(二)机器学习笔记之数据预处理

数据预处理数据预处理一般包括：（1）数据标准化这是最常用的数据预处理，把某个特征的所有样本转换成均值为0，方差为1。将数据转换成标准正态分布的方法：对每维特征单独处理：其中，可以调用sklearn.preprocessing中的StandardScaler()进行数据的标准化。（2）数据归一化把某个特征的所有样本取值限定在规定范围内（一般为[-1,1]或者[0,1]）。归一化得方法为：可以调用sk
蓝色兔子·2022-12-16 08:49

机器学习笔记 - 决策树基本算法

顾名思义,决策树是基于树结构来进行决策的,这也是人类面临决策问题时的一种很自然的处理机制.比如,我们对”这是好瓜吗?”这个问题进行决策时,通常会进行一系列的判断,先看它是什么颜色,如果是青绿色,再看它的根蒂是什么形态,如果是蜷缩,再看它敲起来是什么声音,最终我们得到判断,这是个好瓜。决策树的形态大致如下图所示基本算法:输入:训练集D={(x1,y1),(x2,y2),...,(xm,ym)}属性集
volvet·2022-12-15 11:55

机器学习笔记--【决策树】( Matlab/Python)

1、matlab实现决策树（默认用基尼系数来划分属性）A创建分类决策树或回归决策树loadcarsmall%matlab自带数据，可以直接运行。数据包含变量：Horsepower,Weight,MPGX=[HorsepowerWeight];rtree=fitrtree(X,MPG);%生成决策树：回归树view(ctree,'Mode','graph')%查看决策树loadfisheriris%
weixin_39210914·2022-12-15 11:55

机器学习笔记03---决策树(Decision Tree)

决策树是一类常见的机器学习方法。以二分类任务为例，我们希望从给定训练数据集学的一个模型以对新实例进行分类，这个把样本分类的任务，可看作对"当前样本属于正类吗？"这个问题的“决策”或判定的过程。参考周志华《机器学习》
一件迷途小书童·2022-12-15 11:21

机器学习笔记-随机森林（Random Forest，RF）

随机森林（RandomForest，RF）简介随机森林RF是一种基于树模型的Bagging的优化版本，核心思想还是Bagging，只是做了一些特有的改进，即RF使用CART决策树作为基学习器。具体如图所示：RF=决策树+Bagging+随机属性选择RF算法流程如下所示：RF优缺点优点：对于高维（特征很多）稠密型的数据适用，不用降维，无需做特征选择。构建随机森林模型的过程，亦可帮助判断特征的重要程度
小刘同学要努力呀·2022-12-15 11:51

机器学习笔记-Stacking理论及实现

Stacking简介Stacking是使用多个不同的分类器对训练集进行预测，把预测得到的结果作为一个次级分类器的输入。次级分类器的输出是整个模型的预测结果。其具体实现如下图所示：假如有决策树、KNN、神经网络和逻辑回归四种分类器，对训练集进行分类得到分类结果0110，最终将结果送入到次级分类器来得到最终的结果，其具体实现如下图所示：stacking的训练过程如下所示：假设训练数据：train.cs
小刘同学要努力呀·2022-12-15 11:51

机器学习笔记-AdaBoost理论及实现

AdaBoost简介Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器（强分类器）。理论参考：https://blog.csdn.net/qq_38890412/article/details/120360354AdaBoost实现导包importnumpyasnpimportmatplotlib.pypl
小刘同学要努力呀·2022-12-15 11:21

机器学习笔记－－决策树＆决策树可视化

决策树算法/DecisionTree决策树思想就是找到最纯净的数据划分方法，即要把目标变量分得足够开，使每个节点对应于同一个类别．决策树基本算法：在递归过程中有3种情况会导致递归返回：1.当前节点包含的样本完全属于同一类别;2.当前属性集为空，或所有样本在所有属性上取值相同;3.当前节点包含的样本集为空．其中，从数据集中选择最优划分属性的方法不同对应产生了不同的决策树算法：ID3算法使用信息增益（
阿卡蒂奥·2022-12-15 11:50

机器学习笔记-决策树生成原理

1.决策树是什么？决策树是一种属性结构的辅助决策工具。树枝节点表示决策规则，也有叫属性；树叶节点表示结果，也有叫类别。自上而下由根节点依次延伸，根据属性阈值不同延伸到不同的方向，到达下一个属性节点，并继续延伸，直至最终的叶子节点，也就是分类完成。决策树学习是一种逼近离散值目标函数的方法，该方法学习到的函数被表示为一个决策树。决策树可被表示为多个if-then的规则。那么，怎么知道先从哪个属性开始作
噌胥苑·2022-12-15 11:50

Scikit-Learn 机器学习笔记 -- 决策树

Scikit-Learn机器学习笔记–决策树参考文档：handson-mlimportnumpyasnp#加载鸢尾花数据集defload_dataset():fromsklearnimportdatasetsiris
Wang_Jiankun·2022-12-15 11:20

机器学习笔记-决策树

决策树（DecisionTree）简介决策树是一种分类和回归算法。比较适合分析离散数据。如果是连续数据要先转成离散数据在做分析。决策树简单例子根据以上表格可以根据年龄为根节点画出的决策树如下所示：也可以把收入和是否为学生等来作为根节点来画出决策树，因此决策树不唯一。熵（Entropy）概念1948年，香农提出了“信息熵”的概念。一条信息的信息量大小和它的不确定性有直接的关系，要搞清楚一件非常不确定
小刘同学要努力呀·2022-12-15 11:18
上一页 10 11 12 13 14 15 16 17 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他