Mahout机器学习笔记第5页

决策树的原理、方法以及python实现——机器学习笔记

******TheMachineLearningNotingSeries******决策树（DecisionTree）是机器学习的核心算法之一，在较小训练样本或有限计算资源下仍有较好表现，它包括分类树和回归树，是目前应用最广泛的分类预测和回归预测方法。导航0引言1决策树的概念分类树回归树2决策树的生长分类算法分类过程3决策树的剪枝剪枝算法剪枝过程4python代码实现——实例应用---------

搏努力概形·2023-10-22 19:05

java+jsp+mysql实现在线电影推荐系统movieCFWeb mahout实现基于用户的协同过滤推荐算法基于项目的协同过滤推荐算法

74b3a3e489d4·2023-10-22 11:13

机器学习笔记：随机森林

随机森林随机森林是一种集成算法，是对决策树模型的集成学习。目的是通过考虑多个评估器建模结果，汇总得到一个综合结果。集成算法包括bagging（装袋法），boosting（提升法），stacking（堆栈法）三种。装袋法的核心思想是构建多个相互独立的评估器，然后对其预测进行平均或多数表决原则来决定集成评估器的结果。装袋法的代表模型就是随机森林。提升法中，基评估器是相关的，是按顺序一一构建的。其核心思

0/404·2023-10-21 21:03

机器学习笔记AN01--提高机器学习模型准确率的八大方法简单总结

annotation英[ˌænə'teɪʃn]n.注释【非原创】，作者不明1.增加更多数据2.处理缺失值和异常值对于连续变量，可以把缺失值替换成平均值、中位数、众数。对于分类变量，可以把变量作为一个特殊类别看待。你也可以建立模型预测缺失值。KNN为处理缺失值提供了很好的方法。异常值：你可以删除这些条目，进行转换，分箱。如同缺失值，你也可以对异常值进行区别对待。3.特征工程学这一步骤有助于从现有数据

EL33·2023-10-21 12:42

机器学习笔记 - 深度学习中跳跃连接的直观解释

一、概述如今人们利用深度学习做无数的应用。然而，为了理解在许多作品中看到的大量设计选择（例如跳过连接），了解一点反向传播机制至关重要。如果你在2014年尝试训练神经网络，你肯定会观察到所谓的梯度消失问题。简单来说：你在屏幕后面检查网络的训练过程，你看到的只是训练损失停止减少，但距离期望值仍然很远。1、更新规则和梯度消失问题没有动量的梯度下降的更新规则，假设L是损失函数，λ是学习率，其中基本上是通过

坐望云起·2023-10-21 06:12

自用机器学习笔记（1）：什么是概率以及似然

自用机器学习笔记（1）：什么是概率以及似然（1）解释1：这个是quora上的一个回答Whatisthedifferencebetweenprobabilityandlikelihood?

Dante5128·2023-10-20 04:48

机器学习笔记四：线性回归（Linear regression）及房屋数据集的回归

目录1.单变量线性回归：2.多变量线性回归最近在学习吴恩达老师的机器学习课程，所以在这里记录一下，主要是完成他的课后作业。思路： 1.首先，我们自己编写线性回归函数，看看整个计算的流程； 2.使用sklearn进行线性回归计算； 3.对比以上两种方法的优缺点。1.单变量线性回归：importnumpyasnpimportpandasaspdimportmatplotlib.pyplotasplt

Amyniez·2023-10-19 03:43

李宏毅机器学习笔记-transformer

transformer是什么呢？是一个seq2seq的model。具体应用如上图所示，输入和输出的序列长度不固定，由model自己决定。语音翻译指的是，直接输入一段语音信号，例如英文，输出的直接是翻译之后的中文。seq2seq如今已经是一个应用非常广泛的模型，可以应用于NLP的各种任务，如语义分析，语义分类，聊天机器人等。另外还有个值得说明的功能是做multilabelclassification

ZEERO~·2023-10-18 07:00

李宏毅机器学习笔记-半监督学习

半监督学习，一般应用于少量带标签的数据（数量R）和大量未带标签数据的场景（数量U），一般来说，U>>R。半监督学习一般可以分为2种情况，一种是transductivelearning，这种情况下，将unlabeleddata的feature利用进来。另外一种是inductivelearning，这种情况下，在训练的整个过程中，完全不看任何unlabeleddata的信息。为什么要做semi-sup

ZEERO~·2023-10-18 07:24

机器学习笔记 - 3D 对象跟踪极简概述

一、简述大多数对象跟踪应用程序都是2D的。但现实世界是3D的，无论您是跟踪汽车、人、直升机、导弹，还是进行增强现实，您都需要使用3D。在CVPR2022（计算机视觉和模式识别）会议上，已经出现了大量3D目标检测论文。二、什么是3D对象跟踪？对象跟踪是指随着时间的推移定位并跟踪对象在空间中的位置和方向。它涉及检测图像序列（或点云）中的对象，然后预测其在后续帧中的位置。目标是持续估计对象的位置和方向，

坐望云起·2023-10-17 23:13

2.3 初探Hadoop世界

1、扩容能力强2、成本低3、高效率4、可靠性5、高容错性（三）Hadoop的生态体系1、HDFS分布式文件系统2、MapReduce分布式计算框架3、Yarn资源管理框架4、Sqoop数据迁移工具5、Mahout

howard2005·2023-10-17 14:15

李宏毅机器学习笔记第7周_局部最小值与鞍点

文章目录一、OptimizationFailsbecause……二、TaylerSeriesApproximation三、Example总结一、OptimizationFailsbecause……1．问题：我们在做optimization的时候会发现，随着参数的不断更新，training的loss不会再下降，但是我们对loss并不满意。因此我们会发现，一开始model就train不起来，不管我们怎

MoxiMoses·2023-10-16 19:21

【机器学习笔记1.1】线性回归之正规方程求解

线性回归概述##我们先考虑最简单的一种情况，即输入属性的数目只有一个，线性回归试图学得[1](1)f(xi)=wxi+b，使得f(xi)≈yif(x_i)=wx_i+b，使得f(x_i)\approxy_i\tag{1}f(xi)=wxi+b，使得f(xi)≈yi(1)那么如何确定w⃗\vec{w}w和b呢？关键在于如何衡量f(x⃗)f(\vec{x})f(x)与y之间的差别。均方误差是回归任务重

取取经·2023-10-15 20:53

机器学习笔记 - 车道检测的几种深度学习方法

一、简述人们在打造自动驾驶汽车时首先想到的就是实现车道检测。这是Tesla和mobileye所说的“强制性”任务，也是SebastianThrun（自动驾驶汽车教父）在接受采访时所说的首要任务。这个方向有很多传统的OpenCV算法，这些算法由不再使用的非常旧的函数组成。目前全部都转到深度学习的方式了。二、车道线检测的分割方法1、LaneNet检测车道线的第一种也是最流行的方法是使用图像分割，它很重

坐望云起·2023-10-15 11:58

机器学习笔记 - 使用3D卷积神经网络进行视频分类

1、导入相应的库3DCNN使用三维滤波器来执行卷积。内核能够在三个方向上滑动，而在2DCNN中它可以在二维上滑动。首先安装并导入必要的库，用于处理ZIP文件内容的Remotezip、用于使用进度条的tqdm、用于处理视频文件的OpenCV、用于执行更复杂的张量操作的einops，以及用于在JupyterNotebook中嵌入数据的库。importtqdmimportrandomimportpath

坐望云起·2023-10-14 11:43

机器学习笔记（3）：无监督学习

上节，我们已经介绍了监督学习。回想当时的数据集，如上表所示，这个数据集中每条数据都已经标明是阴性或阳性，即是良性或恶性肿瘤。所以，对于监督学习里的每条数据，我们已经清楚地知道，训练集对应的正确答案，是良性或恶性了。在无监督学习中，我们已知的数据。看上去有点不一样，不同于监督学习的数据的样子，即无监督学习中没有任何的标签或者是有相同的标签或者就是没标签。所以我们已知数据集，却不知如何处理，也未告知每

大锅烩菜·2023-10-14 05:07

Python机器学习笔记 K-近邻算法

K近邻（KNN，k-NearestNeighbor）分类算法是数据挖掘分类技术中最简单的方法之一。所谓K最近邻，就是K个最近的邻居的意思，说的是每个样本都可以用它最接近的k个邻居来代表。KNN算法的核心思想是如果一个样本在特征空间中的K个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特征。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本

weixin_30345577·2023-10-11 06:41

「大数据集群的搭建和使用」背景知识：大数据Hadoop生态圈介绍

伪分布式模式3.完全分布式模式三、Hadoop生态圈组件1.HDFS2.MapReduce3.YARN4.Hive5.Pig6.HBase7.HCatalog8.Avro9.Thrift10.Drill11.Mahout12

优秀的Athena在休息·2023-10-10 02:14

【大数据】Hadoop 生态系统及其组件

.Hadoop生态系统简介2.1HDFS2.2MapReduce2.3YARN2.4Hive2.5Pig2.6HBase2.7HCatalog2.8Avro2.9Thrift2.10Drill2.11Mahout2.12Sqoop2.13Flume2.14Ambari2.15Zookeeper2.16Oozie1

G皮T·2023-10-10 02:36

深度学习笔记之优化算法(四)Nesterov动量方法的简单认识

机器学习笔记之优化算法——Nesterov动量方法的简单认识引言回顾：梯度下降法与动量法Nesterov动量法Nesterov动量法的算法过程描述总结（2023/10/9）补充与疑问附：Nesterov

静静的喝酒·2023-10-09 21:39

深度学习笔记之优化算法(五)AdaGrad算法的简单认识

机器学习笔记之优化算法——AdaGrad算法的简单认识引言回顾：动量法与Nesterov动量法优化学习率的合理性AdaGrad算法的简单认识AdaGrad的算法过程描述引言上一节对Nesterov\text

静静的喝酒·2023-10-09 21:05

机器学习笔记 - 两个静态手势识别的简单示例

一、关于手势识别手势识别方法通常分为两类：静态或动态。静态手势是那些只需要在分类器的输入处处理单个图像的手势，这种方法的优点是计算成本较低。动态手势需要处理图像序列和更复杂的手势识别方法。进一步了解可以参考下面链接。静态手势识别和动态手势识别的区别和技术路线简介-CSDN博客为了实现完全沉浸式的AR应用，系统的输出（例如可视化）以及系统的输入必须适应用户的现实。计算的发展和新技术的易用性推动了Ki

坐望云起·2023-10-09 00:33

Python数据分析 - 机器学习笔记：第一章数据分析 - 1.4.2.设置坐标系

前言：本文是学习网易微专业的《python全栈工程师》中的《数据分析-机器学习工程师》专题的课程笔记，欢迎学习交流。一、课程目标掌握Matplotlib坐标系的基本设置方法掌握汉语和负数显示设置方法二、详情解读2.1.坐标网格%matplotlibinline#表示当前代码生成的图插入当前浏览器中importnumpyasnpimportmatplotlib.pyplotaspltx=np.ara

WinvenChang·2023-10-08 19:15

机器学习笔记 - 基于pytorch、grad-cam的计算机视觉的高级可解释人工智能

一、pytorch-gradcam简介Grad-CAM是常见的神经网络可视化的工具，用于探索模型的可解释性，广泛出现在各大顶会论文中，以详细具体地描述模型的效果。Grad-CAM的好处是，可以在不额外训练的情况下，只使用训练好的权重即可获得热力图。1、CAM是什么？CAM全称ClassActivationMapping，既类别激活映射图，也被称为类别热力图、显著性图等。它是一张和原始图片等同大小图

坐望云起·2023-10-08 13:24

深度学习笔记之优化算法(三)动量法的简单认识

机器学习笔记之优化算法——动量法的简单认识引言回顾：条件数与随机梯度下降的相应缺陷动量法简单认识动量法的算法过程描述附：动量法示例代码引言上一节介绍了随机梯度下降(StochasticGradientDescent

静静的喝酒·2023-10-07 20:20

机器学习笔记第7课：线性判别分析算法

逻辑回归是一种传统的分类算法，仅限于两类分类问题。如果你有两个以上的类，那么线性判别分析算法是首选的线性分类技术。线性判别分析法简称LDA，表示起来非常简单。它包含你的数据经由每个类计算之后的统计属性。对于单个输入变量，这包括：每个类别的平均值。对所有类别计算的方差。通过计算每个类的判别值，并对具有最大值的类进行预测，从而做出完整的预测。这项技术假设数据具有高斯分布（钟形曲线），因此最好事先从数据

首席IT民工·2023-10-07 16:56

【无标题】

【机器学习】机器学习笔记（吴恩达）-CSDN博客1.误差平方代价函数，对于大多数问题，特别是回归问题，都是一个合理的选择。2.梯度下降会自动采取更小的步骤，所以不需要随时间减小学习率a。

FlyingAnt_·2023-10-06 20:53

机器学习笔记 - 深入研究spaCy库及其使用技巧

一、简述spaCy是一个用于Python中高级自然语言处理的开源库。它专为生产用途而设计，这意味着它不仅功能强大，而且快速高效。spaCy在学术界和工业界广泛用于各种NLP任务，例如标记化、词性标注、命名实体识别等。安装，这里使用阿里的源。pipinstallspacy-ihttps://mirrors.aliyun.com/pypi/simple/pipinstallspacy_pkuseg-i

坐望云起·2023-10-05 07:32

机器学习笔记（5,6）--林轩田机器学习基石课程

这两个lecture，集中证明了，当我的hepothesis个数看起来有无限多种时，也就是前面讲到的，找一个超平面（直线）做二元划分问题时，超平面（直线）应该有无限多个，那PLA还能否能learning的问题。具体的证明过程不在复述了，提一下我认为最重要的一点：当出现break的时候，就意味着，hepothesisset的个数会是多项式多个，具体是通过动态规划bound住上界的方法。以后等基石看完

数学系的计算机学生·2023-10-05 07:27

机器学习笔记(二)

过拟合如下图左边,模型出现了过拟合现象为了解决过拟合现象,其中一个做法是多收集数据,如右图。第二种做法是减少模型的特征数量,即x第三种做法是正则化正则化就是减少x前面的参数w的数值,不用消除x正则化的梯度下降如下,因为只是缩小了w的值,而b的值保持不变正则化的工作原理就是缩小参数w的值假如wj(1-0.0028)那么wj就会一点点变小

半岛铁盒@·2023-10-04 19:35

机器学习笔记 -- 神经网络

1、什么是神经网络1.1非线性假设无论是线性回归还是逻辑回归，都存在这样一个缺陷，那就是当特征过多时，计算量会非常大。这时，神经网络应运而生，极大地弥补了这方面的缺点。1.2神经元与大脑每个神经元都可以看做一个处理单元，它有多个树突（输入），一个轴突（输出）。多个信息经过树突传递到神经元，处理后，再通过轴突输出。这便是神经网络的生物模型。基于此，我们设计出了类似的神经网络模型。x1x_1x1、x2

算法导航·2023-10-04 09:16

机器学习笔记 -- 线性回归

1、定义线性回归是一种通过属性的线性组合来进行预测的线性模型，其目的是找到一条直线或一个平面或者更高维度的超平面，使得预测值与真实值的误差最小化。2、代价函数代价函数度量全部样本集的平均误差。越小则拟合效果越好。J(θ1,θ2,...,θn)=12m∑i=1m(hθ(x(i))−y(i))2J(\theta_1,\theta_2,...,\theta_n)=\frac{1}{2m}\sum_{i=

算法导航·2023-10-04 09:16

机器学习笔记--支持向量机

1、支持向量机概述1.1基本概念支持向量机（SupportVectorMachine,SVM）是一类按监督学习方式对数据进行二元分类的广义线性分类器，其决策边界是对学习样本求解的最大边距超平面。1.2硬间隔、软间隔和非线性SVM硬间隔指的就是完全分类准确，不能存在分类错误的情况。软间隔，就是允许一定量的样本分类错误。1.3算法思想找到集合边缘上的若干数据（称为支持向量（SupportVector）

算法导航·2023-10-04 09:45

机器学习笔记

1.线性回归模型2.损失函数3.梯度下降算法多元特征的线性回归当有多个影响因素的时候,公式可以改写为:

半岛铁盒@·2023-10-02 07:01

机器学习笔记 - 基于强化学习的贪吃蛇玩游戏

机器学习笔记-DeepQ-Learning算法概览深度Q学习是一种强化学习算法，它使用深度神经网络来逼近Q函数，用于确定在给定状态下采取的最佳操作。

坐望云起·2023-09-30 13:03

回顾经典，Netflix的推荐系统架构

这里是「王喆的机器学习笔记」的第三十一篇文章。最近因为忙着书出版和DLP-KDDWorkshop的事情，没太多时间更新专栏，等过了这段时间再跟大家多聊聊。

王喆的机器学习笔记·2023-09-30 11:41

26Hbase介绍及其数据模型和架构（hbase学习1）

Hbase介绍Hadoop生态系统spark已经替代mahouthbase简介：非关系型数据库知识面扩展cassandra、hbase、mongodb（文档型数据库）、rediscouchdb，文件存储数据库

文茶君·2023-09-30 03:08

机器学习笔记 - Deep Q-Learning算法概览

一、Q-Learning强化学习大致可以分为两类：无模型强化学习算法和基于模型的强化学习算法。无模型强化学习算法不会学习环境转换函数的模型来预测未来状态和奖励。Q学习、深度Q网络和策略梯度方法是无模型算法，因为它们不创建环境转换函数的模型。1、Q-学习算法Q-学习算法的流程为：1.初始化您的Q表2.使用Epsilon-Greedy探索策略选择一个操作3.使用贝尔曼方程更新Q表

坐望云起·2023-09-27 06:30

机器学习笔记七-----------------使用Prophet（时间序列模型）预测家用电量的数据的笔记一------数据集解析

一，数据集的下载其实家庭用电量预测仅仅是个“引子”，如果有电网数据的话，可以开发适合业务需求的模型，比如通过预测各时段各区域的用电量来协助电网更好地实现电能调度；除此之外，还可以用于发电量预测，比如光伏电站、风力发电站、水电站发电量预测…等等。模型一般不是问题，关键在数据和数据处理。数据集名称为：IndividualhouseholdelectricpowerconsumptionDataSet，

YOULANSHENGMENG·2023-09-26 04:48

「AI大咖谈」FLAG资深工程师谈ML Infra和分布式模型服务

这里是「王喆的机器学习笔记」的第三十六篇文章。今天我们「AI大咖谈」邀请的大咖是一位在FLAG中某家工作了4年的资深机器学习工程师。

王喆的机器学习笔记·2023-09-25 16:36

机器学习笔记——9.25课堂补充

机器学习笔记——9.25课堂补充一、泰勒展开二阶近似向量形式二、有关梯度下降几个小问题？1.梯度下降能否保证找到最优的参数？2.梯度下降法参数更新能否保证损失函数值每次下降？

AgentSmart·2023-09-25 08:33

机器学习笔记 - 通过人工干预实现安全强化学习的思路

1、人类干预强化学习深度强化学习在一些棋类游戏、视频游戏以及现实3D环境中的导航和控制任务方面取得了惊人的进展。这些成就是在模拟环境中实现的。深度强化学习能否将这一成功转化为现实世界的任务？这里面临两个主要问题。第一个是深度强化学习需要大量的观察（在现实世界的任务中获得这些观察是缓慢且昂贵的）。强化学习在实际应用中的第二个障碍是安全性。无模型强化学习代理只能通过反复试验来学习。为了学会避免灾难，他

坐望云起·2023-09-25 06:03

机器学习笔记 - 生成代理的架构框架

来自Google研究人员提出的生成代理架构，它由三个主要组件组成：内存流模块、反射模块以及规划和反应模块。这种革命性的方法为模仿人类行为和认知的人工智能驱动实体开辟了新的可能性，为先进且迷人的游戏和虚拟环境铺平了道路。这种生成代理架构包括三个主要组件：A、记忆流：一种长期记忆模块，以“记忆对象”的形式记录智能体的经验，其中包含描述、记录时间以及智能体检索它们的时间。记忆流中最基本的项目是观察，它是

坐望云起·2023-09-24 19:05

机器学习笔记1

1、机器学习算法分类监督学习：目标值：类别-分类问题分类算法：K-近邻算法、贝叶斯分类、决策树和随机森林、逻辑回归目标值：连续型的数据-回归问题回归算法：线性回归、岭回归无监督学习：目标值：无-无监督学习算法：聚类K-means2、机器学习开发流程1）获取数据2）数据处理3）特征工程4）机器学习算法训练-模型5）模型评估6）应用3、特征工程-数据集可用数据集：1）sklearn自带的2）kaggl

从白天到早上·2023-09-24 16:35

排得更好VS估得更准VS搜的更全「推荐、广告、搜索」算法间到底有什么区别？

这里是「王喆的机器学习笔记」的第三十八篇文章。今天我们聊一聊推荐、广告、搜索算法的区别。

王喆的机器学习笔记·2023-09-24 06:08

机器学习笔记 - 维度诅咒的数学表达

1、点之间的距离kNN分类器假设相似的点也可能有相同的标签。但是，在高维空间中，从概率分布中得出的点往往不会始终靠近在一起。我们可以用一个简单的例子来说明这一点。我们将在单位立方体内均匀地随机绘制点（如图所示），并研究该立方体内测试点的k个最近邻将占用多少空间。想象单位立方体。所有训练数据都在这个立方体内均匀采样，即，并且我们正在考虑这样一个测试点的k=10个最近邻。令ℓ为包含测试点的所有k-nn

坐望云起·2023-09-24 05:46

机器学习笔记:adaBoost

1介绍AdaBoost（AdaptiveBoosting）是一种集成学习方法，它的目标是将多个弱分类器组合成一个强分类器通过反复修改训练数据的权重，使得之前分类错误的样本在后续的分类器中得到更多的关注每一轮中，都会增加一个新的弱分类器，直到达到某个预定的错误率或者达到预定的最大迭代次数2详细算法介绍

UQI-LIUWJ·2023-09-23 16:17

机器学习笔记08---k近邻学习

k近邻(k-NearestNeighbor，简称kNN)学习是一种常用的监督学习方法，其工作机制非常简单：给定测试样本，基于某种距离度量找出训练集中与其最靠近的k个训练样本，然后基于这k个“邻居”的信息来进行预测。通常，在分类任务中可以使用“投票法”，即选择这k个样本中出现最多的类别标记作为预测结果；在回归任务中可使用“平均法”，即将这k个样本的实值输出标记的平均值作为预测结果；还可基于距离远近进

一件迷途小书童·2023-09-23 13:29

机器学习笔记 - k-NN算法的数学表达

一、概述所有的机器学习算法都是有假设前提的。k-NN算法的假设前提是相似的输入有相似的输出。其分类规则是对于测试输入x，在其k个最相似的训练输入中分配最常见的标签。k-NN的正式定义：对于一个待测试数据。将的个最近邻的集合表示为。的正式定义为，并且。（意思就是在集合

坐望云起·2023-09-23 13:57

机器学习笔记：Huber Loss

1介绍HuberLoss是回归问题中的一种损失函数，它结合了均方误差MSE和绝对误差MAE的特点。HuberLoss在误差较小的时候是平方损失，而在误差较大的时候是线性损失。因此，它在处理有噪声的数据时，尤其是存在离群点的情况下，比MSE更加鲁棒。定义如下：δ是一个超参数，上式等号右边第一项是MSE的部分（[-δ,+δ])，第二项是MAE部分【(-∞,-δ)和(δ，+∞）】2python实现imp

UQI-LIUWJ·2023-09-23 10:34

推荐频道

Mahout机器学习笔记