•机器学习基础第5页

机器学习及神经网络基础，Pytorch框架

机器学习基础机器学习的本质：利用数据去解决问题数据预处理(在深度学习部分很重要)->训练阶段->模型生成->预测阶段我们通常会选择一部分数据作为测试集，比如20%左右。

Small_Fish25·2023-09-11 02:23

机器学习基础阶段（一）：jupyter notebook的使用

一、jupyternotebook介绍官网的介绍是：JupyterNotebook是一个Web应用程序，允许您创建和共享包含实时代码，方程，可视化和markdown（是一款程序员和科学工作者的编程/文档/笔记/展示软件），已迅速成为处理数据的必备工具。用途包括：数据清理和转换，数值模拟，统计建模，机器学习等等。简单的介绍就是：JupyterNotebook是Ipython的升级版，而Ipython

@夜魅·2023-09-10 23:27

深度学习入门（四）——机器学习基础

机器学习基础机器学习-西瓜书（一）机器学习-西瓜书（二）机器学习-西瓜书（三）机器学习-西瓜书（四）机器学习-西瓜书（五）sklearn机器学习（一）sklearn机器学习（二）sklearn机器学习（

_归尘_·2023-09-09 05:34

机器学习基础之《分类算法（6）—决策树》

一、决策树1、认识决策树决策树思想的来源非常朴素，程序设计中的条件分支结构就是if-else结构，最早的决策树就是利用这类结构分割数据的一种分类学习方法2、一个对话的例子想一想这个女生为什么把年龄放在最上面判断！！！如何高效的进行决策？特征的先后顺序二、决策树分类原理详解1、我们通过一个问题例子已知有四个特征值，预测是否贷款给某个人（1）先看房子，再看工作-->是否贷款（只看了两个特征）（2）年龄

csj50·2023-09-08 06:58

机器学习基础(2)-Sublime Text3使用指南

u=4219455261,1832029135&fm=26&gp=0.jpgSublimeText是一个文本编辑器（收费软件，可以无限期试用，但是会有激活提示弹窗），同时也是一个先进的代码编辑器。SublimeText是由程序员JonSkinner于2008年1月份所开发出来，它最初被设计为一个具有丰富扩展功能的Vim。SublimeText具有漂亮的用户界面和强大的功能，例如代码缩略图，Pyth

小卢子_1093·2023-09-08 05:05

机器学习基础算法11-Logistic回归-ROC和AUC分类模型评估-实例

文章目录一、模型评估介绍1.分类模型评估2.回归模型评估二、ROC和AUC1.理论知识2.ROC曲线分析3.TPR与FPR的计算过程三、实例1.实例12.实例23.实例3-鸢尾花数据集一、模型评估介绍1.分类模型评估2.回归模型评估二、ROC和AUC1.理论知识AUC概念理解：https://www.zhihu.com/question/39840928?from=profile_question

哎呦-_-不错·2023-09-08 05:58

机器学习-基础

机器学习基础一、什么是机器学习二、关键术语三、机器学习的主要任务四、如何选择合适的算法五、开发机器学习应用程序的步骤一、什么是机器学习机器学习致力于研究和开发使计算机系统能够从数据中学习并不断改进其性能的算法和技术

南阳北海·2023-09-08 05:55

机器学习基础学习-多项式回归

前言之前的线性回归法有一个很大的局限性，要求假设数据背后是存在线性关系的，但是对于实际应用场景当中，具有线性关系比较强的数据集太少了，更多的是具有非线性关系的数据集。这里引入使用多项式回归，改进线性回归法，可以对非线性的数据进行处理，进而进行预测（进而其实可以引出模型泛化这个概念）1、多项式回归概念我们学习线性回归时，对于这些数据，我们想要找一条直线，让这条直线尽可能的拟合这些数据，如果这些数据只

小夭。·2023-09-08 05:54

机器学习基础算法--回归类型和评价分析

目录1.数据归一化处理2.数据标准化处理3.Lasso回归模型4.岭回归模型5.评价指标计算1.数据归一化处理"""x的归一化的方法还是比较多的我们就选取最为基本的归一化方法x'=(x-x_min)/(x_max-x_min)"""importnumpyasnpfromsklearn.preprocessingimportMinMaxScalerrd=np.random.RandomState(1

Danceful_YJ·2023-09-08 04:21

OpenCV实战（31）——基于级联Haar特征的目标检测

）——基于级联Haar特征的目标检测0.前言1.Haar特征图像表示2.基于级联Haar特征的二分类分类器3.级联分类器算法流程4.使用Haar级联检测器进行人脸检测5.完整代码小结系列链接0.前言在机器学习基础一节中

盼小辉丶·2023-09-07 10:41

基于Python机器学习、深度学习技术提升气象、海洋、水文领域实践应用能力

目录专题一、Python软件的安装及入门专题二、气象常用科学计算库专题三、气象海洋常用可视化库专题四、爬虫和气象海洋数据专题五、气象海洋常用插值方法专题六、机器学习基础理论和实操专题七、机器学习的应用实例专题八

WangYan2022·2023-09-07 06:44

机器学习基础16-建立预测模型项目模板

机器学习是一项经验技能，经验越多越好。在项目建立的过程中，实践是掌握机器学习的最佳手段。在实践过程中，通过实际操作加深对分类和回归问题的每一个步骤的理解，达到学习机器学习的目的预测模型项目模板不能只通过阅读来掌握机器学习的技能，需要进行大量的练习。本章将介绍一个通用的机器学习的项目模板，创建这个模板总共有六个步骤。端到端地预测（分类与回归）模型的项目结构。如何将前面学到的内容引入到项目中。如何通过

小海聊智造·2023-08-31 05:19

机器学习基础17-基于波士顿房价（Boston House Price）数据集训练模型的整个过程讲解

机器学习是一项经验技能，实践是掌握机器学习、提高利用机器学习解决问题的能力的有效方法之一。那么如何通过机器学习来解决问题呢？本节将通过一个实例来一步一步地介绍一个回归问题。本章主要介绍以下内容：如何端到端地完成一个回归问题的模型。如何通过数据转换提高模型的准确度。如何通过调参提高模型的准确度。如何通过集成算法提高模型的准确度。1定义问题在这个项目中将分析研究波士顿房价（BostonHousePri

小海聊智造·2023-08-31 05:14

机器学习基础14-算法调参（基于印第安糖尿病Pima数据集）

机器学习的模型都是参数化的，可以通过调参来提高模型的准确度。模型有很多参数，如何找到最佳的参数组合，可以把它当作一个查询问题来处理，但是调整参数到何时为止呢？应该遵循偏差和方差协调的原则。接下来将介绍在scikit-learn中设置机器学习模型最佳参数的方法。1.调整参数对机器学习算法的重要性。2.如何使用网格搜索优化参数？3.如何使用随机搜索优化参数？机器学习算法调参调整算法参数是采用机器学习解

小海聊智造·2023-08-29 16:29

机器学习基础之《分类算法（5）—朴素贝叶斯算法原理》

一、朴素贝叶斯算法1、什么是朴素贝叶斯分类方法之前用KNN算法，分类完直接有个结果，但是朴素贝叶斯分完之后会出现一些概率值，比如：这六个类别，它都有一定的可能性再比如，对文章进行分类：分类为三个类别，对每个样本用朴素贝叶斯分类之后，会得到这样的结果，会取概率比较大的作为最终的结果二、概率基础1、概率（probability）定义概率定义为一件事情发生的可能性比如：扔出一个硬币，结果头朝上概率是多少

csj50·2023-08-29 12:37

机器学习基础15-模型保存

结果部署是机器学习项目中的最后一步，也是最重要的步骤之一。选定算法之后，对算法训练生成模型，并部署到生产环境上，以便利用机器学习解决实际问题。模型生成之后，也需要定期对模型进行更新，使模型处于最新、最有效的状态，通常建议3～6个月更新一次模型。持久化加载模型找到一个能够生成高准确度模型的算法不是机器学习最后的步骤，在实际的项目中，需要将生成的模型序列化，并将其发布到生产环境。当有新数据出现时，需要

小海聊智造·2023-08-29 07:09

机器学习入门书：动手学机器学习

本书包含4个部分：第一部分为机器学习基础，介绍了机器学习的概念、数学基础、思想方法和简单的机器学习算法；第二部分为参数化模型，讲解线性模型、神经网络等算法；第三部分为非参数化模型，主要讨论支持

人邮异步社区·2023-08-28 02:46

机器学习基础11-算法比较（基于印第安糖尿病Pima Indians 数据集）

比较不同算法的准确度，选择合适的算法，在处理机器学习的问题时是非常重要的。本节将介绍一种模式，在scikit-learn中可以利用它比较不同的算法，并选择合适的算法。你可以将这种模式作为自己的模板，来处理机器学习的问题；也可以通过对其他不同算法的比较，改进这个模板。在本节将会学习以下内容：如何设计一个实验来比较不同的机器学习算法。一个可以重复利用的、用来评估算法性能的模板。如何可视化算法的比较结果

小海聊智造·2023-08-26 19:34

机器学习基础10-审查回归算法(基于波士顿房价的数据集)

上一节介绍了如何审查分类算法，并介绍了六种不同的分类算法，还用同一个数据集按照相同的方式对它们做了审查，本章将用相同的方式对回归算法进行审查。在本节将学到：如何审查机器学习的回归算法。如何审查四种线性分类算法。如何审查三种非线性分类算法。算法概述本章将审查七种回归算法。首先介绍四种线性算法：线性回归算法。岭回归算法（脊回归算法）。套索回归算法。弹性网络（ElasticNet）回归算法。然后介绍三种

小海聊智造·2023-08-26 08:08

机器学习基础12-Pipeline实现自动化流程处理（基于印第安糖尿病Pima 数据集）

有一些标准的流程可以实现对机器学习问题的自动化处理，在scikitlearn中通过Pipeline来定义和自动化运行这些流程。本节就将介绍如何通过Pipeline实现自动化流程处理。如何通过Pipeline来最小化数据缺失。如何构建数据准备和生成模型的Pipeline。如何构建特征选择和生成模型的Pipeline。机器学习的自动流程在机器学习方面有一些可以采用的标准化流程，这些标准化流程是从共同的

小海聊智造·2023-08-26 00:03

机器学习基础13-基于集成算法优化模型（基于印第安糖尿病 Pima Indians数据集）

有时提升一个模型的准确度很困难。如果你曾纠结于类似的问题，那我相信你会同意我的看法。你会尝试所有曾学习过的策略和算法，但模型正确率并没有改善。这时你会觉得无助和困顿，这也是90%的数据科学家开始放弃的时候。不过，这才是考验真本领的时候！这也是普通的数据科学家和大师级数据科学家的差距所在。前面介绍了一系列算法，每种算法都有不同的适用范围。在现实生活中，常常采用集体智慧来解决问题。那么在机器学习中，能

小海聊智造·2023-08-26 00:03

机器学习基础09-审查分类算法（基于印第安糖尿病Pima Indians数据集）

算法审查是选择合适的机器学习算法的主要方法之一。审查算法前并不知道哪个算法对问题最有效，必须设计一定的实验进行验证，以找到对问题最有效的算法。本章将学习通过scikit-learn来审查六种机器学习的分类算法，通过比较算法评估矩阵的结果，选择合适的算法。如何审查机器学习的分类算法？审查算法前没有办法判断哪个算法对数据集最有效、能够生成最优模型，必须通过一系列实验判断出哪些算法对问题最有效，然后再进

玩转AI·2023-08-24 19:24

机器学习基础之《分类算法（4）—案例：预测facebook签到位置》

一、背景1、说明2、数据集row_id：签到行为的编码xy：坐标系，人所在的位置accuracy：定位的准确率time：时间戳place_id：预测用户将要签到的位置3、数据集下载https://www.kaggle.com/navoshta/grid-knn/data国内下不了，无法收验证码，还是在csdn用积分下一个别人上传的4、

csj50·2023-08-24 07:40

机器学习基础之参数估计

机器学习基础之参数估计一、参数估计对所要研究的随机变量，当它的概率分布的类型已知，但是参数未知，比如服从正太分布。但是这两个参数未知。那么这么确定这些未知参数呢？

sunny4handsome·2023-08-22 05:40

【机器学习基础】监督学习、非监督学习、半监督学习、弱监督学习概念

根据数据类型的不同，对一个问题的建模有不同的方式。依据不同的学习方式和输入数据，机器学习主要分为以下四种学习方式。监督学习：1）监督学习是使用已知正确答案的示例来训练网络。已知数据和其一一对应的标签，训练一个智能算法，将输入数据映射到标签的过程。2）监督式学习的常见应用场景如分类问题和回归问题。3）常见算法有逻辑回归（LogisticRegression）和反向传递神经网络（BackPropaga

阿牛02·2023-08-21 13:08

机器学习基础之《分类算法（3）—模型选择与调优》

作用是如何选择出最好的K值一、什么是交叉验证（crossvalidation）1、定义交叉验证：将拿到的训练数据，分为训练和验证集。以下图为例：将数据分成5份，其中一份作为验证集。然后经过5次(组)的测试，每次都更换不同的验证集。即得到5组模型的结果，取平均值作为最终结果。又称5折交叉验证把训练集本身再分2、分析我们之前知道数据分为训练集和测试集，但是为了让从训练得到模型结果更加准确。做以下处理：

csj50·2023-08-19 11:35

[Machine Learning] decision tree 决策树

（为了节约时间，后面关于机器学习和有关内容哦就是用中文进行书写了，如果有需要的话，我在目前手头项目交工以后，用英文重写一遍）（祝，本文同时用于比赛学习笔记和机器学习基础课程）俺前两天参加了一个ai类的比赛

ViceMusic5·2023-08-19 11:34

机器学习基础之《分类算法（2）—K-近邻算法》

一、K-近邻算法(KNN)1、定义KNNK：就是一个自然数N：nearest，最近的N：neighbourhood，邻居如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别k=1容易受到异常点的影响2、假设有一张北京地图，我不知道我在哪儿，目的是要知道我在北京的哪个区这是一个分类问题我不知道我在哪儿，但我知道我跟这几个人之间的距离，并且知

csj50·2023-08-16 17:41

机器学习基础之《分类算法（1）—sklearn转换器和估计器》

一、转换器1、什么是转换器之前做特征工程的步骤：（1）第一步就是实例化了一个转换器类（Transformer）（2）第二步就是调用fit_transform，进行数据的转换2、我们把特征工程的接口称之为转换器，其中转换器调用有这么几种形式fit_transform()fit()transform()3、例子我们以标准化为例：(x-mean)/std要进行转化的特征x减去这一列的平均值mean再除以

csj50·2023-08-16 17:10

机器学习基础（五）

决策树决策树是一种预测模型，它代表着对象属属性与对象值之间的一种映射关系。树中的每个节点代表一个对象，分叉路径（或者叫树枝）则代表一个属性值。决策树常用方法：分类树分析，是一种监督学习，用于预计结果可能为离散类型。回归树分析，用于预计结果为实数。CART，结合分类树和回归树，其实CART是ClassificationAndRegressionTrees的缩写。信息熵

不务正业的猿·2023-08-14 16:37

机器学习基础（二）

线性回归误差是独立并且具有相同的分布通常认为服从均值为0方差为的高斯分布。损失函数（lossFunction）/代价函数（CostFunction）其实两种叫法都可以，损失函数（lossfunction）或代价函数（costfunction）是将随机事件或其有关随机变量的取值映射为非负实数以表示该随机事件的“风险”或“损失”的函数。在应用中，损失函数通常作为学习准则与优化问题相联系，即通过最小化损

不务正业的猿·2023-08-14 08:09

机器学习基础（四）

KNN算法KNN：K-NearestNeighbor，最近领规则分类。为了判断位置实例的类别，以所有已知类别的实例作为参照选择参数K。计算未知实例与所有已知实例的距离。（一般采用欧氏距离）选择最近K个已知实例。根据少数服从多数的投票法则，让未知实例归类为K个最近邻样本中最多数的类别。缺点算法复杂度较高（需要比较所有已知实例与要分类的实例）。

不务正业的猿·2023-08-14 08:09

【机器学习】十大机器学习基础算法

十大机器学习算法入门近年来，机器学习与人工智能已广泛应用于学术与工程，比如数据挖掘、计算机视觉、自然语言处理、生物特征识别、搜索引擎、医学诊断、检测信用卡欺诈、证券市场分析、DNA序列测序、语音和手写识别、战略游戏和机器人运用。对于一个初学者来讲，周志华教授的西瓜书是一个很好的选择，以及相关机器学习视频课程是必不可少的，在这里我先分享基础学习视频机器学习课程（20集），网上有很多公开课程，大家可以

infinite_with·2023-08-14 05:15

机器学习基础（三）

逻辑回归场景垃圾邮件分类预测肿瘤是良性还是恶性预测某人的信用是否良好正确率与召回率正确率与召回率（Precision&Recall）是广泛应用于信息检索和统计学分类领域的两个度量值，用来评价结果的质量。一般来说，正确率就是检索出来的条目有多少是正确的，召回率就是所有正确的条目有多少被检

不务正业的猿·2023-08-14 05:42

机器学习基础（六）

贝叶斯分析介绍“贝叶斯”是指托马斯·贝叶斯（1702–1761），他证明了一个特例，也就是现在的贝叶斯定理的特例。贝叶斯定理（英语：Bayes'theorem）是概率论中的一个定理，描述在已知一些条件下，某事件的发生概率。比如，如果已知某种健康问题与寿命有关，使用贝叶斯定理则可以通过得知某人年龄，来更加准确地计算出某人有某种健康问题的概率。通常，事件A在事件B已发生的条件下发生的概率，与事件B在事

不务正业的猿·2023-08-14 05:42

机器学习基础笔记

文章目录1.机器学习简介1.1机器学习的一般功能1.2机器学习的应用1.3机器学习的方法1.4机器学习的种类1.5机器学习的常用框架2.Spark机器学习2.1MLlib介绍2.2MLlib的数据格式2.2.1本地向量2.2.2标签数据2.3MLlib与ml2.4MLlib的应用场景3.Spark环境搭建4.向量与矩阵4.1向量操作4.2矩阵操作5.基础统计5.1描述性统计5.2相关性度量5.3假

硅谷工具人·2023-08-13 10:02

机器学习基础-超参数调优

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档机器学习基础-模型评估及超参数调优方法前言一、超参数与参数二、超参数优化方法1.网格搜索2.随机搜索前言前述优化主要是基于模型本身，那么接着可以从被优化项

无盐薯片·2023-08-12 18:35

机器学习基础之《特征工程（4）—特征降维—案例》

一、探究用户对物品类别的喜好细分1、找到用户和物品类别的关系数据如下：（1）order_products__prior.csv：订单与商品信息字段：order_id，product_id，add_to_cart_order，reordered（2）products.csv：商品信息字段：product_id，product_name，aisle_id，department_id（3）orders.

csj50·2023-08-12 11:08

机器学习基础

什么是机器学习？----本质就是寻找一个函数。可以训练什么样的函数呢？可以训练一个回归的函数，也可以训练一个分类的函数。这个例子的需要分类的类别是19*19的选项。在机器学习领域里面不止回归和分类。举例：预测函数利用已存在的数据，预测未来几天的数据。这个函数的参数如何定义？b和w是未知参数，x是输入，y是输出。如何定义一个loss？每一天的误差都可以加起来生成的L就代表了损失。计算每一天的损失时所

末世灯光·2023-08-10 12:37

机器学习基础之《特征工程（4）—特征降维》

一、什么是特征降维降维是指在某些限定条件下，降低随机变量（特征）个数，得到一组“不相关”主变量的过程1、降维降低维度ndarry维数：嵌套的层数0维：标量，具体的数0123...1维：向量2维：矩阵3维：多个二维数组嵌套n维：继续嵌套下去2、特征降维降的是什么降的是二维数组，特征是几行几列的，几行有多少样本，几列有多少特征降低特征的个数（就是列数）二、降维的两种方式1、特征选择2、主成分分析（可以

csj50·2023-08-09 17:13

机器学习基础08-回归算法矩阵分析（基于波士顿房价（Boston House Price）数据集）

回归算法通常涉及到使用矩阵来表示数据和模型参数。线性回归是最常见的回归算法之一，它可以用矩阵形式来表示。考虑一个简单的线性回归模型：y=mx+by=mx+by=mx+b，其中yyy是因变量，xxx是自变量，mmm是斜率，bbb是截距。将这个模型表示成矩阵形式，可以如下所示：在上面的矩阵表达中，左边的矩阵表示因变量yyy，右边的矩阵表示自变量xxx和一个常数项111。而模型参数mmm和bbb则以矩阵

玩转AI·2023-08-09 12:46

机器学习实战1-kNN最近邻算法

文章目录机器学习基础机器学习的关键术语k-近邻算法（KNN）准备：使用python导入数据实施kNN分类算法示例：使用kNN改进约会网站的配对效果准备数据：从文本文件中解析数据分析数据准备数据：归一化数值测试算法

wa的一声哭了·2023-08-08 23:38

机器学习基础07-模型选择01-利用scikit-learn 基于Pima 数据集对LogisticRegression算法进行评估

选择合适的模型是机器学习和深度学习中非常重要的一步，它直接影响到模型的性能和泛化能力。“所有模型都是坏的，但有些模型是有用的”。建立模型之后就要去评估模型，确定模型是否有用。模型评估是模型开发过程中不可或缺的一部分，有助于发现表达数据的最佳模型和所选模型将来工作的性能如何。在选择模型时，需要综合考虑以下几个因素：问题类型：首先需要明确问题的类型，是分类问题、回归问题、聚类问题还是其他类型的问题。不

玩转AI·2023-08-07 16:27

机器学习基础概念

公众号：尤而小屋作者：Peter编辑：Peter大家好，我是Peter~本文主要机器学习的一些基本内容，包含：除了分类和回归之外的其他机器学习形式评估机器学习模型的规范流程为深度学习准备数据特征工程解决过拟合处理机器学习问题的通用流程[图片上传失败...(image-e54094-1648963990881)]机器学习4个分支监督学习supervisedlearning最常见的机器学习类型。给定一

皮皮大·2023-08-06 00:42

机器学习基础知识（1）

什么是机器学习机器学习是一种通过输入大量数据来构建一种模型（网络），这个训练好的模型将会被用来预测或执行某些操作，这个训练的过程和方法就是机器学习。我们也可以理解为构建一个“函数”，使得这个函数面对我们的输入数据能够返回出某些结果，而寻找或者说构建这个函数的过程就是机器学习。机器学习的基本知识偏差：偏差度量了模型的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力。偏差则表现为在特定分布

追随远方的某R·2023-08-05 11:50

机器学习基础之《特征工程（1）—数据集》

一、数据集1、目标知道数据集分为训练集和测试集会使用sklearn的数据集2、可用数据集公司内部，比如百度、微博数据接口，花钱政府拥有的数据集3、在学习阶段用到的数据集scikit-learn特点：（1）数据量较小（2）方便学习UCI特点：（1）收录了360个数据集（2）覆盖科学、生活、经济等领域（3）数据量几十万kaggle特点：（1）大数据竞赛平台（2）80万科学家（3）真实数据（4）数据量巨

csj50·2023-08-05 11:50

机器学习基础之《特征工程（2）—特征工程介绍、特征抽取》

一、什么是特征工程机器学习领域的大神AndrewNg(吴恩达)老师说“Comingupwithfeaturesisdifficult,time-consuming,requiresexpertknowledge.“Appliedmachinelearning”isbasicallyfeatureengineering.”注：业界广泛流传：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限