DataWhale机器学习第17页

Spark编程实验六：Spark机器学习库MLlib编程

目录一、目的与要求二、实验内容三、实验步骤1、数据导入2、进行主成分分析（PCA）3、训练分类模型并预测居民收入4、超参数调优四、结果分析与实验体会一、目的与要求1、通过实验掌握基本的MLLib编程方法；2、掌握用MLLib解决一些常见的数据分析问题，包括数据导入、成分分析和分类和预测等。二、实验内容1.数据导入从文件中导入数据，并转化为DataFrame。2、进行主成分分析（PCA）对6个连续型

Francek Chen·2024-02-14 14:48

机器学习：BN层介绍及深入理解

在机器学习领域，数据分布是很重要的概念。如果训练集和测试集的分布很不相同，那么在训练集上训练好的模型，在测试集上应该不奏效（比如用ImageNet训练的分类网络去在灰度医学图像

是Dream呀·2024-02-14 13:12

81TensorFlow 2 模型部署方法实践--TensorFlow Serving 部署模型

TensorFlowServing部署模型TensorFlowServing是一个针对机器学习模型的灵活、高性能的服务系统，专为生产环境而设计。

Jachin111·2024-02-14 13:25

机器学习：多项式模型朴素贝叶斯分类器（原理+python实现）

简介多项式朴素贝叶斯也是多用于文本处理，其原理和计算的流程和伯努利朴素贝叶斯基本一致，唯一的区别在于单词的计数方式，由《伯努利朴素贝叶斯》一文可知，在文本处理的环节中，我们将单词是否出现在词组作为特征，但在多项式朴素贝叶斯中，我们将单词在词组中出现的次数作为特征，因此只需要更改文中setOfWords2Vec的函数即可，变成如下方式：defbagOfWords2VecMN(vocabList,in

DocPark·2024-02-14 13:03

神经网络简述

一、什么是神经网络机器学习中谈论的神经网络是指“神经网络学习”，或者说，是机器学习和神经网络这两个学科领域的交叉部分[1]。

城市中迷途小书童·2024-02-14 12:08

林轩田机器学习基石 - 学习笔记4 - 机器学习的可行性

@[TOC]一LearningisImpossible首先，考虑这样一个例子，如下图所示，有3个label为-1的九宫格和3个label为+1的九宫格。根据这6个样本，提取相应label下的特征，预测右边九宫格是属于-1还是+1？结果是，如果依据对称性，我们会把它归为+1；如果依据九宫格左上角是否是黑色，我们会把它归为-1。除此之外，还有根据其它不同特征进行分类，得到不同结果的情况。而且，这些分类

Spareribs·2024-02-14 11:45

【前沿技术杂谈：AI 模型训练成本】到 2030 年，AI 模型训练成本预计将从 1 亿美元增加到 5 亿美元

jcfszxc·2024-02-14 11:47

MATLAB知识点：normrnd函数（★★☆☆☆）生成正态分布的随机数

3章：课后习题讲解中拓展的函数在讲解第三章课后习题的过程中，我给大家拓展了一些讲义中没有介绍的新函数：（3）normrnd函数（★★☆☆☆）normrnd函数可以生成正态分布的随机数，该函数需要统计和机器学习工

数学建模学习交流·2024-02-14 10:40

使用MICE进行缺失值的填充处理

在我们进行机器学习时，处理缺失数据是非常重要的，因为缺失数据可能会导致分析结果不准确，严重时甚至可能产生偏差。处理缺失数据是保证数据分析准确性和可靠性的重要步骤，有助于确保分析结果的可信度和可解释性。

·2024-02-14 10:40

10个最适合机器学习的股票市场数据集

目录股票市场数据集国家货币和加密货币数据集机器学习预测股票市场的建议随着加密货币在世界各地的兴起，人们现在有比以往更多的投资方式。然而，这并不像低买高卖那么简单。

suoge223·2024-02-14 09:11

【机器学习】数据清洗之处理异常点

个人主页：[甜美的江]欢迎点赞✍评论⭐收藏收录专栏：[机器学习]希望本文对您有所裨益，如有不足之处，欢迎在评论区提出指正，让我们共同学习、交流进步！

·2024-02-14 09:09

如何在6个月内学习深度学习(翻译)

原文链接：如何在6个月内学习深度学习(翻译)微信公众号：机器学习养成记搜索添加微信公众号：chenchenwings机器学习工程师Bargava的文章《HowtolearnDeepLearningin6months

三猫后端·2024-02-14 09:27

OpenCV 人脸检测（易上手版）

一、介绍OpenCV(OpenSourceComputerVisionLibrary)是一个开源的计算机视觉和机器学习软件库。对于任何想深入研究图像处理的

第欧根尼的酒桶·2024-02-14 08:30

深度学习与机器学习研究综述

一、引言你对科幻小说中描绘的人工智能的想法非常着迷，以至于你经常沉浸在幻想中，想象着拥有一台能够理解并执行你所有命令的智能电脑。这种对未来技术的憧憬成为了你踏入编程世界的初衷，并促使你在大学里选择了计算机科学作为你的专业。但随着学习的深入，你逐渐意识到，传统的人工智能并不像科幻小说中那样神奇，它更多的是在不同的应用场景中应用各种搜索算法。然而，在这个过程中，你意外地发现了一个更加吸引人的领域——机

第欧根尼的酒桶·2024-02-14 08:29

面试:大数据和深度学习之间的关系是什么?

它具有四个主要特点，通常被称为4V:Volume(体量)、Velocity(速度)Variety(多样性)和Veracity(真实性)深度学习的概念深度学习是机器学习的一个子领域，它模拟

华农DrLai·2024-02-14 06:16

Metal初探

在Metal框架中，也为我们提供了可以自定义编程的入口，可以对一些机器学习进行并发处理，像一些AI处理等。也就

Jeffery_zc·2024-02-14 06:25

工信部颁发的《自然语言与语音处理设计开发工程师》中级证书的培训通知

在就业方面，计算机自然语言处理领域主要涉及人工智能、自然语言处理、机器学习、语音识别、信息检索等方面的工作，包括算法工程师、数据分析师、自然语言处理工程师、语音处理工程师、信息检索工程师等职位。在科技

人工智能技术与咨询·2024-02-14 06:14

机器学习预测全家桶新增模型，MATLAB代码

截止到本期，一共发了13篇关于机器学习预测全家桶MATLAB代码的文章。参考文章如下：1.五花八门的机器学习预测？一篇搞定不行吗？

今天吃饺子·2024-02-14 06:41

机器学习预测全家桶/故障诊断全家桶/改进算法/Python，Matlab代码...

目前参与优惠活动的全家桶有如下几个：作品①：机器学习预测全家桶，Python代码：https://mbd.pub/o/bread/ZZqXmpty?

今天吃饺子·2024-02-14 06:40

sklearn：机器学习分类特征编码category_encoders

文章目录category_encoders简介OrdinalEncoder序列编码OneHotEncoder独热编码TargetEncoder目标编码BinaryEncoder二进制编码BaseNEncoder贝叶斯编码LeaveOneOutEncoder留一法HashingEncoder哈希编码CatBoostEncodercatboost目标编码CountEncoder频率编码WOEEncod

Cachel wood·2024-02-14 05:36

探索机器学习：定义、算法及应用领域

目录前言1机器学习的定义2机器学习算法2.1监督学习2.2无监督学习2.3强化学习3机器学习的应用3.1智能搜索3.2医疗诊断3.3无人驾驶结语前言机器学习，源自ArthurSamuel的定义，赋予计算机通过领域学习的能力

cooldream2009·2024-02-14 05:29

Python 资源大全（七）

目录：用来进行科学计算和数据分析的库进行数据可视化的库计算机视觉库机器学习库MapReduce框架和库使用Python进行函数式编程用来访问第三方API的库用于DevOps的软件和库任务调度库使用外来函数接口的库

忘了呼吸的那只猫·2024-02-14 05:46

机器学习12-基本感知器

感知器（Perceptron）是一种最简单的人工神经网络结构，由美国心理学家FrankRosenblatt在1957年提出。它是一种单层的前馈神经网络，通常用于二分类问题。基本感知器由多个输入节点、一个输出节点和一组权重参数组成。每个输入节点都与输出节点连接，并且具有一个对应的权重参数，用来调节输入的重要性。感知器的输出是输入的线性组合，通过一个激活函数进行转换，最终输出一个二进制值（通常是0或1

dracularking·2024-02-14 04:01

RBF神经网络中的RBF的英文全称是什么，是用来干什么的？

径向基函数是一种在机器学习和模式识别中常用的函数类型，它们通常用于构建非线性模型。

神笔馬良·2024-02-14 03:14

介绍一款单细胞细胞类型注释软件-scibet

之前注释和分类方法大多是根据机器学习的非监督聚类的方法，例如随机森林（RF)或者支持向量机（SVM），这些工具耗时长，计算资源消耗大。因此，使用已有标注的数

生信阿拉丁·2024-02-14 01:55

讲解人工智能在现代科技中的应用和未来发展趋势

以下是人工智能在现代科技中的一些应用和未来发展趋势：机器学习：机器学习是人工智能的核心技术之一，通过让计算机从数据中学习并自动提取规律和模式，来实现自主决策和预测分析。

做一个AC梦·2024-02-13 22:53

机器为什么能学习(上)

本篇文章是台湾大学《机器学习基石上》的课程笔记。以PLA算法为例，推导证明机器学习的可行性。问题概述机器学习在当前发展得很快，我们不由得发问：为什么这种算法是可行的。

ringotc·2024-02-13 21:16

手把手教你完成深度学习人脸识别系统

目录前言一、系统总流程设计二、环境安装1.创建虚拟环境2.安装其他库三、模型搭建1.采集数据集2.数据预处理3.构建模型和训练五、摄像头测试六、界面搭建报错了并解决的方法总结前言随着人工智能的不断发展，机器学习和深度学习这门技术也越来越重要

挂科边缘(毕业版)·2024-02-13 21:40

利用滑动窗口法来制作时序数据集

什么是数据滑窗进行机器学习时，一般都要涉及到划分训练集和测试集的步骤。特别地，在做数据预测时，一般把预测的依据（也就是历史数据）称作X，把需要预测的数据称为y。

Stanford_sun·2024-02-13 21:57

面向智算服务，构建可观测体系最佳实践

作者：蓟北构建面向AI、大数据、容器的可观测体系（一）智算服务可观测概况对于越来越火爆的人工智能领域来说，MLOps是解决这一领域的系统工程，它结合了所有与机器学习相关的任务和流程，从数据管理、建模、持续部署的到运行时计算和资源管理

·2024-02-13 18:51

大数据和机器学习固废行业商业价值

一、大数据和机器学习的基本概念，历史渊源。综述当前大数据和机器学习应用领域。我的判断是，这两个概念现在已经不是出炒作，已经走向实用领域。大数据这个概念兴起，我感觉是在2012年。

freedomme·2024-02-13 17:11

人工智能

了解到人工智能、机器学习、深度学习的关系，神经网络是深度学习的实现的模型。语音、图像、机器翻译、机器人、文本挖掘和分类。感觉机器学习自己挺感兴趣啊

阳光照我心房·2024-02-13 16:15

能玩上一天的网站，宅家也不无聊！

打出单词，都能有音调，就像弹钢琴一样3.学习型搜索引擎https://magi.com/通过机器学习将互联网上的海量信息构建成可解析、可检索、可溯源的结构化知识体系。4.藏

编程星语·2024-02-13 15:18

onnx基础

初次编辑时间：2024/2/7；最后编辑时间：2024/2/12定义：ONNX（OpenNeuralNetworkExchange）是一种开放式的文件格式，用于存储训练好的机器学习模型。

whyte王·2024-02-13 14:31

pandas:统计某一列字符串中各个word出现的频率

JasonLiu1919·2024-02-13 14:56

lightGBM集成学习算法

LightGBM集成学习算法是一种基于梯度提升决策树（GradientBoostingDecisionTree）的机器学习算法。它是由微软提出的一种高效的梯度提升框架，主要用于解决分类和回归问题。

亦旧sea·2024-02-13 14:24

SDU机器学习作业心得1

看到老师布置的作业简直心态爆炸，不过这周日就要交了还是硬着头皮作吧。这本天书简直就让人摸不到头脑，翻到二十多页已然是看不懂了。在懒人床的指点下，好歹有了一些想法。所以写下这个博客，为了让跟我一样看天书的小伙伴们一点帮助。作业内容是《模式分类第二版》第二章的上机题第四题。数据如下：样本w1w2w3x1x2x3x1x2x3x1x2x31-5.01-8.12-3.68-0.91-0.18-0.055.3

李昊_SDU·2024-02-13 14:51

XGboost和lightGBM算法对比

eXtremeGradientBoosting）和LightGBM（LightGradientBoostingMachine）都是一类基于梯度提升树（GradientBoostingDecisionTrees）的机器学习算法

亦旧sea·2024-02-13 14:50

机器学习入门--多层感知机原理与实践

神经网络与多层感知机神经网络是一种模仿生物神经系统结构和功能的计算模型。它由许多个节点（或称为神经元）组成，这些节点通过连接权重相互连接。神经网络的输入经过一系列的加权求和和激活函数变换后，得到输出结果。神经网络的训练过程主要包括前向传播和反向传播两个阶段。前向传播是指数据从输入层逐层传递到输出层的过程，每一层的节点都会根据输入值和连接权重计算输出值。反向传播是指通过计算损失函数对网络参数进行梯度

Dr.Cup·2024-02-13 13:37

机器学习入门--BP神经网络原理与实践

BP神经网络引言BP神经网络，即反向传播神经网络，是一种监督学习算法，用于多层前馈神经网络的训练。自从1986年由Rumelhart,Hinton和Williams提出以来，它已成为最流行的神经网络训练算法之一。BP算法的核心思想是通过计算损失函数相对于网络参数的梯度，然后利用这些梯度信息来更新网络的权重和偏置，从而最小化误差。数学原理BP算法的数学原理基于链式法则计算梯度。考虑一个简单的两层神经

Dr.Cup·2024-02-13 13:37

机器学习入门--朴素贝叶斯原理与实践

朴素贝叶斯算法朴素贝叶斯是一种常用的分类算法，其基本思想是根据已有数据的特征和标签，学习出一个概率模型，并利用该模型对新样本进行分类。其优点在于简单快速、易于实现和解释，缺点在于对输入数据的分布做了严格的假设。具体来说，朴素贝叶斯分类器首先根据训练数据计算出每个类别的先验概率P©，即样本中每个类别占比。然后，对于给定的待分类样本，计算出它属于每个类别的条件概率P(X|C)，其中X表示样本的特征向量

Dr.Cup·2024-02-13 13:07

机器学习入门--奇异值分解原理与实践

奇异值分解奇异值分解（SingularValueDecomposition，SVD）是一种矩阵分解技术，可以将一个矩阵分解为三个部分的乘积。在SVD中，原始矩阵被分解为左奇异向量矩阵、奇异值矩阵和右奇异向量矩阵的乘积。奇异值分解数学原理奇异值分解是一种矩阵分解技术，可以将一个矩阵分解为三个部分的乘积。在SVD中，原始矩阵被分解为左奇异向量矩阵、奇异值矩阵和右奇异向量矩阵的乘积。具体来说，对于一个m

Dr.Cup·2024-02-13 13:07

机器学习入门--主成分分析原理与实践

主成分分析主成分分析（PrincipalComponentAnalysis，简称PCA）是一种常用的降维技术和数据分析方法。它通过线性变换将原始高维数据映射到低维空间，从而提取出数据中最重要的特征。主成分分析的基本原理与数学推导基本原理PCA的主要思想是找到一个新的坐标系，将数据投影到这个坐标系上，使得投影后的数据具有最大的方差。这意味着在新的坐标系下，数据的信息尽可能地集中在少数几个维度上，而其

Dr.Cup·2024-02-13 13:06

机器学习入门--逻辑回归与简单二分类数据实战

逻辑回归在机器学习领域，逻辑回归是一个广泛应用于分类问题的算法。与线性回归不同，逻辑回归用于预测离散的类别标签，可以处理二分类和多分类问题。下面我们将介绍逻辑回归的基本原理和实现方式。

Dr.Cup·2024-02-13 13:36

机器学习入门--支持向量机原理与实践

原理支持向量机（SupportVectorMachine，SVM）是一种常用的机器学习算法，用于分类和回归问题。其原理是基于统计学习理论中的结构风险最小化原则。