PySpark机器学习

【机器学习】K近邻（K-Nearest Neighbor）算法入门指南

前言：K近邻（K-NearestNeighbor，简称KNN）算法是利用数据点之间的距离来进行预测的一种监督学习方法。在本文中将以最简单的图文方式、为初学者提供KNN算法的入门指南，原理介绍、应用场景、Python实现代码、使用KNN算法的优点和局限性。原理介绍K近邻（K-NearestNeighbor，简称KNN）算法是利用数据点之间的距离来进行预测，是一种常用的监督学习算法。它的工作原理是相似
Avasla·2024-01-10 10:24

【机器学习】集成学习基础概念介绍

前言本文根据西瓜书总结了一些关键知识点，介绍了集成学习的原理、类型以及结合策略。、1.个体与集成集成学习（ensemblelearning）通过构建的并结合多个学习器来完成学习任务，有时也被成为多分类器系统（multi-classifiersystem)、基于委员会的学习（committee-basedlearning)等。……通过将多个学习器进行结合，常可获得比单一学习器显著优越的泛化性能。个体
Avasla·2024-01-10 10:54

【机器学习】模型参数优化工具：Optuna使用分步指南（附XGB/LGBM调优代码）

常用的调参方式和工具包常用的调参方式包括网格搜索(GridSearch)、**随机搜索(RandomSearch)和贝叶斯优化(BayesianOptimization)**等。工具包方面，Scikit-learn提供了GridSearchCV和RandomizedSearchCV等用于网格搜索和随机搜索的工具。另外，有一些专门用于超参数优化的工具包，如Optuna、Hyperopt等。这些方法各
Avasla·2024-01-10 10:50

揭秘人工智能：探索智慧未来

二.人工智能的关键技术2.1机器学习2.2深度学习2.1计算机视觉2.4自然语言处理技术2.5脑机接口技术2.6知识图谱2.7人机交互2.8自主无人系统技术三.人工智能如何运作？
聆风吟_·2024-01-10 10:39

使用Scikit Learn 进行识别手写数字

喜欢本专栏的小伙伴，请多多支持专栏案例：机器学习案例机器学习(一)：线性回归之最小二乘法机器学习(二)：线性回归之梯度下降法机器学习(三
i阿极·2024-01-10 10:59

1.4.1机器学习——梯度下降+α学习率大小判定

我们有一个损失函数J(w,b)，包含两个参数w和b（你可以想象成J(w,b)=w*x+b），我们想要找到最合适的w和b，尝试最小化损失函数J(w,b)的值”梯度下降“：梯度下降（gradientdescent）在机器学习中应用十分的广泛
帅翰GG·2024-01-10 10:24

2.2.3机器学习—— 判定梯度下降是否收敛 + α学习率的选择

2.2.3判定梯度下降是否收敛+α学习率的选择2.1、判定梯度下降是否收敛有两种方法，如下图：方法一：如图，随着迭代次数的增加，J(W,b)损失函数不断下降当iterations=300之后，下降的就不太明显了/基本是一条直线了。这时我们就说，==>“梯度下降已经收敛了”方法二：设置一个阈值ε，这里我们让ε=0.001（自己设置的，但有的时候也掌握不好这个值是多少）。当J（w,b）下降值<ε时，我
帅翰GG·2024-01-10 10:24

机器学习：自然语言处理介绍

机器学习在自然语言处理（NLP）领域扮演着关键的角色，它利用算法和统计模型来处理和理解人类语言。
rubyw·2024-01-10 10:22

【机器学习】常见算法详解第2篇：K近邻算法各种距离度量（已分享，附代码）

本系列文章md笔记（已分享）主要讨论机器学习算法相关知识。
程序员一诺·2024-01-10 10:19

机器学习 —— 自用整理期末复习笔记

一、绪论机器学习术语假设空间p5监督学习（supervisedlearning）的任务是学习一个模型，使模型能够对任意给定的输入，对其相应的输出做出一个好的预测。
西皮呦·2024-01-10 09:15

Spark 初级编程实践

Spark支持多种编程语言，包括Java、Scala、Python和R，因此被广泛应用于大数据分析和机器学习等领域。
cwn_·2024-01-10 08:28

Windows中处理PySpark报错：SparkException: Python worker failed to connect back

Windows中处理PySpark报错：SparkException:Pythonworkerfailedtoconnectback这个问题可能是发送在windows10以上的版本，使用datafram
就是喜欢看不惯你又干不掉你的样子·2024-01-10 08:55

自然语言处理之文本表示（二）

本文主要参考Coursera上国立高等经济大学的自然语言处理课程和吴恩达老师的的机器学习课程。one-hotone-hot可以说是机器学习领域最常见的数据表示形式了。
fighting_7c21·2024-01-10 08:54

Spark避坑系列二（Spark Core-RDD编程）

大家想了解更多大数据相关内容请移驾我的课堂：大数据相关课程剖析及实践企业级大数据数据架构规划设计大厂架构师知识梳理：剖析及实践数据建模PySpark避坑系列第二篇，该篇章主要介绍spark的编程核心RDD
garagong·2024-01-10 08:19

人工智能与供应链行业融合：预测算法的通用化与实战化

文章目录前言供应链预测算法的基本流程统计学习模型与机器学习在供应链预测中的角色深度学习模型在智能供应链中的应用算法融合与应用场景实现后记前言随着数字化时代的到来，人工智能已经逐渐成为企业信息化建设的重要手段
想你依然心痛·2024-01-10 07:19

读元宇宙改变一切笔记02_元素（上）

使得它的定义中存在矛盾之处，也有大量含义混淆之处1.1.微软1.1.1.在谈论“多个元宇宙”1.1.2.微软首席执行官萨提亚·纳德拉将元宇宙描述为一种可以将“整个世界变成一个应用程序”的平台，并可以通过云软件和机器学习进行功能扩展
躺柒·2024-01-10 07:12

数据挖掘在制造业中的预测与优化应用

一、引言数据挖掘是一种从大量数据中提取有价值信息的过程，它通过统计学、机器学习和人工智能等方法，发现并分析隐藏在海量数据背后的模式、趋势和关联性
白鹅�·2024-01-10 07:12

Agisoft Metashape 基于影像的外部点云着色

AgisoftMetashape基于影像的外部点云着色提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加例如：第一章Python机器学习入门之pandas的使用提示：写完文章后，目录可以自动生成
小喜头鱼·2024-01-10 07:04

Hugging Face Datasets文本质量分析，识别低质量内容、垃圾数据、偏见内容、识别毒性内容、检测重复文档、识别测试集污染数据、识别过短的内容

在机器学习和自然语言处理的世界中，数据的质量至关重要。HuggingFace提供了大量的文本数据集，但是如何评估这些数据集的质量呢？
代码讲故事·2024-01-10 07:24

机器学习：数据处理与特征工程

机器学习中的数据处理和特征工程是非常关键的步骤，它们直接影响模型的性能和泛化能力。
rubyw·2024-01-10 06:53

【复习】人工智能 第7章 专家系统与机器学习

专家系统就是让机器人当某个领域的专家，但这章专家系统不咋考，主要靠书上没有的机器学习。
lsy永烨·2024-01-10 06:18

深度迁移学习

深度迁移学习是一种机器学习方法，其核心思想是将在一个任务中训练得到的深度学习模型作为初始点，重新应用到另一个任务中。这种方法的目标是从已学习的相关任务中转移知识，以改进新任务的学习。
道亦无名·2024-01-10 06:45

AIGC无人直播系统技术

AIGC无人直播系统技术是基于人工智能和机器学习的先进技术的应用。通过该技术，主播可以实现无人值守直播，摆脱传统直播的限制。这项技术具有多项独特优势，下面我将逐一介绍。
广州硅基技术官方·2024-01-10 06:56

AIGC无人直播系统技术

AIGC无人直播系统技术是基于人工智能和机器学习的先进技术的应用。通过该技术，主播可以实现无人值守直播，摆脱传统直播的限制。这项技术具有多项独特优势，下面我将逐一介绍。
广州硅基·2024-01-10 06:23

C2-3.3.2 机器学习/深度学习——数据增强

C2-3.3.2数据增强参考链接1、为什么要使用数据增强？※总结最经典的一句话：希望模型学习的更稳健当数据量不足时候：人工智能三要素之一为数据，但获取大量数据成本高，但数据又是提高模型精度和泛化效果的重要因素。当数据量不足时，模型很容易过拟合，精度也无法继续提升，因此数据增强技术应运而生通过执行数据增强，你可以阻止神经网络学习不相关的特征，从根本上提升整体性能。——见后面4、应用场景举例2、什么是
帅翰GG·2024-01-10 06:43

【Python机器学习】用于回归的决策树

用于回归的决策树与用于分类的决策树类似，在DecisionTreeRegressor中实现。DecisionTreeRegressor不能外推，也不能在训练数据范围之外的数据进行预测。利用计算机内存历史及格的数据进行实验，数据展示：importpandasaspdimportmatplotlib.pyplotaspltplt.rcParams['font.sans-serif']=['SimHei
zhangbin_237·2024-01-10 06:10

【Python机器学习】决策树——树的特征重要性

利用一些有用的属性来总结树的工作原理，其中最常用的事特征重要性，它为每个特征树的决策的重要性进行排序。对于每个特征来说，它都是介于0到1之间的数字，其中0代表“根本没有用到”，1代表“完美预测目标值”。特征重要性的求和为1。将特征重要性进行可视化：importmglearn.datasetsimportnumpyasnpfromsklearn.treeimportDecisionTreeClass
zhangbin_237·2024-01-10 06:40

【Python机器学习】决策树的优缺点

控制决策树模型复杂度的参数是预剪枝参数，它在树完全展开之前停止树的构造。决策树的优点：1、得到的模型很容易可视化2、算法完全不受数据缩放的影响决策树算法不需要特征预处理，比如归一化或标准化。特别是特征的尺度完全不一样时或二元特征和连续特征同时存在时，决策树的效果很好。决策树的缺点是，即使做了预剪枝，它也经常过拟合，泛化性能很差，所以大多数应用中，往往使用集成方法来替代单颗决策树。
zhangbin_237·2024-01-10 06:40

【Machine Learning】Other Stuff

本笔记基于清华大学《机器学习》的课程讲义中有关机器学习的此前未提到的部分，基本为笔者在考试前一两天所作的CheatSheet。内容较多，并不详细，主要作为复习和记忆的资料。
YiPeng_Deng·2024-01-10 06:09

【Machine Learning】Unsupervised Learning

本笔记基于清华大学《机器学习》的课程讲义无监督学习相关部分，基本为笔者在考试前一两天所作的CheatSheet。内容较多，并不详细，主要作为复习和记忆的资料。
YiPeng_Deng·2024-01-10 06:08

【Machine Learning】Supervised Learning

本笔记基于清华大学《机器学习》的课程讲义监督学习相关部分，基本为笔者在考试前一两天所作的CheatSheet。内容较多，并不详细，主要作为复习和记忆的资料。
YiPeng_Deng·2024-01-10 06:08

【Python机器学习】决策树集成——随机森林

理论知识：集成是合并多个机器学习模型来构建更强大模型法方法。
zhangbin_237·2024-01-10 06:33

【Machine Learning】Generalization Theory

本笔记基于清华大学《机器学习》的课程讲义中泛化理论相关部分，基本为笔者在考试前一两天所作的CheatSheet。内容较多，并不详细，主要作为复习和记忆的资料。
YiPeng_Deng·2024-01-10 06:33

Transformers 2023年度回顾 ：从BERT到GPT4

特别是机器学习(ML)模型在自然语言处理(NLP)领域取得了重大进展。一个关键的突破是引入了“自注意力”和用于序列处理的Transformers架构，这使得之前主导该领域的几个关键问题得以解决。
柴神·2024-01-10 06:32

期望损失机器学习_机器学习听力损失

期望损失机器学习Machinelearning(ML)hasspreadintomanydifferentfieldsanddisciplines.Dippingyourtoesintoanewfieldisthebestwaytogrowandlearnnewthings.Thefollowingisasummaryofhowresearchershaveappliedmachinelearni
weixin_26704853·2024-01-10 05:26

文本数据与分析方法的介绍与讨论

文本数据可以在计算机系统中进行存储、处理和分析，也可以用于自然语言处理、机器学习和数据挖掘等领域的研究和应用。如何获得文本数据获得文本数据可以有多种途径。
亦旧sea·2024-01-10 05:20

呼叫中心研究分析：到2027年市场规模预计将达4966亿美元

市场的增长是由基于云的解决方案的采用、人工智能(AI)和机器学习(ML)等先进技术的出现以及将呼叫
QYR市场调研所·2024-01-10 05:53

年度征文 | 机器学习之心的2023

机器学习之心的20232023是极其复杂的一年。生活上，养了很多宠物。工作上，写了不少博客。虽然遇见诸多让人不开心的事情，但总体还是美好的。愿大家新的一年健康平安，生活幸福！
机器学习之心·2024-01-10 04:06

梯度下降法（Gradient Descent）

梯度下降法（GradientDescent）梯度下降法批量梯度下降法随机梯度下降法scikit-learn中的随机梯度下降法小批量梯度下降法梯度下降法梯度下降法，不是一个机器学习算法（既不是再做监督学习
Debroon·2024-01-10 03:23

项目分享：机器学习电影票房分析与预测系统

1.项目简介票房作为衡量电影能否盈利的重要指标受诸多因素共同作用影响且其影响机制较为复杂，电影票房的准确预测是比较有难度的。本项目利用某开源电影数据集构建票房预测模型，首先将影响电影票房的因素如电影类型、上映档期、导演、演员等量化处理并进行可视化分析。采用多元线性回归模型、决策树回归模型、Ridgeregression岭回归模型、Lassoregression岭回归模型和随机森林回归模型实现票房的
switch_mooood·2024-01-10 03:49

项目分享：机器学习天气数据分析与预测系统

1.项目简介本项目利用网络爬虫技术从某天气预报网站抓取某一城市的历史天气数据，构建天气数据分析与预测系统，实现对天气状况、最高气温、最低气温、风力和风向等维度的可视化分析和横向纵向比较，并构建机器学习聚类算法实现对天气数据的预测分析
switch_mooood·2024-01-10 03:18

【 matlab代码 SSA-KELM分类】基于麻雀算法优化核极限学习机实现数据分类

更多Matlab完整代码及仿真定制内容点击智能优化算法神经网络预测雷达通信无线传感器电力系统信号处理图像处理路径规划元胞自动机无人机内容介绍摘要核极限学习机（KELM）是一种快速高效的机器学习算法，近年来在数据分类领域得到了广泛的应用
Matlab科研辅导帮·2024-01-10 02:33

基于Python的信用卡欺诈检测机器学习案例报告

本报告借助Python语言探究了在机器学习中，面对一个大型的人与人之间交易的数据集，如何尽快处理大量数据并区分某交易记录是正常的用户行为还是潜在的信用卡欺诈行为，最终通过构建分类模型来对欺诈交易进行分类区分
春有百花巨小蟹·2024-01-10 01:31

Matlab实现SMA-KELM| 黏菌优化算法优化核极限学习机分类预测

更多Matlab完整代码及仿真定制内容点击智能优化算法神经网络预测雷达通信无线传感器电力系统信号处理图像处理路径规划元胞自动机无人机内容介绍摘要核极限学习机（KELM）是一种快速高效的机器学习算法，近年来在数据分类领域得到了广泛的应用
机器学习之芯·2024-01-10 01:59

使用Pipeline和ColumnTransformer提升机器学习代码质量

机器学习项目中最冗长的步骤通常是数据清洗和预处理，Scikit-learn库中的Pipeline和andColumnTransformer通过一次封装替代逐步运行transformation步骤，从而减少冗余代码量
子诚之·2024-01-10 00:07

基于机器学习的fNIRS信号质量控制方法

摘要尽管功能性近红外光谱(fNIRS)在神经系统研究中的应用越来越广泛，但fNIRS信号处理仍未标准化，并且受到经验和手动操作的高度影响。在任何信号处理过程的开始阶段，信号质量控制(SQC)对于防止错误和不可靠结果至关重要。在fNIRS分析中，SQC目前依赖于将经验阈值应用于手动操作的信号质量指标(SQIs)。本研究使用了67名受试者的fNIRS信号数据集(N=1340)，并手动标记了一部分片段(
茗创科技·2024-01-09 23:13

赠书 | 周志华老师的西瓜书--《机器学习》

作者：周志华著出版社：清华大学出版社ISBN：978-7-302-42328-7“本书的作者周志华教授在机器学习的许多领域都有出色的贡献，是中国机器学习研究的领军人物之一，在国际学术界有着很高的声誉。
茗创科技·2024-01-09 23:35

机器学习计算题——svm支持向量机

引入一点高中的线性规划，我在接下来的题目确实可以用这种思想计算，并且非常快得到答案。正文开始：例题1例题2
你若盛开，清风自来！·2024-01-09 23:39

五分钟学完朴素贝叶斯算法

下面再描述一个详细的案例个人感觉如下链接讲的比较详细图解机器学习|朴素贝叶斯算法详解-知乎
你若盛开，清风自来！·2024-01-09 23:08

机器学习简答题

1、请简述人工智能和机器学习，深度学习的关系？机器学习是人工智能的一个实现途径。深度学习是机器学习的一个方法发展而来2、根据数据集组成不同，通常可以把机器学习算法分为哪四类？
你若盛开，清风自来！·2024-01-09 23:08
上一页 64 65 66 67 68 69 70 71 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他