PySpark机器学习第47页

【GitHub项目推荐--微软开源的课程（Web开发课程/机器学习课程/物联网课程/数据科学课程）】【转载】

分别是Web开发课程、机器学习课程、物联网课程和数据分析课程。四大课程在GitHub上共斩获90K的Star，每一课程包含20多小节，完成课程大约需要12周。

旅之灵夫·2024-01-24 01:34

机器学习实验4——CNN卷积神经网络分类Minst数据集

文章目录实验内容原理CNN实现分类Minst代码数据预处理：设置基本参数：实验内容基于手写minst数据集，完成关于卷积网络CNN的模型训练、测试与评估。原理卷积层通过使用一组可学习的滤波器（也称为卷积核）对输入图像进行滑动窗口卷积操作，这样可以提取出不同位置的局部特征，从而捕捉到图像的空间结构信息。激活函数在卷积层之后，通常会应用一个非线性激活函数，如ReLU激活函数的作用是引入非线性，使得CN

在半岛铁盒里·2024-01-24 01:01

机器学习期末复习总结笔记（李航统计学习方法）

文章目录模型复杂度高---过拟合分类与回归有监督、无监督、半监督正则化生成模型和判别模型感知机KNN朴素贝叶斯决策树SVMAdaboost聚类风险PCA深度学习范数计算梯度下降与随机梯度下降SGD线性回归逻辑回归最大熵模型适用性讨论模型复杂度高—过拟合是什么：当模型复杂度越高，对训练集拟合程度越高，然而对新样本的泛化能力却下降了，此时出现overfitting（过拟合）与泛化能力：模型复杂度与泛化

在半岛铁盒里·2024-01-24 01:01

机器学习实验3——支持向量机分类鸢尾花

文章目录实验内容数据预处理代码认识数据相关性分析径向可视化各个特征之间的关系图支持向量机SVM求解直觉理解：数学推导代码运行结果总结实验内容基于鸢尾花数据集，完成关于支持向量机的分类模型训练、测试与评估。数据预处理代码importnumpyasnpimportpandasaspdimportmatplotlib.pyplotaspltimportseabornassnsfromsklearnimp

在半岛铁盒里·2024-01-24 01:00

机器学习:Chapter1~3

Chapter1:绪论术语learning/traning,学习/训练:从数据中学得模型的过程(找到与训练集匹配的假设)model,模型:从数据中学的的结果pattern,模式:局部性结果（如一条规则）dataset,数据集instace/sample,示例/样本attribute/feature,属性/特征(orcalledfeaturevector,特征向量)attribute/samples

vickeex·2024-01-24 01:45

AI 筛选电池材料，广州大学叶思宇院士开发可用于 P-SOC 材料预测的机器学习算法模型

作者：田小幺编辑：李宝珠，三羊封面图来源：摄图网广州大学的研究人员建立了一种基于极限梯度增强(XGBoost)算法的机器学习模型，可用于P-SOC空气电极的筛选。新能源现在有多火？

HyperAI超神经·2024-01-24 00:04

集成学习

看了些周志华的教授的《机器学习》，根据自己的理解写一些笔记，温故而知新都说3个臭皮匠顶个诸葛亮，在机器学习中也是这样。大部分情况下一个学习器的预测能力不如多个学习器的能力。

dayL_W·2024-01-23 22:39

半监督学习笔记：self-training

1半监督学习半监督学习（Semi-SupervisedLearning）是机器学习的一种形式，它结合了监督学习和无监督学习的特点。

UQI-LIUWJ·2024-01-23 22:38

机器学习笔记：线性回归

0线性回归的假设线性：自变量（x）和因变量（y）之间应该存在线性关系，这意味着x值的变化也应该在相同方向上改变y值。独立性：特征应该相互独立，这意味着最小的多重共线性。正态性：残差应该是正态分布的。同方差性：回归线周围数据点的方差对于所有值应该相同。假设有如下数据这些数据符合以下图关系（以一维数据为例），这里的函数f(w)忽略了偏置b1最小二乘估计我们的目标是要求w，使得Xw和实际值y最近。所以我

UQI-LIUWJ·2024-01-23 22:08

机器学习笔记：地理加权回归（GWR）

1传统的线性回归机器学习笔记：线性回归_线性回归的读书笔记-CSDN博客最优的β为：2地理加权回归（GWR）2.1模型概述地理加权回归（GeographicallyWeightedRegression，

UQI-LIUWJ·2024-01-23 22:06

机器学习基石第九讲：linear regression

博客已经迁移至Marcovaldo’sblog(http://marcovaldong.github.io/)机器学习基石第十讲介绍线性回归问题（linearregressionproblem），从这一讲开始课程介绍具体的机器学习算法

Marcovaldo·2024-01-23 22:52

8个硬核的python入门项目

大家好，Python是一种通用编程语言，被广泛用于Web开发、数据分析、机器学习和自动化。提高Python技能的最佳方式之一是从事实际项目。

python慕遥·2024-01-23 19:50

【小白学PyTorch】7.最新版本torchvision.transforms常用API翻译与讲解

机器学习炼丹术】的学习笔记分享>小白学PyTorch|6模型的构建访问遍历存储（附代码）小白学PyTorch|5torchvision预训练模型与数据集全览小白学PyTorch|4构建模型三要素与权重初始化小白学

风度78·2024-01-23 18:02

【小白学PyTorch】5.torchvision预训练模型与数据集全览

【机器学习炼丹术】的学习笔记分享>小白学PyTorch|4构建模型三要素与权重初始化小白学PyTorch|3浅谈Dataset和Dataloader小白学PyTorch|2浅谈训练集验证集和测试集小白学

风度78·2024-01-23 18:02

挑战杯参赛总结-时间序列预测

不同与之前我学习过的波士顿房价预测机器学习-波士顿房价预测-CSDN博客房价预测是通过学习与房价有关的很多特征，训练出一个模型来预测。而这次的任务是根据时序来预测。

Che_Che_·2024-01-23 18:26

什么叫范数？

在机器学习和优化问题中，范数经常用于正则化、距离度量和优化目标的定义。

CA&AI-drugdesign·2024-01-23 17:52

机器学习 | 深入理解并掌握核心概念

在如今数字化时代的浪潮下，机器学习已经成为人工智能领域的璀璨明星。它像一面魔镜，赋予计算机系统学习和改进的能力，让机器能够从海量数据中提取规律、预测未来，甚至做出智能决策。

亦世凡华、·2024-01-23 17:42

详解强化学习（Reinforcement Learning）（基础篇）

强化学习（ReinforcementLearning）是机器学习的一个分支，主要研究智能体如何通过观察环境状态、执行动作和接收奖励来学习最优策略。

RRRRRoyal·2024-01-23 16:28

二、自然语言处理发展历程

连接主义：自然语言处理的发展器，代表方法为统计机器学习。深度学习：自然语言处理的鼎盛期，代表人物为深度学习三巨头：YoshuaBengio、YannLeCun、GeoffreyHin

智享AI·2024-01-23 16:47

【松叶漫话】程序员裁员潮：如何面对技术变革下的职业危机

一起来聊聊吧~方向一：技术变革当前的技术变革涵盖了多个方面，其中一些主要趋势包括人工智能（AI）、机器学习、云计算、区块链、物联网等。

松叶子吖·2024-01-23 15:46

最好用的AI写作神器都在这了

伏案深思，提笔难落，灵感犹如挤牙膏般难寻，这是大多数文字工作者的常态，但是人工智能技术的不断发展，AI写作软件逐渐成为了现代写作的新宠，大大释放了大脑的压力，这些软件利用强大的自然语言处理和机器学习算法

bigfish5135·2024-01-23 15:55

AI写作软件哪个好?国内AI写作软件排行榜前十名

这些软件利用机器学习和自然语言处理等技术，能够自动生成文章、写作建议和编辑指导，为写作者提供了极大的便利。然而，市场上的AI写作软件琳琅满目，究竟哪些软件是最好的呢？

bigfish5135·2024-01-23 15:24

AI自动写文章的软件有哪些？分享五款实用的

这些写作软件利用强大的自然语言处理和机器学习算法，能够自动生成文章，为写作工作提供了极大的便利。

bigfish5135·2024-01-23 15:24

目前好用的AI写作软件有哪些？这5款你一定要试试

这些AI写作神器通过自然语言处理和机器学习等技术，能够帮助用户生成高质量的文章、报告、新闻稿等内容。在这篇文章中，我们将介绍目前市场上五款不容错过的AI写作软件，并详细说明它们的优点和功能。

bigfish5135·2024-01-23 15:50

大数据毕业设计：商品评论数据情感分析系统可视化 snownlp情感分析机器学习 Django框架（源码） ✅

1、项目介绍技术栈：Python语言、Django框架、Echarts可视化、snownlp情感分析、机器学习、htmljscss电商评论数

q_3375686806·2024-01-23 15:39

初探机器学习之使用百度AI服务实现图片识别与相似图片

一、百度云AI服务最近在调研一些云服务平台的AI（人工智能）服务，了解了一下阿里云、腾讯云和百度云。其中，百度云提供了图像识别及图像搜索，而且还细分地提供了相似图片这项服务，比较符合我的需求，且百度云提供了每日10000次入库和500次检索的免费次数，使得我可以更快地试用，且没有任何花费。更为重要的是，百度云提供了兼容.NETCore2.0的C#SDK，这是更加让我选择试用的原因。这里抛开BAT各

weixin_30721899·2024-01-23 14:54

Scikit-Learn 中级教程——学习曲线

PythonScikit-Learn中级教程：学习曲线学习曲线是一种评估机器学习模型性能的可视化工具，它可以帮助我们理解模型在不同训练数据大小下的表现。

Echo_Wish·2024-01-23 14:20

机器学习实验报告——隐式马尔可夫模型HMM

目录一、模型介绍1.1模型引入1.2模型背景及发展历程1.3模型基本假设1.4模型基本概念介绍1.5HMM三要素二、模型基本问题2.1评估问题2.1.1说明2.1.2解决方法2.2学习问题2.2.1说明2.2.2解决方法2.3解码问题2.3.1说明2.3.2解决方法三、模型实现3.1hmmlearn库简介3.2案例实现3.3代码实现3.4分析四、模型讨论4.1优缺点讨论4.3HMM的应用五、模型总

长安er·2024-01-23 14:38

DataFrame的基本使用--学习笔记

方法其中包括的方法有：select(),selectExpr(),groupby()/groupBy()where,orderBy(),sort(),limit(),withColumn(),frompyspark.sqlimportSparkSession

祈愿lucky·2024-01-23 14:59

【AI军事竞赛】AI Chat Bot 的应用编辑平台

国内外智能平台一览序号平台名称所属公司国家主要服务网址1百炼阿里云中国机器学习、数据分析http://www.aliyun.com2腾讯云AI腾讯中国机器学习、语音和图像识别https://cloud.tencent.com3

临水逸·2024-01-23 13:39

Pyspark

RDD4.Broadcast、Accumulator:5.Sparkconf6.SparkFiles7.StorageLevel二、SparkSQL1.读取数据2.保存/写入数据3.Dataframes3.pysparkSQL

李明朔·2024-01-23 12:24

Windows安装Anaconda教程

全称：Anaconda发音：安尼康达含义：蟒蛇Anaconda是一个开源Python和R语言的发行版本，用于计算科学（数据科学、机器学习、大数据处理和预测分析），Anaconda致力于简化

PerCheung·2024-01-23 11:47

如何在GpuMall智算云平台实现开发工具与远程实例无缝对接

#智算云GpuMall##社区云##高可用云##免费##租赁##GpuMall#在人工智能和机器学习的快速发展浪潮中，分布式算力正成为这一浪潮中不可或缺的重要角色。

GpuMall·2024-01-23 11:41

机器学习实战 K-近邻算法

K-近邻算法优点：精度高、对异常值不敏感、无数据输入假定缺点：计算复杂高、空间复杂度高适用数据范围：数值型和标称型一般流程收集数据：可以使用任何方法准备数据：距离计算所需要的数值，最好是结构化的数据结构分析数据：可以使用任何方法训练算法：此步骤不适用于K-近邻算法测试算法：计算错误率使用算法：首先需要输入样本数据和结构化的输出结果，然后运行K-近邻算法判定输入数据分别属于哪个分类，最后应用对计算出

今昔何夕丶·2024-01-23 11:48

联邦学习：密码学 + 机器学习 + 分布式实现隐私计算，破解医学界数据孤岛的长期难题

联邦学习：密码学+机器学习+分布式提出背景：数据不出本地，又能合力干大事联邦学习的问题联邦学习架构分布式机器学习：解决大数据量处理的问题横向联邦学习：解决跨多个数据源学习的问题纵向联邦学习：解决数据分散在多个参与者但部分特征重叠的问题联邦

Debroon·2024-01-23 11:31

机器学习实验报告-集成学习

目录一、集成学习介绍1.1集成学习的引入1.2集成学习发展史1.3集成学习的学习组织方式1.3.1并联组织关系1.3.2串联组织关系1.4集成学习及其实现方法概述二、集成学习实现方法2.1Boosting2.1.1基本过程2.1.2注意点2.2bagging2.2.1基本过程2.2.2注意点2.3Stacking2.3.1几种比较简单的结合策略2.3.2如何理解Stack三、集成学习代码实现3.1

长安er·2024-01-23 11:19

大厂大数据面试题收录（1）

4.机器学习中，监督学习和无监督学习的区别是啥？？5.kafka组件熟悉吗,kafka如何实现消息的有序的？6.在大数据组件中，你们一般用的资源管理框架是哪个？

后季暖·2024-01-23 11:49

通用大模型研究重点之一：data embedding

研究背景在过去的传统机器学习中，通常我们是直接处理同一类型的数字类型数据。

Ada's·2024-01-23 10:30

如何利用PyTorch？

1、PyTorchPyTorch是一个开源机器学习库，基于Torch库开发，主要由Facebook的人工智能研究实验室（FAIR）研发。

科学禅道·2024-01-23 10:45

python使用dlib库进行人脸关键点检测

dlibdlib是一个强大的C++库，用于机器学习和图像处理任务，特别是在人脸识别和人脸关键点检测方面表现出色。它提供了一系列用于处理图像、人脸检测、人脸关键点检测、人脸识别等任务的功能。

chen_znn·2024-01-23 10:43

【无标题】

这几天一直在发关于机器学习的文章，没想到涨到一百多粉丝了，感谢大家的关注！之前想以视频的方式讲解，但是弄一个视频太累了，再加上流量也不好，就没继续更了。如果大家有需要，可以去B站看看哦。

今天也要加油丫·2024-01-23 09:03

机器学习_线性回归原理和实战

文章目录线性回归原理线性回归实战线性回归原理在讲线性回归之前，我们先看看中学时学的，一元线性回归的公式：y=a∗x+b。这公式对于本篇内容关联还是挺大的。所谓回归分析(regressionanalysis)，就是确定两种或两种以上变量间相互依赖的定量关系的一种统计分析，说白了就是当自变量变化的时候，研究一下因变量是怎么跟着变化的，它可以用来预测客流量、降雨量、销售量等。对于一元线性回归来说，它的内

you_are_my_sunshine*·2024-01-23 09:33

机器学习：什么是监督学习和无监督学习

目录一、监督学习（一）回归（二）分类二、无监督学习聚类一、监督学习介绍：监督学习是指学习输入到输出（x->y）映射的机器学习算法，监督即理解为：已知正确答案对其学习结果进行监督原理：提供算法示例以供学习

带带琪宝·2024-01-23 09:59

【机器学习：异常值检测】新颖性和异常值检测

【机器学习：异常值检测】新颖性和异常值检测异常值检测方法概述新颖性检测纵向扩展单类SVM异常值检测拟合椭圆包络隔离林局部异常因子使用局部异常因子进行新颖性检测许多应用程序需要能够确定新观测值是属于与现有观测值相同的分布

jcfszxc·2024-01-23 09:58

【百面机器学习】读书笔记（一）

本文系列主要作用就是读书笔记，自己看的话比较杂，没怎么归类过，所以现在跟着这个分类走一遍。本文主要内容为前两章，特征工程和模型评估。如果我想起一些相关的内容也会做适当的补充，主打就是一个intuition（感觉除了数学表示之外，intuition最重要了，虽然比起数学表达更抽象了，但是对人来说更好记忆和理解）特征工程特征工程师对原始数据进行一系列工程处理，将其提炼为特征，作为输入供算法和模型使用。

Karen_Yu_·2024-01-23 09:28

机器学习分类模型评价指标总结（准确率、精确率、召回率、Fmax、TPR、FPR、ROC曲线、PR曲线，AUC，AUPR）

为了看懂论文，不得不先学一些预备知识（（55555主要概念解释见图TP、FP、TN、FN准确率、精确率（查准率）、召回率（查全率）真阳性率TPR、伪阳性率FPRF1-score=2TP/(2*TP+FP+FN)最大响应分数Fmax为F1-score的最大值（在最佳阈值的前提下）如下图：HR指标（命中率）：正确分类的样本数/样本总数ROC曲线、AUC指标：PR曲线、AUPR指标：AP指标（平均精确度

cqbzcsq·2024-01-23 09:57

机器学习算法实战案例：使用 Transformer 进行时间序列预测

自ChatGPT问世以来，大型语言模型（LLMs）已经引起巨大轰动，取得的成果令人印象深刻。LLMs成功的关键在于它们的核心构建模块，即transformers。在本文中，我们将提供一个在PyTorch中使用它们的完整指南，特别关注时间序列预测。在本文中，我们将从理论介绍transformers开始，然后转向在PyTorch中应用它们。为此，我们将讨论一个选定的例子，即预测正弦函数。我们将展示如何

Python算法实战·2024-01-23 09:56

【机器学习】强化学习（五）深度强化学习理论

强化学习算法如Q学习的确有一些局限性，比如状态和动作空间过大或过复杂的问题。针对这些问题，有一些解决方案，比如：使用函数逼近来近似Q函数，而不是用表格存储。函数逼近可以是线性的，也可以是非线性的，比如神经网络。这样可以减少存储空间，也可以处理连续的状态和动作空间。使用分层强化学习来将复杂的任务分解为子任务，每个子任务有自己的状态和动作空间，以及奖励函数。这样可以降低问题的复杂度，也可以提高学习效率

十年一梦实验室·2024-01-23 09:54

初识人工智能，一文读懂机器学习之逻辑回归知识文集(2)

作者简介，普修罗双战士，一直追求不断学习和成长，在技术的道路上持续探索和实践。多年互联网行业从业经验，历任核心研发工程师，项目技术负责人。欢迎点赞✍评论⭐收藏人工智能领域知识链接专栏人工智能专业知识学习一人工智能专栏人工智能专业知识学习二人工智能专栏人工智能专业知识学习三人工智能专栏人工智能专业知识学习四人工智能专栏人工智能专业知识学习五人工智能专栏人工智能专业知识学习六人工智能专栏人工智能专业知

普修罗双战士·2024-01-23 09:11

初识人工智能，一文读懂机器学习之逻辑回归知识文集(1)