PySpark机器学习第82页

【机器学习基础】使用python实现BP算法

用pytorch跟tensorflow实现神经网络固然爽。但是想要深入学习神经网络，光学会调包是不够的，还是得亲自动手去实现一个神经网络，才能更好去理解。一、问题介绍传说中线性分类器无法解决的异或分类问题。我们就拿它来作为我们神经网络的迷你训练数据。把输入数据拼成一个矩阵X：import numpy as np#训练数据：经典的异或分类问题train_X = np.array([[0,0],[0,

风度78·2024-01-01 13:15

《Python机器学习原理与算法实现》学习笔记

以下为《Python机器学习原理与算法实现》（杨维忠张甜著2023年2月新书清华大学出版社）的学习笔记。根据输入数据是否具有“响应变量”信息，机器学习被分为“监督式学习”和“非监督式学习”。

数据科学作家·2024-01-01 13:14

线性回归梳理

机器学习的一些概念有监督：训练数据的结果已被告知无监督：不告诉结果，让算法自行判断泛化能力：导入更多数据时是否还能近似得到正确结果，也是训练模型模型适应新样本的能力，评判一个学习算法的好坏。

大鹅向东游·2024-01-01 13:47

机器学习的重要性

北辰Charih·2024-01-01 13:43

机器学习的底层技术

机器学习的底层技术主要包括以下几个方面：数学推导能力：机器学习依赖于数学理论和方法，例如线性代数、概率论、统计学等。数学推导能力可以帮助人们理解和推导机器学习算法的原理，进而应用于实际问题中。

北辰Charih·2024-01-01 13:12

chatgpt赋能python：Python怎么return两个值？

Python是一种高级编程语言，可以用于多种应用场景，包括数据分析、机器学习、Web开发等。在Python中，有一种非常方便的方式可以同时返回多个值，这对于编写复杂的程序非常有用。什么是Return？

sc17332889342·2024-01-01 13:42

用一个小游戏入门深度强化学习

强化学习是机器学习的一个重要分支，通过强化学习我们可以创建一个agent，让它与环境不断地互动，不断试错，自主地从中学习到知识，进而做出决策。

不会停的蜗牛·2024-01-01 13:54

机器学习&深度学习面试笔记

机器学习&深度学习面试笔记机器学习Q.在线性回归中，如果自变量之间存在多重共线性，会导致什么问题？如何检测和处理多重共线性？

卡卡南安·2024-01-01 13:01

2022-03-03 Spark 读取csv 全为NULL

header=True,enforceSchema=True,sep=',',encoding='gb18030',)此时读取出的talrat全为string类型，且增加schema=schema属性frompyspark.sql.typesimport

Sharon_0403·2024-01-01 13:45

Python 成都二手房价数据分析报告

本文研究通过机器学习工具Python。采用scratch爬虫对链家网的成都市各区二手房源数据进行获取，收集范围包括小区名称、类型、地址、售价等相关信息。

小夕Coding·2024-01-01 13:25

继续声明 | 连声明都抄，谁抄袭谁，一目了然，现在竟然恬不知耻的反咬一口。

一、本账号为《机器学习之心》博主CSDN唯一官方账号，唯一联系方式见文章底部。二、《机器学习之心》博主未授权任何第三方账号进行模型合作、程序设计、源码编写等活动。请广大读者仔细核对，避免上当受骗。

机器学习之心·2024-01-01 13:19

【Python特征工程系列】教你利用AdaBoost模型分析特征重要性（源码）

一、问题应用背景介绍：如果有一个包含数十个甚至数百个特征的数据集，每个特征都可能对你的机器学习模型的性能有所贡献。但是并不是所有的特征都是一样的。

数据杂坛·2024-01-01 12:31

地球物理中的深度学习理论（DNN的架构、反向传播、梯度消失、梯度爆炸）

图1给出人工智能、机器学习、神经网络和深度学习之间的包含关系，以及深度学习方法的分类。图11、

hhhhhhhhhhyyyyyy·2024-01-01 12:56

【深度学习】第三章：搭建架构-正向传播-计算损失

人类大脑是最好的学习机器，所以从大脑的结构中寻找机器学习的方法也就显而易见。我们知道大脑的基本构成就是神经元，神经元通过树突接受信号，然后对信号进行加工，再通过轴突将信号传递给出去。

宝贝儿好·2024-01-01 12:55

学习笔记：机器学习

文章目录一、机器学习概述二、机器学习活跃领域（一）数据分析与数据挖掘（二）人工智能——图像和语音识别三、经典机器学习算法（一）线性回归（二）逻辑回归（三）决策树（四）随机森林（五）k-近邻（KNN）（六

howard2005·2024-01-01 11:19

遗传算法-流水车间调度

遗传算法addpath('D:\matlab\.m文件夹\.m机器学习文件\遗传算法\gatbx');%增加包遗传算法的包%fplot('varible.

LegendsNever_Die·2024-01-01 11:36

【机器学习|Python】sklearn中的特征选择方法

前言本文对sklearn中特征选择模块中的常用方法进行介绍和使用说明，主要介绍工具中的内容，即该库中的相关方法包含的常用接口和基本使用，了解原理可以关注以下两篇文章：【特征选择】Filter-过滤法中的数学原理-掘金(juejin.cn)【特征选择】Embeded/Wrapper-嵌入法与包装法中的数学原理-掘金(juejin.cn)sklearn中的特征选择sklearn.feature_sel

Python_P叔·2024-01-01 11:30

C语言调用python训练的机器学习模型（项目需求轻体量）

问题描述机器学习模型基本上都是python下的实现与使用，有关C如何调用训练好的模型或是C实现模型的相关教程相对较少同时，项目需求整个模型大小尽可能小，大概在几十Kb由于是表格类型的数据，因此主要考虑树模型一般而言

墨柳烟·2024-01-01 10:57

机器学习简介

1、何谓机器学习机器学习就是把无序的数据转换成有用的信息2、开发机器学习应用程序的步骤收集数据（爬虫、设备收集等）准备输入数据（输入格式的整理等）分析输入数据（是否空值、是否异常值、主要作用确保数据集中没有垃圾数据

dreampai·2024-01-01 10:41

一文详解pyspark常用算子与API

嵌套按照分区来进行rdd=sc.parallelize([1,2,3,4,5,6,7,8,9],2)print(rdd.glom().collect())输出：[[1,2,3,4],[5,6,7,8,9]]参考PySpark

不负长风·2024-01-01 10:25

使用概率编程和Pyro进行财务预测

如果您阅读它们，您必须注意到，当您尝试将某些机器学习模型放在“随机”数据上时，希望找到隐藏的模式，您往往会过度适应火车。

readilen·2024-01-01 09:28

机器学习笔记 - 基于Python的不平衡数据的欠采样技术

一、简述随着从不同的来源生成和捕获大量数据。尽管信息量巨大，但它往往反映了现实世界现象的不平衡分布。数据不平衡的问题不仅仅是统计上的挑战，它对数据驱动模型的准确性和可靠性具有深远的影响。以金融行业欺诈检测为例。尽管我们希望避免欺诈，因为其具有高度破坏性，但机器（甚至人类）不可避免地需要从欺诈交易的示例中学习（尽管很少见），以将其与日常合法交易的数量区分开来。欺诈性交易和非欺诈性交易之间的数据分布不

坐望云起·2024-01-01 09:55

机器学习基础--各种学习方式（5）--自动特征工程

自动特征工程自动工程的三个方向，隐式特征组合（如NN，FM），半显式特征组合（如GBDT）与显式特征组合（显式特征叉乘）。隐式特征组合主要特点是对连续值特征非常友好，最成功的应用场景是语音和图像但是深度神经网络并不是万能的，在深度学习中，高维离散特征的变量处理非常复杂，同时缺乏可解释性，过于黑盒化也是神经网络大家关注的焦点。这样会导致深度学习出来的特征组合相对难用到其他算法之上，也很难给人明确的信

whitenightwu·2024-01-01 08:22

chatgpt赋能python：Python怎么AI绘画

Python怎么AI绘画随着人工智能和机器学习技术的不断发展，Python成为了其中最常用的语言之一。人工智能已经满足了许多人的兴趣，并已经成为一个行业。其中，AI绘画是大家热衷的领域之一。

yakuchrisfor·2024-01-01 08:22

机器学习入门-数值特征-时间特征处理

我们可以将一连串的时间特征进行拆分，比如：2015-03-0810:30:00.360000+00:00，我们可以将其转换为日期类型，然后从里面提取年，月，日等时间信息对于一些hour，month等信息，我们也可以使用pd.cut将hour信息按照时刻转换为离散数据，如morning，afternonn等等代码：第一步：载入数据第二步：将数据转换为DataFrame格式第三步：使用pd.Times

weixin_34026276·2024-01-01 08:21

百面机器学习 -- No.2 特征工程 -- 训练数据不足的情况下会带来什么问题，如何缓解？

数据不足会带来什么问题机器学习任务的问题，可以简单的理解成寻找最佳的拟合函数和最佳的泛化函数，拟合函数是用来学习历史信息的，泛化函数是用来外推其他数据的（即，预测未来）。

小王做笔记·2024-01-01 08:20

大家都在用的AI作画Python几行代码就可实现

一、通过openai实现的作品：要想快速实现功能，咱们先了解一下OpenAI,OpenAI是一家人工智能公司，专注于开发强化学习、机器学习、自然语言处理等技术。

馒头糕饼一齐要·2024-01-01 08:50

AI 绘画极简教程

来源：机器学习算法与Python实战大家好前几天在朋友圈发了几张我用AI绘画工具DiscoDiffusion画的画既然有同学问，就写个极简教程吧，画个图是足够了，想要深入了解还需自行百度，可以找到更详细的教程

Python数据之道·2024-01-01 08:19

机器学习（三） -- 特征工程（更新中）

系列文章目录机器学习（一）--概述机器学习（二）--数据预处理（1-3）未完待续……目录系列文章目录前言tips：这里只是总结，不是教程哈。

₫从心·2024-01-01 08:19

机器学习--主成分分析 PCA

特征维度约减特征约减的目的是将高维特征向量映射到低维子空间中。比如：给定n个样本（每个样本维度为p维）{x1,....xn}通过特征变换/投影矩阵实现特征空间的压缩:高维数据为何要维度约减?数据压缩和存储：高维数据通常需要占用更大的存储空间。通过维度约减，可以将数据压缩为较低维度的表示形式，减少存储需求。降低计算复杂度：在高维空间中进行计算通常更加复杂和耗时。通过维度约减，可以将计算转移到低维空间

kk要读书·2024-01-01 08:18

自然语言处理(第17课文本分类和聚类)

一、学习目标1.学习文本分类的两种传统机器学习方法：朴素贝叶斯和支持向量机2.学习文本分类的深度学习方法3.学习文本分类的性能评估标准4.学习文本聚类的相似性度量、具体算法、性能评估二、文本分类1.概述将文本分类

komjay·2024-01-01 08:13

致未来

当下“深度学习”作为机器学习最流行的核心算法之一，已经吸引越来越多人才和组织的极度关注。如果说未来要打破一个旧世界、打造一个新世界，那么技术就是手中的强大武器。

碌不平·2024-01-01 07:26

线性投影（linear projection）

1、线性投影介绍线性投影在数学、统计学、机器学习以及经济学等多个领域都有重要作用，其基本思想是将一个高维空间中的向量或点映射到该空间的某个子空间中。

科学禅道·2024-01-01 06:33

【机器学习】快速入门！关于 Pandas 库的简介和常用方法整理

PandasPandas简介1.数据加载和存储加载数据：存储数据：2.数据清洗3.数据统计和汇总4.数据选择和过滤5.数据合并和连接6.时间序列处理创建时间序列数据：索引和选择：时间序列分析：时间序列可视化：7.其他常用函数train.head()train.info()写在最后Pandas简介Pandas是一个开源数据分析和数据操作的Python库。它提供了数据结构，如Series和DataFr

SuasyYi·2024-01-01 06:58

【深度学习】快速上手！关于 PyTorch 库的使用和基础方法整理

PyTorchPyTorch基础结构：主要功能：Tensor创建Tensor：Tensor基本操作：Tensor的其他用法：Autograd简单示例写在最后PyTorchPyTorch（PythonTorch）是一个开源的机器学习库

SuasyYi·2024-01-01 06:54

深度学习必备框架PyTorch简介和参考资料

目录引言本系列博客的目标和预期读者历史和发展易用性灵活性动态计算图学习资源和文档推荐书籍社区和支持总结引言欢迎来到PyTorch的世界——一个革命性的工具，正在重塑我们如何构建和理解机器学习和深度学习模型

E寻数据·2024-01-01 06:51

第七届核磁机器学习班（训练营：2023.9.4~9.16）

茗创科技专注于脑科学数据处理，涵盖（EEG/ERP,fMRI,结构像,DTI,ASL,FNIRS）等，欢迎留言讨论及转发推荐，也欢迎了解茗创科技的脑电课程，数据处理服务及脑科学工作站销售业务，可添加我们的工程师（微信号MCKJ-zhouyi或17373158786）咨询。★课程简介★基于血氧水平依赖的功能磁共振成像(fMRI)技术,利用其数据构建的功能性脑网络后,发现脑并不是一个单纯对外界刺激进行

茗创科技·2024-01-01 06:07

机器学习基础知识和常用名词解释

机器学习入门的基础知识，包括常见名词的解释（线性回归、容量、过拟合欠拟合、正则化、超参数和验证集、估计、偏差和方差、最大似然估计、KL散度、随机梯度下降）欢迎关注我的微信公众号“人小路远”哦，在这里我将会记录自己日常学习的点滴收获与大家分享

湖大李桂桂·2024-01-01 05:59

一文弄懂自编码器 -- Autoencoders

2.原理介绍自编码器神经网络是一种无监督的机器学习算法，它的主要目的为将输入层的数据压缩成较短的格式，我们也可以称为潜在空

赵卓不凡·2024-01-01 05:14

原来STATA也可以做机器学习或深度学习的内容，真的是学习了

微信公众号大数据金融统计大数据时代中的金融统计今天用STATA实现机器学习STATA●机器学习STATA●1什么是机器学习机器学习是通过分析研究数据集，挖掘大数据中存在的潜在价值，主要步骤为：数据准备、

SMILE_9025·2024-01-01 05:27

机器学习 Pytorch 教程

https://morvanzhou.github.io/tutorials/machine-learning/torch/在我们学习完机器学习、深度学习、卷积神经网络以及结构化机器学习项目等理论知识后

苏高峰·2024-01-01 05:18

【lsp预测】基于强化学习预测matlab源码

一、强化学习概述1.强化学习简介（1）强化学习是机器学习中的一个领域，强调如何基于环境而行动，以取得最大化的预期利益。

Matlab科研辅导帮·2024-01-01 04:18

商品销售数据爬取分析可视化系统爬虫+机器学习淘宝销售数据预测算法模型大屏大数据毕业设计（附源码）✅

1、项目介绍技术栈：python语言、Django框架、Vue前端框架、机器学习预测算法（线性回归模型预测商品的销量）MySQL数据库、se

vx_biyesheji0001·2024-01-01 04:48

故障诊断模型 | Maltab实现PSO-BP粒子群算法优化BP神经网络的故障诊断

文章目录效果一览文章概述模型描述源码设计参考资料效果一览文章概述故障诊断模型|Maltab实现PSO-BP粒子群算法优化BP神经网络的故障诊断模型描述在机器学习领域，我们常常需要通过训练数据来学习一个函数模型

算法如诗·2024-01-01 03:21

数据特征工程 | 特征筛选（过滤法）—— ANOVA

特征筛选的重要性：在机器学习和数据科学领域，特征筛选是优化模型性能和提高计算效率的关键步骤。当数据集包含大量特征时，不仅增加了计算成本，还可能引入噪声和冗余信息，影响模型的泛化能力。

算法如诗·2024-01-01 03:50

第九课：机器学习与人工智能、计算机视觉、自然语言处理 NLP及机器人

第九课：机器学习与人工智能、计算机视觉、自然语言处理NLP及机器人第三十四章：机器学习与人工智能1、分类Classification2、做分类的算法分类器Classifier3、用于分类的值是特征Feature4

笛秋白·2024-01-01 03:48

机器学习笔记--DeepWalk和Node2Vec图嵌入代码实战一

斯坦福大学CS224W图机器学习笔记学习参考CS224W公开课：双语字幕斯坦福CS224W《图机器学习》课程(2021)byJureLeskove官方课程主页：官方主页子豪兄精讲：斯坦福CS224W图机器学习

北航程序员小C·2024-01-01 02:27

2018-03-23 为什么股票市值是当前的样子？

今天研究了一下文章《【量化课堂】机器学习多因子策略》，大受启发。我觉得“机器学习多因子策略”不准确，应该叫“机器学习市值解释策略”。

止一之路·2024-01-01 02:33

机器学习：贝叶斯估计在新闻分类任务中的应用

在这个背景下，机器学习技术应运而生，其中贝叶斯估计作为一种强大的概率推断方法，在新闻分类任务中发挥着重要作用。在本篇文章中，使用搜狗实验室提供的新闻数据集，并且通过贝叶斯估计来

十有久诚·2024-01-01 02:04

AI大模型

所谓的机器学习训练模型就是去调整参数（这里之前我好像弄过一个预测模型，确实如此）。GPT3.5有1750亿个参数。Google这篇论文很好：1.它的编

阿如村保安·2024-01-01 01:40

推荐频道

PySpark机器学习