PySpark机器学习第57页

机器学习算法实战案例：Informer 源码详解与代码实战

文章目录机器学习算法实战案例系列答疑&技术交流1源码解析1.1文件结构1.2mian_informer.py文件1.3模型训练1.4模型测试1.5模型预测2Informer模型2.1process_one_batch2.2Informer

Python算法实战·2024-01-17 11:28

机器学习算法实战案例：Informer实现多变量负荷预测

文章目录机器学习算法实战案例系列答疑&技术交流1实验数据集2如何运行自己的数据集3报错分析机器学习算法实战案例系列机器学习算法实战案例：确实可以封神了，时间序列预测算法最全总结！

Python算法实战·2024-01-17 11:28

linux批量修改文件名

新建了一批文件把JPG改为jpg，再机器学习处理数据集中经常会遇到这个问题1rename+正则rename"s/.JPG/.jpg/"*s是搜索意思搜索到后用jpg替换JPG2${}和for循环写脚本运行关键用到了

雨浅听风吟·2024-01-17 10:06

爬虫学习笔记（十八）—— 点触验证码：超级鹰、12306自动登录

解决方案有两种：一种是直接解决，这需要深度学习机器学习等图像处理技术，以大量的数据训练识别模型，最终达到模型足矣识别图片中的文字提示和应该点击的区域之间的对应关系。

别呀·2024-01-17 10:35

python机器学习——分类模型评估 & 分类算法（k近邻，朴素贝叶斯，决策树，随机森林，逻辑回归，svm）

目录分类模型的评估模型优化与选择1.交叉验证2.网格搜索【分类】K近邻算法【分类】朴素贝叶斯——文本分类实例：新闻数据分类【分类】决策树和随机森林1.决策树2.决策树的算法3.代码实现实例：泰坦尼克号预测生死【集成学习】随机森林1.集成学习2.随机森林3.学习算法4.代码实现5.优点【分类】逻辑回归——二分类实例：良／恶性乳腺癌肿数据【分类】SVM模型分类模型的评估模型优化与选择1.交叉验证交叉验

Perley620·2024-01-17 10:59

2024年1月16日Arxiv热门NLP大模型论文：A Closed-form Solution for Weight Optimization in Fully-connected ......

一次迭代，全层并行，新神经网络权重优化方法，让机器学习效率飞跃引言：机器学习的崛起与发展概述在21世纪初，强大的计算机硬件和工作站的出现使得机器学习得以迅猛发展。

夕小瑶·2024-01-17 10:45

迄今最详细的人工智能网络攻击分类指南

近日，NIST发布了可能是迄今最详细的针对人工智能系统的网络攻击分类指南——对抗性机器学习：攻击和缓解的分类和术语”(NIST.AI.100-2)），并指出：当人工智能系统接触到不可信的数据时，可能会出现故障

诗者才子酒中仙·2024-01-17 09:12

实现特征缩放/归一化和标准化

什么是特征缩放特征缩放是用来标准化数据特征的范围机器学习为什么需要特征缩放在处理多维特征问题的时候，需要保证特征具有相近的尺度，这有助于梯度下降算法更快的收敛。

泛酸的桂花酒·2024-01-17 09:31

机器学习：李航统计学习方法笔记

詹令[email protected]待整理统计学习方法监督学习非监督学习半监督学习强化学习监督学习方法生成方法GenerativeApproach：P(Y∣X)=P(X,Y)P(X)P(Y|X)=\frac{P(X,Y)}{P(X)}P(Y∣X)=P(X)P(X,Y)朴素贝叶斯模型隐式马尔科夫模型判别方法DiscrimitiveApproach：k近邻/knn线性分类模型感知机

lealzhan·2024-01-17 08:54

机器学习之Ridge回归与Lasso回归

Ridge回归与Lasso回归是什么Ridge回归和Lasso回归是机器学习中常用的线性回归算法的变种。Ridge回归是一种线性回归算法，通过在损失函数中添加一个正则化项，以控制模型的复杂度。

亦旧sea·2024-01-17 08:38

部署大模型API的实战教程

985院校硕士毕业，现担任算法研究员一职，热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。

herosunly·2024-01-17 08:30

C++实战Opencv第一天——win11下配置vs，opencv环境和运行第一个c++代码（从零开始，保姆教学）

OpenCV（OpenSourceComputerVisionLibrary）是一个开源的计算机视觉和机器学习软件库，它提供了大量的通用算法和功能，用于处理图像和视频数据。

学术菜鸟小晨·2024-01-17 08:28

深度学习笔记（八）——构建网络的常用辅助增强方法：数据增强扩充、断点续训、可视化和部署预测

截图和程序部分引用自北京大学机器学习公开课要构建一个完善可用的神经网络，除了设计网络结构以外，还需要添加一些辅助代码来增强网络运行的稳定性，鲁棒性。

絮沫·2024-01-17 08:45

机器学习 -- 朴素贝叶斯分类器

场景朴素贝叶斯分类器是一种基于贝叶斯定理的简单概率分类器，广泛应用于各种机器学习场景。朴素贝叶斯分类器利用贝叶斯定理来预测一个数据点的类别。

北堂飘霜·2024-01-17 07:37

机器学习：简要介绍及应用案例

机器学习是一种人工智能（AI）的分支，它致力于研究和开发系统，使它们能够从经验中学习并自动改善。这种学习过程使机器能够适应新的数据，识别模式，做出决策和预测，而无需明确的编程。

rubyw·2024-01-17 07:06

【机器学习：训练数据集】机器学习训练数据集的完整指南

【机器学习：训练数据集】机器学习训练数据集的完整指南我们如何使用训练数据集来训练计算机视觉模型？什么是好的机器学习训练数据集？为机器学习创建基于图像或视频的数据集的最佳方法是什么？

jcfszxc·2024-01-17 07:32

【机器学习】强化学习（二）基于动态规划的算法

值函数可以分为状态价值函数和动作价值函数，分别适用于哪些强化学习问题二、基于动态规划的算法2.1策略迭代算法示例：(改进的)策略迭代代码首先定义了一些参数，如奖励、折扣因子、最大误差等，然后初始化了一个网格世界的环境，包括状态、动作、价值函数和策略。接着，它定义了一些函数，用于打印网格世界的状态或策略、计算状态的期望价值函数、对策略进行评估和改进等。最后，它使用了策略迭代的算法，不断地更新策略和价

十年一梦实验室·2024-01-17 07:02

一文了解ChatGPT4+Python近红外光谱数据分析及机器学习与深度学习建模应用

2022年11月30日，可能将成为一个改变人类历史的日子——美国人工智能开发机构OpenAI推出了聊天机器人ChatGPT3.5，将人工智能的发展推向了一个新的高度。2023年4月，更强版本的ChatGPT4.0上线，文本、语音、图像等多模态交互方式使其在各行各业的应用呈现了更多的可能性。2023年11月7日，OpenAI首届开发者大会被称为“科技界的春晚”，吸引了全球广大用户的关注，为了熟练地掌

AIzmjl·2024-01-17 07:00

【机器学习】强化学习（一）强化学习简介

一、强化学习简介1.1问题定义1.2马尔可夫决策过程举例说明马尔可夫决策过程例1：例2：执行动作的策略强化学习的目标是让智能体通过不断尝试，找到最优的策略（policy），即在每个状态下选择什么动作，以最大化累积的奖励。强化学习的常见算法有：Q学习（Q-learning）：一种基于值函数（valuefunction）的方法，它用一个表格（Q-table）记录每个状态-动作对的期望奖励（Q-valu

十年一梦实验室·2024-01-17 07:59

【Machine Learning】机器学习笔记（2）——如何处理训练不好的情况

Howtodealwithbadtrainingsomereference如何处理训练不好的情况1、LossontrainingdataislargeCriticalpointBatchandMomentumAdaptiveLearningRateClassificationBatchNormalization2、Lossontrainingdataissmallbutontestingdatai

Ω snow·2024-01-17 07:11

机器学习框架Ray -- 3.1 RayRLlib训练Pendulum-v1

分别使用SAC/DDPG/Apex-DDPG训练强化学习环境Pendulum-v1。1.Pendulum-v1环境在Pendulum-v1环境中，智能体的目标是平衡一个倒置的摆。奖励函数基于摆的角度、角速度和所采取的动作。奖励函数：reward=-(theta^2+0.1*theta_dt^2+0.001*action^2)其中，theta是摆离垂直向上位置的角度（以弧度为单位），theta_dt

Augenstern-YaoYao·2024-01-17 06:28

机器学习入门：预测房价

importhashlibimportosimporttarfileimportzipfileimportrequestshashlib：这个库提供了多种加密算法，例如MD5、SHA1等算法，用于对数据进行加密、摘要或哈希计算。requests：这个库是一个强大而简洁的HTTP库，用于发送HTTP请求和处理响应。它提供了简单易用的接口，使得与Web服务进行通信变得方便。可以使用requests库发

潇洒哥611·2024-01-17 06:14

李宏毅LLM——机器学习基础知识

文章目录机器学习基本概念生成式学习StructuredLearning总结机器学习基本概念机器学习=机器自动找出一种函数根据函数的不同，可以分为回归问题（输出数值）和分类问题（输出类别，选择题）生成式学习

李日音·2024-01-17 06:09

简单线性回归算法

概述线性回归本来是是统计学里的概念，现在经常被用在机器学习中。是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。

ppixiu·2024-01-17 06:10

【LLM】Prompt微调

Prompt在机器学习中，Prompt通常指的是一种生成模型的输入方式。生成模型可以接收一个Prompt作为输入，并生成与该输入相对应的输出。

m旧裤子·2024-01-17 06:26

探索数据的奥秘：一份深入浅出的数据分析入门指南

uncle_ll·2024-01-17 05:22

机器学习：08. sklearn中的特征选择feature_selection

特征选择概念：就是从所有的特征中，选择出有意义，对模型有帮助的特征，以避免必须将所有特征都导入模型去训练的情况。特征选择常用的方法有：过滤法，嵌入法，包装法，和降维算法。导入数据importpandasaspddata=pd.read_csv(r"C:\Users\18700\Desktop\03数据预处理和特征工程\digitrecognizor.csv")data.head()X=data.i

医学小白学生信·2024-01-17 04:40

人工智能导论（下）

从80年代开始，以模式识别技术为基础方法的机器学习概念被逐渐归纳和总结了出来。机器学习是指智能机器从经验中自动学习和改

庞玖·2024-01-17 04:17

贝叶斯分类器（公式推导+举例应用）

文章目录引言贝叶斯决策论先验概率和后验概率极大似然估计朴素贝叶斯分类器朴素贝叶斯分类器的优点与缺点优点缺点总结实验分析引言在机器学习的世界中，有一类强大而受欢迎的算法——贝叶斯分类器，它倚仗着贝叶斯定理和朴素的独立性假设

Nie同学·2024-01-17 03:12

支持向量机（公式推导+举例应用）

文章目录引言间隔与支持向量机对偶问题（拉格朗日乘子法）SMO算法核函数软间隔与正则化软间隔正则化（罚函数法）模型的稀疏性结论实验分析引言在机器学习领域，支持向量机（SupportVectorMachine

Nie同学·2024-01-17 03:12

参数优化器

前置知识：机器学习概念，线性回归，梯度下降待优化参数w，损失函数loss，学习率lr，每次迭代一个batch计算t时刻损失函数关于当前参数的梯度：计算t时刻一阶动量mt和二阶动量Vt计算t时刻下降梯度：

惊雲浅谈天·2024-01-17 03:54

大数据实战（hadoop+spark+python）：淘宝电商数据分析

一，运行环境与所需资源：虚拟机：Ubuntu20.04.6LTSdocker容器hadoop-3.3.4spark-3.3.2-bin-hadoop3python，pyspark,pandas，matplotlibmysql

linpaomian·2024-01-17 02:13

超火的chartGPT到底是什么？没有账号我能使用吗

OpenAl的研究领域包括机器学习、自然语言处理和强化学习等。其中,GPT-3是OpenAl开发的一种大型语言模型,可以进行自然语言生成、翻译和问答等任务。什么是ChartGPT？

你别管我了·2024-01-17 00:16

李宏毅机器学习——初识深度学习

深度学习简介深度学习的历史1958:Perceptron(linearmodel)1969:Perceptronhaslimitation1980s:Multi-layerperceptronDonothavesignificantdifferencefromDNNtoday1986:BackpropagationUsuallymorethan3hiddenlayersisnothelpful19

migugu·2024-01-17 00:38

python学习笔记9（程序的描述方式、程序的组织结构、顺序结构、选择结构1）

条件写法12、如果只有一个判断的写法3、注意冒号和缩进数合建模，数据建模可视化工具，除了传统的数据分析外，算法模型部分通过python进行数据库和算法的交互，内置K近邻、多层感知器、弹性网络正则化等9种机器学习算法的成熟模型支撑相关场景

贾庆华·2024-01-17 00:30

[译]2020年软件测试TOP趋势-值得关注

1.测试中的人工智能和机器学习根据各种报告，智能自动化将在2020年继续成为软件测试雷达。以前，人工智能和机器学习（AI/ML）的应用已用于软件测试自动化中。人工智能使测试变得更加智能。

测试之心·2024-01-16 23:13

快速上手医学影像组学和机器学习（训练营：2023.9.19~9.26）

茗创科技专注于脑科学数据处理，涵盖（EEG/ERP,fMRI,结构像,DTI,ASL,FNIRS）等，欢迎留言讨论及转发推荐，也欢迎了解茗创科技的脑电课程，数据处理服务及脑科学工作站销售业务，可添加我们的工程师（微信号MCKJ-zhouyi或17373158786）咨询。★课程简介★随着大数据、人工智能的深入融合发展，一项新的研究方法开始用于临床研究，它就是影像组学。它可以对普通影像图像进行更深层

茗创科技·2024-01-16 23:21

一文看懂深度学习（白话解释+8个优缺点+4个典型算法）

深度学习、神经网络、机器学习、人工智能的关系深度学习、机器学习、人工智能简单来说：深度学习是机器学习的一个分

喜欢打酱油的老鸟·2024-01-16 22:42

SHAP：最受欢迎、最有效的可解释人工智能工具包

在许多情况下，机器学习模型比传统线性模型更受欢迎，因为它们具有更好的预测性能和处理复杂非线性数据的能力。然而，机器学习模型的一个常见问题是它们缺乏可解释性。

Python数据挖掘·2024-01-16 22:31

2024年初私募量化策略大盘点

模型构成基本上都是机器学习。其中树模型比神经网络占比更大一些，有的机构中使用率高达90%。

量化风云·2024-01-16 22:20

机器学习系列 - 10 SVM支持向量机

1.SVM原理与数据模型推导支持向量机要解决的问题：就是找到一条合适的决策边界，决策边界越大越好。虽然说起来比较拗口，但是中心思想就是离决策边界最近的点到决策边界的距离尽可能地远。1.1定义及思想将最优决策边界向上&下平移，在遇到第一个点时停下来，这个点被称为支撑向量SupportVector；支撑向量到决策边界的距离是d；这两条平移后的直线的间隔（2d）被称为最大间隔Margin。支撑向量就是支

小蘑菇1962·2024-01-16 22:43

与微信小程序相爱相杀之旅

起源基于对AI的爱好与兴趣，我走上了独自钻研机器学习的道路。和所有热爱AI的人们一样，在一段孤独的摸索旅程中，我勉强完成了几次深度学习模型的训练。其中令我印象较深的成果就是情感分类模型。

泰斯特_·2024-01-16 22:06

互联网加竞赛基于机器学习与大数据的糖尿病预测

文章目录1前言1课题背景2数据导入处理3数据可视化分析4特征选择4.1通过相关性进行筛选4.2多重共线性4.3RFE（递归特征消除法）4.4正则化5机器学习模型建立与评价5.1评价方式的选择5.2模型的建立与评价

Mr.D学长·2024-01-16 21:38

GEE：机器学习分类中每个类别的概率图像可视化

作者：CSDN@_养乐多_在GoogleEarthEngine（GEE）中应用机器学习分类器进行多分类时，有一个需求是想知道每个像素对于每个类别的分类概率。

_养乐多_·2024-01-16 21:23

XGBoost系列1——XGBoost简介与入门

写在开头XGBoost（eXtremeGradientBoosting）是一种被广泛使用的机器学习算法，由陈天奇博士于2014年提出，以其卓越的性能在数据科学竞赛中备受瞩目。

theskylife·2024-01-16 20:35

常见机器学习算法总结

基本算法总结正面.jpeg图的左半部分列出了常用的机器学习算法与它们之间的演化关系，分为有监督学习，无监督学习，强化学习3大类。

婉妃·2024-01-16 20:39

Alink 使用技巧：如何使用批式 CSV 数据读取？

Alink是基于Flink的机器学习算法平台，欢迎访问Alink的GitHub获取更多信息。本文主要分享Alink的使用技巧之一，如何使用批式CSV进行数据读取。

流计算Alink·2024-01-16 19:39

机器学习中的SVD总结

1.矩阵分解1.1矩阵分解的作用矩阵填充(通过矩阵分解来填充原有矩阵，例如协同过滤的ALS算法就是填充原有矩阵)清理异常值与离群点降维、压缩个性化推荐间接的特征组合(计算特征间相似度)1.2矩阵分解的方法（1）特征值分解（2）PCA(PrincipalComponentAnalysis)分解,作用：降维、压缩。（3）SVD(SingularValueDecomposition)分解，也叫奇异值分解

一只胖猪猪·2024-01-16 19:14

强化学习AI构建实战 - 基于“黄金点”游戏（一）

简介强化学习(ReinforcementLearning)是机器学习的一种重要技术。本文首先简要介绍了强化学习的概念及思路，然后以Q-Learning算法为例介绍了如何进行训练。

人工智能MOS·2024-01-16 19:33

也谈人工智能——AI科普入门

文章目录1.科普入门人工智能的定义人工智能的类型-弱AI与强AI人工智能、深度学习与机器学习人工智能的应用和使用场景语音识别计算机视觉客户服务建议引擎数据分析网络安全行业应用人工智能发展史!

星猿杂谈·2024-01-16 18:51

推荐频道

PySpark机器学习