特征工程-数据降维

百面机器学习笔记

一、特征工程1、归一化为了消除数据特征之间的量纲影响，我们需要对特征进行归一化处理，使得不同指标之间具有可比性。
飞蓬heart·2022-11-19 23:28

NLP词汇解释

NLP名词多特征融合：采用现有的多个特征集生成新的融合特征特征工程:特征提取、特征降维、特征融合等低资源：资源比较少双向注意力机制：注意力机制：关键词生成方法：抽取式方法和生成式方法ResNet双向RNNRNNLSTMGRUReformerperformerSinkhornLocalAttentionSynthesizerLinearTransformerinformerswintransform
北巷！！·2022-11-19 23:23

机器学习入门学习笔记

文章目录一、人工智能概述二、机器学习概述2.1、什么是机器学习2.2、数据集的构成2.3、机器学习算法分类2.4、机器学习开发流程2.5、学习框架和资料三、特征工程3.1、数据集3.1.1、可用数据集3.1.2
码农a皮·2022-11-19 23:50

主成分分析

主成分分析1.摘要2.数据降维3.主成分分析4.矩阵与向量相乘对向量的影响5.最大方差理论6.最小化降维损失7.如何选择降维后的维度8.scikit-learnPCA1.摘要本篇博客主要用于记录主成分分析的原理推导和用法
小琳猫·2022-11-19 22:26

因子特征工程：alphalens库深度解析

星球有一期研报复现讲的alphalens的使用：【每周研报复现】AI量化特征工程之alphalens：一套用于分析alpha因子的通用工具qlib因子分析之alphalens源码解读基于alphalens
AI量化投资实验室·2022-11-19 20:21

alpha模型：打开量化投资的黑箱；附创业板布林带策略代码：年化15%。

从数据准备，预处理，因子特征工程，因子分析，规则策略，模型，回测，指标分析，可视化等等。需要到总体进行一个架构。量化投资是一个系统，是一个知识体系。
AI量化投资实验室·2022-11-19 20:21

cs224w 图神经网络学习笔记 3-1

cs224w3-1Nodeembedding引入我们输入一张图，对图按不同的层级做特征工程，之后进行算法训练，完成预测；我们大部分的时间都花在了特征工程上面，我们都在想一种能够更简单更简洁表达图的特征的方法
XWF小弟·2022-11-19 19:58

机器学习概述

特征工程（特征进行处理）找到合适的算法进行预测模型的评估（模型：算法+数据），判定效果上线使用----以API形式提供机器学习算法分类算法是核心，数据和计算是基础算法判别依据数据类型离散型数据：由记录不同类别个体的数目所得到的数据
南方的树～·2022-11-19 19:28

每天五分钟机器学习：数据和特征决定机器学习的上限（特征工程）

本文重点本文将了解机器学习的特征工程，有一句话是说：“数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已”，这句话充分说明了特征工程的作用，如果将特征工程做好，那么模型的效果是不会差的。
幻风_huanfeng·2022-11-19 19:42

特征工程

1.EDA2.缺失值处理如果用树模型的话，缺失值也可以不处理，因为会把缺失值也当成一个待定取值。因为CART树就是一颗二叉树，无非就是左右两种取值可能。因此分别向左和向右导一下计算各自的信息增益，然后选择增益更大的那个方向。3.数值转换归一化数据量纲不一致时，送入到神经网络当中各个权重就会产生很大的偏置。因此一定需要做归一化的。**如果是送到决策树模型当中的话，是不需要做归一化，因为是一个特征一个
qq_45812502·2022-11-19 18:31

2022 CCF BDCI 返乡发展人群预测 微弱提升(特征离散化)

这次特征工程提交后的A榜结果为：0.911953014851特征工程思路特征离散化+特征交叉主要思路来源于FeatureEngineeringforNumericVariables具体的特征工程代码如下
JinbaoSite·2022-11-19 18:08

机器学习的R实现（mlr包）

目录MachineLearningwithMLRPackage1.获取数据2.探索数据3.缺失值填补4.特征工程5.机器学习1.二次判别分析，QuadraticDiscriminantAnalysis(
一个人旅行*-*·2022-11-19 17:42

什么是特征工程

特征工程，是指用一系列工程化的方式从原始数据中筛选出更好的数据特征，以提升模型的训练效果。业内有一句广为流传的话是：数据和特征决定了机器学习的上限，而模型和算法是在逼近这个上限而已。
愚昧之山绝望之谷开悟之坡·2022-11-19 17:05

机器学习目录

1.机器学习概述机器学习简介机器学习、人工智能和数据挖掘典型机器学习应用领域机器学习算法机器学习一般流程2.机器学习的基本方法统计分析高位数据降维特征工程模型训练可视化分析3.决策树与分类算法决策树算法集成学习决策树应用
程序员技术入门搬运工·2022-11-19 16:41

7）Python模块：sklearn

SKlearn包含的机器学习方式：分类，回归，无监督，数据降维，数据预处理等等，包含了常见的
北海北_CrazyZheng·2022-11-19 16:56

特征工程之缺失值处理

文章目录缺失值处理直接删除统计值填充统一值填充前后向值填充插值法填充预测填充KNN填充具体分析缺失数据可视化微信公众号：邯郸路220号子彬院获取更多内容缺失值处理一般来说，未经处理的原始数据中通常会存在缺失值、离群值等，因此在建模训练之前需要处理好缺失值。缺失值处理方法一般可分为：删除、统计值填充、统一值填充、前后向值填充、插值法填充、建模预测填充和具体分析7种方法。直接删除理论部分缺失值最简单的
Phoenix Studio·2022-11-19 15:42

【educoder 机器学习】PCA

PCA（principalcomponentsanalysis）即主成分分析，是一种使用最广泛的数据降维算法。
小张dand·2022-11-19 12:09

【DELM分类】基于海鸥算法改进深度学习极限学习机实现数据分类附matlab代码

然而当原始数据混杂入大量噪声变量时,或者当输入数据维度非常高时,极限学习机算法的综合性能会受到很大的影响.深度学习算法的核心是特征映射,它能够摒除原始数据中的噪声,并且当向低维度空间进行映射时,能够很好的起到对数据降维
matlab科研助手·2022-11-19 09:39

【DELM预测】基于海鸥算法改进深度学习极限学习机实现数据预测附matlab代码

然而当原始数据混杂入大量噪声变量时,或者当输入数据维度非常高时,极限学习机算法的综合性能会受到很大的影响.深度学习算法的核心是特征映射,它能够摒除原始数据中的噪声,并且当向低维度空间进行映射时,能够很好的起到对数据降维
matlab科研助手·2022-11-19 09:09

Tensorflow - Dataset 使用与优化

一.引言上一篇文章Tensorflow-一文搞懂TF2.xtf.feature_column讲到了tensorflow如何构建特征工程，本文继续反向探索，构造特征工程之前需要处理源数据构造原始样本，下面主要介绍
BIT_666·2022-11-19 09:32

PySpark.ml时间序列特征工程

PySpark.ml时间序列特征工程1.特征预处理1).二值化与分桶2).最小最大值标准化(MinMaxScaler)3).绝对值归一化MaxAbsScaler4).特征标准化StandardScaler5
fitzgerald0·2022-11-19 08:35

pytorch中的tensor实现数据降维以及通道数转换

首先导入torch包，利用torch.narrow()函数实现数据通道数转换，具体实例见下图利用torch.rand(5,6)随机生成一个5X6的二维矩阵，利用torch.narrow(x,dim,start，length)进行通道数转化，narrow()函数里第一个参数是你需要转换的原始数据，必须是tensor形式。第二个变量dim是你需要转换的具体维度。第三个变量为所选维度中的第几个通道为起点
机械不深度学习·2022-11-19 08:41

泰坦尼克号python数据分析统计服_用Python分析泰坦尼克号乘客生还率

（Titanic:MachineLearningfromDisaster）上入门机器学习（ML）的一个高质量的可选数据集，我们可以用这个数据集实践我们的机器学习知识，熟悉数据分析“数据获取→数据清洗→特征工程
weixin_39669075·2022-11-19 08:29

基于Titanic数据集的数据分析处理及乘客生还率预测全流程教程

基于Titanic数据集的数据分析处理及乘客生还率预测全流程教程0.项目介绍1.使用数据集2.数据的基本统计分析3.数据的属性探查4.数据预处理5.数据的相关性分析6.特征工程7.数据模型构建8.交叉检验
AI算法蒋同学·2022-11-19 07:21

深入浅出PyTorch——主要模块和基础实战

一、深度学习模型训练流程“八股文”1.1机器学习的开发应用步骤：数据搜集——>数据预处理——>特征工程——>划分训练集和测试集——>选择模型——>建立模型（模型+超参数设置）——>设置损失函数——>进行训练以及预测
寂ღ᭄秋࿐·2022-11-19 07:31

特征工程——七大特征处理的方法

以下举例采用的数据集为sklearn中自带的数据，因此在此提前进行读取数据，具体代码如下：#导入包fromsklearn.datasetsimportload_iris#获得数据iris=load_iris()iris.data运行结果如下：（因为数据过大，因此在此处只进行部分展示）1.标准化标准化是依照特征矩阵的列处理数据，即通过求标准分数的方法，将特征转换为标准正态分布，并和整体样本分布相关。
寂ღ᭄秋࿐·2022-11-19 07:00

收藏｜多指标时序预测方式及时序特征工程总结

背景现如今，随着企业业务系统越来越复杂，单指标时间序列预测已不能满足大部分企业需求。在复杂的系统内，如果采用单一的指标进行时间序列预测，由于各个指标相互作用的关系，因此会因为漏掉部分指标因素导致出现预测精确度下降的情况。基于以上背景，多指标时间序列预测出现了。多指标时间序列预测可以将目标值涉及到的所有因素均考虑在内，因此提高了预测的准确性。时间序列概念时间序列是一组按照时间发生先后顺序进行排列的数
云智慧AIOps社区·2022-11-19 06:13

矩池云｜Python生态下用GPU进行数据科学计算加速的实践经验&案例

在Python相关数据科学领域的社区中，近年来有一个计算资源选择的趋势：在数据挖掘阶段，比如数据清洗、抽取和特征工程，开发者基本倾向使用CPU，调CPU下的一些包；进入建模阶段之后，尤其在深度学习任务中
矩池云Matpool·2022-11-19 04:16

NLP项目实战—京东健康智能分诊文本分类项目

文章目录引言一、项目的描述与目标二、项目框架三、文本预处理与特征工程1.文本预处理2.特征工程2.1基于词向量的特征工程2.2基于人工定义的特征四、三个任务1.project12.project23.project3
哎呦-_-不错·2022-11-19 04:13

李宏毅机器学习笔记：深度学习入门简介 反向传播

p=13学习笔记总结深度学习和传统机器学习处理特征的差异；做传统机器学习必须要做特征工程来选择合适的输入特征，但深度学习是可以不用事先做特征工程，而是在隐藏层中完成特征选择抽取深度学习本质就是神经网络的进一步延伸
麻麻在学习·2022-11-19 02:17

从以模型为中心的人工智能到以数据为中心的人工智能《From Model-CentricAl to Data-Centric Al)

原文>>>【学术讲座】从以模型为中心的人工智能到以数据为中心的人工智能【内容概要】1、Model-CentricAI与Data-CentricAl的区别2、Data-CentricAI之特征工程(连续特征与离散特征
吹翻书页的风·2022-11-19 02:28

【机器学习技巧】之特征工程：数字编码以及One-hot独热编码的几种方式（sklearn与pandas处理方式)

本文主要对OneHot独热编码进行了简单介绍，同时介绍了在sklearn与pandas中进行数字编码以及One-hot独热编码的几种方式。目录1.OneHot独热编码介绍1.1为什么要用One-hot编码？1.2One-hot举例1.3One-hot使用范围创建基础数据2.sklearn机器学习中Onehot编码方式2.1将分类特征进行数字编码---LabelEncoder将分类特征数字化2.2O
阿_旭·2022-11-17 15:59

【阿旭机器学习实战】【24】信用卡用户流失预测实战

目录问题描述1.读取数据并分离特征与标签2.特征工程2.1删除无用特征2.2将字符串特征进行编码2.3对特征数据进行归一化3.建模预测与评估问题描述依据某国外匿名化处理后的真实数据集，通过建
阿_旭·2022-11-17 15:29

收藏｜多指标时序预测方式及时序特征工程总结

背景现如今，随着企业业务系统越来越复杂，单指标时间序列预测已不能满足大部分企业需求。在复杂的系统内，如果采用单一的指标进行时间序列预测，由于各个指标相互作用的关系，因此会因为漏掉部分指标因素导致出现预测精确度下降的情况。基于以上背景，多指标时间序列预测出现了。多指标时间序列预测可以将目标值涉及到的所有因素均考虑在内，因此提高了预测的准确性。时间序列概念时间序列是一组按照时间发生先后顺序进行排列的数
·2022-11-17 10:52

LSTM 时间序列预测+股票预测案例(Pytorch版)

文章目录LSTM时间序列预测股票预测案例数据特征对收盘价(Close)单特征进行预测1.导入数据2.将股票数据收盘价(Close)进行可视化展示3.特征工程4.数据集制作5.模型构建6.模型训练7.模型结果可视化
零碎@流年絮语·2022-11-17 09:06

这或许是全网最全时间序列特征工程构造的文章了

由此可见，特征工程在机器学习中占有相当重要的地位。在实际应用当中，可以说特征工程是机器学习成功的关键。那特征工程是什么？
Python数据挖掘·2022-11-17 07:44

2022年Python顶级自动化特征工程框架⛵

特征工程一般是手动完成，不仅依赖于工程师的丰富经验，也非常耗时。因此『自动化特征工程』可以自动生成大量候选特征，帮助数据科学家显著提升了工作效率和模型效果。
·2022-11-16 23:24

风控建模二、特征工程---风控

本节主要将风控中比较常见的特征工程。目录目录一、分箱1.1Best-KS1.2卡方分箱法（ChiMerge）二、WOE和IV2.1两种woe处理分类问题。
沐自礼·2022-11-16 20:59

数据预处理和特征工程

数据预处理：从数据中检测、纠正、删除损坏的不准确的或者不适用于模型记录的过程目的：让数据更加适应模型，匹配模型需求特征工程：将原始数据转换为更能代表预测模型的潜在问题的特征工程。
可怜又无助的迪迪迪·2022-11-16 13:00

sklearn-数据预处理与特征工程

1数据预处理Preprocessing&Imputepreprocessing.MinMaxScaler数据归一化MinMaxScaler有一个重要参数，feature_range，控制我们希望把数据压缩到的范围，默认是[0,1]。使用feature_range控制参数范围当X中的特征数量非常多的时候，fit会报错并表示，数据量太大了我计算不了，此时使用partial_fit作为训练接口，scal
CHEN的小喵·2022-11-16 13:29

数据预处理与特征工程—10.图像切割与特征提取

文章目录引言一、图像切割二、特征提取1.各阶颜色矩的计算公式三、python实现水质图像数据—百度网盘链接提取码：1234引言  本文以水质图像为例，进行图像切割与特征提取一、图像切割  一般情况下，采集到的水样图片包含盛水容器，且容器颜色与水体颜色差异较大，同时水体位于图片中央，所以为了提取水色特征，就需要提取水样图片中央部分具有代表意义的图像，具体实施方式是提取水样图像中央101×101像素的
哎呦-_-不错·2022-11-16 13:29

大数据导论第二章——数据预处理与特征工程

一、数据预处理数据预处理的目标*数据预处理的目标就是要从数据分析要解决的问题出发，产生高质量的、能够满足分析需求、提高分析质量的数据集。从现实生活中收集到的原始数据都是低质量的数据集，会存在数据缺失、有噪音等问题；而用低质的数据直接进行分析得到的分析结果也是低质的。为了得到可靠的分析结果，首先得有高质量的数据集，因此数据预处理的目标就是得到高质量的数据集。评价数据集的指标：（从数据收集与数据处理两
banna127·2022-11-16 13:58

数据预处理与特征工程概述

文章目录前言一、数据挖掘的五大流程1.获取数据2.数据预处理3.特征工程4.建模，测试模型并预测出结果5.上线，验证模型效果二、sklearn中的数据预处理和特征工程总结前言加油，坚持住，跟着菜菜继续学一
功夫大笨鲨·2022-11-16 13:25

梳理数据预处理与特征工程全流程

上面是一个经典的数据分析流程，而我想要研究的，其实就是图中的数据探索、预处理、特征工程，换句话说，就是拿到数据之后，到建模之前，我
JessssseYule·2022-11-16 13:55

数据预处理与特征工程

数据预处理与特征工程一、数据预处理在利用机器学习处理问题的过程中，通常会对原始数据进行数据清洗操作来提高数据质量。这一过程被称为数据预处理。
abtgu·2022-11-16 13:23

【2022版】基于矩阵分解的PCA 白化&ZCA白化

【2022版】基于矩阵分解的PCA白化&ZCA白化@author:Heisenberg主成分分析（principalcomponentanalysis,PCA）是一种常用的数据降维算法。
SUFEHeisenberg·2022-11-16 11:02

【机器学习基础】数学推导+纯Python实现机器学习算法18：奇异值分解SVD

Python机器学习算法实现Author：louwillMachineLearningLab奇异值分解（SingularValueDecomposition，SVD）作为一种常用的矩阵分解和数据降维方法
风度78·2022-11-15 13:09

机器学习——特征工程（3分钟的超详细介绍）

目录1什么是特征工程？2数据预处理和特征处理2.1数据预处理2.2特征处理3特征降维3.0什么是特征降维？
Joker_咖啡逗·2022-11-15 11:48

【机器学习】目标函数总结

二、机器学习算法分类三、有监督学习的目标函数概述1.分类问题2.回归问题3.数据生成模型四、无监督学习的目标函数1.聚类2.数据降维五、强化学习参考链接一、为什么需要目标函数？
想变厉害的大白菜·2022-11-15 09:06

数据挖掘机器学习[四]---汽车交易价格预测详细版本｛嵌入式特征选择（XGBoots,LightGBM），模型调参（贪心、网格、贝叶斯调参）｝

题目出自阿里天池赛题链接：零基础入门数据挖掘-二手车交易价格预测-天池大赛-阿里云天池相关文章：特征工程详解及实战项目【参考】数据挖掘---汽车车交易价格预测[一](测评指标；EDA)数据挖掘机器学习-
汀、·2022-11-15 09:00
上一页 35 36 37 38 39 40 41 42 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他