特征工程-数据降维第17页

sklearn中的数据预处理和特征工程

1sklearn中的数据预处理和特征工程sklearn中包含众多数据预处理和特征工程相关的模块，sklearn六大板块中有两块都是关于数据预处理和特征工程的*模块preprocessing：几乎包含数据预处理的所有内容

Punster_c94b·2023-04-17 21:22

奇异值分解

在人工智能非常流行的今天，奇异值分解也不仅仅只是一个数学问题，而被更广泛地应用到图片压缩，图片去噪，数据降维，推荐系统等等方面中去。本文将着

光的文明·2023-04-17 20:43

基于 Python 的 11 种经典数据降维算法

这里有个GitHub项目整理了使用Python实现了11种经典的数据抽取(数据降维)算法，包括：PCA、LDA、MDS、LLE、TSNE等，并附有相关资料、展示效果;非常适合机器学习初学者和刚刚入坑数据挖掘的小伙伴

帅气滴点C·2023-04-17 00:02

【机器学习】三大树模型实战乳腺癌预测分类

本文从数据的探索分析出发，经过特征工程和样本均衡性处理，使用决策树、随机森林、梯度提升树对一份女性乳腺癌的数据集进行分析和预测建模。

风度78·2023-04-16 15:43

基于t-SNE的Digits数据集降维与可视化

基于t-SNE的Digits数据集降维与可视化描述t-SNE(t-分布随机邻域嵌入)是一种基于流形学习的非线性降维算法，非常适用于将高维数据降维到2维或者3维，进行可视化观察。

九灵猴君·2023-04-16 08:50

数据预处理与特征工程

1.数据预处理概念：数据预处理是从数据中检测，纠正或删除损坏，不准确或不适用模型的记录的过程可能面对的问题：数据类型不同：比如有的是文字，有的是数字，有的含时间序列，有的连续，有的离散数据的质量不行：有噪声，有异常，有缺失，数据出错，量纲不一，有重复，数据是偏态，数据量太大或太小数据预处理的目的：让数据使用模型，匹配模型的需求1.1数据无量纲化数据的无量纲化是指将不同规格的数据转换到统一规格，或者

从数分到数疯·2023-04-15 23:04

通过KNN分类模型预测股票涨跌，然后与基准收益画图对比

目录1获取数据2特征工程：定义一个用于分类的函数3特征工程：生成训练数据4根据训练数据对分类模型进行拟合，并给出得分5使用训练完成的分类模型进行数据预测6定义几个有用的函数7生成基准收益和策略收益对比结果记录一下学习过程

老狼8848·2023-04-15 21:37

低秩矩阵分解LORA大模型加速微调和训练算法

带领着大模型像雨后春笋一般层出不穷，大家都对大模型微调跃跃欲试，现在咱们聊聊其中的常见的算法1低秩矩阵分解LORA理论低秩矩阵分解（LowRankMatrixFactorization，LRMF）是一种常见的数据降维技术

dream_home8407·2023-04-15 13:38

用户贷款违约预测-Top1方案-单模0.9414

用户贷款违约预测-Top1方案-0.9414赛题描述特征工程分组统计分箱标准化归一化类别特征二阶组合模型搭建构建模型进行训练和预测赛题描述用户贷款违约预测，分类任务，label是响应变量。

Kilig*·2023-04-15 10:08

爱学习的菜鸟罢了·2023-04-15 08:25

特征交互新路线|阿里 Co-action Network论文解读

这个工作提供了一种新的特征交互思路，在「特征工程上手动特征交叉」和「模型上自动特征交叉」之间做了折衷，也是「记忆性

文文学霸·2023-04-15 03:11

零基础入门数据挖掘-Task3 特征工程

常见的特征工程包括：异常处理：1.通过箱线图（或3-Sigma）分析删除异常值；2.BOX-COX转换（处理有偏分布）；3.长尾截断；特征归一化/标准化：1.标准化（转换为标准正态分布）；2.归一化（抓换到

上善若水弱水三千·2023-04-15 03:23

Python神经网络1之TensorFlow

TensorFlow框架介绍TensorFlow结构分析案例加法展示图与TensorBoard图相关操作默认图创建图TensorBoard：可视化学习OP深度学习介绍深度学习与机器学习的区别特征提取方面机器学习的特征工程步骤是要靠手动

VillanelleS·2023-04-15 02:40

如何在 Python 中设计日期功能

就像任何编写代码并发现自己多次做同一件事的人一样，我想通过自动化一些常见的日期处理任务以及一些简单而频繁的特征工程来

Python学研大本营·2023-04-14 21:57

【数据分析】— 特征工程、特征设计、特征选择、特征评价、特征学习

【数据分析】—特征工程特征工程是什么？(FeatureEngineering)特征工程的意义特征工程的流程特征的设计从原始数据中如何设计特征？

之墨_·2023-04-14 13:00

数据预处理与特征工程初步

Intro使用鸢尾花数据集：fromsklearn.datasetsimportload_irisdata=load_iris()features=data.datalabels=data.target其中features是特征矩阵，labels是真实分类。1.预处理（preprocessing）1.1预处理的目的数据预处理的目的在于：使得特征数据在处理后，能让学习模型得到更好的效果。预处理通常会

uglybachelor·2023-04-14 08:17

python数据降维

1.数据为何要降维降低模型的计算量，减少模型运行时间，减少数据存储空间；降低噪音变量信息对于模型结果的影响；它通过删除冗余的特征来处理多重共线性问题。例如，你有两个变量-“在跑步机上花费的时间”和“燃烧的卡路里”。这些变量是高度相关的，因为你在跑步机上花费的时间越多，你燃烧的卡路里就越多。因此，存储两个变量都没有意义，只有其中一个可以满足需求；较简单的模型在小数据集有更强的鲁棒性；当数据能用较少的

萧居士·2023-04-14 02:32

机器学习系列十三：数据降维

1.PCA主成分分析(PCA)是另一种常用的数据降维方法，它属于无监督学习算法。PCA旨在找到数据的主成分，并利用这些主成分表征原始数据，从而达到降维的目的。

小小小读书匠·2023-04-14 02:56

数据降维方法

来源：博客园链接：https://www.cnblogs.com/guoyaohua/p/8855636.html引言：机器学习领域中所谓的降维就是指采用某种映射方法，将原高维空间中的数据点映射到低维度的空间中。降维的本质是学习一个映射函数f:x->y，其中x是原始数据点的表达，目前最多使用向量表达形式。y是数据点映射后的低维向量表达，通常y的维度小于x的维度（当然提高维度也是可以的）。f可能是显

大数据技术派·2023-04-14 02:20

基于PCA与LDA的数据降维实践

基于PCA与LDA的数据降维实践描述数据降维（DimensionReduction）是降低数据冗余、消除噪音数据的干扰、提取有效特征、提升模型的效率和准确性的有效途径，PCA（主成分分析）和LDA（线性判别分析

九灵猴君·2023-04-14 02:47

python多进程读取大量小文件

不了解数据具体情况前，进行特征工程时候，至少需要遍历一遍所有文件，如果使用pandas的read_csv方法去循环遍历读取，速度慢的令人发指，比赛提交作品

知识不足恐惧症·2023-04-14 01:16

几行 Python 代码就可以提取数百个时间序列特征

数据科学家需要执行相关的特征工程，将数据的重要特征捕获到几个指标中。生成

爱打羽毛球的小怪兽·2023-04-13 20:32

基于LDA+SVM实现人脸识别模型

前面章节中我们已经学习了支持向量机（SVM），该算法在图像分类领域应用非常广泛，本任务要求结合学过的数据降维算法（LDA、PCA），使用SVM构建人脸识别模型，对比评估不同降维算法下的识别准确率。

九灵猴君·2023-04-13 19:41

使用 sklearn 的特征工程

文章目录特征工程数据预处理特征处理特征降维特征选择线性降维特征工程特征工程的处理流程为：去掉无用特征、去掉冗余特征（如共线性特征）利用存在的特征、转换特征、内容中的特征以及其他数据源生成新特征对特征进行转换

Air浩瀚·2023-04-13 18:59

【将fisheriris、COIL20与MNIST三个数据集输入非负矩阵分解算法中再通过Kmeans聚类并得到聚类评价（精度、NMI）】

非负矩阵分解非负矩阵分解（NMF）是一种常用的数据降维和特征提取方法，而Kmeans则是一种常用的聚类算法。

落叶霜霜·2023-04-13 00:22

多元统计分析-半导体数据降维

1.案例介绍半导体是在一些极为先进的工厂中制造出来的。工厂或制造设备不仅需要花费上亿美元，而且还需要大量的工人。制造设备仅能在几年内保持其先进性，随后就必须更换了。单个集成电路的加工时间会超过一个月。在设备生命期有限，花费又极其巨大的情况下，制造过程中的每一秒钟都价值巨大。如果制造过程中存在瑕疵，我们就必须尽早发现，从而确保宝贵的时间不会花费在缺陷产品的生产上。一些工程上的通用解决方案是通过早期测

轩Scott·2023-04-12 23:19

机器学习 01

目录一、机器学习二、机器学习工作流程2.1获取数据2.2数据集2.2.1数据类型构成2.2.2数据分割2.3数据基本处理2.4特征工程2.4.1什么是特征工程2.4.2为什么需要特征工程(FeatureEngineering

Darren_pty·2023-04-12 22:48

Spark ML统计指标以及最优参数评估指标深入剖析-Spark商业ML实战

QQ邮箱地址：[email protected]，如有任何商业交流，可随时联系刚开始写作本文时，并没有感觉太难，后面在写特征工程方面时，发现很多指标问题，不得开始挖掘统计指标，居然发现ROC我之前理解有误

weixin_34160277·2023-04-12 20:52

Python drop()删除行列的操作方法

在进行特征工程、划分数据集的工作中，drop()函数都能派上用场。它可以轻松剔除数据、操作列和操作行等。

·2023-04-12 12:54

sklearn 数据处理与特征工程

1、数据处理的流程2数据预处理Preprocessing&Impute2.1数据无量纲化在机器学习算法实践中，我们往往有着将不同规格的数据转换到同一规格，或不同分布的数据转换到某个特定分布的需求，这种需求统称为将数据“无量纲化”。譬如梯度和矩阵为核心的算法中，譬如逻辑回归，支持向量机，神经网络，无量纲化可以加快求解速度；而在距离类模型，譬如K近邻，K-Means聚类中，无量纲化可以帮我们提升模型精

R戎·2023-04-12 08:44

机器学习基础理论学习笔记（8）特征选择（feature selection）（一）

1.特征选择特征选择是特征工程里的一个重要问题，其目标是寻找最优特征子集。特征选择能剔除不相关(

Tony Einstein·2023-04-12 08:42

R语言入门--第十三节（PCA与EFA分析）

主成分分析PCA概念：使数据降维，将大量相关变量转化为很少的不相关变量，这些无关变量称为主成分；而一个主成分是所有

小贝学生信·2023-04-11 18:56

计算机科学和Python编程导论-第14课

特征向量和距离度量所谓的特征向量，在我理解就是特征工程中将一组特征组合在一起成为一个特征向量。距离度量可以参照之前李航-第3章k近临法的度量实例点的相似程度。距离度量In[1]:...

瘦长的丰一禾·2023-04-11 16:17

数学建模 —— 降维算法

文章目录前言数据降维的作用一、主成分分析（PCA）1.介绍2.算法流程3.主成分分析的说明二、因子分析（FA）1.介绍2.算法流程3.因子分析和主成分分析的对比三、典型相关性分析（CCA）1.介绍2.算法思路

Hope Cordial·2023-04-10 11:29

时间序列预测的特征工程

时间序列预测的特征工程创建滞后、窗口和季节性特征，执行插补和编码，提取日期时间变量，移除异常值。

IT教程精选·2023-04-09 22:01

机器学习01案例-预测facebook签到位置

案例：预测facebook签到位置流程分析： 1）获取数据 2）数据处理目的：特征值x 目标值y a.缩小数据范围 2年月日时分秒 c.过滤签到次数少的地点数据集划分 3）特征工程

自由小冰儿·2023-04-09 21:31

机器学习笔记（6）

个人自己创建数据，实现分类任务本次组队学习不太设计特征工程内容，只是学习算法的内容，对数据简单的归一化就行创建数据示例如图所示：'''LogisticRegression算法练习'''#第一步：数据准备

trying52·2023-04-09 11:17

自动特征生成框架OpenFE使用示例

前言在表格数据的建模中，特征工程至关重要，OpenFE框架可以帮助我们快速找到有效益的交叉特征，并且提供一定的可解释性这里提供论文地址，我在博客中也对这篇论文进行了解读，OpenFE的项目地址和官方文档在使用

羽星_s·2023-04-09 10:28

金融风控之贷款违约预测挑战赛 Task4

1、导入数据略2、查看数据略3、特征工程略4、建模与调参4.1模型原理学习逻辑回归模型（已学完）训练速度快、可解释性好、占用资源少需要处理缺失值和异常值；不能解决非线性问题；难处理多重共线性数据，难处理数据不均衡

怕热的波波·2023-04-09 09:18

【机器学习】数据预处理与特征工程

数据预处理与特征工程 目录1.特征提取背景2数据预处理a.数据格式化b.数据清理c.数据采样3.特征工程a.缩放b.分解c.聚合3.1特征标准化3.2范数归一化3.3尺度归一化4特征阈值二值化处理5缺失的数据的处理

紫钺-高山仰止·2023-04-09 08:48

SVD奇异值分解

奇异值分解（SingularValueDecomposition，简称为SVD）是机器学习中非常基础的算法，主要用于数据降维，推荐系统以及自然语言处理等方面，本节内容先来介绍其数学原理。

Black先森·2023-04-09 05:41

机器学习笔记：t-SNE

0前言t-SNE（t-DistributedStochasticNeighborEmbedding）是一种非常常用的数据降维，常用于数据可视化t-SNE/SNE的基本原理是：在高维空间构建一个概率分布拟合高维样本点间的相对位置关系在低维空间

UQI-LIUWJ·2023-04-08 15:18

5.数据降维

PrincipalComponentAnalysis输入1.样本集2.低维空间维数d输出投影矩阵算法步骤1.中心化2.协方差矩阵以及特征分解3.投影矩阵最大的d个特征值对应的特征向量.d***1.通过交叉验证法选取较好的d(在降维后的学习器的性能比较好)设置一个阈值***

BlueFishMan·2023-04-08 09:23

Kaggle入门实战：Titanic - Machine Learning from Disaster

Kaggle入门实战：Titanic-MachineLearningfromDisasterTitanic项目关于数据数据概括数据字段描述官方教程代码数据分析总体思路初步分析数值型数据属性型数据特征工程模型准备不同模型对比

cici9811·2023-04-08 02:37

AI学习笔记（十五）自然语言处理基本概念

AI学习笔记之自然语言处理自然语言处理(NaturalLanguageProcessing）自然语言简介自然语言处理的难点自然语言处理的现状基于深度学习的自然语言处理NLP的处理过程获取预料语料预处理特征工程模型训练

Lee森·2023-04-07 07:03

利用Matlab中的pca函数进行数据降维

前言Matlab中关于pca函数的说明写得并不直观，很多人最直接的目的只是想得到pca降维后的结果，但是根据官方解释文档，很难一下看出哪个输出参数才是最终降维后的特征。因此，本文记录如何使用Matlab中自带的pca函数对数据进行降维。PS.本文并不详解pca的原理，仅仅记录如何使用Matlab中的pca函数。使用[coeff,score]=pca(X)输入参数：X是nxd的样本矩阵，其中n表示样

姚远_HIT·2023-04-07 06:10

什么是数据探索？

箱型图箱型图介绍箱型图样式**五大因数**怎么移除异常值特征工程什么是特征工程变量的转换变量转换的一般方法简介数据探索是在具有较为良好的样本后，对样本数据进行解释性的分析工作。

OPTree412·2023-04-06 21:45

【信用评分预测模型（三）】PCA主成成分分析

步骤1.标准化2.VIF多重共线性检验（1）缺失值处理，VIF检验3.模型训练4.方差百分比与累计方差贡献总结前言主成分分析（PrincipalComponentsAnalysis），简称PCA，是一种数据降维技术

Christ1018·2023-04-06 18:44

Deep Learning学习笔记之无监督学习

无监督学习无监督深度学习深度学习的分类无监督学习的分类无监督特征学习聚类问题K-MeansHAC,HierarchicalAgglomerativeClustering数据降维PCANon-NegativeMatrixFactorization-NMF

胖虎干嘛了·2023-04-06 12:06

【精通特征工程】学习笔记（二）

【精通特征工程】学习笔记Day2&2.5&D3章&P33-51页3、文本数据:扁平化、过滤和分块3.1元素袋:将自然文本转换为扁平向量3.1.1词袋一个特征就是一个单词，一个特征向量由这个单词在每篇文档中出现的次数组成

小小孩儿的碎碎念·2023-04-05 21:17

推荐频道

特征工程-数据降维