特征工程-数据降维第10页

机器学习-概述与贝叶斯算法

机器学习的一般步骤：数据搜集、数据清洗、特征工程、数学建模。数据划分：训练集、验证集、测试集。K折交叉验证：解决数据量不够大问题，解决参数调优问题。深度学习不用做特征工程，传统机器学习要。

小蒋的技术栈记录·2023-10-13 06:06

PCA怎么玩儿

我认为这个主要的定义取决于你的目的，PCA的目的是数据降维的，我们对数据降维的基本要求就是，维度要降下来，但是数据之间依然要能相互区分。因此，降维就是要删掉大家共有的信息，留下各自独有的信息

cheerss·2023-10-12 21:10

深度学习笔记（python 面向对象高级编程）

【ML机器学习|DL深度学习|CV计算机视觉|NLP自然语言处理】_哔哩哔哩_bilibili机器学习流程数据获取特征工程（最核心的部分）建立模型评估与应深度学习解决了怎么提取特征？

NightHacker·2023-10-12 07:15

特征工程分析常见方法

1概述特征工程是一个超集，它包括特征提取、特征构建和特征选择这三个子模块。在实践当中，每一个子模块都非常重要，忽略不得。

Kellem_·2023-10-12 01:09

【AI】深度学习——人工智能、深度学习与神经网络

文章目录0.1如何开发一个AI系统0.2表示学习(特征处理)0.2.1传统特征学习特征选择过滤式包裹式L1L_1L1正则化特征抽取监督的特征学习无监督的特征学习特征工程作用0.2.2语义鸿沟0.2.3表示方式关联

AmosTian·2023-10-10 15:11

二手车价格预测

拟合各种分布并作图2.2.2偏度和峰度偏度skewness峰度kurtosis2.3数值特征和类别特征2.3.1数值型特征分析相关性分析2.3.2类别型特征分析3、数据处理异常处理（nσ原则）数据分桶4、特征工程

nolabel·2023-10-09 12:35

langchain源码阅读系列之Embedding专题

而文本嵌入是一种将文本这种离散数据映射到连续向量空间的方法，嵌入技术可以将高维的离散数据降维到低维的连续空间中，并保留数据之

骑猪兜风233·2023-10-09 01:37

特征工程—PCA与SVD降维基础

对于一张表，维度可以是样本数量，也可以是特征数量，一般情况是特征数量特征矩阵：特指二维数据，只有行列，构成表，通常是dataframe降维：降低特征矩阵的特征数量，可以将高维数据转化为三维以下数据进行可视化，并且加快算法的运行。sklearn中使用decomposition模块进行降维操作。主成分分析=降维=PCA,SVD：降维后包含特征的主成分，无用特征可能是噪音。sklearn中有两种降维方式

单手法拉利·2023-10-08 19:27

数据降维（PCA算法在数据降维中的应用）

维度灾难在实际问题中，我们常常会遇到采集到的数据特征数量过多的情况，甚至有时会出现训练集容量比特征数量还少的极端情况（在图片处理领域尤其常见），然而事实上，并不是采集到的每一个特征都对模型有训练意义。维度的增加会导致相当棘手的情况出现，这通常会带来训练数据在高维空间的稀疏性质，为了获得在统计学上正确并且有可靠的结果，用来支撑这一结果所需要的数据量通常随着维数的提高而呈指数级增长。此外，维度的增加会

薛定谔的猫王·2023-10-08 19:57

PCA和SVD数据降维

PCA（PrincipalComponentAnalysis）是一种常见的数据分析方式，常用于高维数据的降维，可用于提取数据的主要特征分量。最大可分性基向量乘原始矩阵会将矩阵映射到这个基向量空间中，如果基的数量少于向量本身的维数，则可以达到降维的效果。如何选取基？希望投影后的投影值尽可能分散，因为如果重叠就会有样本消失。当然这个也可以从熵的角度进行理解，熵越大所含信息越多。数据的分散程度可以用方差

accosmos·2023-10-08 19:25

matlab数学建模方法与实践笔记汇总

全部代码笔记2：数据的准备1.数据的读取与写入excel、txt读图读视频2.数据预处理缺失值噪声过滤数据归约数据变换3.数据统计4.数据可视化P431.m柱状分布图常见统计量绘制于分布图中数据关联箱型图5.数据降维

是Yu欸·2023-10-08 10:15

Sklearn入门

是机器学习领域当中最知名的python模块之一.Sklearn包含了很多种机器学习的方式:Classification分类Regression回归Clustering非监督分类Dimensionalityreduction数据降维

Chen_Chance·2023-10-08 06:52

机器学习入门（六）——特征工程（上）

1.0whatis特征工程？关于特征工程比较官方的定义为：特征工程是利用数据领域的相关知识来创建能够使机器学习算法达到最佳性能的特征的过程。

yyoung0510·2023-10-08 01:02

金融风控之贷款违约预测挑战赛 Task3

1、导入数据略2、查看数据略3、特征工程fromtqdmimporttqdmfromsklearn.preprocessingimportLabelEncoderfromsklearn.feature_selectionimportSelectKBest

怕热的波波·2023-10-07 14:24

人工智能（AI）基础知识学习库

人工智能（AI）基础知识学习库1.AI算法2.基础科普3.数学基础4.深度学习5.特征工程6.机器学习7.语音交互8.自然语言处理9.计算机视觉声明：此文仅作为个人学习记录人工智能（AI）基础知识学习库链接

77wpa·2023-10-07 08:38

Python数据攻略-Pandas与机器学习数据准备

文章目录数据编码与标准化One-hot编码LabelEncoding数值数据的标准化和归一化Z-score标准化Min-Max归一化特征工程基础创建多项式特

Mr数据杨·2023-10-06 21:00

机器学习基础之《分类算法（9）—分类算法小结》

一、转换器与预估器转换器-做特征工程预估器-封装了机器学习算法二、KNN算法根据你的邻居来确定类别谁是邻居距离公式欧式距离曼哈顿距离闵可夫斯基距离K的取值找到最近的几个邻居K过小，容易受到异常值的影响K

csj50·2023-10-06 15:36

使用Python进行逻辑回归建立评分卡的完整示例代码，包括数据预处理、分箱、特征工程、共线性剔除、模型评估和信用评分规则制定的过程

废话不多说直接上代码：importpandasaspdimportnumpyasnpfromsklearn.linear_modelimportLogisticRegressionfromsklearn.model_selectionimporttrain_test_splitfromsklearn.metricsimportaccuracy_score,roc_auc_scorefromstat

田晖扬·2023-10-06 15:05

卷积神经网络-卷积层

其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化特征，例如像素和音频进行学习、有稳定的效果且对数据没有额外的特征工程要求。网络

会的东西有点杂·2023-10-06 07:36

ApacheCN 深度学习译文集 20201218 更新

新增了四个教程：Python人工智能中文版0前言1人工智能简介2人工智能的基本用例3机器学习管道4特征选择和特征工程5使用监督学习的分类和回归6集成学习的预测分析7通过无监督学习检测模式8构建推荐系统9

布客飞龙·2023-10-06 03:55

Python数据科学基础教程

本文将从以下几个方面对Python数据科学进行讲解：数据准备与预处理：如何进行数据导入、清洗、特征工程等操作；数据探索与可视化：数据量、数据分布、相关性、缺失值分析、变量分布等；数据建模：包括线性回归、

禅与计算机程序设计艺术·2023-10-05 03:22

［转］sklearn中MinMaxScaler/StandardScaler的区别

原文链接：https://www.zhihu.com/question/20467170/answer/839255695，感谢作者通常来说，它们都是指特征工程中的特征缩放过程，由于中文翻译的原因，网上对它们的解释也是五花八门

qtey·2023-10-04 03:18

WSDM顶会 & 爱奇艺 - 基于时间序列和多模型融合的用户留存预测挑战赛

ps：冠军团队方案，本文只复刻了冠军方案特征工程和机器学习部分，无涉及深度学习部分。

talle2021·2023-10-03 07:29

实验篇——根据群体经纬度提取环境数据（数据降维）

实验篇——根据群体经纬度提取环境数据（数据降维）文章目录前言一、先导二、R语言实现2.1.分气温、降水、光照、风速、蒸汽压划分数据集2.2.对每个数据集降维处理2.2.1.气温2.2.2.降水2.2.2

星石传说·2023-09-30 20:07

数据预处理与模型评估【机器学习、人工智能、实际事例】

数据预处理是机器学习中不可或缺的步骤，它包括数据清洗和特征工程两个主要方面。数据清洗数据清洗涉及识别和处理数据中的错误、异常或

修炼室·2023-09-30 15:13

DataWhale 推荐系统实战_新闻推荐 Task2 数据分析

二龙山高哥·2023-09-30 02:38

机器学习——KNN算法流程详解（以iris为例）

目录前情说明问题陈述数据说明KNN算法流程概述代码实现前情说明本书基于《特征工程入门与入门与实践》庄家盛译版P53也K最近邻（KNN）算法进行讲解问题陈述Iris鸢尾花数据集内包含3类分别为山鸢尾（Iris-setosa

JSU_曾是此间年少·2023-09-29 11:33

chatgpt赋能python：Python取ln函数详解：用法及常见问题解答

在计算机科学中，ln函数也常常被用来做复杂数据运算，如常用的数据降维

tutan123321·2023-09-29 01:08

工业蒸汽量预测（速通二）

工业蒸汽量预测（二）特征工程1.数据预处理和特征处理1.1数据预处理1.2特征处理2.特征降维2.1特征选择2.2多重共线性分析2.3线性降维模型训练1回归模型训练和预测2线性回归模型3K近邻回归模型4

盖盖的博客·2023-09-28 23:28

ShallowLearner·2023-09-28 14:12

【机器学习】随机森林（Random Forest）、GBDT（Gradient Boosting Decision Tree）、XGBoost（eXtreme Gradient Boosting）

创建一个引导数据集根据引导数据集创建决策树，每一步用变量的一个随机子集（列的随机子集）创建不断重复上述两个过程bagging：bootstrapping+aggregateGBDT好处：决策树算法相比于其他的算法需要更少的特征工程

小丫么小阿豪·2023-09-27 21:47

有监督学习、无监督学习

无监督学习：数据降维、聚类问题数据降维：对事物的特性进行压缩和筛选。例如对图像的像素进行识别，数据维度会非常高，所以会进行数据降维。聚类问题：根据数据的相似性，把

别狗了·2023-09-26 20:34

机器学习总结

在深度学习兴起之前，很多领域建模的思路是投入大量精力做特征工程，将专家对某个领域的“人

gridlayout·2023-09-26 10:13

SPSS软件应用回顾：5月汇总

目录1数据测量级别（标度、名义、有序）2数据降维（主成分分析、因子分析）2.1主成分分析（PCA）2.2因子分析（FactorAnalysis）2.3二者区别3二元罗吉斯回归虚拟变量生成4两个变量的相关性如何分析

@Silhouette_·2023-09-26 04:09

如何使用Python进行推荐算法开发？

玥沐春风·2023-09-25 07:59

深度模型（八）：Wide And Deep

特征的交叉非常有效并且可解释性也很好，但是为了提高模型泛化能力，需要大量的特征工程工作。深度神经网络可以更好的通过稀疏特征的低纬稠密向量泛化到非显性的特征组合。

jony0917·2023-09-25 05:36

R可视乎｜主成分分析结果可视化

简介主成分分析法是很常用的一种数据降维方法。该方法可以减少数据的维数，并保持对方差贡献最大的特征，相当于保留低阶主成分，忽略高阶主成分。

庄闪闪·2023-09-25 02:02

机器学习笔记1

贝叶斯分类、决策树和随机森林、逻辑回归目标值：连续型的数据-回归问题回归算法：线性回归、岭回归无监督学习：目标值：无-无监督学习算法：聚类K-means2、机器学习开发流程1）获取数据2）数据处理3）特征工程

从白天到早上·2023-09-24 16:35

特征工程1

特征工程概述在做数据挖掘项目或是kaggle等机器学习比赛的时候，都会开始对数据进行的探索和可视化分析然后是一堆的预处理将数据转为需要的数字表格，再最后传入模型训练。

haleyprince·2023-09-23 22:31

机器学习第十三课--主成分分析PCA

二.数据降维除了有效利用高维的数据之外，我们也可以思考一个问题:“高维数

好人cc·2023-09-23 08:18

使用scikit-learn进行特征选择

参考文章：《特征工程入门与实践》——第5章特征选择：对坏属性说不信用卡逾期数据集：creditcardclientsDataSet本文代码开源链接：FeatureSelection本文主要以信用卡逾期分类任务作为案例

活用数据·2023-09-21 18:25

强烈强烈安利3个Python数据分析EDA神器！

EDA是数据分析必须的过程，用来查看变量统计特征，可以此为基础尝试做特征工程。东哥这次分享3个EDA神器，其实之前每一个都分享过，这次把这三个工具包汇总到一起来介绍。

Python老猿·2023-09-21 11:34

机器学习——特征工程和评价指标

0、前言：首先学习特征工程这部分知识之前，要对机器学习的算法用过使用。1、特征工程：就机器学习的数据而言，特征就是数据的列名，有多少列，就有多少个维度的特征。

疋瓞·2023-09-21 09:44

机器学习——pca降维/交叉验证/网格交叉验证

1、pca降维：目的是提升模型训练速度定义：使用方法：给训练数据或者测试数据进行降维处理给训练数据降维给测试数据降维：这里1就要用transform，而不是fit_transform，因为之前训练数据降维时特征已经确定

疋瓞·2023-09-21 09:11

特征工程-数据分类

特征工程将数据转换为能更好地表示潜在问题地特征，从而提高机器学习的性能。定量数据和定性数据定量数据本质上是数值，应该是衡量某样东西的数量。定性数据本质上是类别，应该是衡量某样东西的性质。

00_zero·2023-09-21 00:38

python风控建模_风控建模之特征筛选与建模（python）

特征筛选在建模之前的一步就是将特征工程做好的变量进行筛选，在风控项目中筛选分为两步：初步筛选、逐步回归筛选以及稳定性筛选。

weixin_39573512·2023-09-20 18:52

基于关联规则(Apriori)+协同过滤(collaborative filtering)实现电影推荐系统

smile_小北·2023-09-20 11:29

机器学习：特征工程基本流程

一、背景概述特征工程是使用专业背景知识和技巧处理数据，使得特征能在机器学习算法上发挥更好的作用的过程，指的是把原始数据转变为模型的训练数据的过程，它的目的是使模型的性能得到提升。

向着光噜噜·2023-09-20 06:24

【机器学习】特征预处理

由此可见，特征工程在机器学习中占有相当重要的地位。在实际应用当中，可以说特征工程是机器学习成功的关键。那特征工程是什么？

人工智·2023-09-20 03:01

特征工程建模可解释包（note）

PermutationImportance一般情况下，使用集成算法去看特征重要性比较好。关注某一个特征，计算其permutationimportance:训练好当前模型考虑特征A对模型结果的影响。将特征A打乱顺序，比较模型结果，误差是否变得更大。如果误差改变不大，说明该特征不重要，如果误差改变大，则重要。工具包eli5https://eli5.readthedocs.io/en/latest/tu

闪闪发亮的小星星·2023-09-19 18:30

推荐频道

特征工程-数据降维