特征工程-数据降维第21页

OpenMMLab 实战营打卡 - 第 2课

机器学习适合低维数据，从特征工程到特征学习，分多步骤完成可学习的特征提取，将多个简单特征变换复合构成一个复杂的端到端的分类器。

代码的小白~·2023-02-04 07:12

Python数模笔记-Sklearn（3）主成分分析

主成分分析（PrincipalComponentsAnalysis，PCA）是一种数据降维技术，通过正交变换将一组相关性高的变量转换为较少的彼此独立、互不相关的变量，从而减少数据的维数。

分发吧·2023-02-03 20:54

openmmlab第一课

计算机视觉应用场景广泛自动驾驶方案动漫特效图像生成、风格迁移视频理解与自动剪辑计算机视觉发展计算机视觉从传统学习演变到如今深度学习网络，传统的计算机视觉主要是以特征工程为主，后来随着AlexNet的诞生

Fighting_1997·2023-02-03 15:28

特征工程系列：数据清洗

特征工程系列：数据清洗本文为数据茶水间群友原创，经授权在本公众号发表。

木东居士·2023-02-03 15:46

【EDA与特征工程】数据探索与特征工程综合指南

文章目录前言一、探索性数据分析(EDA)1.变量识别2.单变量分析3.双变量分析二、特征工程1.缺失值处理1.为什么需要处理缺失值2.为什么数据存在缺失值3.处理缺失值的方法有哪些？

Bigdataxy·2023-02-03 14:02

【大数据竞赛】2022MathorCup大数据挑战赛 B题北京移动用户体验影响因素研究题目分析

2022MathorCup大数据竞赛B题北京移动用户体验影响因素研究题目分析文章目录系列文章目录前言一、赛题：北京移动用户体验影响因素研究二、问题分析1、问题一2、问题二前言该系列文章分为问题分析、探索性数据分析、特征工程

Bigdataxy·2023-02-03 14:32

特征：什么是特征和特征选择？

机器学习很重要的过程就是特征工程。在深度学习神经网络中需要特征工程吗？理论上是不需要的，基于端到端的特点深度学习神经网络中会在训练中自行的学习特征。

MXuDong·2023-02-03 14:59

OpenMMLab实战营第一课：计算机视觉简介

识别图像中的物体是什么目标检测：图像分割：主要应用：人脸识别、视觉感知、图像生成、风格迁移、视频理解与自动转移二、计算机视觉的发展早起萌芽（1960~1980）统计机器学习与模式识别(1990~2000）特征工程技术发展

i_9ro·2023-02-03 14:50

【特征工程】重要特征识别理论(特征筛选)

文章目录前言一、特征选择过程二、特征选择方法1.过滤式选择2.包裹式选择3.嵌入式选择三、特征重要性前言从众多影响因素中识别出重要因素的过程可以视为一个特征选择过程。在建立机器学习模型进行预测时，输入的特征集会直接影响模型效果，特征太少容易不能全面刻画数据潜在关联，造成模型欠拟合；特征太多时会存在不相关的特征或者特征冗余的情况，甚至出现“维度灾难”，会造成模型精确度无法提升、运行速度慢、过拟合

Bigdataxy·2023-02-03 14:50

特征工程——数据的标准化（Z-Score,Maxmin,MaxAbs,RobustScaler,Normalizer）

数据标准化是一个常用的数据预处理操作，目的是处理不同规模和量纲的数据，使其缩放到相同的数据区间和范围，以减少规模、特征、分布差异等对模型的影响。比如线性回归模型、逻辑回归模型或包含矩阵的模型，它们会受到输入尺度(量纲)的影响。相反，那些基于树的模型则根本不在乎输入尺度(量纲)有多大。如果模型对输入特征的尺度(量纲)很敏感，就需要进行特征缩放。顾名思义，特征缩放会改变特征的尺度，有些人将其称为特征归

PresleyR·2023-02-03 09:04

图像分类算法基础——OpenMMlab(2)

2、图像分类算法基础2.1进化历史人工构造特征工程已然过去，丢失信息大，准度低机器学习适合低维简单数据，高维数据难以处理（eg.瑞士卷分布）方向梯度直方图可以将将图像映射成一个相对低维的特征向量，同时保留足够识别物体的信息

冰皇海神·2023-02-03 08:45

pytorch 提取中间层的特征

一、背景需要提取网络中间层的特征，用于特征工程或者可视化二、解决方案先说好，有很多解决的方法呢，这里给出一种我认为是简单的，官方提供的功能https://pytorch.org/vision/main/

冬日and暖阳·2023-02-03 07:50

一、特征工程

Word2Vec特征工程就是利用工程手段从“用户信息”“物品信息”“场景信息”中提取特征的过程。对于一个机器学习问题，数据和特征往往决定了结果的上限，而模型、算法的选择及优化则是在逐步接近这个上限。

bugmaker.·2023-02-03 07:21

【斯坦福大学公开课CS224W——图机器学习】三、节点和图嵌入

.节点嵌入1.1编码器与解码器1.2节点嵌入的游走策略2.图嵌入2.1Approach12.2Approach22.3Approach31.节点嵌入在传统的图机器学习中，将图数据作为模型的输入，再进行特征工程

Yozu_Roo·2023-02-02 15:51

KDD2017精选（1）如何筛选特征

来自：FeatureSelection:ADataPerspective目的：相对于算法本身的改进，特征工程往往对效果有更直接的提升。

曹今可·2023-02-02 13:56

Coggle 30 Days of ML 7月竞赛学习

Part1内容介绍在给大家分享知识的过程中，发现很多同学在学习竞赛都存在较多的问题：Pandas、Numpy处理数据不熟悉Sklearn、LightGBM模型使用不熟悉不知道如何构建特征工程、筛选特征NLP

Datawhale·2023-02-02 12:14

NLP的特征工程

nlp特征工程机器学习，自然语言处理(MachineLearning,NaturalLanguageProcessing)Nowthatweprocessedthedataandremovedunwantednoisefromourtextinthelaststory

weixin_26752765·2023-02-02 11:48

NLP-文本特征

目录一、文本特征1.Bag_of_words2.词性特征3.前缀&后缀4.当前词特性5.stemming二、特征编码1.categorical型2.连续型3.ordinal型本笔记用于记录文本中的特征工程的可能的方法

Swayzzu·2023-02-02 10:47

笔记——机器学习入门

文章目录机器学习概述什么是机器学习机器学习算法分类机器学习开发流程机器学习框架数据集获取获取sklearn自带数据集的方法数据集划分特征工程特征工程步骤：特征提取特征预处理归一化标准化(常用这种方式无量纲化

小佘要加油·2023-02-02 10:00

pipeline、网格搜索、交叉验证几问

训练集的信息是要完全暴露给数据处理、特征工程、模型训练的；测试集的信息是完全相反，不暴露的；就是要利用训练集得到数据处理器、特征工程、模型，完全走一遍过程，得到预测结果；2、训练集、验证集、测试集怎么直白理解

月笼纱lhz·2023-02-02 09:33

OpenMMLab入门

计算机视觉问题发展过程：1.特征工程，人为设计视觉特征，不鲁棒2.imagenet早期，是数据驱动，但仍然是人工设计的特征3.深度学习，让计算机自己寻找图像特征

puppystellar·2023-02-02 09:20

Python使用机器学习模型实现温度预测详解

使用前需要准备足够的历史数据并进行特征工程，构建模型并进行训练，最后使用预测结果。

·2023-02-02 03:40

特征工程

机器学习之特征工程特征工程是机器学习里面非常重要的一个部分，机器学习主要就是根据我们从数据中获取到的特征数据，来得到对结果的预测，一般来说对结果影响最大的特征，需要重点观察，而对结果影响不大的特征属性需要排除出来

子龙爱弹琴·2023-02-01 21:56

风控评估指标浅析与实现 - KS、WOE、IV

1.前言风控工作中，不管是特征工程、特征筛选、建模都常常涉及到的几个指标，简单总结下。2.KSKS是用于衡量正负样本比例差程度大小的评估指标。简而言之，便是好人的程度与坏人的程度之差。表示第分段。

Simple丶Plan·2023-02-01 21:56

2020-06-09-TFX Airflow（三）特征工程

TFXAirflow（二）demo数据分析接下来进行特征工程的学习，特征工程主要包括了一些特征分桶，缺失值处理的步骤1.修改代码将airflow/dags/taxi_pipeline.py，airfl

logi·2023-02-01 17:58

图像处理中的几种预处理方式

文章目录一、为什么要使用归一化处理二、图像归一化的几种方式一、为什么要使用归一化处理归一化指特征工程中的特征缩放过程。

深度学习不学习·2023-02-01 16:23

Titanic机器学习——如何处理缺失值

FeatureEngineering特征工程是将原始数据“翻译”成模型可理解的形式，是机器学习工作流程中的重要组成部分在机器学习和模式识别等领域中，一般需要将样本分成独立的三部分训练集（trainset

Erick Yu·2023-02-01 10:29

Python数据预处理

Python数据预处理技术与实践1.概述数据预处理：数据清理数据集成数据规约数据变换（按照预先设计好的规则对抽取的数据进行转换，如把数据压缩到0.0～1.0区间）数据降维原始数据存在数据不完整、数据偏态

怎么会这么难·2023-02-01 10:24

手把手教你入门和实践特征工程的全方位万字笔记，附代码下载

说起特征工程，都说是机器学习建模中最为重要而且费时的一项工作，而且它涉及的知识点会非常地多，经验老道的老司机自然是轻车熟路了，但对于刚刚入门的新手司机，学习到的知识点都是东一点西一点的，不够系统化，本篇文章是在阅读了一本评分极高的特征工程书籍

SamLam·2023-01-31 19:51

ML--数据预处理，降维，特征提取及聚类

ML–数据预处理，降维，特征提取及聚类主要涉及的知识点有：几种常见的数据预处理工具PCA主成分分析用于数据降维PCA主成分分析和NMF非负矩阵分解用于特征提取几种常用的聚类算法一.数据预处理1.使用StandardScaler

weixin_30496431·2023-01-31 14:06

数学建模数据分析常见套路模板

数据分析题归纳模型总结1数据预处理1.1数据丢失1.2数据异常点1.2.1数据异常的依据2数据降维2.1主成分分析_复杂型2.1主成分分析_简单型2.2K-means聚类分析_复杂型2.2K-means

Philo`·2023-01-31 05:08

啦啦啦

2、对数据敏感，对技术充满好奇心，熟悉算法原理，充分掌握特征构建，特征工程，常见统计分析方法，机器学习算法。并在实践中创新性运用算法工具和方法，解决产品中的实际问题。

icymango·2023-01-30 16:19

机器学习第三课_数据预处理2

由此可见，特征工程在机器学习中占有相当重要的地位。在实际应用当中，可以说特征工程是机器学习成功的关键。

素心似锦·2023-01-30 14:40

详解 Kaggle 房价预测竞赛优胜方案：用 Python 进行全面数据探索

今天我们介绍的是目前得票数最高的优胜方案：《用Python进行全面数据探索》，该方案在数据探索，特征工程上都有十分出色的表现。

宽客在线·2023-01-30 13:01

zillow房价预测比赛_Kaggle入门级赛题：房价预测——数据挖掘篇

特征工程我们注意到MSSubClass其实是一个category的值：all_df['MSSubClass'].dtypes有：dtype('int64')它不应该做为数值型的值进行统计。

weixin_39545329·2023-01-30 13:01

python数据分析房价预测_Kaggle入门级赛题：房价预测——数据分析篇

技术栈特征工程(Creativefeatureengineering)回归模型(Advancedregressiontechniqueslikera

weixin_39587407·2023-01-30 13:01

人工智能基础知识

工作流程：步骤：获取数据、数据基本处理、特征工程、机器学习（模型训练）、模型评估；数据

灰太狼家的小鸭子·2023-01-30 13:23

机器学习---KNN算法

欧式距离:曼哈顿距离:切比雪夫距离：闵可夫斯基距离：标准化欧式距离(将单位换算了)：余弦距离：鸢尾花综合(KNN)案例:步骤：获取数据集数据基本处理（划分数据集）特征工程机器学习模型评估#得到数据集fromsklearn.datasetsimportload_iris

灰太狼家的小鸭子·2023-01-30 13:50

想机器学习实战却不会特征降维？这可不行

普通网友·2023-01-30 12:17

线性判别准则(LDA)与线性分类算法(SVM))

数据集进行可视化分类月亮数据集1.线性SVM2.多项式核3.高斯核六、总计七、参考一、线性判别分析简介线性判别分析（LinearDiscriminantAnalysis，简称LDA）是一种经典的有监督数据降维

Tarbet·2023-01-30 11:33

五、数据挖掘流程简明笔记

目录1、机器学习概述2、入门案例示例3、问题定义4、特征工程4.1数据理解4.2数据预处理4.2.1数据清洗4.2.2数据转换4.2.3特征选择4.2.3.1单变量特征选定：卡方检验(chi-squared

Norni·2023-01-30 07:39

论文笔记之Feature Generation by Convolutional Neural Network for Click-Through Rate Prediction

Wide&Deep通过在wide部分的特征工程来帮助de

小弦弦喵喵喵·2023-01-29 19:09

机器学习----数据准备&特征工程（2）

一、数据降维原理，就是采用映射的方法，把高维准换成低维的降维可能准确度会下降，但是避免了过拟合的现象可以增加样本个数常用的降维的方法1.1PCA解释及计算步骤通过某种线性投影，将高维的数据映射到低维的空间中表示

sakura小樱·2023-01-29 16:46

机器学习(数据特征工程--特征提取及其处理)

一、数据得特征抽取：1、字典特征抽取：sklearn.feature_extraction.DictVectorizerDictVectorizer(sparse=True,…)DictVectorizer.fit_transform(X)X:字典或者包含字典的迭代器返回值：返回sparse矩阵DictVectorizer.inverse_transform(X)X:array数组或者sparse

weixin_54475711·2023-01-29 12:15

机器学习算法基础1(数据集，特征抽取，归一化，标准化，缺失值处理)

目录1.数据集的组成1.1可用数据集1.2常用数据集结构组成2.特征工程2.1特征抽取2.1.1sklearn特征抽取API2.1.2文本特征抽取中文问题2.2文本特征常用方法tf-idf分析问题（NLP

自然color·2023-01-29 12:45

机器学习-特征工程实例分析

目录1.什么是特征工程2.原始数据集变量的理解与分析2.1时间序列数据分析2.2多特征数据分析3.数据缺失值处理4.特征分析4.1特征构造4.2特征选择1.什么是特征工程很多同学在拿到数据集之后不知道怎么处理

长安大学信息学院工业AI创新技术实验室·2023-01-29 11:43

特征工程 -类别型特征的预处理

目录序言主要介绍：1.使用Sklearn的LabelBinarizer来进行one-hot2.使用Sklearn的MultilabelBinarizer来进行组合类别特征的One-hot3.对Oridinal序数特征进行编码4.对特征字典编码5.填充缺失的分类特征值6.使用category_encoder包来进行特征转换总结序言在机器学习建模过程中，许多模型例如逻辑回归、支持向量机、K近邻等传统的

Zouia Gail·2023-01-29 11:06

数据分析详解（数据预处理+基于随机森林特征工程+机器学习完全版）

1.背景数据分析而言，数据是显而易见的核心。但是并不是所有的数据都是有用的。存在不完整的、含噪声的和不一致的数据是现实世界大型的数据库或数据仓库的共同特点。一些比较成熟的算法对其处理的数据集合一般有一定的要求，如数据完整性好、数据的冗余性小、属性之间的相关性小。然而，实际系统中的数据一般无法直接满足数据挖掘算法的要求，因此必须对数据进行预处理，以提高数据质量，使之符合数据挖掘算法的规范和要求。数据

Zouia Gail·2023-01-29 11:02

CannyLab/tsne-cuda with cuda-10.0

t-SNE-CUDABarnes-Hutt-SNEhttps://github.com/CannyLab/tsne-cuda/projects做数据降维时常用到，但计算较慢，所以可用cuda加速用源码编译时

weixin_34396103·2023-01-29 10:57

数据预处理-数据降维

《Python数据分析与数据化运营第2版》读书笔记一、是否需要降维的判断依据数据维度：如果数据维度很高，或者数据维度不高但是存在共线性等情况，则可以考虑降维；对模型的计算效率与建模时效性有要求：如果对时效性要求很高，降维能够显著提升时效性，考虑降维；是否要保留完整数据特征：如果需要保留完整的数据特征，降维会有信息损失，不考虑降维二、基于特征选择的降维基于特征选择的降维指的是根据一定规则和经验，直接

神威光·2023-01-29 04:11

推荐频道

特征工程-数据降维