特征工程-数据降维第13页

NNI(自动超参数搜索)工具环境配置及使用

NNI简介NNI(NeuralNetworkIntelligence)是一个轻量但强大的工具包，帮助用户自动的进行特征工程，神经网络架构搜索，超参调优以及模型压缩。

SHY_VWind·2023-08-13 19:13

NLP之相似语句识别--特征工程篇:bow+tfidf+svd+fuzzywuzzy+word2vec

Quora是一个海外知名的在线问答网站(类似中国的知乎、百度知道)，Quora上有许多问题和答案，也容许用户协同编辑问题和答案.不过由于某些“你懂的”原因，在国内无法访问访问该网站。在2018年9月，据Quora报告称每个月有超过3亿人访问Quora，很多人都会问重复的问题，还有很多问题具有相同意图仅仅只是表达方式不一样。例如，“如何进行网上购物?”和“网上购物的步骤有哪些?”类似这样的问题都是重

-派神-·2023-08-12 21:22

机器学习基础之《特征工程（4）—特征降维—案例》

一、探究用户对物品类别的喜好细分1、找到用户和物品类别的关系数据如下：（1）order_products__prior.csv：订单与商品信息字段：order_id，product_id，add_to_cart_order，reordered（2）products.csv：商品信息字段：product_id，product_name，aisle_id，department_id（3）orders.

csj50·2023-08-12 11:08

[深度学习]Part2 数据清洗和特征工程Ch06——【DeepBlue学习笔记】

本文仅供学习使用数据清洗和特征工程Ch061.特征工程1.1特征工程介绍1.2特征预处理1.2.1数据清洗1.2.1.1数据清洗—预处理1.2.1.2数据清洗—格式内容错误数据清洗1.2.1.3数据清洗

LiongLoure·2023-08-11 15:45

机器学习中的特征工程（四）---- 特征离散化处理方法

简介特征离散化指的是将连续特征划分离散的过程：将原始定量特征的一个区间一一映射到单一的值。离散化过程也被表述成分箱（Binning）的过程。特征离散化常应用于逻辑回归和金融领域的评分卡中，同时在规则提取，特征分类中也有对应的应用价值。本文主要介绍几种常见的分箱方法，包括等宽分箱、等频分箱、信息熵分箱、基于决策树分箱、卡方分箱等。分箱原理介绍数据分箱是一种数据预处理技术，用于减少次要观察误差的影响，

HaloZhang·2023-08-11 01:33

特征工程总结I

背景描述：整理电脑的时候偶然发现自己做过的这个特征工程总结，不过这已经是几年前的，下个月开始update理论和代码部分内容，有需要的朋友可以关注~总体框架（待更新）：

Nancy_张·2023-08-10 20:47

警惕“特征工程”中的陷阱

特征工程(FeatureEngineering)是机器学习中的重要环节。在传统的项目中，百分之七十以上的时间都花在了预处理数据上(DataPreprocessing)，其中特征工程消耗了很多时间。

tianyi6677·2023-08-10 11:46

机器学习基础之《特征工程（4）—特征降维》

一、什么是特征降维降维是指在某些限定条件下，降低随机变量（特征）个数，得到一组“不相关”主变量的过程1、降维降低维度ndarry维数：嵌套的层数0维：标量，具体的数0123...1维：向量2维：矩阵3维：多个二维数组嵌套n维：继续嵌套下去2、特征降维降的是什么降的是二维数组，特征是几行几列的，几行有多少样本，几列有多少特征降低特征的个数（就是列数）二、降维的两种方式1、特征选择2、主成分分析（可以

csj50·2023-08-09 17:13

【机器学习】编码、创造和筛选特征

在机器学习和数据科学领域中，特征工程是提取、转换和选择原始数据以创建更具信息价值的特征的过程。假设拿到一份数据集之后，如何逐步完成特征工程呢？

旅途中的宽~·2023-08-09 17:57

Scikit-learn与特征工程

文章目录1.Scikit-learn与特征工程1.1数据的来源与类型1.2数据的特征抽取1.3数据的特征预处理1.4数据的特征选择1.Scikit-learn与特征工程 数据决定了机器学习的上限，而算法只是尽可能逼近这个上限

olunano·2023-08-09 13:35

【Datawhale AI 夏令营第二期】AI 量化模型预测挑战赛

文章目录赛题分析赛题背景赛事任务赛题数据集评价指标Baseline实践导入模块EDA特征工程模型训练与验证结果输出改进赛题分析赛题背景量化金融在国外已经有数十年的历程，而在国内兴起还不到十年。

adureychloe·2023-08-08 18:02

模型训练技术指南

目录引言1.模型训练的重要性2.数据预处理3.特征工程4.模型选择与评估5.参数调优6.模型集成7.过拟合与欠拟合8.模型保存与加载9.分布式训练与加速10.最佳实践与常见问题引言模型训练是机器学习领域中至关重要的一步

Yan-英杰·2023-08-07 20:33

python机器学习（七）决策树(下) 特征工程、字典特征、文本特征、决策树算法API、可视化、解决回归问题

决策树算法特征工程-特征提取特征提取就是将任意数据转换为可用于机器学习的数字特征。计算机无法直接识别字符串，将字符串转换为机器可以读懂的数字特征，才能让计算机理解该字符串(特征)表达的意义。

hwwaizs·2023-08-07 18:05

数据降维并使用K-Means法聚类

我对随机选择的30个国家和2017年所有国家的数据进行了主成分分析，并将多维的包括总分排名（排名或许要删除再计算->已删除)及12大指标的数据降维为二维数据，随后使用K-Means法进行聚类分析后得出分类以及散点图图像

绍重先·2023-08-07 11:27

机器学习特征工程——类别相关统计特征

阅读鱼佬《机器学习算法竞赛实战》4.3节记录，主要记录如何对类别相关统计特征进行目标编码机器学习难以识别复杂模式，尤其是不同特征间交互信息，因此需要根据直觉或业务理解构建特征。针对类别相关统计特征，可考虑：目标编码考虑类别特征和目标变量count,nunique,ratio经常使用的类别特征构造方式类别特征交叉组合类别特征间的组合目标编码目标编码是用目标变量（通常是Label）统计量对类别特征进行

STUffT·2023-08-07 10:39

深度学习，计算机视觉任务

目录计算机视觉任务1.K近邻算法2.得分函数3.损失函数的作用4.向前传播整体流程5.反向传播计算方法计算机视觉任务机器学习的流程：数据获取特征工程建立模型评估与应用计算机视觉：图像表示：计算机眼中的图像

Williamtym·2023-08-07 06:42

【AI量化模型】跑通baseline

跑通baseline任务学习内容特征工程模型训练与验证bug未纠错的结果任务教程部署在百度AIStudio，可以一键fork运行代码，选择*v10032g1*的配置，baseline运行大约20分钟，再加上进阶部分大约

weixin_44619759·2023-08-07 05:11

深度学习基础知识扫盲

深度学习监督学习（Supervisedlearning）监督学习分类无监督学习（Non-supervisedlearning）无监督学习的算法无监督学习使用场景术语特征值特征向量特征工程（Featureengineering

羊羊羊i·2023-08-06 12:58

机器学习基础概念

公众号：尤而小屋作者：Peter编辑：Peter大家好，我是Peter~本文主要机器学习的一些基本内容，包含：除了分类和回归之外的其他机器学习形式评估机器学习模型的规范流程为深度学习准备数据特征工程解决过拟合处理机器学习问题的通用流程

皮皮大·2023-08-06 00:42

python地图gps轨迹可视化_GPS轨迹可视化的三种方法

Contents:1、GIS软件2、js在线工具或api3、万能的Python做ML的时候，清洗数据也好，特征工程也好，当遇到时空数据，或者要建立LBS特征时，难免需要对坐标维度做可视化打点，来分析其他特征维度的稳定性或相关性

weixin_39732506·2023-08-05 19:37

机器学习基础之《特征工程（1）—数据集》

一、数据集1、目标知道数据集分为训练集和测试集会使用sklearn的数据集2、可用数据集公司内部，比如百度、微博数据接口，花钱政府拥有的数据集3、在学习阶段用到的数据集scikit-learn特点：（1）数据量较小（2）方便学习UCI特点：（1）收录了360个数据集（2）覆盖科学、生活、经济等领域（3）数据量几十万kaggle特点：（1）大数据竞赛平台（2）80万科学家（3）真实数据（4）数据量巨

csj50·2023-08-05 11:50

机器学习基础之《特征工程（2）—特征工程介绍、特征抽取》

一、什么是特征工程机器学习领域的大神AndrewNg(吴恩达)老师说“Comingupwithfeaturesisdifficult,time-consuming,requiresexpertknowledge

csj50·2023-08-05 11:50

机器学习基础之《特征工程（3）—特征预处理》

一、什么是特征预处理通过一些转换函数将特征数据转换成更加适合算法模型的特征数据过程处理前，特征值是数值，处理后，进行了特征缩放

csj50·2023-08-05 11:19

SVD简化数据

把矩阵拆解成3个子矩阵svd(mat)=U*sigma*VT1.2sigma仅对角线有数据的矩阵对角线数据的和代表矩阵的能量对角线数据由大到小排列前i个和>=80%，则原始数据可有n维降维i维1.3应用方法数据降维

英雄史诗·2023-08-05 09:01

039. (9.12) 数模国赛C题中小微企业的信贷决策第三题思考

C中小微企业的信贷决策第三题思考思考查阅特征工程改进模型改动方面企业的生产经营和经济效益可能会受到一些突发因素影响，而且突发因素往往对不同行业、不同类别的企业会有不同的影响。

ORonaldinhoO·2023-08-05 03:10

机器学习---概述(一)

文章目录1.人工智能、机器学习、深度学习2.机器学习的工作流程2.1获取数据集2.2数据基本处理2.3特征工程2.3.1特征提取2.3.2特征预处理2.3.3特征降维2.4机器学习2.5模型评估3.机器学习的算法分类

肥大毛·2023-08-05 03:59

使用toad对数据进行分箱处理

Toad的功能覆盖了建模全流程，从EDA、特征工程、特征筛选到模型验证和评分卡转化。Toad的主要功能极大简化了建模中最重要最费时的流程，即特征筛选和分箱。

AIGC人工智残·2023-08-05 00:22

2、机器学习系统搭建流程

一、机器学习系统搭建流程原始数据文本图像语音数据预处理特征工程（向量/矩阵）建模预测备注：机器学习系统中，端到端的学习（Endtoendlearning）二、机器学习算法：监督学习(Supervised

波罗的海de夏天·2023-08-04 03:25

【秋招】算法岗的八股文之机器学习

目录机器学习特征工程常见的计算模型总览线性回归模型与逻辑回归模型线性回归模型逻辑回归模型区别朴素贝叶斯分类器模型(NaiveBayes)决策树模型随机森林模型支持向量机模型(SupportVectorMachine

zz的大穗禾·2023-08-03 22:34

特征工程（一）——特征归一化及类型特征处理

实际工作中，特征工程是去除数据中的杂质，提炼为更合理的特征，供算法和模型使用。特征工程主要包括特征归一化、类型特征的表示、特征选择及非结构化数据的表示。本文主要介绍特征归一化及类型特征的表

叫我e卵石·2023-08-02 20:25

数据降维：主成分分析法

前言什么叫做主成分分析法，我们先看一张图椭圆的图，如果让你找一条线，使得椭圆上所有点在该线上映射的点最分散，保留下来的信息最多，你会怎么选择这条线？若是下图，会选择水平线，这是用一维的方式去尽可能多的表示二维的数据，那么多维的数据呢，是否可以用较低维的数据尽可能表示。m17如何用二维的平面去尽可能表示一个椭球面呢？m17思想主成分分析法是一种统计方式，简化数据的方式，是一种线性变换，把数据变换到新

我是任玉琢·2023-08-02 18:03

特征工程资料整理，如何从数据中挖掘特征

特征工程资料整理，如何从数据中挖掘特征一、特征工程是什么二、探索性数据分析EDA参考资料：1.pandas_profiling【推荐】2.Sweetviz3.pandasgui4.D-tale【推荐】结论三

SeafyLiang·2023-08-02 15:48

降维算法总结（超全！附代码）

附代码）一、为什么要进行数据降维?

SeafyLiang·2023-08-02 15:47

2019-01-22 可视化数据

1.数据降维来进行数据压缩2.数据降维来进行可视化数据，它可以帮助我们来开发高效的学习算法，前提是我们能更好地理解数据。

奈何qiao·2023-08-02 03:39

主成分分析

写进メ诗的结尾。·2023-08-01 12:33

【Datawhale夏令营】任务三学习笔记

任务一笔记回顾任务二笔记回顾目录一：竞赛上分流程1.1问题建模1.2数据分析1.3数据清洗1.4特征工程1.5模型训练与验证二：任务总结与心得一：竞赛上分流程问题建模——>数据分析——>数据清洗——>特征工程

guiyumile·2023-08-01 10:48

数据挖掘项目：金融银行风控信用评分卡模型（上篇）

上篇理解数据探索性数据分析数据预处理特征工程下篇使用to

Soda kun·2023-07-31 19:59

聊一聊先进的感知器和伟大的BP算法

曾经，基于统计学习的机器学习方法在AI领域占据了半边天，逻辑回归、决策树、支持向量机等算法不久就耳熟能详，「特征工程」一词瞬间火了起来，普遍认为数据弄得好+特征工程做得好≈模型能work。

Dreamcatcher风·2023-07-31 13:34

数据挖掘练习——电信客户流失预警项目

二、一般数据分析，挖掘基本步骤：1、用pandas导入数据，查看数据的基本情况2、探索性数据分析（EDA）：单变量可视化；双变量的关系；多变量的关系3、特征工程特征筛选：将一些object类型改成数

ln_ivy·2023-07-31 10:30

【机器学习】西瓜书习题3.3Python编程实现对数几率回归

importnumpyasnpimportpandasaspdimportmatplotlibfrommatplotlibimportpyplotaspltfromsklearnimportlinear_model导入数据，进行数据处理和特征工程

一个甜甜的大橙子·2023-07-31 00:00

【机器学习】西瓜书习题3.5Python编程实现线性判别分析，并给出西瓜数据集 3.0α上的结果

一个甜甜的大橙子·2023-07-31 00:59

机器学习入门之特征工程

数据集数据集划分,训练集与测试集合fromsklearn.datasetsimportload_irisfromsklearn.model_selectionimporttrain_test_splitfromsklearn.feature_extractionimportDictVectorizerfromsklearn.feature_extraction.textimportCountVec

aaaak_·2023-07-30 05:59

机器学习03-数据理解(小白快速理解分析Pima Indians数据集)

数据理解是进行机器学习项目的重要第一步，它有助于我们对数据的基本属性有全面的了解，并为后续的数据预处理、特征工程和模型选择提供指导。

玩转AI·2023-07-29 09:03

Mnist分类与气温预测任务

目录传统机器学习与深度学习的特征工程特征向量pytorch实现minist代码解析归一化损失函数计算图Mnist分类获取Mnist数据集，预处理，输出一张图像面向工具包编程使用TensorDataset

醋酸洋红就是我·2023-07-29 07:03

深度学习入门（一）：神经网络基础

一、深度学习概念1、定义通过训练多层网络结构对位置数据进行分类或回归，深度学习解决特征工程问题。

一个很菜的小猪·2023-07-28 13:24

机器学习基础数据集、特征工程、特征预处理、特征选择 7.27

机器学习基础1.数据集2.特征工程3.学习分类4.模型5.损失函数6.优化7.过拟合8.欠拟合数据集又称资料集、数据集合或者资料集合，是一种由数据所组成的集合特征工程1.特征需求2.特征设计3.特征处理特征预处理

孤独memories·2023-07-28 08:00

数据挖掘实践任务2

任务2：特征工程（2天）特征衍生特征挑选：分别用IV值和随机森林等进行特征选择……以及你能想到特征工程处理结果原数据特征数80,通过随机森林筛选后的特征数50,剔除了37.50%的特征importpandasaspdimportnumpyasnpdata

乌和兔·2023-07-27 23:44

字节跳动 EB 级 Iceberg 数据湖的机器学习应用与优化

深度学习的模型规模越来越庞大，其训练数据量级也成倍增长，这对海量训练数据的存储方案也提出了更高的要求：怎样更高性能地读取训练样本、不使数据读取成为模型训练的瓶颈，怎样更高效地支持特征工程、更便捷地增删和回填特征

字节跳动云原生计算·2023-07-27 19:09

波士顿房价预测——线性回归模型

特征工程对数据进行标准化处理。机器学习使用线性回归模型进行预测。模型评估使用均方误差MS

AIGC人工智残·2023-07-27 00:01

流形学习

数据降维问题在很多应用中，数据的维数会很高。以图像数据为例，我们要识别32x32的手写数字图像，如果将像素按行或者列拼接起来形成向量，这个向量的维数是1024。

xiaofeilongyu·2023-07-26 16:56

推荐频道

特征工程-数据降维