特征工程-数据降维

数据预处理常用操作

数据预处理常用操作数据导入数据分析查看数据大小查看数据类型，缺失值，缺失值占比查看数据相关性-热力图表示数据处理数据类型转换pd.to_numeric函数散点图观察缺失值处理数据删除缺失值填充：文本数据处理最后建议大家看一下飞桨的[数据准备和特征工程
丿Me丶初见灬·2022-12-16 13:14

《机器学习算法竞赛实战》学习笔记4.特征工程

吴恩达老师有言：“机器学习在本质上还是特征工程，数据和特征决定了机器学习的上限，模型和算法只是逼近这个上限而已。”
全自动学习机器·2022-12-16 13:32

学习简记_特征工程

特征工程1.特征变换1.1连续变量无量纲化1.2连续变量离散化1.3类别特征转换2.特征组合3.特征评价吴恩达老师有言：“机器学习本质上还是特征工程，数据和特征决定了机器学习上限，模型和算法只是去尽可能逼近这个上限而已
全自动学习机器·2022-12-16 13:54

本人心血总结，机器学习、算法面经总结与解析

本专栏特点：本专栏囊括了深度学习、机器学习、NLP、特征工程等一系列知识点的讲解，并且最后总结出了高频面试考点（附有答案）【共301道】，知识点讲解全面，事半功倍，为大家春秋招助力。
qq_32468785·2022-12-16 10:51

数据生态第四弹 | OpenMLDB Hive Connector，架构起数据仓库到特征工程的生态桥梁

导读近日，OpenMLDB实现了与开源数据仓库软件Hive的连接，继完成与Kafka、Pulsar、RocketMQ等实时数据源生态整合后，持续构建离线数据生态，期待建设一个更加全面一体的上下游生态圈，在吸引更多用户的同时也能降低用户的使用门槛。OpenMLDBHiveConnector背景OpenMLDBHiveConnector的开发解决了OpenMLDB无法轻松连接使用Hive数据源的问题，
第四范式开发者社区·2022-12-16 09:25

OpenMLDB + OneFlow: 手把手教你快速链接特征工程到模型训练

本文整理自OpenMLDBMeetupNo.5中OpenMLDBPMC黄威的演讲，将以京东高潜用户购买意向预测问题为例，示范如何使用OpenMLDB和OneFlow联合来打造一个完整的机器学习应用。分享视频如下：导读：如何从历史数据中找出规律，去预测用户未来的购买需求，让最合适的商品遇见最需要的人，是大数据应用在精准营销中的关键问题，也是所有电商平台在做智能化升级时所需要的核心技术。京东作为中国最
第四范式开发者社区·2022-12-16 09:24

【Meetup预告】OpenMLDB＋OneFlow：链接特征工程到模型训练，加速机器学习模型开发

2022年7月31日（周日）下午14:00-16:30，开源机器学习数据库OpenMLDB第五期Meetup将通过线上直播的形式展开。活动背景提供生产级实时数据及特征开发全栈解决方案的开源学习数据库OpenMLDB邀请静态编译和流式并行的深度学习框架OneFlow合作带来OpenMLDBMeetup第五期。本期线上分享将带领大家深入了解迭代升级后的OpenMLDB和OneFlow，解析产品背后的架
第四范式开发者社区·2022-12-16 09:54

特征工程之高维组合特征的处理、组合特征、文本表示模型

为了提高复杂关系的拟合能力，在特征工程中经常会把一阶离散特征两两组合，构成高阶组合特征。比如性别(取值男女)，城市(取值上海北京)，组合后特征为：上海男，上海女，北京男，北京女。
算法星球·2022-12-16 08:55

【机器学习】采集数据、特征工程、建立模型、应用四个阶段的详解（图文解释 超详细）

机器的这种学习能力，作为人工智能的核心要素，将会对人类社会的生产、生活、军事等活动产生难以估量的影响。那么，什么是机器学习（MachineLearning，ML）呢？人类的学习中，最基础的是记忆，即机械的复述。但更重要的是指“举一反三”的能力。当用图片、文字、视频等教人们认识动物时，人们不仅记住了动物的知识，还学会了对真实的动物进行分析、辨认和判别，这是一种学习知识，并应用知识的能力。获得这种能力
showswoller·2022-12-16 06:29

互联网大厂CTR预估前沿进展

早期主要是使用LR（线性回归）+人工特征工程的机器学习方法，但是存在人工组合特征工程成本较高，不同任务难以复用的问题。
夕小瑶·2022-12-16 02:07

无监督学习(2) 数据降维简述与Python实现

为什么要数据降维大数据时代面临的最大问题是"维度灾难"，度量上的不平衡和高维空间的学习复杂度都让机器学习算法在高维数据上很多时候行不通。而且，如果数据超过三维，它们也很难被可视化。
Hαlcyon·2022-12-16 00:25

泰坦尼克号数据集_泰坦尼克号生存率预测

目录一、泰坦尼克号生存率预测1.提出问题2.理解数据2.1采集数据2.2导入数据2.3查看数据集信息3.数据清洗3.1数据预处理3.2特征工程4.构建模型5.模型评估6.方案实施6.1得到预测结果6.2
weixin_39560604·2022-12-15 14:10

泰坦尼克号幸存者预测

目录数据集1、分析需求2、探索性数据分析（EDA）性别：是离散型变量Age：连续型变量Fare：票价，连续型变量，可以使用箱线图或者小提琴图看分布PclassEmbarked：离散型变量3、特征工程特征抽取抽取
pythonSuperman·2022-12-15 13:07

特征工程——特征衍生

没有现成第三方库特征衍生方法单变量特征衍生——一个变量放进去衍生多个特征双变量特征衍生——二组合生多关键特征衍生——文本/时序多变量特征衍生——三个及以上特征进行组合单变量特征衍生数据冲编码特征衍生原特征与衍生特征都可以带入特征工程连续变量
CHILDE Ley·2022-12-15 11:59

推荐系统序列化建模总结

对行为序列的建模可以归纳为两方面，特征工程和模型结构。特征是对某个行为过程的抽象表达，特征工程旨在更精确地刻画行为过程，需要对具体的业务场景有一定理解。
程序员对白·2022-12-14 23:06

使用t-SNE算法进行可视化

t-SNE全称如下t-DistributedStochasticNeighborEmdedding是一种非线性的降维算法，常用于将数据降维到二维或者三维空间进行可视化，来观察数据的结构。
生信修炼手册·2022-12-14 19:36

测试集数据语义特征t_SNE降维可视化

因此本文将在训练好模型的基础上，在测试集进行数据降维可视化，观察模型将不同数据划分到什么位置，有助于我们理解模型在面对图像是进行了怎样的判断。来源：同济子豪兄本文在
嗨，紫玉灵神熊·2022-12-14 19:34

python风控建模_风控建模之特征筛选与建模（python）

特征筛选在建模之前的一步就是将特征工程做好的变量进行筛选，在风控项目中筛选分为两步：初步筛选、逐步回归筛选以及稳定性筛选。
weixin_39600331·2022-12-14 16:33

数据科学基础复习2

4.2参数估计4.3假设检验4.4方差分析*4.5回归分析*凸优化智能优化算法遗传算法pso粒子群优化算法机器学习初探分类模型评估K折叠交叉验证(K-foldcrossvalidation)二分类问题特征工程数据预处理特征提取特征选择特征降维简答题
IIKY·2022-12-14 15:11

第六课 多算法组合与模型调优

本系列是七月算法机器学习课程笔记文章目录1前序工作流程1.1数据处理1.2特征工程1.3模型选择1.4交叉验证1.5寻找最佳超参数2模型优化2.1模型状态2.2模型优化12.3模型优化22.4模型优化32.5
约定写代码·2022-12-14 15:24

数据生态第四弹 | OpenMLDB Hive Connector，架构起数据仓库到特征工程的生态桥梁

导读近日，OpenMLDB实现了与开源数据仓库软件Hive的连接，继完成与Kafka、Pulsar、RocketMQ等实时数据源生态整合后，持续构建离线数据生态，期待建设一个更加全面一体的上下游生态圈，在吸引更多用户的同时也能降低用户的使用门槛。OpenMLDBHiveConnector背景OpenMLDBHiveConnector的开发解决了OpenMLDB无法轻松连接使用Hive数据源的问题，
·2022-12-14 15:58

深度解析数据清理和特征工程！5本面向数据科学家的顶级书籍推荐 ⛵

本文对比筛选了『数据清理』和『特征工程』最值得推荐的5本书，帮助你有效地清理数据、获取干净核心的数据，这是后续建模分析等工作有更好结果的保证。
·2022-12-14 14:26

pytorch标签onehot编码_特征编码方法总结—part1

在特征工程里，特征编码是占比很重的一块，在kaggle的结构化数据比赛中，最终帮助选手胜利的关键因素之一往往是高级特征的构造和特征编码（很多时候特征编码也是在构造高级的特征），下面就来总结一下吧。
温卡龙·2022-12-14 08:36

机器学习中---sklearn对于鸢尾花如何进行数据集划分

机器学习中，我们熟知的开发流程是：获取数据------数据处理------特征工程------机器学习算法训练模型------模型评估-----应用实际#所以对于一个我们已有的数据集，不能全部用作建立模型
漂泊的小森·2022-12-14 06:48

《特征工程入门与实践》--特征选择

特征选择元指标特征选择的类型:基于统计的特征选择皮尔逊相关系数假设检验基于模型的特征选择使用机器学习选择特征针对基于树的模型线性模型和正则化《特征工程入门与实践》-特征选择元指标元指标是指不直接与模型预测性能相关的指标
「已注销」·2022-12-14 05:11

机器学习笔记11 -- 优化方法

改进（更为通用）其中系数阿尔法可以理解为步长，后边偏导数代表方向，然后不断进行迭代至偏导为0可能会产生局部最优解，这里暂且不提线性回归API：案例：波士顿房价预测：流程：获取数据集（已处理）划分数据集特征工程
whurrican·2022-12-14 03:56

神经网络与深度学习：卷积神经网络

卷积神经网络1.深度学习基础2.图像识别与深度学习3.图像卷积3.1图像卷积运算3.2图像卷积在机器学习中的应用4.卷积神经网络5.卷积神经网络的优化1.深度学习基础特征工程：尽可能选择和构建出好的特征
Twinkle1231·2022-12-14 01:14

特征工程中的数据标准化

数据标准化数据标准化主要用来消除不同特征之间的量纲的影响，量纲指的是特征的计量单位，如果特征的单位不一致，那么不同的特征不能放在一起去比较。例如在日常生活中，身高的单位时cm，体重的单位时kg，二者不能直接比较。所以可以通过数据标准化的方法，来消除不同特征之间量纲的影响。示例数据：Min-Max标准化Min-Max标准化是对原始数据进行线性转换，它需要求出特征的最小值和最大值，然后通过以下公式求出
CSDN_Arice·2022-12-14 00:18

特征工程中缺失值处理

缺失值处理信息系统往往是不完备的，经常会有数据缺失。产生数据缺失一般有两种原因，第一种是有些信息暂时无法获取，例如一个单身人士的配偶或者一个儿童的收入等；第二种是有些信息被遗漏或者错误的被处理了。数据缺失是不可避免的，我们经常要做缺失数据的处理，处理缺失数据通常有三种方法：1、第一种是不处理，例如单身人士的配偶，不存在是很正常的。2、第二种是删除缺失值所对应的行，这种方法在样本数据较少时，谨慎使用
CSDN_Arice·2022-12-14 00:48

深度学习-----------2.6（GBDT+LR，LS-PLM）

GBDT构建特征工程，利用LR预估CTR这是两步独立的。
WMM_123456·2022-12-13 22:19

哈工大硕士生用Python实现了11种数据降维算法，代码已开源！

这里有个GitHub项目整理了使用Python实现了11种经典的数据抽取（数据降维）算法，包括：PCA、LDA、MDS、LLE、TSNE等，并附有相关资料、展示效果；非常适合机器学习初学者和刚刚入坑数据挖掘的小伙伴
醒戏·2022-12-13 20:55

xgboost算法 c语言,实战微博互动预测之三_xgboost答疑解惑

1.说明前两篇完成了特征工程的相关工作：加入用户的统计特征，分析文本信息内容，并作为新特征加入了数据集。
weixin_39860349·2022-12-13 20:51

python pca降维_哈工大硕士实现了 11 种经典数据降维算法，源代码库已开放

这里有个GitHub项目整理了使用Python实现了11种经典的数据抽取(数据降维)算法，包括：PCA、LDA、MDS、LLE、TSNE等，并附有相关资料、展示效果；非常适合机器学习初学者和刚刚入坑数据挖掘的小伙伴
weixin_39714383·2022-12-13 20:21

数据分析-降维-PCA-LDA-LLE

目录前言矩阵分解法主成分分析（PCA）核PCA非负矩阵分解（NMF）FactorAnalysis独立主成分分析（ICA）判别分析法（LDA）基于流形学习的数据降维方法LLEMDSMDS实现t-SNE前言降维指采用某种映射方法
ITLiu_JH·2022-12-13 20:45

11 种数据降维算法，代码已开源！

这里有个GitHub项目整理了使用Python实现了11种经典的数据抽取（数据降维）算法，包括：PCA、LDA、MDS、LLE、TSNE等
程序员大咖·2022-12-13 20:42

Scikit-learn(sklearn)机器学习必备库

sklearn建模流程：（掌握常见机器学习模型）数据预处理特征工程，特征编码模型选择模型训练与测试模型评价，误差分析数据预处理常用手段：Standardization,ormearemovalandvarian
想成为风筝·2022-12-13 14:51

Scikit-learn的六大功能

Scikit-learn的功能主要被分为六大部分：分类，回归，聚类，数据降维，模型选择和数据预处理。接下来通过一些例子来解释六类功能的主要作用。
暴走小何·2022-12-13 14:07

学习笔记：特征工程（三）——特征构建

在之前的节中，我们了解了数据类型，数据识别以及数据填充，但这些操作所针对的数据类型都是定量型数据，那么我们如何处理定性型数据呢？本节笔者就开始研究分类数据，分类数据如何构建，如何通过现有的特征构建全新的特征，让模型从中学习。其实有很多方法可以构建新特征：最简单的办法就是用pandas将现有的特征扩大几倍；当然也可以使用scikit-learn包的很多部分。本节从以下四个方面来探讨：检查数据集填充分
蓝建国·2022-12-13 13:52

python机器学习前戏 ——特征工程应用

机器学习笔记——特征工程应用机器学习为什么需要特征工程什么是特征工程特征工程的实现目录机器学习笔记——特征工程应用机器学习——特征工程应用机器学习为什么需要特征工程什么是特征工程sklearn工具特征抽取应用字典特征抽取
熬夜秃头君·2022-12-13 13:52

我的机器学习笔记——特征工程

我的机器学习笔记——特征工程1.特征工程是什么？
Wenee_·2022-12-13 13:22

机器学习笔记【二】——特征工程

特征工程what特征工程包含内容二、特征预处理特征预处理API数值型数据的无量纲化-归一化1.定义2.公式3.API4.归一化缺陷-标准化1.定义2.公式3.API4.标准化总结三、特征降维特征选择1.
Krisyeo1·2022-12-13 13:51

【百面机器学习笔记——第一章 特征工程】

百面机器学习笔记——第一章特征工程01特征归一化02类别型特征03高维组合特征的处理04特征组合07图像数据不足时的处理方法01特征归一化原因：消除量纲带来的不同数值量级的影响，防止梯度下降过程中不同方向下降速度不同
书玮嘎·2022-12-13 13:48

机器学习狗(本人)day1&2 —— 特征工程学习

机器学习狗day1&2——特征工程学习LEARN特征选择FeatureSelection首先，从特征开始说起，假设你现在有一个标准的Excel表格数据，它的每一行表示的是一个观测样本数据，表格数据中的每一列就是一个特征
b1ue0cean·2022-12-13 13:17

01_机器学习概述整理

机器学习的处理流程：数据采集、预处理、特征工程、建模和测试。
等风来随风飘·2022-12-13 13:12

01_机器学习相关笔记——特征工程（1）

01_机器学习相关笔记——特征工程（1）没有充足的数据、合适的特征，再强大的模型结构也无法得到满意的输出。
等风来随风飘·2022-12-13 13:05

【高维数据降维】线性判别分析LDA

高维数据降维之线性判别分析LDA高维数据降维是指采用某种映射方法，降低随机变量的数量，例如将数据点从高维空间映射到低维空间中，从而实现维度减少。
梦什·2022-12-13 10:37

主成分分析PCA与鲁棒主成分分析RPCA

一、主成分分析使用最广泛的数据降维算法，可用于高维数据处理，分析，压缩等。降维：将高维度的数据保留下最重要的一些特征，去除噪声和不重要的特征，从而达到提升数据处理速度的目的。
知知知_了·2022-12-13 09:26

大数据分析与应用（中级） 数据挖掘概念及流程

回归分析：6.选择数据挖掘工具时需要考虑的因素7.常用的数据挖掘工具1.机器学习PAI：2.SAS3.Stata4.Python5.IBMSPSSModeler6.Wake7.R语言8.MATLAB8.特征工程
长岛山没有雪·2022-12-13 07:30

PCA分析——数据降维的思路方法(附实操代码)

PCA分析（PrincipalComponentAnalysis）是一重数据降维的分析方式，它可以将复杂的数据通过数学运算变得更加简单。
花生学生信·2022-12-12 22:25

一个PCA加速技巧

code%EVD-PCA数据降维%input:D×Noutput:K×Nfunction[Z,K]=EVD_PCA(X,K,weight)fprintf('RunningEVD-PCAdimensionalityreduction
u小鬼·2022-12-12 20:46
上一页 26 27 28 29 30 31 32 33 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他