特征工程-数据降维第18页

数据湖：网易严选的数据湖实践

1.数据湖vs数据仓库2.数据湖的优势五、落地实践六、数据集成七、数仓建设八、特征工程九、未来规划一、业务背景网易严选在2017年中开始搭建自己的大数据体系，如今该体系已经支撑了严选的商业分析、搜索、推荐

Freedom3568·2023-04-05 17:09

特征工程集锦：A Comprehensive Guide to Data Exploration

https://www.analyticsvidhya.com/blog/2016/01/guide-data-exploration/译文：http://josephguan.github.io/2016/06/29/comprehensive-guide-to-data-exploration/5Simplemanipulationstoextractmaximuminformationout

AIIIIZ·2023-04-05 11:02

使用SnapATAC分析单细胞ATAC-seq数据（一）: SnapATAC简介与安装

SnapATAC(SingleNucleusAnalysisPipelineforATAC-seq)是一个能够快速、准确和全面分析单细胞ATAC-seq数据的R包，它可以对单细胞ATAC-seq数据进行常规的数据降维

Davey1220·2023-04-05 10:37

pca主成分分析结果解释_【PCA】主成分分析介绍

通常可以使用数据降维的方法处理数据，然后再进行下一步。主成分分析（PCA）就是一个常用的降维方法。

weixin_39846364·2023-04-05 04:22

五、线性判别分析 LDA

线性判别分析（LinearDiscriminantAnalysis，LDA）是一种经典的有监督数据降维方法，同时也经常被用来对数据进行降维。

cute_Lily·2023-04-05 04:00

文本向量处理的方法jieba，对文本的特征工程之TfidfVectorizer

对于一列文本我们需要对其进行操作的话首先要进行分词处理例如如下列表我们进行jieba分词处理importjiebadfco=df.copy()dfco['分词描述']=df['款式'].apply(jieba.lcut)deftf_re(k):k='{}'.format(k)k=k.replace('[','').replace(']','')returnkdfco['分词描述']=dfco['分

南师大蒜阿熏呀·2023-04-05 03:20

特征工程之_筛选

xieyan0811·2023-04-04 14:51

GBDT+LR算法解析及Python实现

但LR是线性模型，学习能力有限，此时特征工程尤其重要。现有的特征工程实验，主要集中在

代码输入中...·2023-04-04 14:18

PCA主成分分析法原理

v=G2NRnh7W4NQPCA算法，一个非常经典的数据降维算法，其思想是将高维数据投影至低维空间，并尽可能的不重复，尽量分散。

m0_67283465·2023-04-04 13:43

决策树案例

数据处理及特征工程本次任务我们将会使用成人数据集（来源于UCI数据集：http://archive.ics.uci.edu/ml/datasets/Adult）,该数据集从美国1994年人口普查数据库中抽取而来

Ssaty.·2023-04-04 12:12

Pyspark让pandas特征工程代码在集群上飞起来——天猫复购率baseline

Pyspark让pandas特征工程代码在集群上飞起来——天猫复购率baseline环境与数据准备导包创建spark应用第一种特征工程方式：pyspark.pandas.dataframe第二种特征工程方式

初淅沥以萧飒·2023-04-04 01:57

科赛网新人赛-员工满意度预测 MSE 0.02882

员工满意度预测-竞赛思路原贴地址项目地址文章目录科赛网新人赛-员工满意度预测-竞赛思路有用的资料、文档、博客环境与工具1.0基础知识1.1数据挖掘流程：2.0数据探索性分析2.1单变量分析2.2多变量分析3.0特征工程

_LvP·2023-04-03 20:49

股票量化交易SQL特征工程入门

虽然现在各种量化教程和自助平台铺天盖地，但是对于新人来说入门最重要的事情就是挖掘特征。对于传统的学习路径第一步是学习Python或者某一门编程语言，虽说Python入门容易上手快，但是要在实际应用中对股票数据进行分析，并挖掘有用特征还是一件比较麻烦的事情。以一个简单的分析为例，使用从Kaggle下载的日本股市数据（实验使用train_files目录下的stock_prices.csv，或者直接下载

熊主任·2023-04-03 06:02

【机器学习】03-转换器和预估器、K-近邻算法、朴素贝叶斯算法、决策树等算法知识

分类算法一、sklearn转换器和预估器1转换器-特征工程的父类fit_transform()fit()计算每一列的平均值、标准差transform()(x-mean)/std进行最终的转换2估计器(sklearn

同学你别跑·2023-04-03 01:56

百面机器学习自学笔记

第一章特征工程①②③④⑤⑥⑦⑧⑨1、常用特征归一化特征归一化①线性函数归一化（Min-MacScaling）:对原始数据进行线性变换，使结果映射到[0，1]的范围，实现对原始数据的等比缩放。

jiangnan955·2023-04-02 21:48

sklearn——转换器（Transformer）与预估器（estimator）

回想一下之前做的特征工程的步骤？

Star星屹程序设计·2023-04-02 16:15

第 5 章机器学习技术的应用(中)

原文机器学习技术的实施方法特征处理特征工程的重要性需要同时掌握理论方法和业务逻辑才能提取有效的特征;在特征方面拥有最大的自主性和探索性;指征能力,该特征的大小变化对最终结果的大小变化会在什么方向起到多大的作用

琅涯阁·2023-04-02 15:24

机器学习 - SVD分解算法的物理意义

奇异值分解算法是一种在机器学习中经常使用到的一个算法，SVD主要用于数据压缩和数据降维，在图像压缩、推荐系统有着极其重要的作用，本文将着重理解SVD分解算法的物理意义以及我们将用Python代码将这个过程可视化

L_1900·2023-04-02 08:37

python 机器学习（一）机器学习概述与特征工程

机器学习概述与特征工程转载请注明原地址：https://www.jianshu.com/p/104e924a789d同步更新在个人网站：http://www.wangpengcufe.com/machinelearning

王小鹏的随笔·2023-04-02 02:19

机器学习-系统设计

框架理解和理清需求requirements和问题系统的目标、主要功能用户及场景usecases清晰的边界抽象问题转化为机器学习问题定义评价指标（离线与在线）系统架构非ML部分ML部分数据收集与准备特征工程模型开发与离线评测推理服务推理模式

YueTann·2023-04-01 17:03

推荐系统（四）：基于稀疏自编码的推荐方法

其根本是一种数据降维的方法。大型推荐系

fromeast·2023-04-01 14:34

音频数据建模全流程代码示例：通过讲话人的声音进行年龄预测

来源：DeepHubIMBA本文约6100字，建议阅读10+分钟本文展示了从EDA、音频预处理到特征工程和数据建模的完整源代码演示。大多数人都熟悉如何在图像、文本或表格数据上运行数据科学项目。

数据派THU·2023-04-01 08:03

深入浅出推荐系统（七）：水源木本--特征工程

在介绍排序算法之前，我们先来谈一谈召回与排序模型的通用基础建设–特征工程。

慕阮·2023-04-01 05:58

numpy实战，PCA降维（特征值分解方法，不讲奇异值分解SVD）

PCA（PrincipleComponentAnalysis）即主成分分析，不仅可对高维数据降维，更重要的是经过降维，去除了噪声，从而发现数据中的一些固有的模式。PCA把原先的N个特征数用数目更少的M

daoboker·2023-04-01 02:25

第十章.主成分分析PCA(Principal Component Analysis)

第十章.主成分分析(PCA)10.1主成分分析1.主成分分析的作用：降维1).数据压缩2D-1D2).数据压缩3D-2D3).数据可视化多特征的数据将多特征的数据降维为2维数据（不是挑选两个特征）用平面坐标系表示出来

七巷少年^ω^·2023-03-31 04:40

降噪自动编码器（Denoising AutoEncoder）+BERT

1）传统的统计学-机器学习方法：由于数据维度过高，数据单调，噪声分布广，传统的特征工程很难奏效。2）降维方法，如线性学习的PCA降维方法。但很难解决非线性问题。

吹洞箫饮酒杏花下·2023-03-31 00:11

面试：一.特征工程与模型评估

特征工程，顾名思义，是对原始数据进行一系列工程处理，将其提炼为

李涛AT北京·2023-03-30 16:15

Python特征生成的两大方式

机器学习应用的本质基本上就是特征工程。——AndrewNg业内常说数据决定了模型效果上限，而机器学习算法是通过数据特征做出预测的，好的特征可以显著地提升模型效果。

python阿喵·2023-03-30 13:38

【机器学习】特征工程概述

特征工程“数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。”1.概念维基百科：特征工程是利用数据领域的相关知识来创建能够使机器学习算法达到最佳性能的特征的过程。

evillist·2023-03-30 13:49

使用手工特征提升模型性能

通过对原始数据进行手工的特征工程，我们可以将模型的准确性和性能提升到新的水平，为更精确的预测和更明智的业务决策铺平道路，可以以前所未有的方式优化模型并提升业务能力。

deephub·2023-03-30 13:25

Python机器学习：drop()删除行列

在进行特征工程、划分数据集的工作中，drop()函数都能派上用场。它可以轻松剔除数据、操作列和操作行等。

紫昂张·2023-03-30 10:28

学习规划表

www.paddlepaddle.org.cn/tutorials/projectdetail/1323545算力获取详解https://ai.baidu.com/ai-doc/AISTUDIO/nk39v9kec系统学习机器学习1.数据准备和特征工程

半大人·2023-03-30 09:14

3.Python数据分析项目——工资分类预测

可以用直接查看方式isnull、图像查看方式查看缺失值missingno）、查看数值类型特征与非数值类型特征、一次性绘制所有特征的分布图像预处理缺失值处理（填充）拆分数据（获取有需要的值）、统一数据格式、特征工程

想成为数据分析师的开发工程师·2023-03-30 01:17

深度学习工程师认证考试

报名深度学习工程师认证考试报名课程李宏毅课程-机器学习基于深度学习的自然语言处理深度学习7日入门-CV强化学习7日打卡营数据准备和特征工程开源数据集千言开源数据集

大鱼奔大江·2023-03-29 18:19

什么是“深度学习”？简答科普篇，一看就懂

人脑是怎么学习的，人的学习方式往往是非结构化数据,无论是图像，语言，文字，皆可归于此类，这些数据很难用纯数字的方法量化，无法做成传统机器学习那种一列一列数字特征（或类别特征）的形式，所以传统机器学习或多或少都需要特征工程

余老师讲机器学习·2023-03-29 13:32

小波变换在脑电数据处理中的特征工程

导读在生物信号中，高效的特征工程和特征提取(FE)是获得最优结果的必要条件。特征可以从时域、频域和时频域三个方面进行提取。时频域特征是最先进的特征，在大多数基于人工智能的信号分析问题中表现良好。

茗创科技·2023-03-29 12:42

腾讯广告算法大赛19_Top5方案&代码

赛题理解image.pngimage.pngimage.pngimage.pngimage.pngimage.png特征工程image.pngimage.pngimage.png模型介绍image.pngi

拼搏向上001·2023-03-29 04:34

特征处理总结

2.1数据离散化2.1.1等距分桶2.1.2等频分桶3.类别特征3.1单值类别特征3.1.1one-hot编码3.1.2标签编码LabelEncoder3.2多值类别特征4.序列特征基于Jupyter的特征工程手册

识醉沉香·2023-03-28 20:19

推荐系统19：深度学习在推荐系统中的应用

尤其是那些不断号称端到端的建模方式，让还在埋头于特征工程的推荐系统从业者们跃跃欲试，想赶紧引入深度学习大显身手。经过这些年学界和业界的不断尝试，深度学习在推荐系统中已经有了很多成功的应用。

勇于自信·2023-03-28 11:34

04-数据降维之特征选择

"""降维：特征的数量注意：之前说的维度是数组的维度，和这里的维度不一样为什么要降维：去掉无用的特征，减少特征数量特征选择的原因：冗余：部分特征的相关度高，容易消耗计算性能噪声：部分特征对预测结果有影响降维的方式：特征选择：中特征中选出部分特征当作最后的特征作为机器学习的输入数据API：sklearn.feature_selection.VarianceThreshold主要方法：Filter（过

jxvl假装·2023-03-26 20:32

k近邻算法实例

sklearn的KNN算法算法实例步骤数据获取读取数据数据处理特征工程模型算法交叉验证与网格搜索交叉验证（cross-validation)k折交叉验证网格搜索算法优劣优点缺点结尾算法简介[1]在模式识别领域中

李星河110·2023-03-25 20:48

推荐系统（六）：基于DeepFM的推荐算法

DeepFM的和部分共享相同的输入，可以提高训练效率，不需要额外的特征工程，用FM建模低阶的特征组合，用DNN

fromeast·2023-03-25 16:19

#Python3组数据挖掘实战总结 6、7章#

数据挖掘实战特征工程数据处理DatavsFeature列：特征从原始数据中提取特征供算法和模型使用特征越好，灵活性越强特征越好，模型越简单特征越好，性能越出色特征工程：数据处理统一量纲:标准化，归一化虚拟变量缺失值填充特征选择维度压缩

DrBear_smile·2023-03-25 12:03

机器学习面试题——特征工程

机器学习面试题——特征工程提示：互联网大厂常考的面试题目，笔试题目文章目录机器学习面试题——特征工程@[TOC](文章目录)题目特征工程有哪些数据预处理【数据怎么清洗】特征缩放特征编码特征选择特征提取特征构建遇到缺值的情况

冰露可乐·2023-03-25 07:54

机器学习算法/模型——特征工程

特征工程1.特征工程2.特征获取2.1特征提取2.2特征构造2.3特征生成（降维等）3.特征选择3.1两方面考虑：方差、相关性3.2特征选择方法1.特征工程对于机器学习来说，数据的重要性毋庸置疑，好比炒菜时的原材料直接决定了菜品的好坏

Robin_Pi·2023-03-25 07:09

【机器学习面试总结】————特征工程

【机器学习面试总结】————特征工程一、特征归一化为什么需要对数值类型的特征做归一化?二、类别型特征在对数据进行预处理时,应该怎样处理类别型特征?三、高维组合特征的处理什么是组合特征?

Lingxw_w·2023-03-25 07:35

机器学习中的特征工程（三）---- 序数和类别特征处理方法

简介本文主要说明特征工程中关于序数特征和类别特征的常用处理方法。主要包含LabelEncoder、One-Hot编码、DummyCoding、FeatureHasher以及要重点介绍的WOE编码。

HaloZhang·2023-03-24 11:38

图机器学习【从理论到实战】

图机器学习1、图机器学习导论1.1图神经网络与普通神经网络的异同2、图的基本表示和特征工程2.1图的基本表示2.1.1图的本体设计2.1.2图的种类2.1.3节点连接数（度）2.1.4图的基本表示（邻接矩阵

小白学习记录·2023-03-24 07:46

python之特征工程

天池AI学习-详情模型融合：天池AI学习-直播（干货）结合Scikit-learn介绍几种常用的特征选择方法-weepon的博客-CSDN博客使用sklearn做单机特征工程-一起大数据

钢能锅·2023-03-23 15:40

在线作图丨数据降维方法⑤——t-SNE(t-Distributed Stochastic Neighbor Embedding)

Question1：什么是t-SNE？t-DistributedStochasticNeighborEmbedding(t-SNE)是一种非线性降维技术，特别适用于高维数据集的可视化。它广泛应用于图像处理、NLP、基因组数据和语音处理。t-SNE工作原理如下：算法首先计算点在高维空间中的相似概率，然后计算相应低维空间中点的相似概率。点的相似性计算为条件概率，如果在以A为中心的高斯（正态分布）下按其

维凡生物·2023-03-22 13:40

推荐频道

特征工程-数据降维