特征工程-数据降维第28页

机器学习模型 3 个调优改进策略

对于开发者们来说，如何提高性能是非常重要的工作，本文将介绍一些常用策略，包括选择最佳算法、调整模型设置和特征工程。如果你学习过正确的教程，很快就能训练起自己的第一个机器学习模

数据不吹牛·2022-12-24 18:22

t-SNE算法的基本思想及其Python实现

t-SNE可以算是目前效果最好的数据降维和可视化方法之一，当我们想对高维数据

烟雨风渡·2022-12-24 13:26

谈主成分分析/因子分析中的特征值“矩阵近似”

主成分分析和因子分析是数据降维的常用手段，其中以特征值为载体，在不断降维“近似”原本的协方差矩阵。

北理工附中J·2022-12-24 13:16

也谈特征值和特征向量的几何意义

在当前的大数据分析时代，数据降维是一个重要的分析技术。而谈到数据降维，就离不开一门最为抽象难懂的数学学科分支——线性代数。有人可能会问：一堆向量和矩阵符号的线性代数到底有鸟用？

北理工附中J·2022-12-24 13:46

基于特征工程与威胁情报的Webshell检测方法研究

摘要【目的】Webshell是一种通过注入、XSS、上传等漏洞渗透手段植入木马产生的可执行脚本,因其构造语言种类不同、利用方法多变、隐秘性强,研究其检测方式能够准确发现渗透入侵网站的恶意攻击行为,在预警、研判、打击非法入侵计算机信息系统等黑客类案件中具有积极意义。【方法】本文提出了一种基于Webshell恶意代码进行行为数据研究并提取特征的创新方法,针对HTTP流量实现基于特征的Webshell检

罗伯特之技术屋·2022-12-24 10:05

PCA与LDA学习小结

PCA又称为主成分分析，在数据降维上应用较多。思想就是令降维后的数据各属性方差最大化，或者互不相关。这个可以通过线性代数中的协方差矩阵及其特征值分析来实现。

小小白工程师·2022-12-24 10:04

PCA原理小结

主成分分析（PrincipalComponentAnalysis，PCA）是最常用的一种数据降维方法。顾名思义，PCA就是找出原始数据中最主要的方面来表示原始数据，可以获得比原始输入维度更低的表示。

Maples丶丶·2022-12-24 10:59

Python机器学习：for循环定义批量探索字段的方法

前面几期介绍了isnull()找缺失值，value_counts()统计字段内容的频次，但特征工程字段很多，一个个地看太麻烦了，能不能用for循环把方法封装起来批量查看字段呢？

紫昂张·2022-12-24 08:48

Python机器学习：isnull()查找缺失值

在进行特征工程的时候，需要对字段里的缺失值进行处理，那怎么把有缺失值的字段找出来呢？isnull()函数可以返回布尔值，再配合sum()函数使用，就能把每个字段里面缺失值的数量统计出来啦！

紫昂张·2022-12-24 08:45

用 LDA 方法进行数据分类的 Python 实现

图片来源于网络，文末附本文源码下载方法笔者之前写过一篇名为《用PCA方法进行数据降维》的文章，文章中主要讲述了如何用PCA（主成分分析）来对数据进行降维的方法。

Python中文社区·2022-12-23 22:26

特征工程之特征分箱（决策树分箱、卡方分箱、bestks以及评价标准WOE和IV)

特征工程之特征分箱：决策树分箱、卡方分箱、bestks以及评价标准1.WOE和IV2.无监督分箱2.1等频分箱2.2等距分箱3.有监督分箱3.1决策树分箱3.2best-ks分箱3.3卡方分箱前言：在做数据挖掘项目的时候

Donreen·2022-12-23 21:51

关于天池赛中零基础入门推荐系统 - 新闻推荐Task04特征工程

1.读取数据：训练和验证集的划分2.读取训练、验证及测试集：3.读取召回列表：4.读取各种Embedding：5.对训练数据做负采样：总结前言经过上三篇文章，接下来本文将是此次赛题中的核心内容之一，即特征工程

weixin_43796337·2022-12-23 18:22

知识图谱初阶笔记整理1

实体关系抽取抽取方法1Pipeline管道式方法，主要就是将关系抽取拆分为两个步骤，实体抽取+关系识别2个主要的步骤，因为这个过程是串联起来的，所以称之为pipeline方法2联合抽取实体关系2.1特征工程

QianTu&·2022-12-23 15:23

数据探索性分析（EDA）常用方法大合集

EDA（ExploratoryDataAnalysis），全名为数据探索性分析，是通过了解数据集，了解变量间的相互关系以及变量与预测值之间的关系，从而帮助我们后期更好地进行特征工程和建立模型，是数据挖掘

白话机器学习·2022-12-23 14:30

pb分组数据累计_特征工程（二）数据分析的六基本思路

【目录】1、分布分析2、对比分析3、统计分析4、帕累托分析5、正态性检验6、相关性分析导入数据计算工具包importnumpyasnpimportpandasaspdimportmatplotlib.pyplotaspltimportwarningswarnings.filterwarnings('ignore')#显示所有字体格式，解决plt画图，标签中文乱码frommatplotlib.fon

weixin_39637256·2022-12-23 14:58

数据特征

数据特征前言一、离散化1.离散化的原因2.离散化的优势二、归一化1.线性函数归一化2.零均值归一化3.归一化的优势补充前言特征工程是通过对原始数据的处理和加工，将原始数据属性通过处理转换为数据特征的过程

AAA_jiu·2022-12-23 13:51

天池大赛——二手车交易价格预测方案分享（一）

这个比赛是天池的一个数据挖掘入门赛，要求根据提供的数据预测二手车的交易价格，属于回归问题，此篇主要分享一下特征工程和基础模型方面的思路。

Luna2137·2022-12-23 09:38

天池数据竞赛 “二手车交易价格预测”TOP 2%开源特征工程与模型调参代码

现在把特征工程思路分享给大家，希望对大家提分有帮助。关注公众号“数据科学与人工智能技术”并发送文字“二手车”即可得到本代码。

Sawaimilert·2022-12-23 09:06

【天池学习笔记】二手车交易价格预测

.赛题理解1.1背景1.2赛制1.3赛题数据1.4评测标准1.5结果格式总结2.Baseline3.探索性数据分析EDA3.1介绍3.2常用绘图3.3相关性,独立性分析3.4问题解答3.5代码总结4.特征工程

Junieson·2022-12-23 09:34

天池大数据竞赛-河北高校邀请赛——二手车交易价格预测-初赛第22名

文章目录前言思路特征工程模型方案分享题外话前言赛题地址：https://tianchi.aliyun.com/competition/entrance/531858/introduction?

船医41·2022-12-23 09:33

[人工智能学习日志]深度学习-电力消耗预测案例

LSTM电力消耗1、加载数据集、预处理-引入包-读取数据集-数据处理-设置索引-数据处理-数据归一化处理2、特征工程-构造特征数据集和标签集-切分训练集train和测试集test-构造批数据-数据实际处理

jessica_comeon·2022-12-23 09:02

一文介绍机器学习中的三种特征选择方法

也正因如此，特征工程在机器学习流程中占有着重要地位。广义的特征工程一般可分为三个环节：特征提取、特征选择、特征衍生，三个环节并无明确的先手顺序之分。本文主要介绍三种常用的特征选择方法。

AI科技大本营·2022-12-23 09:52

机器学习python的api笔记

numpypandasMatplotlibtablesjutypersklearn1.K近邻算法加入Scikit-learn工具安装scikit-learn需要Numpy,Scipy等库包含内容分类、聚类、回归特征工程模型选择

夏高木杉·2022-12-23 09:50

TensorFlow系列——本地运行使用feature_column做特征工程

关键词：tf.contrib.data.parallel_interleavetf.data.TFRecordDatasetinput_layermake_initializable_iterator()train.MonitoredTrainingSessiontest_op.initializerparse_exampledata.Dataset.list_filesdata.experime

qq924178473·2022-12-23 08:08

python机器学习实战|机器学习入门笔记1-机器学习流程+matplotlib简单应用

文章目录1.机器学习工作流程2.数据集的介绍2.1数据简介2.2数据类型构成：3.数据处理3.1数据划分3.2数据基本处理4.特征工程4.1特征提取4.2特征预处理4.3特征降维5.模型训练6.模型评估

小赵同学871·2022-12-23 07:31

基于HOG、LBP完成特征工程，基于SVM/RF/XGBOOST/GBDT/CNN/DNN完成人脸识别+表情识别

在我之前的文章中写过很多关于人脸识别和表情识别的文章，今天有一个项目的需求就是需要做两种或者是多种任务，我在开发完对应的模型之后就突然想到了之前做过的人脸识别和表情识别的项目，就想着是否可以基于机器学习/深度学习等方式来同时实现人脸识别和表情识别呢？答案是可以的，基于深度学习的实现可以直接套用我项目上面开发的模型就可以实现了，但是基于机器学习的方式来实现我倒还没有想到特别好的办法，所以本文实现的方

Together_CZ·2022-12-23 06:12

基于重构损失的方法——自编码器

【与自编码器对比】基于重构损失的方法——自编码器自编码器也是一种表示学习模型，但是不利用便签，而是以输入数据为参考，是一种无监督的学习模型，它可以用于数据降维和特征提取。自编码器自编码

科研苟Gamber·2022-12-23 06:57

机器学习常见面试题

特征工程常用数据类型：结构化数据（类似于表）、非结构化数据（文本图像音频视频…）1.为什么要对数值类型的特征做归一化？可以将所有特征都统一到一个相同的特征区间内。

Wwwwwayi·2022-12-22 21:23

CV-01-AlexNet学习笔记

0、背景知识在以往的数据分析任务中，人做特征工程，人做分类；机器学习中，人做特征工程，SVM等分类算法做分类；深度学习中，CNN做特征工程，Softmax或SVM做分类。

小杰.·2022-12-22 21:17

R语言学习笔记——高级篇：第十四章-主成分分析和因子分析

判断主成分的个数2.2、提取主成分2.3、主成分旋转2.4、获取主成分得分三、探索性因子分析3.1、判断需提取的公共因子数3.2、提取公共因子3.3、因子旋转3.4、因子得分3.5、其他于EFA相关的包前言数据降维看主成分分析

福旺旺·2022-12-22 16:54

Python - scikit-leran - 机器学习全流程（1）

文章目录写在前面实例一、数据集选择二、引用所需的库三、数据准备四、去除冗余特征五、特征降维六、迭代特征筛选七、最优分类器筛选八、模型验证写在后面写在前面传统的机器学习中最重要的是特征工程，特征工程即从候选特征中根据某些标准

Doct.Y·2022-12-22 15:23

推荐系统（Recommender System）笔记 03：推荐系统的重要思想

MYJace·2022-12-22 14:50

机器学习训练_金融风控_Task3_特征工程

特征工程特征工程为建模提前加工原料，不同的模型对数据的类型和形式也有所不同，对数据的处理也不尽相同。下面主要以代码展示特征工程环节，为下一节的建模调参做准备。

恶魔眼睛大又大��·2022-12-22 14:49

R语言编写自定义函数对数据进行标准化、使用keras包构建深度学习自动编码器（autoencoder）、抽取训练后的自动编码器的中间层实现信息压缩的功能（数据降维功能）

R语言编写自定义函数对数据进行标准化、使用keras包构建深度学习自动编码器（autoencoder）、抽取训练后的自动编码器的中间层实现信息压缩的功能（数据降维功能）目录

statistics.insight·2022-12-22 14:19

Python机器学习：concat()合并训练集和测试集

如果训练集和测试集分开，要合并放在一起进行特征工程。axis的意思是“轴”，决定了两个数据集是纵向的合并，还是横向的合并。

紫昂张·2022-12-22 14:47

Python机器学习：select_dtypes()筛选特定数据类型的字段

在特征工程中，对不同的数据类型要分别处理，怎么批量把相同类型的字段筛选出来呢？select_dtypes一行代码可以搞定。

紫昂张·2022-12-22 14:47

机器学习实战——PCA实现图像压缩

1.主成分分析概述主成分分析是最为简单粗暴的一种数据降维方式，顾名思义就是找到数据中最为主要的方面，用这些方面来替代原始数据。

chaung船长·2022-12-22 11:16

有趣有用的PCA——PCA压缩图片

PCA是数据降维的经典方法，本文给出了一个将PCA用于图片压缩的例子，并探索了标准化处理（normalization）对PCA的影响。文末还讨论了PCA推导第一主成分的过程。

生信了（公众号同名）·2022-12-22 11:45

时间序列的特征工程——针对Hurst指数的Python计算

时间序列的特征工程——针对Hurst指数的Python计算(附Github代码)Github地址：Hurst指数计算Python脚本最近两天为了整一个Hurst指数的计算翻了不少资料，百度到好多代码算出来结果不是大于

量化橙同学·2022-12-22 09:13

A Comprehensive Survey on Graph Anomaly Detection with Deep Learning——前言

在这一领域的早期工作中，检测方法在很大程度上依赖于手工制作的特征工程或领域专家构建的统计模型。这内在地限制了这

Anooyman·2022-12-22 07:10

Datawhale时间序列挖掘学习资金流入流出预测（四）之特征工程

本篇是（四）特征工程学习笔记（一）理论说明基于对数据的分析和探索可以发现潜在的有效特征，在提取潜在有效特征后，我们进一步分析这些特征与因变量的关联以筛选有预测价值的特征。特征越好，模型性能越出色。

Sunburst.·2022-12-22 00:59

【算法竞赛学习】资金流入流出预测-挑战Baseline_特征工程

赛题简介蚂蚁金服拥有上亿会员并且业务场景中每天都涉及大量的资金流入和流出，面对如此庞大的用户群，资金管理压力会非常大。在既保证资金流动性风险最小，又满足日常业务运转的情况下，精准地预测资金的流入流出情况变得尤为重要。此届大赛以《资金流入流出预测》为题，期望参赛者能够通过对例如余额宝用户的申购赎回数据的把握，精准预测未来每日的资金流入流出情况。对货币基金而言，资金流入意味着申购行为，资金流出为赎回行

jaeden_xu·2022-12-22 00:28

【数学建模】2022小美赛C题人类活动分类（Classify Human Activities）

2022小美赛1前言2问题重述3问题解决思路4问题求解（原始模型）4.1特征提取4.2数据集划分4.3评价指标选择4.4模型的选择4.5各模型的性能表现5改进的模型5.1特征工程5.2改进后的结果小结附件竞赛题目

一川风絮千片雪·2022-12-21 09:01

深度学习线性回归实验三 python pytorch实现

多项式回归2.1数据集构建2.2模型构建2.3模型训练2.4模型评估3.Runner类介绍3.0基于线性回归的波士顿房价预测3.1数据处理3.1.1数据集介绍3.1.2数据清洗3.1.3数据集划分3.1.4特征工程

岳轩子·2022-12-21 07:55

深度学习基础--传统机器学习与深度学习的区别

传统机器学习与深度学习的区别 1）传统机器学习：利用特征工程(featureengineering)，人为对数据进行提炼清洗 2）深度学习：利用表示学习(representationlearning

whitenightwu·2022-12-21 07:39

HBU_神经网络与深度学习实验3 线性回归

模型训练6.模型评估二、多项式回归1.数据集构建2.模型构建3.模型训练4.模型评估三、Runner类介绍四、基于线性回归的波士顿房价预测1.数据处理（1）数据预览（2）数据清洗（3）数据集划分（4）特征工程

ZodiAc7·2022-12-21 06:07

SVC案例：预测明天是否会下雨（一）

在这个15W行数据的数据集上，随机抽样5000个样本来为大家演示一些数据预处理和特征工程的思路。

酸奶绿茶·2022-12-21 05:55

特征工程

1、特征工程欢迎来到特征工程！在本课程中，您将学习构建伟大机器学习模型的最重要步骤之一：特征工程。

吾爱吾师，吾更爱真理。·2022-12-20 18:13

机器学习特征工程及模型聚合

目录一：什么是特征工程二：特征工程方法三：独热编码四：归一化处理五：特征工程方法六：特征工程处理过程七：Kaggle房价预测实际案例一：什么是特征工程1是最大限度地从原始数据中提取特征以供算法和模型的使用

顾城沐心·2022-12-20 18:38

机器学习 Kaggle 房价预测比赛 Ensemble Generation

学习链接：ｗww.cnblogs.com/massquantity/p/8640991.html前言：\quad至今已经做了一些数据清洗，特征提取这些特征工程相关的东西，同时在房价预测项目中也使用了随机深林

just_sort·2022-12-20 18:37

推荐频道

特征工程-数据降维