特征工程-数据降维

实例（1）——特征工程

前言：机器学习工程师一半的时间花在数据的清洗、特征选择、降维等数据处理上面，下面就以邮件过滤系统为例，介绍一下机器学习模型构建前的一些非常重要的工作。收集数据不同的项目有不同的数据来源，这在前面介绍过。查看数据这次训练模型的数据当然是六万多份邮件以及邮件的标签，如下图：邮件标签通过数据可以得到如下：任务监督学习还是无监督学习？二分类还是多分类？文本分类还是结构化数据分类？短文本分类还是长文本分类？
飘涯·2023-02-17 12:11

一文读懂特征工程

特征工程（featureengineering）：利用领域知识和现有数据，创造出新的特征，用于机器学习算法；可以手动（manual）或自动（automated）。
rowcolumn·2023-02-17 11:06

哈工大硕士生用 Python 实现了 11 种经典数据降维算法，源代码库已开放

这里有个GitHub项目整理了使用Python实现了11种经典的数据抽取（数据降维）算法，包括：PCA、LDA、MDS、LLE、TSNE等，并附有相关资料、展示效果；非常适合机器学习初学者和刚刚入坑数据挖掘的小伙伴
视学算法·2023-02-17 07:49

AI实战入门(二)：机器学习开发流程

04机器学习开发流程4.1获取数据4.2处理数据4.3特征工程（将数据处理成可以被算法使用的数据）4.4机器学习算法训练-模型4.5模型评估4.6应用老麦在这整理提供一些在线下载的数据集，可快速入门机器学习
老麦叨逼叨·2023-02-17 05:32

语音识别系列之脉冲神经网络特征工程

人工神经网络（ArtificialNeuralNetwork,ANN）中的单个人工神经元是对生物神经元的高度抽象、提炼和简化，模拟了后者的若干基本性质。得益于误差反向传播算法，网络权重可根据设定的目标函数得到有效地调整，ANN在视觉、文本、语音等领域都取得了巨大的成功，各种新奇的网络结构、训练策略层出不穷，ANN获得了蓬勃发展，大量科研及工程人才投入之中，强力推动了学术研究及工业应用。相较而言，比
语音之家·2023-02-16 22:50

Python 数据分析实战案例：用户行为预测

文章目录案例介绍技术提升读取数据数据预处理数据探索与可视化数据分析用户流量和购买时间情况分析总访问量成交量时间变化分析(天)总访问量成交量时间变化分析(小时)特征工程行为类型点击次数加购次数收藏次数相关分析数据标签建立模型逻辑回归模型评估随机森林模型评估案例介绍背景
Python数据挖掘·2023-02-16 22:49

机器学习-特征工程 基础知识总结

特征工程包括【特征构造】【数值处理】【特征选择】1.【特征构造】数据和特征决定了机器学习的上限：切片静态特征，切片聚合特征，时序聚合特征2.
yamgyutou·2023-02-07 11:48

Python机器学习：时间多尺度处理日期变量

特征工程中常用的时间属性：返回月份，如1月=1dt.month当年的第几周，如1月1日=1dt.weekofyear周几，如对应日期是周二=2dt.weekday当周的第几天dt.dayofweek其他时间属性
紫昂张·2023-02-07 11:03

阿里云天池大赛工业蒸汽预测学习（3）

``最近开始了本赛题特征工程部分的学习**概念：**特征工程就是从原始数据提取特征的过程，这些特征可以很好的描述数据，并且利用特征建立的模型在位置数据上的性能表现可以达到最优流程1.去掉无用特征2.去除冗余特诊
地大停车第二帅·2023-02-07 10:46

数据挖掘概述

文章目录一、数据准备1.1原始维度指标1.2异常值处理1.3类别不均衡处理二、特征工程2.1构造新复合的指标2.2数据转化2.3平滑处理2.4归一化2.5降维三、建模3.1无监督模型3.2.1方法（分界值确定
pxq_12345·2023-02-07 09:29

使用OpenCV求解物体（轮廓）的旋转角度的案例

PCA是机器学习里面进行数据降维的常用方法之一。假设你有一组2D点，如上图所示。每个
thequitesunshine007·2023-02-06 21:20

数据挖掘概述

一个完整的知识发现过程还包含了数据挖掘前的预处理，比如特征工程、数据规范化等，以及数据
你长得好像一个人123·2023-02-06 12:14

TensorFlow搭建"简易"Wide and Deep 模型

官方提供的Wide&Deep模型的（简称，WD模型）教程都是使用TensorFlow（简称，TF）自带的函数来做的特征工程，并且模型也进行了封装，所以如果要
PerfectDemoT·2023-02-06 09:04

R语言如何绘制PCA图（四）

主成分分析法，也被称为主分量分析法，是很常用的一种数据降维方法。主成分分析法采用一个线性变换将数据变换到一个新的坐标系统，使得任何数据点投影到第一个
心有灵犀啦·2023-02-06 07:50

Auto-encoder和Variational auto-encoder（自编码器和变分自编码器）

Auto-encoder属于UnsupervisedLearning问题经常用于数据集预处理进行数据降维或者特征的提取某些数据集使用时需要变为计算机能够更好处理的形式，需要先进行预处理，我们希望预处理后的数据能够最大保留原数据集信息
歌者And贰向箔·2023-02-06 00:39

OpenMMLab AI实战营 vol.02

图像分类发展历程传统方法：设计图像特征（1990s-2000s），图像→（人工设计的算法）→特征向量→（机器学习）→分类，受限于人类智慧从特征工程到特征学习：深度学习时代（2012至今），层次化特征的实现
weixin_46292677·2023-02-05 19:16

主成分分析（PCA）

统计学方法上一篇主目录下一篇文章结构1主成分分析（PCA）简介2PCA与图像处理的关系3数据降维4数据中心化5PCA的推导过程6PCA实例7PCA的作用【前言】在许多领域的研究与应用中，往往需要对反映事物的多个变量进行大量的观测
ShaneHolmes·2023-02-05 15:03

MMclassification图像分类

数据分布本质从数据中学习分布规律，起初通过特征工程获得数据，但特征工程应用局限，随着深度学习的发展，深度学习模型能够更好地获得特征，而不局限于某一个特征工程
Fighting_1997·2023-02-05 15:14

卷积神经网络 CNN 简述

文章目录所解决的问题需要处理的数据量太大很难保留图像特征基本原理卷积层——提取图像特征池化层——数据降维（避免过拟合）全连接层——输出结果实际应用图像分类、检索目标检测图像分割自然语言处理参考资料所解决的问题在卷积神经网络
油条生煎·2023-02-05 13:46

特征工程（一）概念及python的实现手段

特征工程的定义我的理解：在我看来，特征工程涵盖几个方面的内容，特征变量的选取这一步对我们的模型有深远的影响，就像给人讲故事，那么故事从何说起呢，就从特征变量开始说起。
在做算法的巨巨·2023-02-05 12:26

2019-01-07特征工程文章

使用sklearn优雅地进行数据挖掘使用sklearn做单机特征工程特征工程到底是什么？Kaggle入门，看这一篇就够了
sevenland·2023-02-05 12:04

PCA

PCA是一种无参数的数据降维方法。首先看如下一张图屏幕快照2018-03-11下午4.55.51.png这是一组二位数据图，这些数据形成一个椭圆形状的点阵，那么这个椭圆有一个长轴和一个短轴。
carolwhite·2023-02-05 11:27

机器学习-Sklearn-11（支持向量机SVM-SVC真实数据案例：预测明天是否会下雨）

机器学习-Sklearn-11（支持向量机SVM-SVC真实数据案例：预测明天是否会下雨）#11、SVC真实数据案例：预测明天是否会下雨#这个案例的核心目的，是通过巧妙的预处理和特征工程来向大家展示，在现实数据集上我们往往如何做数据预处理
Henrik698·2023-02-05 11:26

OpenMMLab第二天学习_计算机视觉图像分类

计算梯度、统计梯度方向分布，ImageNet图像识别，视觉任务从特征工程到物征学习多头神经网络人脑可以看成一个“开关网络”，这些开关可以模拟出选择并选择，据此就实现了通用智能——同理，计算机的通用智能，
shuxinfriend·2023-02-05 10:03

OpenMMLab学习 Day2

视觉任务的难点机器学习的优势和局限性传统方法:设计图像特征(1990s~2000s)从特征工程到特征学习AlexNet的诞生&深度学习时代的开始GoingDeeper(2012~2014)残差学习的基本思路更强的图像分类模型神经结构搜索
X1ao泽OuO·2023-02-05 09:39

OpenMMlab AI实战营 打卡笔记DAY2

part1图像分类任务1.1从特征工程到特征学习机器学习算法善于处理低维、分布相对简单的数据。而图像数据在空间中具有复杂的分布，传统分类方法从图像中提取出n维的特征向量，再用机器学习的方法进行分类。
harry trolor·2023-02-05 07:09

《机器学习算法竞赛实战》整理 | 四、特征工程

本文结合《机器学习算法竞赛实战》学习笔记4.特征工程_全自动学习机器的博客-CSDN博客进行了重现整理。仅供自己学习。
飞行模式yu·2023-02-05 07:22

机器学习中的特征工程（一）---- 概览

前言上个月参加了微信大数据挑战赛，由于是第一次参加类似的比赛，并没有什么经验，最终也没有进复赛。不过在这期间还是学到了很多知识，尤其是特征处理相关的内容。接近2周的时间我几乎都在编写特征处理相关的代码，因为模型大家都用的差不多，无非就是DeepFM、DIN、GBDT等等，但是提取的特征却各不相同。在很多大佬分享出来的baseline代码中学习到了一些特征提取的技巧，但是真正可以上大分的特征，人家肯
HaloZhang·2023-02-04 20:37

[DAY2]图像分类与基础视觉模型

什么是图像分类1.定义任务目标：给定一张图片，识别图像中的物体是什么2.数学表示3.传统方法：设计图像特征(1990s~2000s)好的特征：极大简化数据表达保留内容相关信息机器学习可以处理图像分类问题4.从特征工程到特征学习自注意力机制
chenmojia·2023-02-04 19:23

MMDetection图像识别的基本概念和问题

生活中人们通过特征来判断事物的属性，从人们意识到可以通过某些特征组和开始人们就致力分离这些基本特征，特征工程因此孕育而生。
算法少帅·2023-02-04 18:58

01sklearn-机器学习的几种算法(附代码)

说明:本篇文章主要写了机器学习的流程及一些常用的算法如:贝叶斯,朴素贝叶斯,线性回归,决策树,随机森林,逻辑斯蒂回归,模型调优和特征工程等(都是使用python的sklearn库实现)一、概述二、一、特征工程在看下面的算法之前
First_____·2023-02-04 18:57

算法入门

1、特征工程归一化方法：(1)Min-Max:；(2)Z-Score:意义：归一化让不同特征映射到相同的数值区间内，使得不同特征的更新速度变得更为一致，容易更快地通过梯度下降找到最优解，对于某些不使用梯度下降法优化的模型
amyhy·2023-02-04 16:22

OpenMMLab AI实战营笔记（二）-图像分类与基础视觉模型

图像分类与基础视觉模型1.什么是图像分类1.1任务目标数学表示任务的难点机器学习方法收集数据定义模型训练预测机器学习善于处理低维、分布简单的数据，对于图像这类几十万维的空间缠绕的复杂分布数据力不从心ImageNet–特征工程的天花板层次化特征的实现方式卷积多头注意力
airwolf0992·2023-02-04 15:32

AI比赛-推荐系统（一）-新闻推荐04：特征工程【制作训练集、验证集、测试集用于排序层模型】【制作特征和标签， 转成监督学习问题】

我们先捋一下基于原始的给定数据，有哪些特征可以直接利用：文章的自身特征，category_id表示这文章的类型，created_at_ts表示文章建立的时间，这个关系着文章的时效性，words_count是文章的字数，一般字数太长我们不太喜欢点击,也不排除有人就喜欢读长文。文章的内容embedding特征，这个召回的时候用过，这里可以选择使用，也可以选择不用，也可以尝试其他类型的embedding
u013250861·2023-02-04 13:29

1天学会开发工业级推荐系统的特征工程代码:保姆级教程

一、推荐算法为何要精做特征工程机器学习工作流就好比是一个厨师做菜的过程，简单来说，清洗食材对应了清洗数据，食材的去皮、切片和搭配就对于了特征工程的过程，食物的烹饪对应了模型训练的过程。
ShallowLearner·2023-02-04 11:37

数据挖掘项目——金融反欺诈

数据挖掘项目——金融反欺诈前言一、数据集获取二、特征工程1、读数据2、去除特殊字符3、删除属性4、提取标签三、构建模型前言该项目来自北风网，模型搭建很简单，该篇记录过程总结套路。
macan_dct·2023-02-04 10:56

OpenmmLab实战课第二节

这节课主要学习了图像分类，从传统的特征工程再到特征学习；接着学习了卷积神经网络模型的发展历程，了解了多种的卷积神经网络模型；接下来详细介绍了更强的图像分类模型，如神经结构搜索、VIsionTransforms
@zhou·2023-02-04 10:48

2023.2.2OpenMMLab AI实战营学习笔记

（特征工程）深度学习：端到端的分类器（特征学习）卷积神经网络Transformer模型设计和模型学习AlexNet：开创，使在GPU上进行训练成为可能VGG：5*5的kernel->3*3GoogleNet
TAO12215623·2023-02-04 10:23

OpenMMLab AI训练营第一课笔记

计算机视觉应用无人驾驶动漫特效虚拟主播（人脸关键点检测）视频自动剪辑计算机视觉发展早期萌芽（1960-1980）：边缘检测统计机器学习与模式识别(1990-2000）：根据特征涉及检测器（特征工程）。
江选·2023-02-04 09:46

OpenMMLab AI实战营第二次笔记

传统的方法是通过人工设置特征工程来区分。但是人工设计的通用性太差，不利于推广，于是就想让机器去寻找物体的特征，让机器去进行图像分类，于是就产生了机器学习，这部分内容就属于西瓜书讲的内容。
cq99312254·2023-02-04 09:09

实战营笔记 - day 2

图像分类与基础视觉模型图像分类（识别给定图像中的物体）1.传统算法：设置维度巨大的特征向量，通过对特征向量的学习（特征工程），进行分类。
STUDYDEVIL·2023-02-04 09:08

OpenMMLab AI 实战营观课笔记第二节

这节课主要学习了图像分类，从传统的特征工程再到特征学习；接着学习了卷积神经网络模型的发展历程，了解了多种的卷积神经网络模型；接下来详细介绍了更强的图像分类模型，如神经结构搜索、VIsionTransforms
G968574321·2023-02-04 09:08

决策树分箱-特征工程之数据离散化处理-基于python实现

一、简介离散化是通过创建一组跨越变量值范围的连续区间将连续变量转换为离散变量的过程。1.1离散化有助于处理异常值和高度偏斜的变量离散化通过将这些值与分布的剩余内点值一起放入较低或较高的区间来帮助处理异常值。因此，这些异常值观察不再与分布尾部的其余值不同，因为它们现在都在同一个区间/桶中。此外，通过创建适当的bin或区间，离散化可以帮助将偏斜变量的值分布在具有相同观察数量的一组bin中。1.2离散化
python机器学习建模·2023-02-04 09:48

数据分析-task 2（特征工程）

task2任务要求特征衍生特征挑选：分别用IV值和随机森林等进行特征选择……以及你能想到特征工程处理使用IV值特征选择defcalcWOE(dataset,col,target):#对特征进行统计分组subdata
简书Sandra·2023-02-04 08:40

SVM模型实现人脸识别

SVM模型实现人脸识别SVM训练过程【fetch_lfw_people】数据集加载查看数据属性数据降维交叉验证获取最优参数划分数据集并进行模型训练模型预测可视化模型存储与加载附完整代码SVM训练过程本文通过
IDONTCARE8·2023-02-04 08:10

图像分类与基础视觉模型（听课笔记2）

超越规则：让机器从数据中学习1、收集数据，2、定义模型，3、训练，4、预测机器学习的局限图像--》人工设计的算法--〉特征向量--》机器学习--〉分类特征工程的天花板从特征工程到特征学习图像-计算梯度-
小老头秃顶了·2023-02-04 08:39

mmlab寒假实战营day2

mmlab寒假实战营day2注：本博客仅用于个人上课随手笔记计算机视觉之图像分类算法介绍一、上课笔记1.传统学习图像特征方法使用方向梯度直方图来学习，将图像通过人工算法转为特征向量，进而转换为预测类别特征工程
seeleyuan·2023-02-04 08:25

OpenMMLab 实战营打卡 - 第 2 课

OpenMMlab图像分类与基础视觉模型一什么是图像分类1.1问题的数学表示1.2视觉任务的难点1.3视觉任务一般流程二机器学习识别图像的局限性2.1传统方法：设计图像特征（1990-2000）2.2特征工程的天花板三深度学习时代的开始
视觉_xiao菜鸡·2023-02-04 07:53

【OpenMMLab实战营打卡 - 第 2 课】图像分类和基础视觉模型

收集数据-定义模型-训练-预测图片特征工程：设计算法找图像的方向梯度，找到图像的基本特征，保留了一些信息这种方法在2011年以前是主流的，但是达到了一个瓶颈深度学习：学习如何产生适合分类的特征实现一步特征提取
Xzavier阿威VVVV·2023-02-04 07:20

OpenMMLab实战营打卡-第2课

1.介绍传统方法：设计图像特征（1990s-2000s）特征工程的天花板从特征工程到特征学习层次化特征的实现方式AlexNet的诞生2.课程内容2.1模型设计卷积神经网络轻量化神经网络神经结构搜索Transformer2.1.1
enki0815·2023-02-04 07:50
上一页 16 17 18 19 20 21 22 23 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他