特征工程-数据降维

ML入门2

ML入门2二.特征工程1.特征提取2.特征预处理3.特征降维3.1什么是降维可以参考数据分析时候的数组降维，将二维数组转换为一维数组，这里降低的是嵌套层数。而特征的降维，是降低特征的个数。
垃圾桶里也挺好·2022-12-01 00:09

【菜菜的sklearn课堂笔记】逻辑回归与评分卡-逻辑回归中的特征工程

视频作者：菜菜TsaiTsai链接：【技术干货】菜菜的机器学习sklearn【全85集】Python进阶_哔哩哔哩_bilibili当特征的数量很多的时候，我们出于业务考虑，也出于计算量的考虑，希望对逻辑回归进行特征选择来降维。比如，在判断一个人是否会患乳腺癌的时候，医生如果看5~8个指标来确诊，会比需要看30个指标来确诊容易得多。业务选择说到降维和特征选择，首先要想到的是利用自己的业务能力进行选
烧灯续昼2002·2022-11-30 15:25

深度学习系列27：VAE生成模型

自编码器的初衷是为了数据降维，假设原始特征x维度过高，那么我们希望通过编码器E将其编码成低维特征向量z=E(x)，编码的原则是尽可能保留原始信息，因此我们再训练一个解码器D，希望能通过z重构原始信息，即
IE06·2022-11-30 13:35

常用AI/机器学习模型可解释技术与工具

通过模型可解释，可以指导特征工程的优化、检测偏差、增强模型使用者对模型的可信度。Anaconda资深数据科学家SophiaYang总结了8种模型可解释常用技术和工具，对其主要特征进行了概述。
·2022-11-30 12:12

Keras深度学习记录3——深度学习工作流程

深度学习工作流程一、深度学习术语二、评估深度学习模型2.1训练集、验证集和测试集2.1.1简单的留出验证三、数据预处理、特征工程和特征学习3.1神经网络的数据预处理3.1.1向量化3.1.2值标准化3.1.3
五颗粒粒·2022-11-30 08:09

【竞赛项目详解】二手车交易价格预测(附源码)

文章目录1项目简介2项目分析2.1数据分析(EDA)2.2难点分析2.3可行性方案分析3方案设计3.1特征工程3.2模型构建与训练4结果分析5源码链接1项目简介赛题以预测二手车的交易价格为任务，数据来自某交易平台的二手车交易记录
小鹏聊智驾·2022-11-30 07:13

核主元分析 KPCA及matlab代码,主要用于数据降维。

clcclearallcloseall%%载入数据%注意数据样本为行样本属性或者样本参数列！！！！！！！！！！！！！！！！！！！！！%特征参数维度与样本属性维度一致。tztqxk=xlsread('KPCA1.xlsx');[n,p]=size(tztqxk);%n行数p列数data=tztqxk';%样本是行属性是列就要转置%%2、数据标准化处理X0=zscore(data);%单位不统一%%3
洋洋43916303·2022-11-30 00:25

人工智能与算法学习暑期总结

基础知识AI|优化背后的数学基础机器学习中算法与模型的区别基于Python的11种经典数据降维算法快速入门数据结构和算法一文搞懂转置卷积（反卷积）深度学习21张让你代码能力突飞猛进的速查表（神经网络、机器学习
人工智能与算法学习·2022-11-29 19:51

【机器学习入门】(12) 特征工程：特征选择、数据降维、PCA

各位同学好，今天我和大家分享一下python机器学习中的特征选择和数据降维。内容有：（1）过滤选择；（2）数据降维PCA；（3）sklearn实现那我们开始吧。
立Sir·2022-11-29 17:28

【ML特征工程】第 6 章 ：降维：用 PCA 压缩数据薄饼

大家好，我是Sonhhxg_柒，希望你看完之后，能对你有所帮助，不足请指正！共同学习交流个人主页－Sonhhxg_柒的博客_CSDN博客欢迎各位→点赞+收藏⭐️+留言系列专栏-机器学习【ML】自然语言处理【NLP】深度学习【DL】foreword✔说明⇢本人讲解主要包括Python、机器学习（ML）、深度学习（DL）、自然语言处理（NLP）等内容。如果你对这个系列感兴趣的话，可以关注订阅哟文章目录
Sonhhxg_柒·2022-11-29 17:26

事件抽取研究方向

神经网络方法的优势在于能够自动学习构建特征，从而避免了繁琐的特征工程。事件组成：触发词、事件类型、论元及论元角色。事件抽取子任务：触发词识别、事件类型分类、论元识别和角色分类任务。
北巷！！·2022-11-29 17:43

逻辑回归评分卡实战-toad

此处导入的数据集为已完成特征工程的数据集，特征工程思路可以参考：天池-金融风控训练营-task3-特征工程_nikita_zj的博客-CSDN博客天池-金融风控训练营-task3-特征工程https:/
nikita_zj·2022-11-29 11:42

9.5.3、Spark Mllib_特征工程处理

特征工程对数据进行处理ctDemo05Rando{defmain(args:Array[String]):Unit={valspark:SparkSession=SparkSession.builder
Loves_dccBigData·2022-11-29 11:46

【Spark MLlib】（二）Spark MLlib 特征工程 - 提取、转换和选择

SparkMLlib中关于特征处理的相关算法，大致分为以下几组：提取(Extraction)：从“原始”数据中提取特征转换(Transformation)：缩放，转换或修改特征选择(Selection)：从较大的一组特征中选择一个子集局部敏感哈希(LocalitySensitiveHashing，LSH)：这类算法将特征变换的各个方面与其他算法相结合。文章目录一、特征的提取1.1TF-IDF1.2
云 祁·2022-11-29 11:08

使用SPARK进行特征工程

文章目录特征工程预处理特征选择归一化离散化Embedding向量计算效果对比特征工程在机器学习领域，有一条尽人皆知的“潜规则”：Garbagein，garbageout。
bugmaker.·2022-11-29 11:38

自编码器AutoEncoder之MNIST数据降维

importtensorflow.compat.v1astfimporttensorflowastf2tf.disable_v2_behavior()importnumpyasnpimportmatplotlib.pyplotaspltfromtensorflow.keras.datasetsimportmnistfrommpl_toolkits.mplot3dimportAxes3Dfromma
安達と島村·2022-11-29 09:39

使用KNN根据深度自编码器降维特征识别MNIST数据集手写体数字(pytorch+scikit learn)

目标：实现无监督的数据降维，并根据降维信息实现KNN分类内容：1.自编码器降维自编码器是为使神经网络学习数据原始特征，将高维数据特征用低维数据特征表示，是一种无监督的表征学习方法。
上进的小菜鸟·2022-11-29 09:36

autoencoder自编码器原理以及在mnist数据集上的实现

它实际由一组相对应的神经网络组成（可以是普通的全连接层，或者是卷积层，亦或者是LSTMRNN等等，取决于项目目的），其目的是将输入数据降维成一个低维度的潜在编码，再通过解码器将数据还原出来。
Cy_coding·2022-11-29 09:31

python之PCA主成分分析实现对人脸数据降维

一：总结：（1）PCA用途：PCA是一种非常实用的数据压缩方法，在使用线性回归和神经网络算法之前都可以先使用PCA对特征进行降维（2）PCA代码实现还原维度的方法：降维后的矩阵*他的转置+还原去均值化（进行数据还原时因为之前左过数字归一化操作，因此还需要加回去）（3）原始图像为5000*1024维，对降维到36维后显示前100张图片，每张图大小为32*32；（4将图像降到n维实际就是保留n个主要特
梦醒了※·2022-11-29 08:09

人工智能（降维）——主成分分析（PCA)

目录1知识回顾1.1方差1.2协方差1.3特征向量和特征值2主要成份分析2.1数据降维2.2主成分分析原理2.3算法过程3参数说明3.1sklearn.decomposition.PCA3.2PCA对象的方法
荔枝科研社·2022-11-29 08:09

常见深度学习算法总结

针对机器学习算法需要领域专家进行特征工程，模型泛化性能差的问题，提出了NN可以从数据的原始特征学习特征表示，无需进
mosan123·2022-11-29 07:11

天池安泰杯金融科技挑战赛冠军方案/零基础风控学习赛TOP方案分享

详细的特征工程+个人理解前言1赛题理解2数据预处理2.1缺失值分析2.2编码选择3特征工程3.1可解释特征3.2组合交叉特征3.3暴力特征4模型融合4.1模型选取4.2特征筛选4.3差异化模型和stacking
庐州小火锅·2022-11-29 06:47

一个完整的深度学习图像分割例子（三）：数据准备

数据预处理应该属于特征工程的范畴，是人工智能必备的步骤，我们通常将数据划分为训练集，验证集，测试集，训练过程就是让模型从训练集中学习经验，然后在验证集和测试集中评估模型，最终在未见过的数据中评估模型泛化能力
计算机视觉大讲堂·2022-11-29 05:22

pca降维python实例_主成分分析PCA数据降维原理及python应用（葡萄酒案例分析）

主成分分析(PCA)——以葡萄酒数据集分类为例1、认识PCA(1)简介数据降维的一种方法是通过特征提取实现，主成分分析PCA就是一种无监督数据压缩技术，广泛应用于特征提取和降维。
weixin_39703926·2022-11-29 01:23

【机器学习算法实现】主成分分析(PCA)——基于python+numpy

blog.csdn.net/u012162613/article/details/421773271、PCA算法介绍主成分分析（PrincipalComponentsAnalysis），简称PCA，是一种数据降维技术
ChuShengWHU·2022-11-29 01:49

《知识图谱》赵军 阅读笔记（六）——第六章 关系抽取

任务分类6.1.3任务难点6.1.3相关评测6.2限定域关系抽取6.2.1基于模板的关系抽取方法6.2.2基于机器学习的关系抽取方法6.2.2.1基于机器学习的关系抽取方法1基于机器学习的关系抽取方法基于特征工程的方法
not_simple_name·2022-11-28 23:14

黄佳《零基础学机器学习》chap1笔记

1.2云环境入门实践：推断加州房价1.3基本的机器学习术语1.4python和机器学习框架1.5机器学习项目实战架构1.5.1问题定义1.5.2数据的收集和预处理1.原始数据的准备2.数据的预处理3.特征工程和
临风而眠·2022-11-28 17:32

【机器学习】关于t-sne：降维、可视化

因此出现了很多数据降维的手段帮助我们提取特征和可视化数据。
开始奋斗的胖子·2022-11-28 16:11

数据挖掘的五大流程之数据预处理&特征工程

想象一下未来美好的一天，你学完了菜菜的课程，成为一个精通各种算法和调参调库的数据挖掘工程师了。某一天你从你的同事，一位药物研究人员那里，得到了一份病人临床表现的数据。药物研究人员用前四列数据预测一下最后一数据，还说他要出差几天，可能没办法和你一起研究数据了，希望出差回来以后，可以有个初步分析结果。于是你就看了看数据，看着很普通，预测连续型变量，好说，导随机森林回归器调出来，调参调呀调，MSE很小，
CDA·数据分析师·2022-11-28 14:13

VAE变分自编码器

1.1数据压缩：数据压缩也可以成为数据降维，一般情况下数据的维度都是高维的，比如手写数字（28*28=784维），如果数据维度的输入，机器的处理量将会很大，而数据
THE#ONE·2022-11-28 13:49

推荐模型-上下文感知-2017：Deep&Cross（DCN）【替换Wide&Deep的Wide部分；Wide还需要人工特征工程，而Cross可以进行特征的自动交叉，避免了基于业务理解的人工特征组合】

《原始论文：Deep&CrossNetworkforAdClickPredictions》Deep&Cross模型（DCN）其实就是对Wide&Deep模型中Wide部分进行改进的模型。Wide&Deep模型原理很简单，但是最主要的是要掌握Wide&Deep这种线性和非线性，处理高维稀疏向量和embedding稠密向量的方式，能够使得模型同时具有泛化能力和记忆能力。能够根据最新数据在最短时间内以最
u013250861·2022-11-28 13:09

推荐系统CTR预估学习路线：深度模型

推荐系统CTR预估学习路线：从LR到FM/FFM探索二阶特征的高效实现推荐系统CTR预估学习路线：利用树模型自动化特征工程推荐系统CTR预估学习路线：深度模型推荐系统CTR预估学习路线：引入注意力机制作者
炼丹笔记·2022-11-28 13:35

推荐系统（Recommender System）笔记 01：推荐系统的演化

MatrixFactorization）逻辑回归（LogisticRegression）自动特征交叉的解决方案POLY2模型-特征交叉的开始FM模型-隐向量特征交叉FFM模型-引入特征域*从POLY2到FFM的演化过程GBDT+LR-特征工程
MYJace·2022-11-28 13:30

NLP学习（十六）-NLP实战之文本分类多算法对比分析实战-tensorflow2+Python3

特征工程：第二步是特征工程，将原始数据集被转换为用于训练机器学习模型的平坦特征（flatfeatures），并从现有数据特征创
安然烟火·2022-11-28 12:08

Pyspark特征工程--IDF

IDF计算给定文档集合的逆文档频率(IDF)classpyspark.ml.feature.IDF(minDocFreq=0,inputCol=None,outputCol=None)minDocFreq：一个术语应该出现在其中进行过滤的最小文档数IDF是一种适合于数据集并生成IDFModel的estimator。IDFModel采用特征向量(通常由HashingTF或CountVectorize
Gadaite·2022-11-28 11:09

特征工程——常用的特征筛选方法

特征筛选分类问题中筛选与离散标签相关性较强的连续变量——方差分析基本流程代码实现相关内容特征筛选（关键）回归问题中筛选与连续标签呈线性关系的连续变量——F检验（f_regression）计算过程特征筛选（关键）互信息法（mutualinformation）离散变量的互信息计算连续变量的互信息计算连续变量与离散变量的互信息计算最近邻计算函数计算过程（关键）分类问题中筛选与离散标签相关性较强的连续变量
同道而为之。·2022-11-28 11:08

特征工程——连续特征离散化分箱

常见的分箱方法背景等宽分箱等频分箱聚类分箱（关键）有监督分箱背景  在实际模型训练过程中，对连续型字段进行离散化处理，也就是将连续性字段转化为离散型字段。连续字段的离散过程如下所示：  离散之后字段的含义将发生变化，原始字段Income代表用户真实收入状况，而离散之后的含义就变成了用户收入的等级划分，0表示低收入人群、1表示中等收入人群、2代表高收入人群。连续字段的离散化能够更加简洁清晰的呈现特征
同道而为之。·2022-11-28 11:08

特征工程——连续变量和分类变量的统计特征衍生

特征衍生连续变量和分类变量的统计衍生双变量分组统计特征衍生函数连续变量和分类变量的统计衍生aggs_num={'num':['mean','var','max','min','skew','median','Q1','Q2']}#Q1是上四分位数，Q2是下四分位数aggs_cat={'cat':['mean','var','max','min','median','count','nunique'
同道而为之。·2022-11-28 11:38

特征工程tf-idf_特征工程-保留和删除的内容

特征工程tf-idfThenextstepafterexploringthepatternsindataisfeatureengineering.Anyoperationperformedonthefeatures
weixin_26746401·2022-11-28 11:35

【ML特征工程】第 7 章 ：通过K-Means 模型堆叠进行非线性特征化

大家好，我是Sonhhxg_柒，希望你看完之后，能对你有所帮助，不足请指正！共同学习交流个人主页－Sonhhxg_柒的博客_CSDN博客欢迎各位→点赞+收藏⭐️+留言系列专栏-机器学习【ML】自然语言处理【NLP】深度学习【DL】foreword✔说明⇢本人讲解主要包括Python、机器学习（ML）、深度学习（DL）、自然语言处理（NLP）等内容。如果你对这个系列感兴趣的话，可以关注订阅哟文章目录
Sonhhxg_柒·2022-11-28 11:03

【ML特征工程】第 8 章 ：自动化特征化器：图像特征提取和深度学习

大家好，我是Sonhhxg_柒，希望你看完之后，能对你有所帮助，不足请指正！共同学习交流个人主页－Sonhhxg_柒的博客_CSDN博客欢迎各位→点赞+收藏⭐️+留言系列专栏-机器学习【ML】自然语言处理【NLP】深度学习【DL】foreword✔说明⇢本人讲解主要包括Python、机器学习（ML）、深度学习（DL）、自然语言处理（NLP）等内容。如果你对这个系列感兴趣的话，可以关注订阅哟文章目录
Sonhhxg_柒·2022-11-28 11:03

【ML特征工程】第 9 章 ：回到特征：构建学术论文推荐器

大家好，我是Sonhhxg_柒，希望你看完之后，能对你有所帮助，不足请指正！共同学习交流个人主页－Sonhhxg_柒的博客_CSDN博客欢迎各位→点赞+收藏⭐️+留言系列专栏-机器学习【ML】自然语言处理【NLP】深度学习【DL】foreword✔说明⇢本人讲解主要包括Python、机器学习（ML）、深度学习（DL）、自然语言处理（NLP）等内容。如果你对这个系列感兴趣的话，可以关注订阅哟文章目录
Sonhhxg_柒·2022-11-28 11:03

（推荐系统）Wide&Deep算法：Wide & Deep Learning for Recommender Systems

摘要为改进经典推荐算法对特征工程的高依赖性以及深度学习方案因产生过多冗余信息而计算量增大的问题，Cheng等人提出了一种可以兼备记忆性以及泛化性的深度学习模型：Wide&Deep。
PYIPHANG·2022-11-28 11:00

Spark ml 特征工程

参考：https://www.jianshu.com/p/e662daa8970ahttps://blog.csdn.net/qq_34531825/article/details/52415838https://blog.csdn.net/qq_34531825/article/details/52431264https://blog.csdn.net/u013090676/article/de
purisuit_knowledge·2022-11-28 11:28

【ML特征工程】第 4 章 ：特征缩放的影响：从词袋到 Tf-Idf

大家好，我是Sonhhxg_柒，希望你看完之后，能对你有所帮助，不足请指正！共同学习交流个人主页－Sonhhxg_柒的博客_CSDN博客欢迎各位→点赞+收藏⭐️+留言系列专栏-机器学习【ML】自然语言处理【NLP】深度学习【DL】foreword✔说明⇢本人讲解主要包括Python、机器学习（ML）、深度学习（DL）、自然语言处理（NLP）等内容。如果你对这个系列感兴趣的话，可以关注订阅哟文章目录
Sonhhxg_柒·2022-11-28 10:45

最全NLP中文文本分类实践（下）——Voting和Stacking的模型融合实现

当然，有很多方法可以提升模型的表现，包括特征工程、调参、模型融合等。在这篇文章中，主要介绍针对模型融合的实践内容，即对多个baseline按一定的方法进行“融合”以期达到指标的提升。
我是你博哥啊·2022-11-28 08:09

Python线性判别分析（LDA）——数据降维

Python线性判别分析（LDA）——数据降维手动实现LDA读取数据转换标签计算求均值计算类内散布矩阵计算类间散布矩阵求特征值降维使用Sklearn完成LDA附：Pandas文档链接sklearn文档链接手动实现
bats421·2022-11-28 08:33

机器学习—降维算法1LDA线性判别分析(实战)

代码1，一步一步去操作LDA代码2，直接从sklearn调用LDA方法，指定降维原始数据展示结果特征数据降维后展示结果importpandasaspdimportnumpyasnpfrommatplotlibimportpyplotaspltfromsklearn.preprocessingimportLabelEncoder
qq_44705097·2022-11-28 08:00

python泰坦尼克号数据预测_Python机器学习预测泰坦尼克号乘客生存率（kaggle项目）...

提出问题(BusinessUnderstanding)理解数据(DataUnderstanding)数据清洗(DataPreparation)特征工程(FeatureEngineering)获取相关系数
weixin_39943202·2022-11-27 21:30

泰坦尼克号python数据预处理_Python机器学习入门：泰坦尼克号预测

机器学习分析步骤：提出问题2.理解数据导入数据采集数据查看数据集信息3.数据清洗数据预处理特征工程4.构建模型5.模型评估6.方案实施提交结果报告撰写一、提出问题什么样的人可以在泰坦尼克号事故中生存下来二
weixin_39530838·2022-11-27 21:00
上一页 30 31 32 33 34 35 36 37 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他