特征工程-数据降维

【百面机器学习】读书笔记（一）

本文主要内容为前两章，特征工程和模型评估。
Karen_Yu_·2024-01-23 09:28

【AI】深度学习在编码中的应用（4）

自编码器通常用于数据降维、特征学习、去噪等任务。在基础架构设计中，基于自编码器的架构
giszz·2024-01-23 00:34

数据挖掘实战-基于机器学习的电商文本分类模型

如果文章对你有帮助的话，欢迎评论点赞收藏加关注+目录1.项目背景2.数据集介绍3.技术工具4.实验步骤4.1数据探索4.2数据预处理4.3文本归一化4.4特征工程4.5训练模型1.项目背景随着电子商务的蓬勃发展
艾派森·2024-01-22 16:52

【机器学习300问】14、什么是特征工程？

于是呢我就去问了一下维基百科，下面是他的回答：特征工程（英语：featureengineering）又称特征提取（英语：featureextraction）或特征发现（英语：featurediscovery
小oo呆·2024-01-22 09:12

HNU-数据挖掘-实验2-数据降维与可视化

数据挖掘课程实验实验2数据降维与可视化计科210X甘晴void202108010XXX文章目录数据挖掘课程实验实验2数据降维与可视化实验背景实验目标实验数据集说明实验参考步骤实验过程1.对数据进行初步降维
甘晴void·2024-01-22 06:31

个性化风控！消费贷客群分群模型应用实践

提出明确业务目标及业务定义，我们需要优化模型的主要方法有以下三个方面：特征工程、算法改进和模型框架。
风控小兵突击·2024-01-21 18:02

数据分析完整流程一般包括哪几个环节/步骤

特征工程：对数据进行变换、组合或生成新特征，以提高模型性能或更好地反映问题的本质。建模：
Recursions·2024-01-21 07:21

（9-3）基于深度强化学习的量化交易策略（OpenAI Baselines +FinRL+DRL+PyPortfolioOpt）：数据预处理

1.1.6数据预处理数据预处理是训练高质量机器学习模型的关键步骤，在这一步需要检查缺失数据并进行特征工程，以将数据转换为适合模型训练的状态。
码农三叔·2024-01-20 09:21

机器学习-滑窗

另一种是先进行特征工程，将时间序列数据切段，对每段内的时间序列数据进行特征提取。再将众多特征作为常规机器学习算法的输入。
dufudouhenmang·2024-01-19 11:44

表示学习内容摘录 《深入浅出神经网络：GNN原理解析》

这样的特征工程是十分费时费力的，这也暴露了传统机器学习方法中存在的问题，这些方法没有能力从数据中去获得有用的知识，而特征工程的目的则是将人的先验知识转化为可以被机器学习算法识别的特征，以弥补其自身的缺点
认知计算_茂森·2024-01-19 11:25

transformer猪肉价格预测 实战 可直接运行

你可以使用各种来源（如金融数据API、网站爬虫等）获取数据，并进行数据预处理和特征工程。在这里，我们使用一个简单的示例数据集。importpandasaspd#示例数据（日
mqdlff_python·2024-01-19 08:17

利用 Apache Spark 和 Databricks 进行企鹅种类预测的机器学习实践入门

在对机器学习的特征工程部分包括了对分类特征的编码和数值特征的规范化处
AI普惠大师·2024-01-19 06:17

基于深度学习的时间序列算法总结

常用的深度学习模型包括循环神经网络（RNN）、长短时记忆网络（LSTM）、门控循环单元（GRU）、卷积神经网络（CNN）、注意力机制（Attention）和混合模型（Mix）等，与机器学习需要经过复杂的特征工程相比
流浪的诗人，·2024-01-18 21:36

变分自编码器（Variational AutoEncoder，VAE）

它的结构下图所示：据图可知，AE通过自监督的训练方式，能够将输入的原始特征通过编码encoder后得到潜在的特征编码，实现了自动化的特征工程，并且达到了降维和泛化的目的。
溯源006·2024-01-18 18:59

工智能基础知识总结--特征工程之降维算法

数据降维简介数据降维即对原始数据特征进行变换，使得特征的维度减少。
北航程序员小C·2024-01-18 12:53

特征工程之特征选择

特征选择的目标构造机器学习的模型的目的是希望能够从原始的特征数据集中学习出问题的结构与问题的本质，此时的挑选出的特征就应该能够对问题有更好的解释；特征决定了机器学习的上限，而模型和算法只是去逼近这个上限，所以特征选择的目标大概如下：提高预测的准确性；减少模型的运行时间；能够对模型有更好的理解和解释。Filter(过滤法)基本想法是：对每个特征，分别计算它相对于类别标签的信息量，将所有信息量按照从大
北航程序员小C·2024-01-18 12:52

【机器学习实例讲解】机器学习-鸢尾花数据集多分类第02课

特征工程
德天老师·2024-01-18 08:45

PCA实例及代码

将特征数量从几百上千降低到几十的过程就是数据降维。
morie_li·2024-01-18 01:22

风控算法大赛解决方案分享

01项目总体思路本文将为您介绍我们在数据处理过程中所采用的方法，从数据清洗到特征工程再到特征选择，最终进行模型设计与分析。在
风控小兵突击·2024-01-17 23:29

数据处理和特征工程（二）

4.特征选择一般有四种方法用来选择特征：过滤法、嵌入法、包装法、降维算法4.1Filter过滤法**根据统计检验的分数和相关性指标来选择特征，完全独立于各种机器学习算法4.1.1方差过滤VarianceThreshold通过特征本身的方差来筛选类，如果一个特征的方差很小，说明样本在这个特征上基本没有差异，可能大多数值都一样。VarianceThreshold有重要参数Threshold，表示舍弃所
于饼喵·2024-01-17 22:23

机器学习：08. sklearn中的特征选择feature_selection

导入数据importpandasaspddata=pd.read_csv(r"C:\Users\18700\Desktop\03数据预处理和特征工程\digitrecognizor.csv")data.head
医学小白学生信·2024-01-17 04:40

特征工程-特征处理（二）

特征处理二、时间特征处理将原本的具体时间拆分为年月日等多个特征变量，同时可以引入在一天的某个时间段，或者是当天是否为节假日等其他条件，还可以进一步结合其他特征，进行前后一个时间段或是多个时间段时间的特征差值。dt.shift(periods=1,freq=None,axis=0)连续型变量处理（一）单特征归一化和标准化数据的归一化和标准化是特征缩放的方法。不同评价指标往往具有不同的量纲和量纲单位，
alstonlou·2024-01-16 21:33

特征工程-特征处理（三）

特征处理连续型变量处理（二）多特征降维PCAPCA是一种常见的数据分析方式，通过数据分解，将高维数据降低为低维数据，同时最大程度保持数据中保存的信息。fromsklearn.decompositionimportPCAA=np.array([[84,65,61,72,79,81],[64,77,77,76,55,70],[65,67,63,49,57,67],[74,80,69,75,63,74]
alstonlou·2024-01-16 21:30

pytorch集智-5手写数字识别器-卷积神经网络

一般机器学习需要特征工程，cnn可以自动识别，极大代替或取代了特征工程和多层感知机原理不同点：层包含卷积层，池化层。但也是一种前馈神经网络输入与输出：输入可为图像，输出为目标分类个数（比
peter6768·2024-01-16 07:15

AutoGluon安装及示例

AutoGluon安装及示例文章目录AutoGluon安装及示例AutoGluon_BackgroundAutoGluon安装运行示例打印相关配置信息数据预处理过程特征工程模型训练NLP模型训练使用模型
Every DAV inci·2024-01-15 19:03

机器学习之特征工程

二、定义特征工程（FeatureEngineering）特征工程是将原始数据转化成更好的表达问题本质的特征的过程，使得将这些特征运用到预测模型中能提高对不可见数据的模型预测精度。特征工程简单
物随心转·2024-01-15 11:10

自学习算法

2.特征提取：利用深度学习技术，自动从原始数据中提取有用的特征，减少人工干预和手动特征工程的需求。3.模型训练：使用各种深度学习模型进行训练，如卷积神经网络、循
.:::.·2024-01-15 04:26

面向工业的复合自动机器学习

这包括数据清洗、数据预处理、数据增强等一系列操作，以便为后续的特征工程和模型训练提供高质量的数据源。二、特征工程特征工程是机器学习中的关键环节，对于模型的性能具有决定性的影响。
道亦无名·2024-01-14 22:30

特征工程-特征处理（一）

特征处理-（离散型特征处理）完成特征理解和特征清洗之后，我们要进行特征工程中最为重要和复杂的一步了——特征处理离散型特征处理离散型特征通常为非连续值或以字符串形式存在的特征，离散型特征通常来讲是不能直接喂入模型中的
alstonlou·2024-01-14 11:20

特征工程-特征清洗

特征清洗在进行玩特征理解后，我们大致理解了面对的数据中包含哪些内容。下一阶段，我么需要对数据中的内容进行进一步分析处理，针对不同数据进行清洗。数据清洗是对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并提供数据一致性一.格式内容清洗原因数据通常由人工收集或用户填写而来，很有可能存在格式和内容上的一些问题。不同版本的程序产生的内容或格式不一致；不同数据源采集而来的数据内容和格式
alstonlou·2024-01-14 11:19

[DL]深度学习_神经网络

神经网络推导过程目录一、前向传播二、反向传播1、定义2、优化算法三、神经网络整体架构1、基本架构2、隐藏层3、神经元个数对结果的影响4、正则化对结果的影响四、数据预处理1、数据预处理步骤2、数据标准化3、参数初始化4、特征工程五
IAz-·2024-01-14 05:21

无监督学习Principal Component Analysis(PCA)精简高维数据

目录介绍一、PCA之前二、PCA之后介绍PrincipalComponentAnalysis(PCA)是一种常用的数据降维和特征提取技术。
取名真难.·2024-01-13 18:50

Python综合数据分析_RFM用户分组模型

文章目录1.导入数据2.月度订单数据可视化3.数据清洗4.特征工程5.构建User用户表6.求R值7.求F值8.求M值9.显示R、F、M值的分布情况10.显示手肘图辅助确定K值11.创建和训练模型12.
you_are_my_sunshine*·2024-01-13 13:32

机器学习_实战框架

文章目录介绍机器学习的实战框架1.定义问题2.收集数据和预处理(1).收集数据(2).数据可视化(3).数据清洗(4).特征工程(5).构建特征集和标签集(6).拆分训练集、验证集和测试集。
you_are_my_sunshine*·2024-01-13 07:44

数据特征工程 | PSO粒子群算法的特征选择原理及python代码实现

粒子群优化（ParticleSwarmOptimization，PSO）是一种基于群体智能的优化算法，常用于解决搜索和优化问题。在特征选择问题中，PSO可以用于选择最佳的特征子集，从而提高模型的性能和效果。PSO的特征选择原理如下：表示特征子集：PSO中的每个粒子表示一个特征子集，其中每个维度对应一个特征。粒子的位置向量表示了特征子集的状态，每个位置的取值可以是0或1，分别代表该特征是否被选择。群
算法如诗·2024-01-12 10:47

机器学习-0基础

如何生成可参考右边的帮助文档文章目录0基础机器学习一、什么是机器学习二、学习软件python三、如何学1.载入数据与理解数据1.1导入数据1.2数据查看2.数据准备与特征过程1.2数据预处理-缺省值-异常值异常值：3特征工程模型与优化
猿戴科·2024-01-12 09:47

【特征工程】17种将离散特征转化为数字特征的方法

作者|SamueleMazzanti编译|VK来源|TowardsDataScience“你知道哪种梯度提升算法？”“Xgboost，LightGBM，Catboost，HistGradient。”“你知道哪些离散变量的编码？”“one-hot”在一次数据科学面试中听到这样的对话我不会感到惊讶。不过，这将是相当惊人的，「因为只有一小部分数据科学项目涉及机器学习，而实际上所有这些项目都涉及一些离散数
风度78·2024-01-12 06:34

【特征工程】 分类变量：使用OrdinalEncoder对序数特征进行编码

OrdinalEncoding：序数特征的编码方法1.OrdinalEncoding是什么？什么是序数特征？：序数特征（Ordinalfeatures）是分类特征中包含一定顺序的变量（如家属人数、教育程度、财产范围）OrdinalEncoding是一种用于处理有序分类变量的编码方法，它为每个类别分配一个整数值，保留了类别之间的顺序关系。这种编码方法适用于那些具有内在顺序结构的分类变量，能够为模型提
Avasla·2024-01-12 06:25

特征工程（二）

特征工程（二）特征理解理解手上的数据，就可以更好的明确下一步的方向。
alstonlou·2024-01-11 09:49

数据挖掘实战1：泰坦尼克号数据

读取数据-统计指标-数据规模2.数据探索（特征理解）-单特征的分析，诸个变量分析对结果y的影响（x,y的相关性）-多变量分析（x,y之间的相关性）-统计绘图3.数据清洗和预处理-缺失值填充-标准化、归一化-特征工程
bb8886·2024-01-11 09:43

【特征工程】学习过程中的补充知识点

良好的模型会有较高的R方分数。完美的模型能得到的最大R方分数是1。R方分数可以是负的，一个糟糕的模型可以得到任意低的负分。数据可视化的重要性：在构建模型时，使用可视化方法查看一下输入和输出之间以及各个输入特征之间的关系是一种非常好的做法。概率图是一种非常简单的可视化方法，用以比较数据的实际分布与理论分布，它本质上是一种表示实测分位数和理论分位数的关系的散点图不要“中心化”稀疏数据！在稀疏特征上执行
小小孩儿的碎碎念·2024-01-11 04:36

特征工程（特征提取&数据预处理）

一、特征提取在房价模型的例子中，我们提取房子的长度（frontage）和宽度（depth）作为特征之一。并得到初步的特征方程：然而我们知道，房屋面积可以表示为：。用土地面积作为独立特征可以更好地预测价格，所以我们将作为新的特征提取出来并定义新的特征方程:(大家可能会觉得变量太多。其实现在只是建立了一个初步的模型，在之后使用决策树、正则化等算法可以减少特征数量）二、特征缩放（数据预处理）1.1了解特
Visual code AlCv·2024-01-10 20:17

【Python特征工程系列】教你利用逻辑回归模型分析特征重要性（源码）

这是Python特征工程系列原创文章，我的第191篇原创文章。一、问题应用背景介绍：如果有一个包含数十个甚至数百个特征的数据集，每个特征都可能对你的机器学习模型的性能有所贡献。
数据杂坛·2024-01-10 11:10

机器学习：数据处理与特征工程

机器学习中的数据处理和特征工程是非常关键的步骤，它们直接影响模型的性能和泛化能力。
rubyw·2024-01-10 06:53

特征工程-数据准确性

特征工程-数据准确性背景介绍在当今的大数据时代，数据以及成为企业和组织中最宝贵的资源之一。通过人工智能和机器学习的应用，能够从数据中深度挖掘出相关信息并进行应用。
alstonlou·2024-01-09 18:13

特征工程（一）

特征工程（一）什么是特征工程简单来讲将数据转换为能更好地表示潜在问题的特征，从而提高机器学习性能特征工程包含的内容转换数据的过程特征更好地表示潜在问题提高机器学习性能数据和机器学习的基础知识数据基础以下为数据的一个实例其中
alstonlou·2024-01-09 18:12

PCA和NMF

主成分能够尽可能保留原始数据的信息详细介绍可以参考：《主成分分析（PCA）原理详解（转载）》一、数据降维以sklearn.datasets的load_wine酒数据为例
一只怂货小脑斧·2024-01-09 18:50

Spark回归分析与特征工程

本文将深入探讨如何使用Spark进行回归分析以及如何进行特征工程，以提高模型性能。Spark中的回归分析回归分析是一种用于建立和解释因变量与自变量之间关系的统计方法。
晓之以理的喵~~·2024-01-09 11:00

机器学习（四） -- 模型评估（4）

系列文章目录机器学习（一）--概述机器学习（二）--数据预处理（1-3）机器学习（三）--特征工程（1-2）机器学习（四）--模型评估（1-4）未完待续……目录机器学习（四）--模型评估（1）机器学习（
₫从心·2024-01-09 08:43

Python综合数据分析_根据订单求RFM值

文章目录0.导入数据1.数据可视化2.数据清洗3.特征工程4.构建User用户表5.求R值6.求F值7.求M值0.导入数据importpandasaspd#导入Pandasdf_sales=pd.read_csv
you_are_my_sunshine*·2024-01-08 09:55
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他