数据分析挖掘-特征工程

机器学习：08. sklearn中的特征选择feature_selection

导入数据importpandasaspddata=pd.read_csv(r"C:\Users\18700\Desktop\03数据预处理和特征工程\digitrecognizor.csv")data.head
医学小白学生信·2024-01-17 04:40

特征工程-特征处理（二）

特征处理二、时间特征处理将原本的具体时间拆分为年月日等多个特征变量，同时可以引入在一天的某个时间段，或者是当天是否为节假日等其他条件，还可以进一步结合其他特征，进行前后一个时间段或是多个时间段时间的特征差值。dt.shift(periods=1,freq=None,axis=0)连续型变量处理（一）单特征归一化和标准化数据的归一化和标准化是特征缩放的方法。不同评价指标往往具有不同的量纲和量纲单位，
alstonlou·2024-01-16 21:33

特征工程-特征处理（三）

特征处理连续型变量处理（二）多特征降维PCAPCA是一种常见的数据分析方式，通过数据分解，将高维数据降低为低维数据，同时最大程度保持数据中保存的信息。fromsklearn.decompositionimportPCAA=np.array([[84,65,61,72,79,81],[64,77,77,76,55,70],[65,67,63,49,57,67],[74,80,69,75,63,74]
alstonlou·2024-01-16 21:30

pytorch集智-5手写数字识别器-卷积神经网络

一般机器学习需要特征工程，cnn可以自动识别，极大代替或取代了特征工程和多层感知机原理不同点：层包含卷积层，池化层。但也是一种前馈神经网络输入与输出：输入可为图像，输出为目标分类个数（比
peter6768·2024-01-16 07:15

AutoGluon安装及示例

AutoGluon安装及示例文章目录AutoGluon安装及示例AutoGluon_BackgroundAutoGluon安装运行示例打印相关配置信息数据预处理过程特征工程模型训练NLP模型训练使用模型
Every DAV inci·2024-01-15 19:03

机器学习之特征工程

二、定义特征工程（FeatureEngineering）特征工程是将原始数据转化成更好的表达问题本质的特征的过程，使得将这些特征运用到预测模型中能提高对不可见数据的模型预测精度。特征工程简单
物随心转·2024-01-15 11:10

自学习算法

2.特征提取：利用深度学习技术，自动从原始数据中提取有用的特征，减少人工干预和手动特征工程的需求。3.模型训练：使用各种深度学习模型进行训练，如卷积神经网络、循
.:::.·2024-01-15 04:26

面向工业的复合自动机器学习

这包括数据清洗、数据预处理、数据增强等一系列操作，以便为后续的特征工程和模型训练提供高质量的数据源。二、特征工程特征工程是机器学习中的关键环节，对于模型的性能具有决定性的影响。
道亦无名·2024-01-14 22:30

特征工程-特征处理（一）

特征处理-（离散型特征处理）完成特征理解和特征清洗之后，我们要进行特征工程中最为重要和复杂的一步了——特征处理离散型特征处理离散型特征通常为非连续值或以字符串形式存在的特征，离散型特征通常来讲是不能直接喂入模型中的
alstonlou·2024-01-14 11:20

特征工程-特征清洗

特征清洗在进行玩特征理解后，我们大致理解了面对的数据中包含哪些内容。下一阶段，我么需要对数据中的内容进行进一步分析处理，针对不同数据进行清洗。数据清洗是对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并提供数据一致性一.格式内容清洗原因数据通常由人工收集或用户填写而来，很有可能存在格式和内容上的一些问题。不同版本的程序产生的内容或格式不一致；不同数据源采集而来的数据内容和格式
alstonlou·2024-01-14 11:19

[DL]深度学习_神经网络

神经网络推导过程目录一、前向传播二、反向传播1、定义2、优化算法三、神经网络整体架构1、基本架构2、隐藏层3、神经元个数对结果的影响4、正则化对结果的影响四、数据预处理1、数据预处理步骤2、数据标准化3、参数初始化4、特征工程五
IAz-·2024-01-14 05:21

Python综合数据分析_RFM用户分组模型

文章目录1.导入数据2.月度订单数据可视化3.数据清洗4.特征工程5.构建User用户表6.求R值7.求F值8.求M值9.显示R、F、M值的分布情况10.显示手肘图辅助确定K值11.创建和训练模型12.
you_are_my_sunshine*·2024-01-13 13:32

机器学习_实战框架

文章目录介绍机器学习的实战框架1.定义问题2.收集数据和预处理(1).收集数据(2).数据可视化(3).数据清洗(4).特征工程(5).构建特征集和标签集(6).拆分训练集、验证集和测试集。
you_are_my_sunshine*·2024-01-13 07:44

数据特征工程 | PSO粒子群算法的特征选择原理及python代码实现

粒子群优化（ParticleSwarmOptimization，PSO）是一种基于群体智能的优化算法，常用于解决搜索和优化问题。在特征选择问题中，PSO可以用于选择最佳的特征子集，从而提高模型的性能和效果。PSO的特征选择原理如下：表示特征子集：PSO中的每个粒子表示一个特征子集，其中每个维度对应一个特征。粒子的位置向量表示了特征子集的状态，每个位置的取值可以是0或1，分别代表该特征是否被选择。群
算法如诗·2024-01-12 10:47

机器学习-0基础

如何生成可参考右边的帮助文档文章目录0基础机器学习一、什么是机器学习二、学习软件python三、如何学1.载入数据与理解数据1.1导入数据1.2数据查看2.数据准备与特征过程1.2数据预处理-缺省值-异常值异常值：3特征工程模型与优化
猿戴科·2024-01-12 09:47

【特征工程】17种将离散特征转化为数字特征的方法

作者|SamueleMazzanti编译|VK来源|TowardsDataScience“你知道哪种梯度提升算法？”“Xgboost，LightGBM，Catboost，HistGradient。”“你知道哪些离散变量的编码？”“one-hot”在一次数据科学面试中听到这样的对话我不会感到惊讶。不过，这将是相当惊人的，「因为只有一小部分数据科学项目涉及机器学习，而实际上所有这些项目都涉及一些离散数
风度78·2024-01-12 06:34

【特征工程】 分类变量：使用OrdinalEncoder对序数特征进行编码

OrdinalEncoding：序数特征的编码方法1.OrdinalEncoding是什么？什么是序数特征？：序数特征（Ordinalfeatures）是分类特征中包含一定顺序的变量（如家属人数、教育程度、财产范围）OrdinalEncoding是一种用于处理有序分类变量的编码方法，它为每个类别分配一个整数值，保留了类别之间的顺序关系。这种编码方法适用于那些具有内在顺序结构的分类变量，能够为模型提
Avasla·2024-01-12 06:25

特征工程（二）

特征工程（二）特征理解理解手上的数据，就可以更好的明确下一步的方向。
alstonlou·2024-01-11 09:49

数据挖掘实战1：泰坦尼克号数据

读取数据-统计指标-数据规模2.数据探索（特征理解）-单特征的分析，诸个变量分析对结果y的影响（x,y的相关性）-多变量分析（x,y之间的相关性）-统计绘图3.数据清洗和预处理-缺失值填充-标准化、归一化-特征工程
bb8886·2024-01-11 09:43

【特征工程】学习过程中的补充知识点

良好的模型会有较高的R方分数。完美的模型能得到的最大R方分数是1。R方分数可以是负的，一个糟糕的模型可以得到任意低的负分。数据可视化的重要性：在构建模型时，使用可视化方法查看一下输入和输出之间以及各个输入特征之间的关系是一种非常好的做法。概率图是一种非常简单的可视化方法，用以比较数据的实际分布与理论分布，它本质上是一种表示实测分位数和理论分位数的关系的散点图不要“中心化”稀疏数据！在稀疏特征上执行
小小孩儿的碎碎念·2024-01-11 04:36

特征工程（特征提取&数据预处理）

一、特征提取在房价模型的例子中，我们提取房子的长度（frontage）和宽度（depth）作为特征之一。并得到初步的特征方程：然而我们知道，房屋面积可以表示为：。用土地面积作为独立特征可以更好地预测价格，所以我们将作为新的特征提取出来并定义新的特征方程:(大家可能会觉得变量太多。其实现在只是建立了一个初步的模型，在之后使用决策树、正则化等算法可以减少特征数量）二、特征缩放（数据预处理）1.1了解特
Visual code AlCv·2024-01-10 20:17

【Python特征工程系列】教你利用逻辑回归模型分析特征重要性（源码）

这是Python特征工程系列原创文章，我的第191篇原创文章。一、问题应用背景介绍：如果有一个包含数十个甚至数百个特征的数据集，每个特征都可能对你的机器学习模型的性能有所贡献。
数据杂坛·2024-01-10 11:10

机器学习：数据处理与特征工程

机器学习中的数据处理和特征工程是非常关键的步骤，它们直接影响模型的性能和泛化能力。
rubyw·2024-01-10 06:53

特征工程-数据准确性

特征工程-数据准确性背景介绍在当今的大数据时代，数据以及成为企业和组织中最宝贵的资源之一。通过人工智能和机器学习的应用，能够从数据中深度挖掘出相关信息并进行应用。
alstonlou·2024-01-09 18:13

特征工程（一）

特征工程（一）什么是特征工程简单来讲将数据转换为能更好地表示潜在问题的特征，从而提高机器学习性能特征工程包含的内容转换数据的过程特征更好地表示潜在问题提高机器学习性能数据和机器学习的基础知识数据基础以下为数据的一个实例其中
alstonlou·2024-01-09 18:12

Spark回归分析与特征工程

本文将深入探讨如何使用Spark进行回归分析以及如何进行特征工程，以提高模型性能。Spark中的回归分析回归分析是一种用于建立和解释因变量与自变量之间关系的统计方法。
晓之以理的喵~~·2024-01-09 11:00

机器学习（四） -- 模型评估（4）

系列文章目录机器学习（一）--概述机器学习（二）--数据预处理（1-3）机器学习（三）--特征工程（1-2）机器学习（四）--模型评估（1-4）未完待续……目录机器学习（四）--模型评估（1）机器学习（
₫从心·2024-01-09 08:43

Python综合数据分析_根据订单求RFM值

文章目录0.导入数据1.数据可视化2.数据清洗3.特征工程4.构建User用户表5.求R值6.求F值7.求M值0.导入数据importpandasaspd#导入Pandasdf_sales=pd.read_csv
you_are_my_sunshine*·2024-01-08 09:55

机器学习简单概念和pytorch代码-2

机器学习简单概念和pytorch代码-2学习率的选择和调校特征工程特征工程是数据预处理和分析过程中的一个关键步骤，主要用于机器学习和数据挖掘。
Persistence is gold·2024-01-08 06:11

AutoKeras

相比于传统的机器学习方法，AutoKeras可以自动处理特征工程、模型选择、超参数调优等步骤，大大减少了繁琐的手动操作。
缘起性空、·2024-01-08 05:38

python数据分析与挖掘论文_《Python数据分析与机器学习实战-唐宇迪》读书笔记第10章-特征工程...

第10章特征工程特征工程是整个机器学习中非常重要的一部分，如何对数据进行特征提取对最终结果的影响非常大。
weixin_39616477·2024-01-07 16:10

机器学习（四） -- 模型评估（3）

系列文章目录机器学习（一）--概述机器学习（二）--数据预处理（1-3）机器学习（三）--特征工程（1-2）机器学习（四）--模型评估（1-4）未完待续……目录机器学习（四）--模型评估（1）机器学习（
₫从心·2024-01-07 02:15

贷款违约预测-Task2 数据分析

Task2数据分析此部分为零基础入门金融风控的Task2数据分析部分，带你来了解数据，熟悉数据，为后续的特征工程做准备，欢迎大家后续多多交流。
致Great·2024-01-06 17:51

特征工程-特征预处理

1什么是特征预处理1.1特征预处理定义scikit-learn的解释providesseveralcommonutilityfunctionsandtransformerclassestochangerawfeaturevectorsintoarepresentationthatismoresuitableforthedownstreamestimators.翻译过来：通过一些转换函数将特征数据转
谛君_是心动啊·2024-01-06 17:27

AI技术体系和领域浅总结

信息论基础》（机械工业出版社）集合论和图论《离散数学》博弈论《博弈论》（中国人民大学出版社）张量分析现代几何计算机基础计算机原理程序设计语言操作系统分布式系统算法基础机器学习算法机器学习基础（估计方法特征工程
TisUs·2024-01-06 16:26

深度学习（学习记录）

题型：填空题+判断题30分、简答题20分、计算题20分、综合题（30分）综合题（解决实际工程问题，不考实验、不考代码、考思想）一、深度学习绪论（非重点不做考察）1、传统机器学习：人工特征工程+分类器概念
学数学的懒哥·2024-01-06 13:49

机器学习——特征工程之K均值降维

机器学习——特征工程之K均值降维前言一、K-均值聚类（K-means）1、算法推导2、举例二、降维前言1、先直观解释什么是平面（线性子空间）和流形（非线性子空间）：答：如果线性子空间是一张平展的纸，那么非线性流形的一个简单例子就是卷起来的纸
macan_dct·2024-01-06 09:11

Kaggle之泰坦尼克号（2）

文章目录一、特征工程缺失值处理文本型数据处理-Sex文本型数据处理-Name文本型数据处理-Ticket文本型数据处理-Cabin文本型数据处理-Embarked特征扩充-SibSp、Parch特征扩充
学海一叶·2024-01-06 06:39

numpy 稀疏矩阵

常见的，在特征工程中，进行one-hot编码时会产生稀疏矩阵，因此需
阿君聊风控·2024-01-06 02:13

机器学习算法分类

分类问题目标值：连续型的数据--回归问题分类模型k近邻算法，贝叶斯分类，决策树与随机森林，逻辑回归,SVM,回归模型线性回归，岭回归无监督学习目标值：无聚类模型k-means机器学习开发流程获取数据数据清洗特征工程
学了忘了学·2024-01-06 01:40

Torch-Rechub学习分享2

有些特征是易于理解的，可以通过领域专家进行人工特征工程抽取特征。但是对于不易于理解的特征，如“啤酒和尿布”，则只能通过机器学习的方法得到。同样的对于需要特别
xdyhk·2024-01-05 20:42

【Python机器学习系列】建立逻辑回归模型预测心脏疾病（完整实现过程）

一文彻底搞懂机器学习中的归一化与反归一化问题【Python机器学习系列】一文彻底搞懂机器学习中表格数据的输入形式（理论+源码）【Python特征工程系列】利用随机森林模型
数据杂坛·2024-01-05 12:22

【Python机器学习系列】建立支持向量机模型预测心脏疾病（完整实现过程）

一文彻底搞懂机器学习中的归一化与反归一化问题【Python机器学习系列】一文彻底搞懂机器学习中表格数据的输入形式（理论+源码）【Python特征工程系列】利用随机森林模型
数据杂坛·2024-01-05 12:47

机器学习（四） -- 模型评估（2）

系列文章目录机器学习（一）--概述机器学习（二）--数据预处理（1-3）机器学习（三）--特征工程（1-2）机器学习（四）--模型评估（1-4）未完待续……目录系列文章目录前言三、分类模型评估指标1、错误率与精度
₫从心·2024-01-05 02:23

机器学习（四） -- 模型评估（1）

系列文章目录机器学习（一）--概述机器学习（二）--数据预处理（1-3）机器学习（三）--特征工程（1-2）机器学习（四）--模型评估（1-2）未完待续……目录系列文章目录前言一、模型评估概述1、模型评估定义
₫从心·2024-01-04 09:54

大数据HCIE成神之路之特征工程——特征选择

特征选择1.1特征选择-Filter方法1.1.1实验任务1.1.1.1实验背景1.1.1.2实验目标1.1.1.3实验数据解析1.1.1.4实验思路1.1.2实验操作步骤1.2特征选择-Wrapper方法1.2.1实验任务1.2.1.1实验背景1.2.1.2实验目标1.2.1.3实验数据解析1.2.1.4实验思路1.2.2实验操作步骤1.3特征选择-Embedding方法1.3.1实验任务1.3
邵奈一·2024-01-04 08:57

DataFrameMapper做特征工程

前言在数据挖掘流程中，特征工程是极其重要的环节，我们经常要结合实际数据，对某些类型的数据做特定变换，甚至多次变换，除了一些常见的基本变换（参考我之前写的『数据挖掘比赛通用框架』）外，还有很多非主流的奇技淫巧
Han_Sen·2024-01-04 06:02

如何构建大数据指标分析系统

分析分为实事状态分析和预测分析（特征工程），本文用对事实状态指标分析为例，用多种技术方案构建指标分析系统。
i7杨·2024-01-04 03:37

机器学习-4：机器学习的建模流程

机器学习的建模流程流程为：原始数据-->数据预处理-->特征工程-->建模-->验证。
Doawen·2024-01-04 01:43

阅文集团面试总结

(2)分析问题：排查了数据处理，模型多次检验，猜测应该是特征工程没有做到完善(3)解决问题：自己尝试了多种方法，还是不行，最终通过朋友请教了一位数据分析的大牛，最终问题得到解决。
请问通往幸福之路在哪里·2024-01-03 21:23
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他