数据分析挖掘-特征工程

Python 机器学习基础之数据表示与特征工程【分箱、离散化、线性模型与树 / 交互特征与多项式特征】的简单说明

Python机器学习基础之数据表示与特征工程【分箱、离散化、线性模型与树/交互特征与多项式特征】的简单说明目录Python机器学习基础之数据表示与特征工程【分箱、离散化、线性模型与树/交互特征与多项式特征

仙魁XAN·2024-09-07 13:19

商业分析能力是怎样炼成的？

对商业智能BI、大数据分析挖掘、机器学习，python，R等数据领域感兴趣的同学加微信：tstoutiao，邀请你进入数据爱好者交流群，数据爱好者们都在这儿。

R3eE9y2OeFcU40·2024-09-04 15:13

梯度下降法

数据分析挖掘与算法1月7日作者：六尺帐篷链接：https://www.jianshu.com/p/c7e642877b0e本文从一个下山场景开始，提出梯度下降算法的基本思想，接着从数学上解释梯度下降算法原理

小丹丹的梦想后花园·2024-09-01 14:19

机器学习小组第三周：简单的数据预处理和特征工程

无量纲化：最值归一化、均值方差归一化及sklearn中的Scaler●缺失值处理●处理分类型特征：编码与哑变量●处理连续型特征：二值化与分段学习资料首先，参考：《机器学习的敲门砖：归一化与KD树》及《特征工程系列

-Helslie·2024-09-01 12:24

机器学习基础（四）——决策树与随机森林

决策树与随机森林文章目录决策树与随机森林一、知识概要（一）二、决策树使用的算法三、sklearn决策树API四、决策树的案例1.数据清洗2.特征工程3.调用决策树API五、集成学习方法-随机森林1.知识概要

Bayesian小孙·2024-08-30 03:43

Spark MLlib 特征工程系列—特征转换VectorSizeHint

SparkMLlib特征工程系列—特征转换VectorSizeHintVectorSizeHint是Spark提供的一个特征转换器，用于指定向量列的大小（即维度）。

不二人生·2024-08-29 03:56

【机器学习】特征提取特征降维

特征工程特征工程是将原始数据转化为可以用于机器学习的数字特征，比如字典的特征提取，文档的特征提取等。字典特征提取把字典的每个唯一的键作为数据集特征的一个维度，有这个维度的就为1，没有就是0。

de-feedback·2024-08-27 18:20

【机器学习】特征工程的基本概念以及LASSO回归和主成分分析优化方法

引言特征工程是机器学习中的一个关键步骤，它涉及到从原始数据中提取和构造新的特征，以提高模型的性能和预测能力LASSO（LeastAbsoluteShrinkageandSelectionOperator

Lossya·2024-08-25 15:48

AutoML原理与代码实例讲解

数据预处理、特征工程、模型选择、参数调优等步骤都需要人工进行，这使得机器学习模型的开发变得复杂且耗时。为了解决这

AI大模型应用之禅·2024-08-25 07:31

python库——sklearn的关键组件和参数设置

文章目录模型构建线性回归逻辑回归决策树分类器随机森林支持向量机K-近邻模型评估交叉验证性能指标特征工程主成分分析标准化和归一化scikit-learn，简称sklearn，是Python中一个广泛使用的机器学习库

零度°·2024-08-23 21:26

【机器学习】探索数据矿藏：Python中的AI大模型与数据挖掘创新实践

前言：探索数据矿藏1.数据获取与预处理：AI大模型的燃料1.1数据获取：多样性与规模并重1.2数据清洗与处理：提升数据质量1.3特征工程：挖掘数据的深层次信息1.4自动化特征工程：AI与特征工程的结合2

C_GUIQU·2024-08-22 10:55

深度学习的一个完整过程通常包括以下几个步骤

进行特征工程，选择、转换或创建合适的特征。将数据集划分为训练集、验证集和测试集。选择模型架构：根据问题的性质选择适当的深度学习模型架构，如卷积神经网络（

longerVR·2024-03-08 00:21

【机器学习】多元线性回归

multipleregressionmodel）损失/代价函数（costfunction）——均方误差（meansquarederror）批量梯度下降算法（batchgradientdescentalgorithm）特征工程

Mount256·2024-02-23 07:25

吴恩达机器学习全课程笔记第一篇

目录前言P1-P8监督学习无监督学习P9-P14线性回归模型成本（代价）函数P15-P20梯度下降P21-P24多类特征向量化多元线性回归的梯度下降P25-P30特征缩放检查梯度下降是否收敛学习率的选择特征工程多项式回归前言从今天开始

亿维数组·2024-02-20 21:37

零基础入门金融风控-贷款违约预测Task2 数据分析

Task2数据分析此部分为零基础入门金融风控的Task2数据分析部分，带你来了解数据，熟悉数据，为后续的特征工程做准备，欢迎大家后续多多交流。

一缕阳光lyz·2024-02-20 13:45

【吴恩达·机器学习】第二章：多变量线性回归模型（选择学习率、特征缩放、特征工程、多项式回归）

博主简介：努力学习的22级计算机科学与技术本科生一枚博主主页：@Yaoyao2024每日一言:勇敢的人，不是不落泪的人，而是愿意含着泪继续奔跑的人。——《朗读者》0、声明本系列博客文章是博主本人根据吴恩达老师2022年的机器学习课程所学而写，主要包括老师的核心讲义和自己的理解。在上完课后对课程内容进行回顾和整合，从而加深自己对知识的理解，也方便自己以及后续的同学们复习和回顾。课程地址2022吴恩达

Yaoyao2024·2024-02-20 11:12

深度学习从入门到不想放弃-1

从今天开始陆续连载一些深度学习的基础，包括概念，数学原理，代码，最近也确实没什么热点可以蹭先看机器学习和深度学习的对比："数据和特征决定了机器学习的上限，而模型与算法则是逼近这个上限而已"，机器学习和深度学习的本质区别之一是特征工程

周博洋K·2024-02-20 06:59

《区块链公链数据分析简易速速上手小册》第8章：实战案例研究（2024 最新版）

文章目录8.1案例分析：投资决策支持8.1.1基础知识8.1.2重点案例：股票市场趋势预测准备工作实现步骤步骤1:加载和准备数据步骤2:特征工程步骤3:训练模型步骤4:评估模型结论8.1.3拓展案例1：

江帅帅·2024-02-20 00:41

机器学习中的特征工程

目录一、特征工程目标二、特征工程内容（一）异常处理（二）特征标准化/归一化（三）数据分桶（四）缺失值处理（五）特征构造（六）特征筛选（特征选择）（七）降维三、代码示例（一）导入数据（二）删除异常值（三）

qq_44980515·2024-02-19 23:52

FFA 2023 专场解读：AI 特征工程、数据集成

今年FlinkForwardAsia（以下简称FFA）重新回归线下，将于12月8-9日在北京望京凯悦酒店举办。FlinkForwardAsia2023大会议程已正式上线！FlinkForward是由Apache官方授权的ApacheFlink社区官方技术大会，作为最受ApacheFlink社区开发者期盼的年度峰会之一，FFA2023将持续集结行业最佳实践以及Flink最新技术动态，是中国Flink

·2024-02-19 20:57

见世面的成本有多低？这几个技术公众号告诉你答案

大数据分析挖掘和Python机器学习商业智能BI、数据分析、数据挖掘、大数据、Python、机器学习、深度学习、算法等技术分享

傅一平·2024-02-19 16:19

【大厂AI课学习笔记】【2.2机器学习开发任务实例】（1）搭建一个机器学习模型

主要有以上的步骤：原始数据采集特征工程数据预处理特征提取特征转换（构造）预测识别（模型训练和测试）在实际工作中，特征比模型更重要。数据和特征的选择，已经决定了模型的天花板，模型算法只是去逼近这个上限。

giszz·2024-02-19 14:43

基于决策树的金融市场波动性预测与应用

基于决策树的金融市场波动性预测与应用项目背景与意义数据概述与分析数据来源数据特征数据预处理与特征工程模型训练与评估结果与应用总结LightGBM是一个机器学习算法库，用于梯度提升机（GradientBoostingMachine

OverlordDuke·2024-02-15 02:42

探索XGBoost：时间序列数据建模

本教程将深入探讨如何在Python中使用XGBoost建模时间序列数据，包括数据准备、特征工程和模型训练等方面，并提供相应的代码示例。准备数据在处理时间序列数据之前，首先需要准备数据。

Echo_Wish·2024-02-13 05:22

葫芦书第一章——特征工程

特征工程，顾名思义，是对原始数据进行一系列工程处理，将其提炼为特征，作为输入供算法和模型使用。从本

单调不减·2024-02-12 22:08

task3 特征工程

1.采用tsfresh工具包提取时间序列特征导入工具包：提取特征：融合之前单变量特征之后，预测变差......哭

1598903c9dd7·2024-02-12 01:03

task 13 集成学习

蒸汽量预测1.特征工程一般流程：1.去掉无用特征2.去掉冗余特征3.利用存在的特征、特征转换、内容中的特征以及其他数据源生成新特征4.特征转换（数值化、类别转换、归一化）5.特征处理（异常值、最大值、最小值

罐罐儿111·2024-02-11 17:30

机器学习各种算法汇总模板

机器学习算法模板包含了KNN，线性回归，逻辑回归，朴素贝叶斯，决策树，支持向量机，随机森林，kmeans，集成算法各种算法，特征工程，评估方式任你选择！！！

怎么菜成这样·2024-02-10 22:28

特征工程:数据平衡

目录一、前言二、正文Ⅰ.基于过采样算法Ⅱ.基于欠采样算法Ⅲ..基于过采样和欠采样的综合算法三、结语一、前言大多数情况下，使用的数据集是不完美的，会出现各种各样的问题，尤其针对分类问题的时候，会出现类别不平衡的问题。例如：在垃圾邮件分类时，垃圾邮件数据会有较少的样本量，从而导致两种类型的邮件数据量差别很大；在欺诈监测数据集中，往往包含的欺诈样本并没有那么多。处理这类数据集的分类的时候，需要对数据集的

林浩杨·2024-02-10 18:02

掌握XGBoost：特征工程与数据预处理

掌握XGBoost：特征工程与数据预处理导言在应用XGBoost模型之前，特征工程和数据预处理是至关重要的步骤。良好的特征工程和数据预处理可以显著提高模型的性能。

Echo_Wish·2024-02-10 17:34

梯度提升树系列6——GBDT在异常检测领域的应用

目录写在开头1异常检测的基本概念1.1定义和目标1.2GBDT在异常检测中的适用性2信用卡欺诈检测案例分析2.1场景介绍2.2收集数据和特征工程2.3进行异常值识别2.4模型效果评估2.5模型优化3策略和技巧

theskylife·2024-02-09 14:32

【深度学习：掌握监督学习】掌握监督学习综合指南

基本概念主要组件：输入要素和目标标签训练监督式学习模型监督学习算法的类型分类回归每个类别中的流行算法示例监督学习的数据预处理数据清洗数据转换数据缩减特征工程概念简介及其对模型性能的影响模型评估和验证评估和验证监督学习模型的重要性常见评估指标概述模型评估技术挑战和未来方向监督

jcfszxc·2024-02-09 09:11

Titanic - 1

复习一下，完成这篇分析报告需要进行的几个步骤：一、导入数据包与数据集二、数据分析1、总体预览2、描述性统计分析：使用统计学与绘图，初步了解数据之间相关性，为构造特征工程和模型建立做准备3、数据清洗4、建模与优

silent_eyes_77·2024-02-09 04:30

数据挖掘——特征工程

文章目录特征工程3.3.1删除异常值3.3.2特征构造批量处理时间数据1.归一化2.标准化3.3.3特征筛选特征工程在EDA中我们更多的操作是针对数据本身与分析而特征工程是针对数据的进一步处理来最终选择出我们模型中需要的特征

run_session·2024-02-09 01:18

特征工程：特征提取、特征预处理、特征选择

一、特征提取1.字典特征提取sklearn.feature_extraction.DictVectorizer(sparse=True,…)dict=DictVectorizer(sparse=False)data=dict.fit_transform([{'city':'北京','temperature':100},{'city':'上海','temperature':60},{'city':'

xiaobai_IT_learn·2024-02-09 00:02

特征工程：衡量特征的重要型

知乎特征选择：https://zhuanlan.zhihu.com/p/32749489结合sklearn的几种特征选择方法：https://www.cnblogs.com/hhh5460/p/5186226.html结合sklearn的几种特征选择方法2：https://blog.csdn.net/bryan__/article/details/51607215

千寻～·2024-02-09 00:32

特征工程:特征构建

前言二、正文Ⅰ.分类特征重新编码①分类特征②离散特征③多标签类别编码Ⅱ.数值特征重新编码①多项式②多个变量的多项式特征Ⅲ.文本数据的特征构建①文本词频条形图②词袋模型③TF-IDF矩阵三、结语一、前言特征工程中的特征构建的主要目的是生成新的特征

林浩杨·2024-02-09 00:31

特征工程:特征提取和降维-下

目录一、前言二、正文Ⅰ.流形学习Ⅱ.t-SNEⅢ.多维尺度分析三、结语一、前言通过上篇对线性与非线性的数据的特征提取和降维的学习之后，我们来介绍其他方法，分别有流行学习、多维尺度分析、t-SNE。二、正文Ⅰ.流形学习流形学习是借鉴拓扑流形的概念的一种降维的方法。用于数据降维，降到二维或者三维时可以对数据进行可视化。因为流形学习利用近邻的距离来计算高维空间的样本距离，所以近邻个数对其降维的结果影响甚

林浩杨·2024-02-09 00:31

特征工程:特征提取和降维-上

目录一、前言二、正文Ⅰ.主成分分析Ⅱ.核主成分分析三、结语一、前言前面介绍的特征选择方法获得的特征，是从原始数据中抽取出来的，并没有对数据进行变换。而特征提取和降维，则是对原始数据的特征进行相应的数据变换，并且通常会选择比原始特征数量少的特征，同时达到数据降维的目的。常用的数据特征提取和降维的方法有主成分分析,核成分分析，流行学习，t-SNE,多维尺度分析等方法。二、正文fromsklearn.d

林浩杨·2024-02-09 00:01

特征工程:特征选择

目录一、前言二、正文Ⅰ.基于统计方法的特征选择Ⅱ.基于递归消除特征发Ⅲ.基于机器学习的方法三、结语一、前言特征选择是使用某些特征统计的方法，从数据中选出有用的特征，把数据中无用的特征抛弃掉，该方法不会产生新的特征，常用的方法有基于统计方法的特征选择、利用地柜消除法选择有用的特征、利用机器学习算法选择重要的特征等。二、正文Ⅰ.基于统计方法的特征选择fromsklearn.feature_select

林浩杨·2024-02-09 00:00

机器学习：特征工程笔记

在实践中，收集到的数据往往是不完整、含有噪声和不一致的，这对模型的性能构成挑战，因为其很大程度上依赖于输入数据的质量，因此，特征工程应运而生。

Ningbo_JiaYT·2024-02-08 07:09

图解大数据 | 大数据分析挖掘-Spark初步

图解大数据|大数据分析挖掘-Spark初步作者：韩信子@ShowMeAI教程地址：www.showmeai.tech/tutorials/8…本文地址：www.showmeai.tech/article-det

Dashesand·2024-02-08 03:22

解析基于检索排序的知识图谱问答系统

实体链接的关键性2.4路径的构建与系统优化3难点与挑战3.1实体链接、命名实体识别和消歧3.2排序模型的挑战4优势4.1框架的灵活性4.2容易整合的端到端网络优化4.3综合运用排序模型5劣势5.1依赖特征工程

cooldream2009·2024-02-07 22:40

【MATLAB】使用梯度提升树在回归预测任务中进行特征选择（深度学习的数据集处理）

此外，特征选择可以帮助理解数据，并为进一步的特征工程提供指导，有效地提高模型的预测性能。梯度提升树（GBT）是一种强大的监督学习算法，常用于回归和分类问题。通过利用多棵决策树的集成学

编程到天明·2024-02-07 15:59

金融信贷风控业务详解

带大家以全新的角度了解风控，包括风控信贷业务讲解、风控决策树、风控决策流、特征工程、三方数据对比和风控系统搭建等一系列知识。

RobinCode·2024-02-07 11:48

智慧海洋建设-Task3 特征工程

关于本次智慧海洋特征构建分为时间类特征、分箱特征（x、y、v）、DataFrame特征（计数特征和偏移量特征）、统计特征（聚合）、embedding特征（word2vec、NMF）这几方面进行考虑的。分箱特征的重要性：一般在建立分类模型时，需要对连续变量离散化，特征离散化后，模型会更稳定，降低了模型过拟合的风险。离散特征的增加和减少都很容易，易于模型的快速迭代；稀疏向量内积乘法运算速度快，计算结果

1598903c9dd7·2024-02-07 10:58

Python自动化机器学习库之evalml使用详解

然而，构建和部署机器学习模型常常需要大量的时间和精力，涉及到数据预处理、特征工程、模型选择、超参数调优等一系列复杂任务。为了简化这个过程，使其更加高效，EvalML库应运而生。

Rocky006·2024-02-07 07:42

API解析------------特征工程标准化StandardScaler()函数

StandardScaler()函数是sklearn包下的，所以每次使用要调用sklearn包。StandardScaler类是处理数据归一化和标准化。在处理数据时经常会出现这中代码：transfer=StandardScaler()x_train=transfer.fit_transform(x_train)x_test=transfer.transform(x_test)先解释下调用fit_t

西安人走哪都要吃泡馍·2024-02-06 22:34

数据挖掘实战-基于决策树算法构建北京市空气质量预测模型

如果文章对你有帮助的话，欢迎评论点赞收藏加关注+目录1.项目背景2.项目简介2.1项目说明2.2数据说明2.3技术工具3.算法原理4.项目实施步骤4.1理解数据4.2数据预处理4.3探索性数据分析4.4特征工程

艾派森·2024-02-05 23:22

商业智能（BI）数据分析、挖掘概念

商业智能（BI）数据分析挖掘概念一、商业智能（BI）数据分析挖掘概念数据挖掘目前在各类企业和机构中蓬勃发展。因此我们制作了一份此领域常见术语总结。

kalvin_y_liu·2024-02-04 19:49

推荐频道