特征工程第4页

搜广推之特征工程：基本原理和前沿研究（2023）

前言本文主要结合以往工作经验和前沿论文（截止2023年9月），来分析工业界和学术界中特征工程相关研究点，以及对未来发展的思考。

Ben_Fu·2024-01-02 02:32

CTR的一些基本概念

1.1点击率预估过程1.1.1特征工程（1）特征筛选：特征选择就是选择那些靠谱的Feature，去掉冗余的Feature，对于搜索广告Query和广告的匹配程度很关键；对于展示广告，广告本身的历

三块给你买麻糬_31c3·2024-01-02 00:18

机器学习前的数据清洗（异常值检验，标准化处理，哑变量处理）

机器学习简介机器学习模型训练前，需要把原始数据进行预处理，并建立合适的特征工程。

开始King·2024-01-01 23:37

图神经网络--GNN从入门到精通

图神经网络--GNN从入门到精通一、图的基本表示和特征工程1.1什么是图1.2图的基本表示1.3图的性质--度（degree)1.4连通图，连通分量1.5有向图连通性1.6图直径1.7度中心性1.7特征中心性

小白学习记录·2024-01-01 17:26

【Python特征工程系列】教你利用AdaBoost模型分析特征重要性（源码）

这是Python特征工程系列原创文章，我的第187篇原创文章。一、问题应用背景介绍：如果有一个包含数十个甚至数百个特征的数据集，每个特征都可能对你的机器学习模型的性能有所贡献。

数据杂坛·2024-01-01 12:31

机器学习基础--各种学习方式（5）--自动特征工程

自动特征工程自动工程的三个方向，隐式特征组合（如NN，FM），半显式特征组合（如GBDT）与显式特征组合（显式特征叉乘）。

whitenightwu·2024-01-01 08:22

百面机器学习 -- No.2 特征工程 -- 训练数据不足的情况下会带来什么问题，如何缓解？

训练数据不足的情况下会带来什么问题，如何缓解？数据不足会带来什么问题如何解决？数据不足会带来什么问题机器学习任务的问题，可以简单的理解成寻找最佳的拟合函数和最佳的泛化函数，拟合函数是用来学习历史信息的，泛化函数是用来外推其他数据的（即，预测未来）。但是这两者并不是可以兼得的，我们前期通过先验知识来学习函数，后期通过后验知识来预测标签。在机器学习中，绝大部分模型都需要大量的数据进行训练和学习（包括有

小王做笔记·2024-01-01 08:20

机器学习（三） -- 特征工程（更新中）

系列文章目录机器学习（一）--概述机器学习（二）--数据预处理（1-3）未完待续……目录系列文章目录前言tips：这里只是总结，不是教程哈。“***”开头的是给好奇心重的宝宝看的，其实不太重要可以跳过。此处以下所有内容均为暂定，因为我还没找到一个好的，让小白（我自己）也能容易理解（更系统、嗯应该是宏观）的讲解顺序与方式。第一文主要简述了一下机器学习大致有哪些东西（当然远远不止这些），对大体框架有了

₫从心·2024-01-01 08:19

数据特征工程 | 特征筛选（过滤法）—— ANOVA

特征筛选的重要性：在机器学习和数据科学领域，特征筛选是优化模型性能和提高计算效率的关键步骤。当数据集包含大量特征时，不仅增加了计算成本，还可能引入噪声和冗余信息，影响模型的泛化能力。因此，通过特征筛选，让我们能够从原始特征集中挑选出最具信息量的特征，提高模型的预测准确性和可解释性特征筛选的方法：特征筛选方法可以分为三大类：过滤法（Filter）、包装法（Wrapper）、嵌入法（Embedded）

算法如诗·2024-01-01 03:50

【Python机器学习系列】一文带你了解机器学习中的Pipeline管道机制（理论+源码）

引言对于表格数据，一套完整的机器学习建模流程如下：背景知识1：机器学习中的学习器【Python机器学习系列】一文搞懂机器学习中的转换器和估计器（附案例）背景知识2：机器学习中的管道机制简介：转换器用于数据的预处理和特征工程

数据杂坛·2023-12-31 14:36

【Python特征工程系列】教你利用XGBoost模型分析特征重要性（源码）

这是Python特征工程系列原创文章，我的第186篇原创文章。一、问题应用背景介绍：如果有一个包含数十个甚至数百个特征的数据集，每个特征都可能对你的机器学习模型的性能有所贡献。

数据杂坛·2023-12-31 14:34

Python数据挖掘与机器学习实践技术应用

掌握Python编程的基础知识与技巧、特征工程（数据清洗、变量降维、特征选择、群优化算法

思考的小猴子·2023-12-30 19:34

【Python百宝箱】《AI之道：自动化机器学习与智能决策的终极指南》

本文深入探讨了多个强大的Python库，涵盖了从自动化模型选择、特征工程到模型解释性的全方位工具，为读者提供了丰富而实用的资源。

friklogff·2023-12-30 15:28

共享单车之租赁需求预估

文章目录第1关：数据探索与可视化第2关：特征工程第3关：租赁需求预估第1关：数据探索与可视化相关知识为了完成本关任务，你需要掌握：读取数据数据探索与可视化读取数据数据保存在.

柔雾·2023-12-30 09:42

如何使用人工智能算法解决实际业务问题？

特征工程：接下来，需要对数据进行特征提取和转换，以便算法可以更好地理解和处理数据。这一过程也称为特征工程，包括特

ldxxxxll·2023-12-30 01:32

2018-12-28

可优化误差Variance:方差，训练集与测试集的差距处理高avoidablebias:1.增大模型的规模，也就是增加模型复杂度2.调整入模变量处理高variance:1.增加训练集数据2.增加正则项3.特征工程

Louis1994·2023-12-29 20:03

AI训练师常用的ChatGPT通用提示词模板

特征工程：如何进行特征选择和特征工程？超参数调整：如何调整训练过程中的超参数？模型训练：如何进行模型的训练？模型评估：如何评估模型的性能？模型调优：如何优化模型的性能？

BTCKing·2023-12-29 18:26

机器学习三要素与拟合问题

机器学习工作流程总结1.获取数据2.数据基本处理3.特征工程4.机器学习(模型训练)5.模型评估结果达到要求，上线服务，没有达到要求，重新上面步骤我们使用机器学习监督学习分类预测模型的工作流程讲解机器学习系统整套处理过程

小森( ﹡ˆoˆ﹡ )·2023-12-29 12:19

机器学习笔记--图的基本表示和特征工程

斯坦福大学CS224W图机器学习笔记学习参考CS224W公开课：双语字幕斯坦福CS224W《图机器学习》课程(2021)byJureLeskove官方课程主页：官方主页子豪兄精讲：斯坦福CS224W图机器学习、图神经网络、知识图谱同济子豪兄子豪兄公开代码：同济子豪兄CS224W公开课基于图的项目：读论文、搜论文、做笔记、吐槽论文的社区：ReadPaper可以画出来论文之间的应用关系：CONNECT

Runjavago·2023-12-28 15:30

机器学习概述（一）

机器学习概述sklearn.datasets特征工程特征提取特征预处理特征降维sklearn.datasetssklearn.datasets模块用于获取较为经典的数据集。

写进メ诗的结尾。·2023-12-28 11:43

机器学习之特征工程-降维

当特征选择完成后，可以直接训练模型了，但是可能由于特征矩阵过大，导致计算量大，训练时间长的问题，因此降低特征矩阵维度也是必不可少的。但不要盲目降维，当你在原数据上跑到了一个比较好的结果，又嫌它太慢的时候才进行降维，不然降了半天白降了。常见的降维方法有主成分分析法（PCA）和线性判别分析（LDA），线性判别分析本身也是一个分类模型。PCA和LDA有很多的相似点，其本质是要将原始的样本映射到维度更低的

城市中迷途小书童·2023-12-28 10:31

人工智能学习笔记

文章目录一.机器学习概述人工智能概述人工智能、机器学习和深度学习的关系机器学习工作流程1.定义2.工作流程3.获取到的数据集介绍4.数据基本处理5.特征工程6.机器学习7.模型评估机器学习算法分类模型评估

sober30·2023-12-27 12:41

模型系列：聚类_五个聚类算法比较综述

文章目录介绍1.聚类算法的类型2.设置2.1数据集2.2导入库2.3导入数据2.4一些可视化展示2.5特征工程2.6异常值检测异常值检测模型选择2.7数据伸缩3.确定最佳聚类数3.1肘部法则3.2Silhouette

愤斗的橘子·2023-12-27 11:18

模式识别与机器学习-特征选择和提取

这两个环节直接决定了最终性能的上下限，本部分记录一下特征提取和选择部分（特征工程）特征选择可以表示为：从一个包含n个度量值的集合{x1,x2,…,xn}\{x_1,x_2,\dot

Kilig*·2023-12-27 10:35

灵海之森·2023-12-27 07:16

特征工程——特征归一化

在现实生活中，我们需要处理的数据大部分的量纲都是不一样的，如果不做归一化的话就会会出现的问题是，不同量纲的数据在梯度下降过程中下降的速度是不一样的，但是如果数据都是同一量纲下的数据的话，找到最优解的迭代次数会少很多，容易更快找到最优解。所以数据需要归一化在实际应用过程中呢并不是所有的模型都需要归一化，比如需要梯度下架的模型是比较需要线性回归逻辑回归各种神经网络支持向量机但是决策树却不需要，这是因为

乔大叶_803e·2023-12-26 20:13

2020-06-25 One-hot编码

对于某个特定应用来说，如何找到最佳数据表示，这个问题被称为特征工程。

大师_cfab·2023-12-26 10:30

DatawhaleAI夏令营第三期 - 基于论文摘要的文本分类与关键词抽取挑战

赛事任务任务描述赛题数据集评价指标解题思路方法1：机器学习方法Baseline1.导入模块1.1特征提取1.2基于TF-IDF提取1.3选择机器学习模型2.数据探索2.1使用pandas读取数据3.数据清洗4.特征工程

xingzhiyao123456·2023-12-26 07:58

机器学习（8）朴素贝叶斯算法（20条新闻分类）

目录一、基础理论二、实战：20条新闻分类1、读取数据2、训练集划分3、特征工程（文本特征提取）4、朴素贝叶斯算法训练5、模型评估方法一：预测值与真实值比对方法二：计算准确率总代码一、基础理论朴素贝叶斯算法

_(*^▽^*)_·2023-12-26 07:27

Python数据科学视频讲解：特征归一化、特征标准化、样本归一化

内容涵盖数据科学应用的全流程，包括数据科学应用和Python的入门，数据清洗与特征工程，以及数据挖掘与建模、数据可视化等。针对数据分析或机器学习推荐两本入门级的图书：《Python机器学习原

数据科学作家·2023-12-25 06:42

Python数据科学视频讲解：特征等宽分箱和等频分箱

内容涵盖数据科学应用的全流程，包括数据科学应用和Python的入门，数据清洗与特征工程，以及数据挖掘与建模、数据可视化等。

数据科学作家·2023-12-25 06:42

Python数据科学视频讲解：嵌入法（随机森林、提升法、Logistic等）

内容涵盖数据科学应用的全流程，包括数据科学应用和Python的入门，数据清洗与特征工程，以及数据挖掘与建模、数据可视化等。针对数据分析或机器学习推荐两本入门级的图书：《Pytho

数据科学作家·2023-12-25 06:11

Python数据科学视频讲解：特征决策树分箱

内容涵盖数据科学应用的全流程，包括数据科学应用和Python的入门，数据清洗与特征工程，以及数据挖掘与建模、数据可视化等。

数据科学作家·2023-12-25 06:09

python机器学习（三）——机器学习学习方法

python机器学习所写，详情点击链接，可观看相关视频往期链接python机器学习（一）——机器学习的含义以及数据集的构成python机器学习（二）——机器学习算法分类正文1.机器学习开发流程获取数据数据处理特征工程机器学习算法进行训练

十八子是李·2023-12-25 02:06

精通推荐算法1：为什么需要推荐系统（系列文章，建议收藏）

谢杨易·2023-12-24 22:18

精通推荐算法2：推荐系统分类（面试必备）

谢杨易·2023-12-24 22:43

【Python特征工程系列】利用梯度提升（GradientBoosting）模型分析特征重要性（源码）

特征重要性分析可以识别并关注最具信息量的特征，从而带来以下几个优势:改进的模型性能减少过度拟合更快的训练和推理增强的可解释性前期相关回顾：【Python特征工程系列】8步教你用决策树模型分

数据杂坛·2023-12-24 21:11

【Python机器学习系列】建立决策树模型预测心脏疾病（完整实现过程）

一文彻底搞懂机器学习中的归一化与反归一化问题【Python机器学习系列】一文彻底搞懂机器学习中表格数据的输入形式（理论+源码）【Python特征工程系列】利用随机森林模型分析特征重要性（源码）【Pytho

数据杂坛·2023-12-24 20:41

【Python机器学习系列】一文搞懂机器学习中的转换器和估计器（附案例）

转换器通常用于数据的特征工程，包括特征缩放

数据杂坛·2023-12-24 20:38

使用R语言进行数据处理，数据分析，特征工程的基础以及代码实现（以房价预测数据集为例）

主要内容：一、对数据缺失值进行处理在R语言中，处理数据缺失值是数据预处理的一个重要步骤，通常采用以下方法：识别缺失值：在R中，缺失值通常用NA表示。你可以使用函数is.na()或complete.cases()来检测缺失值。删除缺失值：如果缺失值很少，你可以选择删除包含缺失值的行或列。#检查整个数据框中的缺失值is.na(your_data_frame)#通过列查看缺失值colSums(is.na

筱筱西雨·2023-12-24 07:37

机器学习建模高级用法！构建企业级AI建模流水线

我爱田Hebe·2023-12-23 23:23

谢杨易·2023-12-23 11:28

特征工程-类别特征处理方法汇总

类别特征处理方法汇总低基数类别LabelEncoderOnehotEncoder高基数类别统计特征目标编码CatboostEncoder低基数类别类别数在10以内的，独热编码类别数最好不超过5LabelEncoder在这里插入代码片OnehotEncoder高基数类别类别数大于10的特征列统计特征defaggregate_statistic_feature(df,group,target):tem

大佬喝可乐·2023-12-21 18:47

【特征工程-时许(时间)特征处理方法汇总】

机器学习时间特征处理方法汇总时间特征基本处理基本处理基础上二次处理差分、滞后、滑窗、指数加权参考文献：https://zhuanlan.zhihu.com/p/466773545时间特征基本处理#时间特征的基本转换classHandleDateFeature:def__init__(self,df,col):self.df=dfself.col=coldefdatetime_transfrom(s

大佬喝可乐·2023-12-21 18:17

2023大数据应用开发赛题02套

完全分布式安装配置子任务二：Flume安装配置子任务三：FlinkonYarn安装配置任务B：离线数据处理（25分）子任务一：数据抽取子任务二：数据清洗子任务三：指标计算任务C：数据挖掘（10分）子任务一：特征工程子任务二

长风有续X·2023-12-21 17:54

2023大数据应用开发赛题03套

：HadoopHA安装配置子任务二：Hive安装配置子任务三：Kafka安装配置任务B：离线数据处理（25分）子任务一：数据抽取子任务二：数据清洗子任务三：指标计算任务C：数据挖掘（10分）子任务一：特征工程子任务二

长风有续X·2023-12-21 17:52

深度学习速成版01---神经网络

深度学习与机器学习的区别机器学习的特征工程步骤是要靠手动完成的，而且需要大量领域专业知识深度学习通常由多个层组成，它们通常将更简单的模型组合在一起，通过将数据从一层传递到另一层来构建更复杂的模型。

__Miracle__·2023-12-21 09:54

人工智能-机器学习-深度学习概念整理

人工智能-ArtificialIntelligence2.机器学习-MachineLearning3.深度学习-DeepLearning4.人工智能机器学习深度学习三者之间的关系5.人工智能的流派6.特征工程

洛杉矶县牛肉板面·2023-12-20 00:31

【期末复习向】文本理解与数据挖掘-名词解释

NLP指的是任何自动处理人类语言的程序（二）一系列自然语言处理问题2.NLP常用方法基于规则的方法（基于人工标注的规则和字典，覆盖度低）统计机器学习方法（被学术界和工业界采用；使用概率模型，包括训练数据、特征工程

诺坎普的风间·2023-12-19 06:28

大数据知识分享：Python特征工程之特征缩放

不同特征之间往往具有不同的量纲，由此所造成的数值间的分布差异可能会很大，为了消除可能造成的影响，需要对数据进行标准化处理，即特征缩放。1.归一化归一化将样本分别归一化为单位范数，使得具有至少一个非零分量的每个样本都独立于其他样本进行重新缩放，如数据矩阵的每一行，以使样本的范数（l1，l2或inf）等于1。#归一化fromsklearn.preprocessingimportNormalizertr

泰迪智能科技·2023-12-18 19:30

推荐频道

特征工程