特征处理

爆改yolov8|利用BSAM改进YOLOv8，高效涨点

BSAM（BiLevelSpatialAttentionModule）是一个用于提升深度学习模型在空间特征处理中的能力的模块。它主要通过双层注意力机制来增强模型对重要空间信息的关注，从而提升任务性能。

不想敲代码！！！·2024-08-29 22:37

spark mllib 特征学习笔记（一）

PySparkMLlib特征处理详解PySparkMLlib提供了丰富的特征处理工具，帮助我们进行特征提取、转换和选择。以下是PySparkMLlib中常用的特征处理类及其简要介绍。

路人与大师·2024-08-29 03:57

【大厂AI课学习笔记】【1.6 人工智能基础知识】（4）深度学习和机器学习

分别从特征处理、学习方法、数据依赖、硬件依赖等4个方面，进行了总结。从特征处理上看：深度学习从数据中习得高级特征，并自行创建新的特征。这比普通的机器学习，更少的人工特征训练的参与，机器更加自主的学习。

giszz·2024-02-12 08:56

task 13 集成学习

蒸汽量预测1.特征工程一般流程：1.去掉无用特征2.去掉冗余特征3.利用存在的特征、特征转换、内容中的特征以及其他数据源生成新特征4.特征转换（数值化、类别转换、归一化）5.特征处理（异常值、最大值、最小值

罐罐儿111·2024-02-11 17:30

XGboost常见特征处理及其他问题

1.Bagging和Boosting区别RF,GBDT,XGBoost,lightGBM都属于集成学习（EnsembleLearning），集成学习的目的是通过结合多个基学习器的预测结果来改善基本学习器的泛化能力和鲁棒性。（1）形式上Bagging：基本学习器之间不存在强依赖关系、必须并行生成的序列化方法；例如：随机森林bagging主要关注降低方差Boosting：基本学习器间存在强依赖关系、可

噶噶~·2024-02-04 21:14

tf特征处理常用函数

1、特征拼接1.1、将特征在最后一个维度进行拼接#将特征按照最后一个维度进行拼接defconcat_fun(inputs,axis=-1):iflen(inputs)==1:returninputs[0]else:#returntf.keras.layers.Concatenate(axis=axis)(inputs)returntf.concat(inputs,axis=axis)eg：a=[a

frostjsy·2024-02-04 06:00

BI - 万字长文，银行如何做贷款违约的预测，特征处理及学习

本文为「茶桁的AI秘籍-BI篇第08篇」文章目录课程回顾案例分析案例实战Hi，你好。我是茶桁。课程回顾上节课，咱们讲了一个股票的指标：MACD。在趋势行情里面它应该还是有效的指标。它比较忌讳动荡行情，比如说它一会上升一会下降，那还没有等12天过完，就是均线还没有画好它又马上变成了另一个行线，这样MACD有可能会失效。这个问题我们大家自己去思考一下，如果你采用这个策略在过去一段时间里面选择一些股票来

茶桁·2024-02-03 00:20

2021-07-14

动手学数据分析之数据清洗及特征处理1.开始之前，导入numpy、pandas包和数据(1)#加载所需的库importnumpyasnpimportpandasaspd(2)加载数据train.csvdf

卢坚辉·2024-01-27 21:17

机器学习笔记02：特征工程

机器学习笔记02：特征工程文章目录机器学习笔记02：特征工程1.特征工程定义2.数据的特征抽取：1.字典特征抽取：2.文本特征抽取：3.tf-df分析问题3.特征预处理1.特征处理的方法：1.数值型数据

fafagege11520·2024-01-25 09:12

2021-06-17 第二章：数据清洗及特征处理

2.1缺失值观察与处理2.1.1任务一：缺失值观察pandas里边查找NaN值的话，可以是.isna()，也可以是.isnull()isna的意思是判断是不是notanumber，主要是数值字段；isnull的意思是判断是否为空值1）df.isna().sum()查看空值信息df.isnull().sum()查看空值信息df.info()查看数据信息2）df[['Age','Cabin','Emb

Akai_·2024-01-24 06:10

第一次直播笔记

是否包含异常值、确实、漂移；是否包含多种情况，需要注意模型的繁华性；高效性、工序流程的差异性，模型运行时间、系统鲁棒性2.数据理解2.1字段含义2.1.1明确的特征：分类、连续、变量间的交互2.1.2匿名特征处理

Skyscraper_4586·2024-01-24 00:15

特征工程-特征处理（二）

特征处理二、时间特征处理将原本的具体时间拆分为年月日等多个特征变量，同时可以引入在一天的某个时间段，或者是当天是否为节假日等其他条件，还可以进一步结合其他特征，进行前后一个时间段或是多个时间段时间的特征差值

alstonlou·2024-01-16 21:33

特征工程-特征处理（三）

特征处理连续型变量处理（二）多特征降维PCAPCA是一种常见的数据分析方式，通过数据分解，将高维数据降低为低维数据，同时最大程度保持数据中保存的信息。

alstonlou·2024-01-16 21:30

生存分析序章4——生存分析之Python篇：自定义方法与进阶技术探索

自定义曲线样式1.2特殊需求下的曲线绘制2.高级Cox模型2.1引入时间依赖性的Cox模型2.1.1时间依赖性的概念2.1.2模型调整2.1.3场景举例2.2处理复杂数据的Cox模型应用2.2.1类别型特征处理

theskylife·2024-01-16 20:09

Information Sciences 2022 | 利用图嵌入和图神经网络实现社交网络中的影响力最大化

目录前言1.影响力最大化2.SGNN2.1标签生成2.2struc2vec2.3GNN特征处理2.4回归预测2.5整体框架3.实验3.1数据集3.2评价指标前言题目：Influencemaximizationinsocialnetworksusinggraphembeddingandgraphneuralnetwork

Cyril_KI·2024-01-15 19:15

特征工程-特征处理（一）

特征处理-（离散型特征处理）完成特征理解和特征清洗之后，我们要进行特征工程中最为重要和复杂的一步了——特征处理离散型特征处理离散型特征通常为非连续值或以字符串形式存在的特征，离散型特征通常来讲是不能直接喂入模型中的

alstonlou·2024-01-14 11:20

ML12-朴素贝叶斯分类

主要内容包含： 1.NaiveBayes的分类思想； 2.NaiveBayes分类的数学基础； 3.NaiveBayes分类算法实现； 4.NaiveBayes算法的sklearn调用； 5.文本特征处理

杨强AT南京·2024-01-13 18:03

机器学习案例【决策树】--泰坦尼克号幸存者预测

data.info()data.head()将文字转为数字:我们的决策树的分类器只能处理数字，所以我们的标签的类型必须是数字,所以如果下面的特征是object的类型的话，都需要转换成数字才能够使用筛选特征处理缺失值

Stitch的实习日记·2024-01-13 03:05

数据挖掘聚类算法--划分(partitioning)

聚类算法--特征处理不同类型属性的能力；对大型数据集的可扩展性；处理高维数据的能力；发现任意形状簇的能力；处理孤立点或“噪声”数据的能力；对“噪声”数据具有较低的敏感性；合理

Mr_Peter_Hu·2024-01-06 21:55

【nn.Parameter】Pytorch特征融合自适应权重设置（可学习权重使用）

实现自适应特征处理模块如下图所示：特征融合公式如下：Fff=α1∗Fid+α2∗Fdconv+α3∗Fmax⁡+α4∗Fa

bao文·2024-01-05 05:51

cnn lstm结合网络

目录特征处理例子：cnn5张图片一组，提取特征后，再给lstm，进时间序列分类。

AI视觉网奇·2024-01-01 16:49

机器学习入门-数值特征-时间特征处理

我们可以将一连串的时间特征进行拆分，比如：2015-03-0810:30:00.360000+00:00，我们可以将其转换为日期类型，然后从里面提取年，月，日等时间信息对于一些hour，month等信息，我们也可以使用pd.cut将hour信息按照时刻转换为离散数据，如morning，afternonn等等代码：第一步：载入数据第二步：将数据转换为DataFrame格式第三步：使用pd.Times

weixin_34026276·2024-01-01 08:21

聚类算法汇集

-知乎K-means聚类算法如何应对数据的噪音和离散特征处理的问题？-知乎

HELLOTREE1·2023-12-24 21:27

推荐算法架构7：特征工程

然后讲解特征处理范式，分析如何对特征进行离散化、归一化、池化和缺失值

谢杨易·2023-12-23 11:28

决策树和回归树(Decision_Tree_and_Regression_Tree)

MachineLearnigwithpython做的总结，所以不能作为教程，还包含自己用sklearn做的一些对比实验，原文是写在jupyter上的，这里是直接转为.md导过来的，所以格式有些问题，有些东西还待完善…注意几点：连续特征处理

geter_CS·2023-12-22 22:18

pytorch-- 多维特征处理

目录接下来是我对于一些地方的理解，不正确希望大佬们指正1.全连接层的设置根据这个说法我增加了一层全连接层进行测试2.激活函数self.sigmiod=nn.Sigmoid()这是比较理论的原因，另一个原因是我觉得非常重要的：3.数据集的获取importtorch.nnasnnimportnumpyasnpimporttorchimportmatplotlib.pyplotaspltxy=np.lo

小户爱·2023-12-22 08:16

特征工程-类别特征处理方法汇总

类别特征处理方法汇总低基数类别LabelEncoderOnehotEncoder高基数类别统计特征目标编码CatboostEncoder低基数类别类别数在10以内的，独热编码类别数最好不超过5LabelEncoder

大佬喝可乐·2023-12-21 18:47

【特征工程-时许(时间)特征处理方法汇总】

机器学习时间特征处理方法汇总时间特征基本处理基本处理基础上二次处理差分、滞后、滑窗、指数加权参考文献：https://zhuanlan.zhihu.com/p/466773545时间特征基本处理#时间特征的基本转换

大佬喝可乐·2023-12-21 18:17

SeaTunnel 在 oppo 的特征平台实践 | ETL 平台数据处理集成

今天的分享包含以下几点：背景&需求为什么是SeaTunnelETL平台集成实践作者简介01业务背景和需求痛点业务背景推搜广场景下存在大量的数据同步和特征处理需求。

Apache SeaTunnel·2023-12-19 14:26

notes2

ID3、C4.5、CART决策树，随机森林、Adaboost、GBDT决策树，XGBoost、LightGBM逻辑回归，L1L2正则化熵，KL散度，交叉熵micro-f1,macro-f1神经网络连续型特征处理决策树分箱

lym94·2023-12-18 14:53

PySpark dataframe入门笔记

https://www.analyticsvidhya.com/blog/2016/10/spark-dataframe-and-operations/背景大数据量的取数、特征处理、数据清洗要占用大量的时间

三楼绝对是二货·2023-11-23 06:09

Lesson8 金融风控大赛

这一节主要总结一下“特征处理”方面的知识：1、数据清洗（1）缺失值处理1）当缺失值过多的时候，如：达到90%，则有2种策略：1）直接去掉这一feature；可以将不缺省的sample打印出来，查看是否具有某一规律

Sarah ฅʕ•̫͡•ʔฅ·2023-11-22 12:47

OpenCV.腐蚀与膨胀

腐蚀与膨胀腐蚀与膨胀是图形的形态学操作，常见用于二值化或灰度图像，对与图像的噪声消除、特征处理有很好的作用。

kicinio·2023-11-20 20:15

【nlp】1.4 文本特征处理（n-gram特征、文本长度规范：补齐与截断）

文本特征处理1什么是n-gram特征2文本长度规范及其作用文本特征处理的作用:文本特征处理包括为语料添加具有普适性的文本特征，如:n-gram特征，以及对加入特征之后的文本语料进行必要的处理，如:长度规范

lys_828·2023-11-14 10:51

【nlp】1文本预处理总括目录（附各章节链接）

文本张量表示方法2.2.1one-hot编码2.2.2Word2vec2.2.3WordEmbedding2.3文本语料的数据分析2.3.1标签数量分布2.3.2句子长度分布2.3.3词频统计与关键词词云2.4文本特征处理

lys_828·2023-11-13 17:56

金融风控-贷款违约预测学习笔记(Part3：特征工程)

金融风控-贷款违约预测学习笔记（Part3：特征工程）1.特征预处理1.1处理类别型特征和数值型特征1.2缺失值填充1.3时间格式处理1.4将对象类型特征转换到数值1.5类别特征处理1.6异常值处理1.6.1

查尔char·2023-11-06 16:53

数据挖掘组队学习-金融风控0基础入门-Task3

金融风控0基础入门-Task3特征工程目标一、数据预处理二、异常值处理三、数据分箱四、特征交互五、特征编码六、特征选择目标学习特征预处理、缺失值、异常值处理、数据分桶等特征处理方法学习特征交互、编码、选择的相应方法完成相应学习打卡任务

听风啊·2023-11-06 16:50

【机器学习】特征类型总结

进行特征处理的目的

sdbhewfoqi·2023-11-06 09:01

进击的 Flink：网易云音乐实时数仓建设实践

背景介绍网易云音乐从2018年开始搭建实时计算平台，到目前为止已经发展至如下规模：机器数量：130+单Kafka峰值QPS：400W+在线运行任务数：500+开发者：160+业务覆盖：在线业务支持，实时报表统计，实时特征处理

Apache Flink·2023-10-31 20:03

【OpenCV】C++红绿灯轮廓识别+ROS话题实现

目录前言一、背景知识Opencv轮廓检测ROS相关知识二、环境依赖三、具体实现Step1：初始化ROS，订阅话题Step2：接收话题，进入回调1.帧处理2.膨胀腐蚀处理Step3：红绿特征处理1.提取绘制轮廓

Ru1yi·2023-10-31 00:58

Task02:数据清洗及特征处理

此任务主要是对数据进清洗，包括缺失值、重复值的处理；特征观察与处理：分箱、分类变量的one-hot编码处理。此外还涉及到了从Name中提取Titles的特征。1缺失值观察与处理1.1缺失值观察检查缺失值：df.isnull()，返回与原数据行数相同的矩阵，矩阵元素为bool类型检查列/行是否有缺失值：df.isnull().any(),判断每列是否有缺失值，需要用any方法，axis=0默认表示列

忘词x·2023-10-29 18:40

基于Broward犯罪数据集机器学习分类

目录1数据导入和展示2数据可视化2.1绘制直方图2.2绘制箱型图2.3绘制相关系数图像3特征处理3.1非正态数据通过对数转换，转换为正态数据3.2计算方差，我们只选取方差大的特征4机器学习模型包含详细的数据分析

王小葱鸭·2023-10-29 09:17

Transformer 相关理解（上）

Transformer是自然语言处理（NLP）领域一个十分知名的特征处理器，其本质是使用注意力机制进行自然语言的翻译。

Weber77·2023-10-27 22:49

大师兄的数据分析学习笔记(三十五）：总结

数据获取数据仓库监测与抓取用户填写日志埋点计算2.探索性数据分析与可视化2.1单因子探索分析异常值分析结构分析对比分析分布分析2.2多因子探索分析交叉分析分组分析钻取分析因子分析3.特征预处理特征使用特征获取特征处理异常值处

superkmi·2023-10-26 21:59

机器学习的平台化发展趋势

例如在模型方面，经过实践检验过的模型基本还是LR和GBDT，以及这两者的一些变种和结合，例如FM、LR+GBDT等等；再例如在特征处理方面，常用的包括离散化、归一化、平滑等等。

musicml·2023-10-23 11:41

机器学习中常见的特征工程处理

常见的特征工程包括：异常值处理、缺失值处理、数据分桶、特征处理、特征构造、特征筛选及降维等。

DB_UP·2023-10-23 01:25

task02 数据清洗及特征处理

那么在这里，我们主要是做数据分析的流程性学习，主要是包括了数据清洗以及数据的特征处理，数据重构以及数据可视化。这些内容是为数据分析最后的建模和模型评价做一个铺垫。

趁着年轻去旅游·2023-10-18 04:01

33 机器学习（一）:特征工程

文章目录机器学习需要用到的包的介绍机器学习做什么深度学习做什么常见的概念数据介绍数据类型数据的来源数据的构成特征工程one-hot编码接口集特征提取DictVectorizerCountVectorizerTfidfVectorizer特征处理归一化

Micoreal·2023-10-17 19:40

opencv 基础实践

的简单测试代码，opencv的版本为4.5.5.64，代码主要包括以下几部分：图像处理：图像二值化、图像灰度化、图像降噪、边缘检测、图像变换、直方图、模板匹配与霍夫变换、图像通道分割与融合、图像马赛克特征处理

Lemon_Yam·2023-10-16 23:53

【机器学习】--神经网络(NN)

结构上大体上分为三个部分（输入，含隐，输出），各层都有个的讲究，其中，输入层主要是特征处理后的入口，含隐层用来训练相应函数，节点越多，训练出的函数就越复杂，输出层输出相应的预测结果，比较常见的就是多分类了

飘散风中·2023-10-16 01:18

推荐频道