特征工程第22页

【1 - 决策树 - 案例部分：泰坦尼克号幸存者预测】菜菜sklearn机器学习

《菜菜的机器学习sklearn课堂》_哔哩哔哩_bilibili第一期：sklearn入门&决策树在sklearn中的实现第二期：随机森林在sklearn中的实现第三期：sklearn中的数据预处理和特征工程第四期

我愚蠢的_理想主义·2022-12-30 16:48

在线学习FTRL介绍及基于Flink实现在线学习流程

背景目前互联网已经进入了AI驱动业务发展的阶段，传统的机器学习开发流程基本是以下步骤：数据收集->特征工程->训练模型->评估模型效果->保存模型，并在线上使用训练的有效模型进行预测。

house.zhang·2022-12-30 14:30

3-3 OneHot编码

3.3OneHot编码请参考《数据准备和特征工程》中的相关章节，调试如下代码。

一条大蟒蛇6666·2022-12-30 12:18

机器学习收入阶层分类(python)

云梦之上·2022-12-30 07:18

机器学习算法工程师面试 -- 总纲

机器学习算法工程师面试**`机器学习`**一.算法总结问题类型模型类型标签类型学习类型二.数据输入数据采样数据类型数据编码数据预处理三.特征工程特征提取特征选择特征变换特征融合四.模型构建1.神经网络BPRNNCNNSNNGAN2

天机无限·2022-12-30 04:28

阿里云天池大数据竞赛——O2O优惠券使用预测（基于XGBoost）（附python Jupter代码）

题中所给数据的特征较少，所以特征工程的构建是本题的重中之重，如何构建合适的特征向量？博主认为：一方面要凭借主观经验，比如说到要预测用户优惠券使用情况，我们凭借经验也能想到其会与"用户的商家偏好"，

MITTYzhao·2022-12-30 01:01

O2O优惠券使用预测项目总结

O2O优惠券使用预测笔记前言项目介绍数据评价方式赛题分析基本思路数据集划分特征工程模型选取过程及代码导入python库导入与划分数据集特征工程模型训练与调参预测测试集总结前言笔者希望通过本篇文章总结阿里天池

Hikikaya·2022-12-30 01:25

自然语言处理——学习笔记（4）：NLP基础任务——文本分类&文本匹配

NLP基础任务文本分类文本分类任务概述分类方法概率统计时代：特征工程+算法深度学习时代：自动获取特征（表示学习）端到端分类序列结构文本分类框架神经词袋模型卷积神经网络模型循环神经网络将文本序列看作时间序列

cc_wangxin·2022-12-29 23:29

DS&ML_特征工程笔记

sgyzetrov·2022-12-29 22:13

论文阅读 - DeepSBD: A Deep Neural Network Model with Attention Mechanism for Social Bot Detection - CCFA

：http://www.abulaish.com/uploads/TIFS21.pdf目录摘要1绪论1.1OSN和Socialbots1.2背景和动机1.3我们的贡献2RELATEDWORK2.1基于特征工程的

无脑敲代码，bug漫天飞·2022-12-29 22:08

机器学习基础算法（数据集和特征工程）

目录数据集的组成可用数据集数据集结构特征工程数据的特征抽取字典的特征抽取DictVectorizer语法流程对文本进行特征值化tfidf方式提取文本特征TfidfVectorizer语法流程数据的特征预处理归一化公式语法步骤总结标准化公式语法步骤总结缺失值处理缺失值处理方法语法步骤关于

Bro_Jun·2022-12-29 19:58

02机器学习基础-特征工程概念

机器学习基础-特征工程概念特征工程定义数据集可用的数据集特征值和目标值使用sklearn特征抽取安装sklearn特征抽取演示特征抽取api特征工程定义将原始数据转换为特征，提高预测的准确性数据集可用的数据集

zheng.plus·2022-12-29 16:22

【Python机器学习】特征工程含义、方法、对应函数详解（图文解释）

觉得有帮助请点赞关注收藏~~~特征工程特征工程的目标是从实例的原始数据中提取出供模型训练的合适特征。在掌握了机器学习的算法之后，特征工程就是最具创造性的活动了。

showswoller·2022-12-29 16:16

「推荐系统特征工程」04：数据预处理

数值与类别数据的预处理1.缺失值处理2.标准化3.归一化4.异常值与数值截断5.非线性变换6.类不平衡的处理7.机器学习范式的调整二、时空数据的预处理1.时间数据2.空间数据三、文本数据的预处理四、富媒体数据的预处理总结特征工程是通过一些数据处理方法

数据与智能·2022-12-29 14:26

数据预处理和特征工程-sklearn

数据预处理的目的：让数据适应模型，匹配模型的需求特征工程特征工程是将原始数据转换为更能代表预测模型的潜在问题的特征的过程，可以通过挑选最相关的特征，提取特征以及创造特征来实现。

要努力啊啊啊·2022-12-29 14:53

20210322 机器学习和深度学习的区别传统识别和深度学习的区别

深度学习和机器学习的区别：1、数据量2、CPU/GPU3、特征工程就是前面的案例里面讲过的，我们在训练一个模型的时候，需要首先确定有哪些特征。

AI-sqG·2022-12-29 12:41

NNI (Neural Network Intelligence)简介

是什么NNI(NeuralNetworkIntelligence)是一个轻量但强大的自动机器学习（AutoML）工具包，能帮助用户自动地进行特征工程、神经网络架构搜索、超参调优以及模型压缩。

北极与幽蓝·2022-12-29 12:10

【人工智能笔记】第三十一节：AutoML系列，用NNI框架进行神经网络架构搜索与超参调优（一）

NNI简介NNI(NeuralNetworkIntelligence)是一个轻量但强大的工具包，帮助用户自动的进行特征工程，神经网络架构搜索，超参调优以及模型压缩。

PPHT-H·2022-12-29 12:02

Python机器学习：date diff对日期格式的数据进行转码

在特征工程的过程中，如果认为月份、周末等因素对结果的影响不大的时候，可以使用日期作差求出日期间隔datediff这种简单粗暴的方式对日期格式的数据进行编码。

紫昂张·2022-12-28 23:00

谷歌机器学习规则 (Rules of Machine Learning)

机器学习规则(RulesofMachineLearning)往期文章：机器学习之特征工程机器学习之分类(Classification)精确率、准确率、召回率-----------------------

17西伯利亚狼·2022-12-28 07:07

深度推荐模型学习-DeepCrossing学习

介绍前言DeepCrossing模型原理这个模型就是一个真正的把深度学习架构应用于推荐系统中的模型了，2016年由微软提出，完整的解决了特征工程、稀疏向量稠密化，多层神经网络进行优化目标拟合等一系列深度学习在推荐系统的应用问题

机器爱上学习·2022-12-28 07:05

【机器学习】特征选择方法总结

一、背景介绍在处理结构型数据时，特征工程中的特征选择是很重要的一个环节，特征选择是选择对模型重要的特征。它的好处[2]在于:●减少训练数据大小，加快模型训练速度。●减少模型复杂度，避免过拟合。

我爱Python数据挖掘·2022-12-28 01:43

机器学习中，特征选择有哪些方法？

1特征工程是什么？有这么一句话在业界广泛流传：数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。那特征工程到底是什么呢？

nathan_deep·2022-12-28 01:05

word2vec做情感分析

目录标题1.文本预处理标题2.词带模型做文本表征标题3.word2vec做词表征标题4.用处理好的表征训练模型进行分类标题1.文本预处理无论用哪种模型进行文本表征或分类，第一步肯定是对数据进行预处理，做特征工程

weixin_45599022·2022-12-27 14:58

python基于不同方法实现特征工程常用的归一化技术Normalization对比分析

在很多机器学习数据挖掘的项目中，都免不了要去构建特征工程，在面临特征选择的时候经常会出现我们所提取到的不同的特征维度的数据本身的量纲或者是取值范围是不同的，比如我们在对人的属性建模的时候，人的体温取值都是在

Together_CZ·2022-12-27 08:24

基于PyTorch的图像数据归一化min-max normalization和zero-mean normalization操作实践对比分析

本文紧接前文：《python基于不同方法实现特征工程常用的归一化技术Normalization对比分析》前文主要是讲解对于数值型特征数据在特征工程或者是数据处理阶段往往需要用到数据尺度归一化操作，基于原生的对象和

Together_CZ·2022-12-27 08:53

02_机器学习相关笔记——特征工程（2）

等风来随风飘·2022-12-27 08:20

基于长短期记忆神经网络和卷积神经网络(convLSTM)的股票涨跌预测模型(附代码）

基于长短期记忆神经网络和卷积神经网络convLSTM的股票涨跌预测模型(附代码）一、研究背景与意义二、问题描述三、数据获取四、行情特征工程五、数据清洗六、模型算法设计1.模型选择2.模型构建3.最终模型七

卷寇·2022-12-26 17:18

【20210723】【机器/深度学习】“基于特征工程完成对贷款数据集Lending Club的预处理” 学习笔记

id=79&type=2&source=1相关知识点：数据预处理特征工程特征工程基本流程python相关库函数（pandas,numpy等）一、背景在机器学习领域，有这样一句话：“数据和特征决定了机器学习算法的上限

Satisfying·2022-12-26 11:48

机器学习（1）———— 概述

机器学习的一般步骤数据搜集数据清洗特征工程数据建模数据搜集数据清洗特征工程数据建模数据搜集数据清洗特征工程数据建模

hard rookie·2022-12-26 11:18

【毕业设计】银行营销数据分析系统 - 机器学习

文章目录0简介1前言2数据集3数据预览4数据预处理与特征工程4.1缺失值处理4.2分类变量数值化4.2.1二分类变量编码4.2.2有序分类变量编码4.2.3无序分类变量编码4.3数值特征预处理4.3.1

caxiou·2022-12-26 10:39

基于HOG+LBP完成特征工程，基于机器学习模型同时完成人脸识别+表情识别

这周前两天有时间我写了一篇博文，基于LBP和HOG实现人脸好表情特征的提取计算，之后分别训练了人脸识别模型和表情识别模型，在推理阶段实现了单张图像一次性人脸识别和表情识别的计算分析，但这个我前面就说了这个还是间接的实现方式，不是像深度学习那样可以通过构建训练一个多任务分类识别的模型可以实现单个模型同时完成多个任务，我在写上篇文章的时候突然想到了机器学习也有类似的技术，就是多标签分类的构建方式，这里

Together_CZ·2022-12-25 18:01

模型的过拟合问题及解决方案

模型的过拟合问题无论是机器学习或是深度学习，都是通过人为或机器的方式寻找观察变量的特征，用变量的特征表示观察值；那么在选取特征的时候，特征是否是这类变量的显著特征就是我们训练的目的和优化的方向；机器学习中我们采取人为寻找特征的方式进行特征工程训练模型

杨舒成(清霖)·2022-12-25 18:00

读取cvs格式的excel表格数据集文件，如何设置不读入第一列序列号

1.问题描述最近在做数据集的特征工程的时候，读取cvs格式的excel表格数据集文件，忘记设置读取形式了，导致了把cvs数据集中的第一列也读取了进来，导致后面出了一系列的错误。

我爱7西瓜·2022-12-25 17:09

Python机器学习：range()对索引重新排列

在特征工程中，需要对数据拆分或者合并。而对数据操作后索引不会自动更新，需要重新排列一下。比如这是刚合并完的数据集，索引是不对的。

紫昂张·2022-12-25 17:23

Transformer-based模型的综述：AMMUS : A Survey of Transformer-based Pretrained Models in NLP

论文地址：https://arxiv.org/abs/2108.055421导言预训练的来源最开始是基于规则的学习，后来被机器学习取代早期机器学习需要特征工程，需要专业领域的知识，耗时由于硬件和词嵌入的发展

sanananana·2022-12-25 14:34

大数据分析案例-基于逻辑回归算法构建垃圾邮件分类器模型

项目背景2.项目简介2.1项目说明2.2数据说明2.3技术工具3.算法原理3.1决策树算法3.2朴素贝叶斯算法3.3逻辑回归算法4.项目实施步骤4.1理解数据4.2数据预处理4.3探索性数据分析4.4特征工程

艾派森·2022-12-25 12:18

方面级情感分析（一）

传统方面级情感分析：在ABSA任务上,早期的工作主要基于人工特征工程,通过人工设计、特征选择,如情感词典、依赖信息等,再利用最大熵、支持向量机等传

incrediblel·2022-12-25 08:32

机器学习模型应该如何调优？这里有三大改进策略

对于开发者们来说，如何提高性能是非常重要的工作，本文将介绍一些常用策略，包括选择最佳算法、调整模型设置和特征工程。如果你学习过正确的教程，很快就能训练起自己的第一个机器学习模型。

flare zhao·2022-12-24 18:53

机器学习模型 3 个调优改进策略

对于开发者们来说，如何提高性能是非常重要的工作，本文将介绍一些常用策略，包括选择最佳算法、调整模型设置和特征工程。如果你学习过正确的教程，很快就能训练起自己的第一个机器学习模

数据不吹牛·2022-12-24 18:22

基于特征工程与威胁情报的Webshell检测方法研究

摘要【目的】Webshell是一种通过注入、XSS、上传等漏洞渗透手段植入木马产生的可执行脚本,因其构造语言种类不同、利用方法多变、隐秘性强,研究其检测方式能够准确发现渗透入侵网站的恶意攻击行为,在预警、研判、打击非法入侵计算机信息系统等黑客类案件中具有积极意义。【方法】本文提出了一种基于Webshell恶意代码进行行为数据研究并提取特征的创新方法,针对HTTP流量实现基于特征的Webshell检

罗伯特之技术屋·2022-12-24 10:05

Python机器学习：for循环定义批量探索字段的方法

前面几期介绍了isnull()找缺失值，value_counts()统计字段内容的频次，但特征工程字段很多，一个个地看太麻烦了，能不能用for循环把方法封装起来批量查看字段呢？

紫昂张·2022-12-24 08:48

Python机器学习：isnull()查找缺失值

在进行特征工程的时候，需要对字段里的缺失值进行处理，那怎么把有缺失值的字段找出来呢？isnull()函数可以返回布尔值，再配合sum()函数使用，就能把每个字段里面缺失值的数量统计出来啦！

紫昂张·2022-12-24 08:45

特征工程之特征分箱（决策树分箱、卡方分箱、bestks以及评价标准WOE和IV)

特征工程之特征分箱：决策树分箱、卡方分箱、bestks以及评价标准1.WOE和IV2.无监督分箱2.1等频分箱2.2等距分箱3.有监督分箱3.1决策树分箱3.2best-ks分箱3.3卡方分箱前言：在做数据挖掘项目的时候

Donreen·2022-12-23 21:51

关于天池赛中零基础入门推荐系统 - 新闻推荐Task04特征工程

1.读取数据：训练和验证集的划分2.读取训练、验证及测试集：3.读取召回列表：4.读取各种Embedding：5.对训练数据做负采样：总结前言经过上三篇文章，接下来本文将是此次赛题中的核心内容之一，即特征工程

weixin_43796337·2022-12-23 18:22

知识图谱初阶笔记整理1

实体关系抽取抽取方法1Pipeline管道式方法，主要就是将关系抽取拆分为两个步骤，实体抽取+关系识别2个主要的步骤，因为这个过程是串联起来的，所以称之为pipeline方法2联合抽取实体关系2.1特征工程

QianTu&·2022-12-23 15:23

数据探索性分析（EDA）常用方法大合集

EDA（ExploratoryDataAnalysis），全名为数据探索性分析，是通过了解数据集，了解变量间的相互关系以及变量与预测值之间的关系，从而帮助我们后期更好地进行特征工程和建立模型，是数据挖掘

白话机器学习·2022-12-23 14:30

pb分组数据累计_特征工程（二）数据分析的六基本思路

【目录】1、分布分析2、对比分析3、统计分析4、帕累托分析5、正态性检验6、相关性分析导入数据计算工具包importnumpyasnpimportpandasaspdimportmatplotlib.pyplotaspltimportwarningswarnings.filterwarnings('ignore')#显示所有字体格式，解决plt画图，标签中文乱码frommatplotlib.fon

weixin_39637256·2022-12-23 14:58

数据特征

数据特征前言一、离散化1.离散化的原因2.离散化的优势二、归一化1.线性函数归一化2.零均值归一化3.归一化的优势补充前言特征工程是通过对原始数据的处理和加工，将原始数据属性通过处理转换为数据特征的过程

AAA_jiu·2022-12-23 13:51

天池大赛——二手车交易价格预测方案分享（一）

这个比赛是天池的一个数据挖掘入门赛，要求根据提供的数据预测二手车的交易价格，属于回归问题，此篇主要分享一下特征工程和基础模型方面的思路。

Luna2137·2022-12-23 09:38

推荐频道

特征工程