数据分析挖掘-特征工程第7页

阿里云安全恶意程序检测之数据探索

solejay·2023-11-05 06:45

阿里云安全恶意程序检测

阿里云安全恶意程序检测赛题理解赛题介绍赛题说明数据说明评测指标赛题分析数据特征解题思路数据探索数据特征类型数据分布箱型图变量取值分布缺失值异常值分析训练集的tid特征标签分布测试集数据探索同上数据集联合分析file_id分析API分析特征工程与基线模型构造特征与特征选择基于数据类型的方法基于多分析视角的方法特征选择构造线下验证集评估穿越训练集和测试集的特征性差异训练集和测试集是分布差异性基线模型特

盖盖的博客·2023-11-05 06:10

dominic_z·2023-11-04 03:19

特征工程（二）——特征选择

实际工作中，特征工程是去除数据中的杂质，提炼为更合理的特征，供算法和模型使用。特征工程主要包括特征归一化、类型特征的表示、特征选择及非结构化数据的表示。本文主要介绍特征选择的常用方法。现实

叫我e卵石·2023-11-03 20:52

深度学习推荐系统-DeepCrossing

DeepCrossing1.动机这个模型就是一个真正的把深度学习架构应用于推荐系统中的模型了，2016年由微软提出，完整的解决了特征工程、稀疏向量稠密化，多层神经网络进行优化目标拟合等一系列深度学习再推荐系统的应用问题

Q_cy·2023-11-03 09:02

机器学习

目录准备特征工程：scikit-learn介绍：数据特征抽取：热编码：适合类别型数据处理方式sklearn特征抽取API字典特征抽取文本特征抽取TF_IDF(评估重要性):数据特征预处理：通过数学算法把数据转为算法要求的数据归一化算法

性感奎爷在线写代码·2023-11-02 19:00

算法工程师每天都在干嘛？

相信大部分算法工程师每天的工作都是：提出技术方案->收集数据->预处理数据->撰写特征工程->模型训练->调参->看结果->调参->看结果->重新收集数据->预处理数据->收集更多数据->调参->调参-

Amusi（CVer）·2023-11-02 01:13

_龙雀·2023-11-01 22:27

特征工程实践总结

特征工程是将原始数据，通过业务逻辑理解、数据变换、特征交叉与组合等方式，量化成模型训练和预测可直接使用的特征的过程。其中主要包括了数据认知，数据清洗，特征构建，特征选择四个部分。

caomengsi·2023-11-01 14:53

论文阅读 - DCGNN: Dual-Channel Graph Neural Network for Social Bot Detection

现有的方法可以分为特征工程和基于深度学习的方法，它们主要关注静态特征，例如帖子特征和用户档案。

无脑敲代码，bug漫天飞·2023-11-01 12:59

CS224W3.1——节点Embedding

传统图机器学习流程是这样的：从之前的文章中，我们看到了如何将机器学习与特征工程结合起来，对节点、链接和图形进行预测。在本文中，我们将重点介绍一种称为图表示学习的新技术，它可以减轻对特征工程的需求。

阿牛大牛中·2023-11-01 05:57

Hello Word!

关于python的初步认识语言生态圈开源、健壮语言类型：解释型规范度高，可读性强执行效率低下代码无法加密（主服务而非软件、数据）框架太多，有选择的地方就有错误应用领域云基础设施、DevOps、网络爬虫、数据分析挖掘

GHope·2023-10-31 22:08

Azure机器学习 - 在 Azure 机器学习中上传、访问和浏览数据

设置内核三、下载使用的数据四、创建工作区的句柄五、将数据上传到云存储空间六、访问笔记本中的数据七、创建新版本的数据资产八、清理资源机器学习项目的开始阶段通常涉及到探索性数据分析(EDA)、数据预处理（清理、特征工程

TechLead KrisChang·2023-10-31 21:55

机器学习之特征工程

机器学习之特征工程转载自：点击打开链接在这个振奋人心的程序员节日里，我决定认真地写一篇文章来纪念一下自己这长达六年程序员史。

jiangjiane·2023-10-31 08:21

机器学习-特征工程

一、特征工程介绍1.1什么是特征数值特征（连续特征）、文本特征（离散特征）1.2特征的种类1.3特征工程特征是机器学习可疑直接使用的，模型和特征之间是一个循环过程；实际上特征工程就是将原始数据处理成机器学习可以直接使用数据的过程

lalajh·2023-10-31 08:19

滴滴大数据算法大赛Di-Tech2016参赛总结

https://www.jianshu.com/p/4140be00d4e3题目描述建模方法特征工程我的几次提升方法从其他队伍那里学习到的提升方法总结和感想神经网络方法的一点思考大数据量与分布式计算的一点思考参加比赛和学习知识的对比最后的感受趣事写在前面我是一个之前

weixin_30325071·2023-10-31 06:35

机器学习之逻辑回归（Logistic Regression）

逻辑回归一、逻辑回归理论概述二、sklearn逻辑回归的使用1.正则化参数2.特征工程（可解释的特征降维）：embedded3.梯度下降：重要参数max_iter4.二元回归和多元回归重要参数：solver

`AllureLove·2023-10-31 02:42

基于【逻辑回归】的评分卡模型金融借贷风控项目实战

完整的模型开发所需流程包括：获取数据，数据清洗和特征工程，模型开发，模型检验和评估，模型上线，模型检测和报告。

数字生命Allen·2023-10-31 02:38

ML&DEV[9] | gRPC初体验

往期回顾：ML&DEV[4]|机器学习进阶线路ML&DEV[5]|系统理解特征工程ML&DEV[6]|算法工程师Linux必知必会ML&

机智的叉烧·2023-10-30 18:37

【机器学习】项目数据处理部分

文章目录前言项目理解数据探索特征工程总结前言本文参考《阿里云天池大赛赛题解析》，拿到一个项目或者赛题，使用机器学习来进行预测分类，需要以下七个步骤：项目（赛题）理解数据探索特征工程模型训练模型验证特征优化模型融合本本是数据处理

高朗·2023-10-30 10:09

数据特征工程 | 基于PCA算法（Python）

随着数据量的不断增加和数据维度的不断扩展，如何进行高效的数据降维处理成为了一个热门话题。在数据分析领域，PCA算法作为一种常用的数据降维方法，可以对多个特征进行降维，提高计算效率和降低存储空间需求。本文以波士顿房价数据集为例，探讨如何利用PCA算法对房屋价格进行降维。本文将通过Python代码实现PCA降维，并使用波士顿房价数据集进行演示。我们将从数据加载、模型训练到PCA降维和数据可视化全方位地

算法如诗·2023-10-29 14:42

特征工程——数据降维

基于特征选择的降维基于特征选择的降维指的是根据一定规则和经验，直接选取原有维度的一部分参与到后续的计算和建模过程，用选择的维度代替所有维度，整个过程不产生新的维度。基于特征选择的降维方法有4种思路：·经验法：根据业务专家或数据专家的以往经验、实际数据情况、业务理解程度等进行综合考虑。业务经验依靠的是业务背景，从众多维度特征中选择对结果影响较大的特征；而数据专家则依靠的是数据工作经验，基于数据的基本

李代数·2023-10-29 14:42

数据特征工程 | 基于KPCA算法（Python）

当我们处理高维数据时，经常会遇到维度灾难的问题，即许多算法无法有效处理高维数据，且计算不仅变得更加复杂，还存在过拟合和维数诅咒等问题。因此，如何有效地降低数据维度是一个关键问题。为此，很多学者提出了各种降维算法，其中主成分分析（PCA）是最常见的一种方法。然而，在许多应用中，由于数据并不是线性可分的，因此PCA的优化目标并不能很好地适应这些数据。在这种情况下，核主成分分析（KPCA）算法被广泛使用

算法如诗·2023-10-29 14:41

机器学习(一) —— 机器学习基础

Python——机器学习机器学习(一)——机器学习基础一、数据集1.1加载数据集1.2划分数据集二、特征工程2.1特征预处理(归一化/标准化)2.2特征降维(特征选择/主成分分析/线性判别器)2.3特征提取

share16·2023-10-29 09:41

python 机器学习（一）机器学习概述与特征工程

同步更新在个人网站：http://www.wangpengcufe.com/machinelearning/pythonml-pythonml1/一、机器学习概述1.1、什么是机器学习？机器学习是从数据中自动分析获得规律（模型），并利用规律对未知数据进行预测1.2、为什么需要机器学习？解放生产力，智能客服，可以不知疲倦的24小时作业解决专业问题，ET医疗，帮助看病提供社会便利，例如杭州的城市大脑1

王小鹏的随笔·2023-10-29 09:41

sklearn进行机器学习 ( 一天掌握 )

目录文章目录目录机器学习特征工程特征抽取skearn数据集使用字典特征提取文本特征抽取中文文本特征抽取中文分词中文文本特征抽取-自动分词TF-IDF特征预处理归一化标准化（大数据用）特征降维特征选择主成分分析

鼠小米·2023-10-29 09:40

Python机器学习从零开始（三）数据准备

在机器学习的应用开发中，最基础的是特征工程。——吴恩达1.数据预处理数据预处理需要根据数据本身的特性进行，有缺失的要填补，有无效的要剔除，有冗余维的要删除，这些步骤都和数据

靖墨c·2023-10-29 09:10

机器学习的练功心法（三）——特征工程

文章目录致谢3特征工程3.1Sklearn工具及数据集3.2数据集3.3数据集的划分3.4特征工程介绍3.4.1为什么需要特征工程3.4.2什么是特征工程3.4.3特征提取3.4.3.1字典特征提取3.4.3.2

ArimaMisaki·2023-10-29 09:40

一文看懂特征工程

顺便将自己对特征工程的所有理解系统地整理出来，给自己做个笔记，也给未来的小白做个领路。这便文章不仅有对特征工程系统的解析，还会有python代码的实例演示，让我们一起出发吧！

是猪哥不是诸葛·2023-10-29 07:53

数据特征工程 | 主成分分析（Python）

特征抽取（featureextraction）和特征选择（featureselection）不一样，特征抽取是从原特征集中推导出有用的信息构成新的特征集。特征选择是从原特征集中选择一部分子集作为训练特征。特征抽取将数据集从一个特征空间投影到了一个更低维度的特征空间。主成分分析（principalcomponentanalysis，PCA）是一种的无监督线性变换技术，主要用于特征抽取和降维。假设原始

算法如诗·2023-10-28 23:42

图解机器学习特征工程

文章目录引言特征工程1.特征类型1.1结构化vs非结构化数据1.2定量vs定性数据2.数据清洗2.1数据对齐2.2缺失值处理原文链接：https://www.showmeai.tech/article-detail

赵孝正·2023-10-28 20:39

机器学习特征工程：处理缺失值填充的5大技巧

大家好，本文分享Pandas中缺失值填充的5大技巧：填充具体数值，通常是0填充某个统计值，比如均值、中位数、众数等填充前后项的值基于SimpleImputer类的填充基于KNN算法的填充数据importpandasaspdimportnumpyasnpdf=pd.DataFrame({"A":list(range(1,9)),"B":list(range(5,13)),"C":list(range

Python数据挖掘·2023-10-28 17:23

机器学习之路：FaceBook预测案例分析-----＞KNN算法的应用与调优

小白的机器学习之路（二）引子学习机器学习基础：从理论到实践了解机器学习机器学习的定义机器学习的分类机器学习的基本原理掌握数据预处理数据清洗特征选择特征工程分类算法sklearn转换器和预估器KNN算法获取数据数据集划分特征工程

是一个Bug·2023-10-28 02:25

【无标题】

具体步骤：一、读取数据集二、数据分析三、数据清洗四、特征工程五、模型训练与验证六、输出结果七、小结参考链接：https://datawhaler.feishu.cn/docx/C6jvdEwsSo3JMwxFj1

LucyFang2020·2023-10-28 00:49

特征工程优化

参考链接https://www.bilibili.com/video/BV1WN4y1k7R1/?buvid=XU0E30D0C6006B7F1EE1425156434CFEC440F&from_spmid=tm.recommend.0.0&is_story_h5=false&mid=fMtk7pz9LsVpSyGt0Mcizg%3D%3D&p=1&plat_id=116&share_from=u

LucyFang2020·2023-10-28 00:18

机器学习项目实战

Titanic幸存者预测-监督学习分类1.数据准备2.数据加载及处理1.加载结构化的训练集2.处理缺失值，异常值3.特征工程4.逻辑回归算法训练模型5.模型性能评估6.模型持久化6.1sklearn0.21

laufing·2023-10-27 18:22

机器学习（python）笔记整理

目录一、数据预处理：1.缺失值处理：2.重复值处理：3.数据类型：二、特征工程:1.规范化：2.归一化：3.标准化(方差)：三、训练模型：如何计算精确度，召回、F1分数一、数据预处理：1.缺失值处理：在数据中存在缺失值的情况下

小辉懂编程·2023-10-27 08:24

机器学习之数据预备、清洗与特征工程

一、概念：二、为什么要进行预处理：1-1数据预处理简介为什么要进行预处理：数据预处理的功能：①数据集成(DataIntegration)详解：②数据变换(BataTrartsformstian）详解：③数据清洗(DataCleaning)详解：④数据简化(Datasimplify)详解：a、维归约(dimensionlity):b、数量归约(numerosityreduction)：c、数据压缩(

平原2018·2023-10-27 02:28

特征工程－特征预处理

特征工程-DataPreProcessing（数据预处理）-FeatureExtraction（特征提取）-FeatureSelection（特征选择）-Featureconstruction（特征构造

maybelillian_gu·2023-10-26 00:02

sknearl-7处理文本数据

本章代码大部分没跑，只供学习第四节特征工程里提到，有连续特征和离散特征，对于文本数据，文本特征可以看作第三种特征1用字符串表示的数据类型2例子电影评论情感分析给定一个影评（输入），输出影评是正面还是负面

peter6768·2023-10-25 06:39

sklearn-4特征工程与数据表示

1分类变量任务根据美国人年龄，工作，教育水平等特征判定这人年收入比50000美元大还是小问题有的特征不是数值型，比如性别（男或女），工作类型等，而监督学习模型需要都是数值型的特征，可以通过one-hot编码解决1.1one-hot编码（虚拟变量）举例，如何用one-hot表示星期几？创七个特征分别表示周一到周末，如果是周一，则周一特征值为1，其他全为0如何使用one-hot1pandas（更方便）

peter6768·2023-10-25 06:08

机器学习——特征工程之分类变量

机器学习——特征工程之分类变量前言分类变量的编码1、one-hot编码2、虚拟编码3、效果编码处理大型分类变量1、特征散列化2、分箱计数总结前言关于特征工程，已经对空值、数值型和文本数据的处理做了大致方法的说明

macan_dct·2023-10-25 00:25

【算法竞赛学习】数字中国创新大赛智慧海洋建设-Task3特征工程

智慧海洋建设-Task3特征工程此部分为智慧海洋建设竞赛的特征工程模块，通过特征工程，可以最大限度地从原始数据中提取特征以供算法和模型使用。

jaeden_xu·2023-10-24 20:08

特征工程系列：特征构造

文章系列：特征工程系列：数据清洗特征工程系列：特征筛选的原理与实现特征工程系列：特征预处理特征工程系列：特征构造特征工程系列：时间特征构造以及时间序列特征构造前言数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已

安替-AnTi·2023-10-24 15:36

Kibana 安装（Windows）

Kibana安装（Windows）环境准备下载安装配置启停/卸载问题最近因为工作需要，要对ElasticSearch(简称ES)中的一批数据做数据分析挖掘，找出数据中潜在的关系，以及部分数据的分布及趋势等

凌晨1点21分·2023-10-24 12:32

管理类报表可视化工具有哪些：图形可视化和数据分析软件

无论是在传统零售业、制造业巨头的数字化转型或者快消及互联网企业的增强数据分析挖掘，都离不开图形可视化和数据分析软件。

qingyunliushuiyu·2023-10-24 10:34

特征工程

在机器学习应用中，特征工程扮演着重要的角色，可以说特征工程是机器学习应用的基础。在机器学习界流传着这样一句话：“数据和特征决定决定了机器学习算法的上限，而模型和算法只是不断逼近这个上限而已”。

编程回忆录·2023-10-24 05:06

特征工程之特征选择(6)----降维算法PCA初探

文章目录维度的概念降维的目的：PCA的信息衡量指标----可解释性方差降维过程简述降维算法与前面的特征选择算法的区别sklearn中的降维算法示例导入相关库提取特征和标签降维探索降维后的数据总结维度的概念对于ndarray对象和series对象，shape返回的数据中有几个数据就是几维对于dataframe对象，列数就是维度数，即维度=shape[1]降维算法的降维指的是，降低特征矩阵中的特征的数

iostreamzl·2023-10-24 02:43

机器学习(3)--特征工程之数据降维

三、降维这里的维度指降低特征的数量【这里的降维不是指数组的维度】方式：1.特征选择2.主成分分析3.神经网络【之后补充，它也有降维的作用】1.特征选择特征选择原因冗余：部分特征的相关度高，容易消耗计算性能噪声：部分特征对预测结果有负影响概念：特征选择就是单纯地从提取到的所有特征中选择部分特征作为训练集特征，特征在选择前和选择后可以改变值、也不改变值，但是选择后的特征维数肯定比选择前小，毕竟我们只选

Ona_Soton·2023-10-24 01:09

微软开源mlsys库之NNI

一、总览NNI(NeuralNetworkIntelligence)是一个轻量但强大的工具包，帮助用户自动的进行特征工程，神经网络架构搜索，超参调优以及模型压缩。

加油11dd23·2023-10-24 01:43

推荐频道

数据分析挖掘-特征工程