特征工程

机器学习之特征工程

机器学习之特征工程转载自：点击打开链接在这个振奋人心的程序员节日里，我决定认真地写一篇文章来纪念一下自己这长达六年程序员史。
jiangjiane·2023-10-31 08:21

机器学习-特征工程

一、特征工程介绍1.1什么是特征数值特征（连续特征）、文本特征（离散特征）1.2特征的种类1.3特征工程特征是机器学习可疑直接使用的，模型和特征之间是一个循环过程；实际上特征工程就是将原始数据处理成机器学习可以直接使用数据的过程
lalajh·2023-10-31 08:19

滴滴大数据算法大赛Di-Tech2016参赛总结

https://www.jianshu.com/p/4140be00d4e3题目描述建模方法特征工程我的几次提升方法从其他队伍那里学习到的提升方法总结和感想神经网络方法的一点思考大数据量与分布式计算的一点思考参加比赛和学习知识的对比最后的感受趣事写在前面我是一个之前
weixin_30325071·2023-10-31 06:35

机器学习之逻辑回归（Logistic Regression）

逻辑回归一、逻辑回归理论概述二、sklearn逻辑回归的使用1.正则化参数2.特征工程（可解释的特征降维）：embedded3.梯度下降：重要参数max_iter4.二元回归和多元回归重要参数：solver
`AllureLove·2023-10-31 02:42

基于【逻辑回归】的评分卡模型金融借贷风控项目实战

完整的模型开发所需流程包括：获取数据，数据清洗和特征工程，模型开发，模型检验和评估，模型上线，模型检测和报告。
数字生命Allen·2023-10-31 02:38

ML&DEV[9] | gRPC初体验

往期回顾：ML&DEV[4]|机器学习进阶线路ML&DEV[5]|系统理解特征工程ML&DEV[6]|算法工程师Linux必知必会ML&
机智的叉烧·2023-10-30 18:37

【机器学习】项目数据处理部分

文章目录前言项目理解数据探索特征工程总结前言本文参考《阿里云天池大赛赛题解析》，拿到一个项目或者赛题，使用机器学习来进行预测分类，需要以下七个步骤：项目（赛题）理解数据探索特征工程模型训练模型验证特征优化模型融合本本是数据处理
高 朗·2023-10-30 10:09

数据特征工程 | 基于PCA算法（Python）

随着数据量的不断增加和数据维度的不断扩展，如何进行高效的数据降维处理成为了一个热门话题。在数据分析领域，PCA算法作为一种常用的数据降维方法，可以对多个特征进行降维，提高计算效率和降低存储空间需求。本文以波士顿房价数据集为例，探讨如何利用PCA算法对房屋价格进行降维。本文将通过Python代码实现PCA降维，并使用波士顿房价数据集进行演示。我们将从数据加载、模型训练到PCA降维和数据可视化全方位地
算法如诗·2023-10-29 14:42

特征工程——数据降维

基于特征选择的降维基于特征选择的降维指的是根据一定规则和经验，直接选取原有维度的一部分参与到后续的计算和建模过程，用选择的维度代替所有维度，整个过程不产生新的维度。基于特征选择的降维方法有4种思路：·经验法：根据业务专家或数据专家的以往经验、实际数据情况、业务理解程度等进行综合考虑。业务经验依靠的是业务背景，从众多维度特征中选择对结果影响较大的特征；而数据专家则依靠的是数据工作经验，基于数据的基本
李代数·2023-10-29 14:42

数据特征工程 | 基于KPCA算法（Python）

当我们处理高维数据时，经常会遇到维度灾难的问题，即许多算法无法有效处理高维数据，且计算不仅变得更加复杂，还存在过拟合和维数诅咒等问题。因此，如何有效地降低数据维度是一个关键问题。为此，很多学者提出了各种降维算法，其中主成分分析（PCA）是最常见的一种方法。然而，在许多应用中，由于数据并不是线性可分的，因此PCA的优化目标并不能很好地适应这些数据。在这种情况下，核主成分分析（KPCA）算法被广泛使用
算法如诗·2023-10-29 14:41

机器学习(一) —— 机器学习基础

Python——机器学习机器学习(一)——机器学习基础一、数据集1.1加载数据集1.2划分数据集二、特征工程2.1特征预处理(归一化/标准化)2.2特征降维(特征选择/主成分分析/线性判别器)2.3特征提取
share16·2023-10-29 09:41

python 机器学习（一）机器学习概述与特征工程

同步更新在个人网站：http://www.wangpengcufe.com/machinelearning/pythonml-pythonml1/一、机器学习概述1.1、什么是机器学习？机器学习是从数据中自动分析获得规律（模型），并利用规律对未知数据进行预测1.2、为什么需要机器学习？解放生产力，智能客服，可以不知疲倦的24小时作业解决专业问题，ET医疗，帮助看病提供社会便利，例如杭州的城市大脑1
王小鹏的随笔·2023-10-29 09:41

sklearn进行机器学习 ( 一天掌握 )

目录文章目录目录机器学习特征工程特征抽取skearn数据集使用字典特征提取文本特征抽取中文文本特征抽取中文分词中文文本特征抽取-自动分词TF-IDF特征预处理归一化标准化（大数据用）特征降维特征选择主成分分析
鼠小米·2023-10-29 09:40

Python机器学习从零开始（三）数据准备

在机器学习的应用开发中，最基础的是特征工程。——吴恩达1.数据预处理数据预处理需要根据数据本身的特性进行，有缺失的要填补，有无效的要剔除，有冗余维的要删除，这些步骤都和数据
靖墨c·2023-10-29 09:10

机器学习的练功心法（三）——特征工程

文章目录致谢3特征工程3.1Sklearn工具及数据集3.2数据集3.3数据集的划分3.4特征工程介绍3.4.1为什么需要特征工程3.4.2什么是特征工程3.4.3特征提取3.4.3.1字典特征提取3.4.3.2
ArimaMisaki·2023-10-29 09:40

一文看懂特征工程

顺便将自己对特征工程的所有理解系统地整理出来，给自己做个笔记，也给未来的小白做个领路。这便文章不仅有对特征工程系统的解析，还会有python代码的实例演示，让我们一起出发吧！
是猪哥不是诸葛·2023-10-29 07:53

数据特征工程 | 主成分分析（Python）

特征抽取（featureextraction）和特征选择（featureselection）不一样，特征抽取是从原特征集中推导出有用的信息构成新的特征集。特征选择是从原特征集中选择一部分子集作为训练特征。特征抽取将数据集从一个特征空间投影到了一个更低维度的特征空间。主成分分析（principalcomponentanalysis，PCA）是一种的无监督线性变换技术，主要用于特征抽取和降维。假设原始
算法如诗·2023-10-28 23:42

图解机器学习特征工程

文章目录引言特征工程1.特征类型1.1结构化vs非结构化数据1.2定量vs定性数据2.数据清洗2.1数据对齐2.2缺失值处理原文链接：https://www.showmeai.tech/article-detail
赵孝正·2023-10-28 20:39

机器学习特征工程：处理缺失值填充的5大技巧

大家好，本文分享Pandas中缺失值填充的5大技巧：填充具体数值，通常是0填充某个统计值，比如均值、中位数、众数等填充前后项的值基于SimpleImputer类的填充基于KNN算法的填充数据importpandasaspdimportnumpyasnpdf=pd.DataFrame({"A":list(range(1,9)),"B":list(range(5,13)),"C":list(range
Python数据挖掘·2023-10-28 17:23

机器学习之路：FaceBook预测案例分析-----＞KNN算法的应用与调优

小白的机器学习之路（二）引子学习机器学习基础：从理论到实践了解机器学习机器学习的定义机器学习的分类机器学习的基本原理掌握数据预处理数据清洗特征选择特征工程分类算法sklearn转换器和预估器KNN算法获取数据数据集划分特征工程
是一个Bug·2023-10-28 02:25

【无标题】

具体步骤：一、读取数据集二、数据分析三、数据清洗四、特征工程五、模型训练与验证六、输出结果七、小结参考链接：https://datawhaler.feishu.cn/docx/C6jvdEwsSo3JMwxFj1
LucyFang2020·2023-10-28 00:49

特征工程优化

参考链接https://www.bilibili.com/video/BV1WN4y1k7R1/?buvid=XU0E30D0C6006B7F1EE1425156434CFEC440F&from_spmid=tm.recommend.0.0&is_story_h5=false&mid=fMtk7pz9LsVpSyGt0Mcizg%3D%3D&p=1&plat_id=116&share_from=u
LucyFang2020·2023-10-28 00:18

机器学习项目实战

Titanic幸存者预测-监督学习分类1.数据准备2.数据加载及处理1.加载结构化的训练集2.处理缺失值，异常值3.特征工程4.逻辑回归算法训练模型5.模型性能评估6.模型持久化6.1sklearn0.21
laufing·2023-10-27 18:22

机器学习（python）笔记整理

目录一、数据预处理：1.缺失值处理：2.重复值处理：3.数据类型：二、特征工程:1.规范化：2.归一化：3.标准化(方差)：三、训练模型：如何计算精确度，召回、F1分数一、数据预处理：1.缺失值处理：在数据中存在缺失值的情况下
小辉懂编程·2023-10-27 08:24

机器学习之数据预备、清洗与特征工程

一、概念：二、为什么要进行预处理：1-1数据预处理简介为什么要进行预处理：数据预处理的功能：①数据集成(DataIntegration)详解：②数据变换(BataTrartsformstian）详解：③数据清洗(DataCleaning)详解：④数据简化(Datasimplify)详解：a、维归约(dimensionlity):b、数量归约(numerosityreduction)：c、数据压缩(
平原2018·2023-10-27 02:28

特征工程－特征预处理

特征工程-DataPreProcessing（数据预处理）-FeatureExtraction（特征提取）-FeatureSelection（特征选择）-Featureconstruction（特征构造
maybelillian_gu·2023-10-26 00:02

sknearl-7处理文本数据

本章代码大部分没跑，只供学习第四节特征工程里提到，有连续特征和离散特征，对于文本数据，文本特征可以看作第三种特征1用字符串表示的数据类型2例子电影评论情感分析给定一个影评（输入），输出影评是正面还是负面
peter6768·2023-10-25 06:39

sklearn-4特征工程与数据表示

1分类变量任务根据美国人年龄，工作，教育水平等特征判定这人年收入比50000美元大还是小问题有的特征不是数值型，比如性别（男或女），工作类型等，而监督学习模型需要都是数值型的特征，可以通过one-hot编码解决1.1one-hot编码（虚拟变量）举例，如何用one-hot表示星期几？创七个特征分别表示周一到周末，如果是周一，则周一特征值为1，其他全为0如何使用one-hot1pandas（更方便）
peter6768·2023-10-25 06:08

机器学习——特征工程之分类变量

机器学习——特征工程之分类变量前言分类变量的编码1、one-hot编码2、虚拟编码3、效果编码处理大型分类变量1、特征散列化2、分箱计数总结前言关于特征工程，已经对空值、数值型和文本数据的处理做了大致方法的说明
macan_dct·2023-10-25 00:25

【算法竞赛学习】数字中国创新大赛智慧海洋建设-Task3特征工程

智慧海洋建设-Task3特征工程此部分为智慧海洋建设竞赛的特征工程模块，通过特征工程，可以最大限度地从原始数据中提取特征以供算法和模型使用。
jaeden_xu·2023-10-24 20:08

特征工程系列：特征构造

文章系列：特征工程系列：数据清洗特征工程系列：特征筛选的原理与实现特征工程系列：特征预处理特征工程系列：特征构造特征工程系列：时间特征构造以及时间序列特征构造前言数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已
安替-AnTi·2023-10-24 15:36

特征工程

在机器学习应用中，特征工程扮演着重要的角色，可以说特征工程是机器学习应用的基础。在机器学习界流传着这样一句话：“数据和特征决定决定了机器学习算法的上限，而模型和算法只是不断逼近这个上限而已”。
编程回忆录·2023-10-24 05:06

特征工程之特征选择(6)----降维算法PCA初探

文章目录维度的概念降维的目的：PCA的信息衡量指标----可解释性方差降维过程简述降维算法与前面的特征选择算法的区别sklearn中的降维算法示例导入相关库提取特征和标签降维探索降维后的数据总结维度的概念对于ndarray对象和series对象，shape返回的数据中有几个数据就是几维对于dataframe对象，列数就是维度数，即维度=shape[1]降维算法的降维指的是，降低特征矩阵中的特征的数
iostreamzl·2023-10-24 02:43

机器学习(3)--特征工程之数据降维

三、降维这里的维度指降低特征的数量【这里的降维不是指数组的维度】方式：1.特征选择2.主成分分析3.神经网络【之后补充，它也有降维的作用】1.特征选择特征选择原因冗余：部分特征的相关度高，容易消耗计算性能噪声：部分特征对预测结果有负影响概念：特征选择就是单纯地从提取到的所有特征中选择部分特征作为训练集特征，特征在选择前和选择后可以改变值、也不改变值，但是选择后的特征维数肯定比选择前小，毕竟我们只选
Ona_Soton·2023-10-24 01:09

微软开源mlsys库之NNI

一、总览NNI(NeuralNetworkIntelligence)是一个轻量但强大的工具包，帮助用户自动的进行特征工程，神经网络架构搜索，超参调优以及模型压缩。
加油11dd23·2023-10-24 01:43

4个可以写进简历的京东 NLP 项目实战

项目一、京东健康智能分诊项目第一周：文本处理与特征工程|BagofWords模型|从tf-idf到Word2Vec|SkipGram与CBOW|HierarhicalSoftmax与NegativeSampling
Amusi（CVer）·2023-10-23 13:16

机器学习中常见的特征工程处理

一、特征工程特征工程（FeatureEngineering）对特征进行进一步分析，并对数据进行处理。常见的特征工程包括：异常值处理、缺失值处理、数据分桶、特征处理、特征构造、特征筛选及降维等。
DB_UP·2023-10-23 01:25

一个完整机器学习项目流程总结

机器学习的特征工程和模型训练通常都是一件非常耗时的过程，胡乱尝试时间成本是非常高的。深入理解要处理的问题，能避免走很多弯路。
高永峰_GYF·2023-10-22 21:40

Bag of Tricks for Efficient Text Classification(Fasttext)

提出一种新的使用子词的词向量训练方法，能够在一定程度上解决oov问题3、将Fasttext开源使得工业界和学术界能够快速的使用Fasttext深度学习文本分类模型:优点：效果好，能达到非常好的效果，不用做特征工程
BUPT-WT·2023-10-22 14:34

机器学习终极指南：统计和统计建模03/3 — 第 -3 部分

系列上文：机器学习终极指南：特征工程（02/2）—第-2部分一、说明在终极机器学习指南的第三部分中，我们将了解统计建模的基础知识以及如何在Python中实现它们，Python是一种广泛用于数据分析和科学计算的强大编程语言
无水先生·2023-10-22 01:58

金融风控-- ＞申请评分卡模型-- ＞特征工程（特征分箱，WOE编码）

这篇博文主要讲在申请评分卡模型中常用的一些特征工程方法，申请评分卡模型最多的还是logsitic模型。
村头陶员外·2023-10-21 16:38

论文分享 --＞强化学习--＞Playing Atari with Deep Reinforcement Learning

对于一些高维复杂场景，状态特征很难通过人工特征工程的方式提取
村头陶员外·2023-10-21 16:07

机器学习笔记AN01--提高机器学习模型准确率的八大方法简单总结

3.特征工程学这一步骤有助于从现有数据
EL33·2023-10-21 12:42

《Python自然语言处理-雅兰·萨纳卡(Jalaj Thanaki)》学习笔记：05 特征工程和NLP算法

05特征工程和NLP算法5.1理解特征工程5.1.1特征工程的定义5.1.2特征工程的目的5.1.3一些挑战5.2NLP中的基础特征5.2.1句法解析和句法解析器5.2.2词性标注和词性标注器理解词性标注和词性标注器的概念一步步开发词性标注器即插即用现有词性标注器使用词性标注作为特征挑战
miniAI学堂·2023-10-21 11:48

【2 - 随机森林 - 原理部分】菜菜sklearn机器学习

《菜菜的机器学习sklearn课堂》_哔哩哔哩_bilibili第一期：sklearn入门&决策树在sklearn中的实现第二期：随机森林在sklearn中的实现第三期：sklearn中的数据预处理和特征工程第四期
如何原谅奋力过但无声·2023-10-21 04:24

学习scikit-learn

scikit-learn网址：http://scikit-learn.org/stable/datasets/index.html#datasets一、特征工程特征工程或特征提取或特征发现是利用领域知识从原始数据
Xuyuting·2023-10-21 02:21

数据准备和特征工程

数据准备和特征工程1.感知数据1-1文件中的数据1.1.1CSV文件pd.read_csv(csv_file,index_col=0)index_col=1默认读取数据的第一列是索引df_new.to_csv
德玛西亚biubiubiu～·2023-10-21 02:48

与特征工程大战之特征选择

特征选择主要有两个功能：减少特征数量、降维，使模型泛化能力更强，减少过拟合增强对特征和特征值之间的理解介绍几种常用的特征选择方法，它们各自的优缺点和问题：1、去掉取值变化小的特征Removingfeatureswithlowvariance这应该是最简单的特征选择方法了：假设某特征的特征值只有0和1，并且在所有输入样本中，95%的实例的该特征取值都是1，那就可以认为这个特征作用不大。如果100%都
csdnccfcsp·2023-10-21 02:44

特征工程的方法和步骤

目录0.示意图1.特征类别1.1.类别特征1.2.数值特征1.3.时间特征1.4.空间特征1.5.自然语言处理1.6.深度学习/神经网络1.7.图特征1.7.Leakage1.8.统计聚合1.9.自动化特征工程
褚骏逸·2023-10-21 02:28

深度学习八股文： 模型训练全过程及各阶段的原因

数据预处理：数据通常需要进行预处理，包括标准化、归一化、缩放、特征工程等。预处理的目的是使数据对模型训练更有利，以及确保数据的一致性和可用性。模型选择和设计：选择适当的深度学习模型结构，如卷积神
运气好到爆·2023-10-20 10:16
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他