特征工程系列学习

1、【特征抽取（NLP）】机器学习之特征工程和文本特征的提取

常用数据集构成=特征值+目标值（0/1）每一行为一条记录，每一列即为一个特征对特征值进行处理：pandas进行简单处理（主要是对缺失值数据，重复值不用处理）；特征工程之特征抽取：对文本数据进行特征值化（
Alexander plus·2022-12-16 14:51

机器学习之特征工程（1）字典/文本特征提取方法

特征工程的内容特征抽取特征预处理特征降维特征提取将任意数据转化为数字特征APIsklearn.feature_extraction字典特征提取sklearn.feature_extraction.DictVectorizer
_console_·2022-12-16 14:21

机器学习概述

机器学习的一般流程数据收集数据清洗特征工程数据建模模型评估算法分类机器学习有监督学习无监督学习分类k-近邻算法贝叶斯分类决策树与随机森林逻辑回归回归
_console_·2022-12-16 14:20

数据预处理常用操作

数据预处理常用操作数据导入数据分析查看数据大小查看数据类型，缺失值，缺失值占比查看数据相关性-热力图表示数据处理数据类型转换pd.to_numeric函数散点图观察缺失值处理数据删除缺失值填充：文本数据处理最后建议大家看一下飞桨的[数据准备和特征工程
丿Me丶初见灬·2022-12-16 13:14

《机器学习算法竞赛实战》学习笔记4.特征工程

吴恩达老师有言：“机器学习在本质上还是特征工程，数据和特征决定了机器学习的上限，模型和算法只是逼近这个上限而已。”
全自动学习机器·2022-12-16 13:32

学习简记_特征工程

特征工程1.特征变换1.1连续变量无量纲化1.2连续变量离散化1.3类别特征转换2.特征组合3.特征评价吴恩达老师有言：“机器学习本质上还是特征工程，数据和特征决定了机器学习上限，模型和算法只是去尽可能逼近这个上限而已
全自动学习机器·2022-12-16 13:54

本人心血总结，机器学习、算法面经总结与解析

本专栏特点：本专栏囊括了深度学习、机器学习、NLP、特征工程等一系列知识点的讲解，并且最后总结出了高频面试考点（附有答案）【共301道】，知识点讲解全面，事半功倍，为大家春秋招助力。
qq_32468785·2022-12-16 10:51

数据生态第四弹 | OpenMLDB Hive Connector，架构起数据仓库到特征工程的生态桥梁

导读近日，OpenMLDB实现了与开源数据仓库软件Hive的连接，继完成与Kafka、Pulsar、RocketMQ等实时数据源生态整合后，持续构建离线数据生态，期待建设一个更加全面一体的上下游生态圈，在吸引更多用户的同时也能降低用户的使用门槛。OpenMLDBHiveConnector背景OpenMLDBHiveConnector的开发解决了OpenMLDB无法轻松连接使用Hive数据源的问题，
第四范式开发者社区·2022-12-16 09:25

OpenMLDB + OneFlow: 手把手教你快速链接特征工程到模型训练

本文整理自OpenMLDBMeetupNo.5中OpenMLDBPMC黄威的演讲，将以京东高潜用户购买意向预测问题为例，示范如何使用OpenMLDB和OneFlow联合来打造一个完整的机器学习应用。分享视频如下：导读：如何从历史数据中找出规律，去预测用户未来的购买需求，让最合适的商品遇见最需要的人，是大数据应用在精准营销中的关键问题，也是所有电商平台在做智能化升级时所需要的核心技术。京东作为中国最
第四范式开发者社区·2022-12-16 09:24

【Meetup预告】OpenMLDB＋OneFlow：链接特征工程到模型训练，加速机器学习模型开发

2022年7月31日（周日）下午14:00-16:30，开源机器学习数据库OpenMLDB第五期Meetup将通过线上直播的形式展开。活动背景提供生产级实时数据及特征开发全栈解决方案的开源学习数据库OpenMLDB邀请静态编译和流式并行的深度学习框架OneFlow合作带来OpenMLDBMeetup第五期。本期线上分享将带领大家深入了解迭代升级后的OpenMLDB和OneFlow，解析产品背后的架
第四范式开发者社区·2022-12-16 09:54

特征工程之高维组合特征的处理、组合特征、文本表示模型

为了提高复杂关系的拟合能力，在特征工程中经常会把一阶离散特征两两组合，构成高阶组合特征。比如性别(取值男女)，城市(取值上海北京)，组合后特征为：上海男，上海女，北京男，北京女。
算法星球·2022-12-16 08:55

ML_Decision Tree

机器学习100天系列学习笔记机器学习100天(中文翻译版)机器学习100天(英文原版）代码阅读：第一步：导包#Step1:ImportingtheLibrariesimportnumpyasnpimportmatplotlib.pyplotaspltimportpandasaspd
qq-120·2022-12-16 08:16

【机器学习】采集数据、特征工程、建立模型、应用四个阶段的详解（图文解释 超详细）

机器的这种学习能力，作为人工智能的核心要素，将会对人类社会的生产、生活、军事等活动产生难以估量的影响。那么，什么是机器学习（MachineLearning，ML）呢？人类的学习中，最基础的是记忆，即机械的复述。但更重要的是指“举一反三”的能力。当用图片、文字、视频等教人们认识动物时，人们不仅记住了动物的知识，还学会了对真实的动物进行分析、辨认和判别，这是一种学习知识，并应用知识的能力。获得这种能力
showswoller·2022-12-16 06:29

互联网大厂CTR预估前沿进展

早期主要是使用LR（线性回归）+人工特征工程的机器学习方法，但是存在人工组合特征工程成本较高，不同任务难以复用的问题。
夕小瑶·2022-12-16 02:07

泰坦尼克号数据集_泰坦尼克号生存率预测

目录一、泰坦尼克号生存率预测1.提出问题2.理解数据2.1采集数据2.2导入数据2.3查看数据集信息3.数据清洗3.1数据预处理3.2特征工程4.构建模型5.模型评估6.方案实施6.1得到预测结果6.2
weixin_39560604·2022-12-15 14:10

泰坦尼克号幸存者预测

目录数据集1、分析需求2、探索性数据分析（EDA）性别：是离散型变量Age：连续型变量Fare：票价，连续型变量，可以使用箱线图或者小提琴图看分布PclassEmbarked：离散型变量3、特征工程特征抽取抽取
pythonSuperman·2022-12-15 13:07

特征工程——特征衍生

没有现成第三方库特征衍生方法单变量特征衍生——一个变量放进去衍生多个特征双变量特征衍生——二组合生多关键特征衍生——文本/时序多变量特征衍生——三个及以上特征进行组合单变量特征衍生数据冲编码特征衍生原特征与衍生特征都可以带入特征工程连续变量
CHILDE Ley·2022-12-15 11:59

推荐系统序列化建模总结

对行为序列的建模可以归纳为两方面，特征工程和模型结构。特征是对某个行为过程的抽象表达，特征工程旨在更精确地刻画行为过程，需要对具体的业务场景有一定理解。
程序员对白·2022-12-14 23:06

自动驾驶科普文之一：场景来源、场景泛化及提取

严格意义上说，这是笔者的一系列学习笔记。对自动驾驶仿真中的很多知识点（排名第一的就是“用真实道路数据做仿真”），笔者已经好奇了两年多时间，但此前一直没有机会学习。
九章智驾·2022-12-14 17:46

python风控建模_风控建模之特征筛选与建模（python）

特征筛选在建模之前的一步就是将特征工程做好的变量进行筛选，在风控项目中筛选分为两步：初步筛选、逐步回归筛选以及稳定性筛选。
weixin_39600331·2022-12-14 16:33

数据科学基础复习2

4.2参数估计4.3假设检验4.4方差分析*4.5回归分析*凸优化智能优化算法遗传算法pso粒子群优化算法机器学习初探分类模型评估K折叠交叉验证(K-foldcrossvalidation)二分类问题特征工程数据预处理特征提取特征选择特征降维简答题
IIKY·2022-12-14 15:11

第六课 多算法组合与模型调优

本系列是七月算法机器学习课程笔记文章目录1前序工作流程1.1数据处理1.2特征工程1.3模型选择1.4交叉验证1.5寻找最佳超参数2模型优化2.1模型状态2.2模型优化12.3模型优化22.4模型优化32.5
约定写代码·2022-12-14 15:24

数据生态第四弹 | OpenMLDB Hive Connector，架构起数据仓库到特征工程的生态桥梁

导读近日，OpenMLDB实现了与开源数据仓库软件Hive的连接，继完成与Kafka、Pulsar、RocketMQ等实时数据源生态整合后，持续构建离线数据生态，期待建设一个更加全面一体的上下游生态圈，在吸引更多用户的同时也能降低用户的使用门槛。OpenMLDBHiveConnector背景OpenMLDBHiveConnector的开发解决了OpenMLDB无法轻松连接使用Hive数据源的问题，
·2022-12-14 15:58

深度解析数据清理和特征工程！5本面向数据科学家的顶级书籍推荐 ⛵

本文对比筛选了『数据清理』和『特征工程』最值得推荐的5本书，帮助你有效地清理数据、获取干净核心的数据，这是后续建模分析等工作有更好结果的保证。
·2022-12-14 14:26

pytorch标签onehot编码_特征编码方法总结—part1

在特征工程里，特征编码是占比很重的一块，在kaggle的结构化数据比赛中，最终帮助选手胜利的关键因素之一往往是高级特征的构造和特征编码（很多时候特征编码也是在构造高级的特征），下面就来总结一下吧。
温卡龙·2022-12-14 08:36

机器学习中---sklearn对于鸢尾花如何进行数据集划分

机器学习中，我们熟知的开发流程是：获取数据------数据处理------特征工程------机器学习算法训练模型------模型评估-----应用实际#所以对于一个我们已有的数据集，不能全部用作建立模型
漂泊的小森·2022-12-14 06:48

《特征工程入门与实践》--特征选择

特征选择元指标特征选择的类型:基于统计的特征选择皮尔逊相关系数假设检验基于模型的特征选择使用机器学习选择特征针对基于树的模型线性模型和正则化《特征工程入门与实践》-特征选择元指标元指标是指不直接与模型预测性能相关的指标
「已注销」·2022-12-14 05:11

机器学习笔记11 -- 优化方法

改进（更为通用）其中系数阿尔法可以理解为步长，后边偏导数代表方向，然后不断进行迭代至偏导为0可能会产生局部最优解，这里暂且不提线性回归API：案例：波士顿房价预测：流程：获取数据集（已处理）划分数据集特征工程
whurrican·2022-12-14 03:56

神经网络与深度学习：卷积神经网络

卷积神经网络1.深度学习基础2.图像识别与深度学习3.图像卷积3.1图像卷积运算3.2图像卷积在机器学习中的应用4.卷积神经网络5.卷积神经网络的优化1.深度学习基础特征工程：尽可能选择和构建出好的特征
Twinkle1231·2022-12-14 01:14

特征工程中的数据标准化

数据标准化数据标准化主要用来消除不同特征之间的量纲的影响，量纲指的是特征的计量单位，如果特征的单位不一致，那么不同的特征不能放在一起去比较。例如在日常生活中，身高的单位时cm，体重的单位时kg，二者不能直接比较。所以可以通过数据标准化的方法，来消除不同特征之间量纲的影响。示例数据：Min-Max标准化Min-Max标准化是对原始数据进行线性转换，它需要求出特征的最小值和最大值，然后通过以下公式求出
CSDN_Arice·2022-12-14 00:18

特征工程中缺失值处理

缺失值处理信息系统往往是不完备的，经常会有数据缺失。产生数据缺失一般有两种原因，第一种是有些信息暂时无法获取，例如一个单身人士的配偶或者一个儿童的收入等；第二种是有些信息被遗漏或者错误的被处理了。数据缺失是不可避免的，我们经常要做缺失数据的处理，处理缺失数据通常有三种方法：1、第一种是不处理，例如单身人士的配偶，不存在是很正常的。2、第二种是删除缺失值所对应的行，这种方法在样本数据较少时，谨慎使用
CSDN_Arice·2022-12-14 00:48

深度学习-----------2.6（GBDT+LR，LS-PLM）

GBDT构建特征工程，利用LR预估CTR这是两步独立的。
WMM_123456·2022-12-13 22:19

moco系列学习总结

MoCo系列学习总结刚开始博客，写的不好请多多包含。如有错误，请指出，感谢。
剁椒鱼头汤·2022-12-13 21:45

xgboost算法 c语言,实战微博互动预测之三_xgboost答疑解惑

1.说明前两篇完成了特征工程的相关工作：加入用户的统计特征，分析文本信息内容，并作为新特征加入了数据集。
weixin_39860349·2022-12-13 20:51

Scikit-learn(sklearn)机器学习必备库

sklearn建模流程：（掌握常见机器学习模型）数据预处理特征工程，特征编码模型选择模型训练与测试模型评价，误差分析数据预处理常用手段：Standardization,ormearemovalandvarian
想成为风筝·2022-12-13 14:51

学习笔记：特征工程（三）——特征构建

在之前的节中，我们了解了数据类型，数据识别以及数据填充，但这些操作所针对的数据类型都是定量型数据，那么我们如何处理定性型数据呢？本节笔者就开始研究分类数据，分类数据如何构建，如何通过现有的特征构建全新的特征，让模型从中学习。其实有很多方法可以构建新特征：最简单的办法就是用pandas将现有的特征扩大几倍；当然也可以使用scikit-learn包的很多部分。本节从以下四个方面来探讨：检查数据集填充分
蓝建国·2022-12-13 13:52

python机器学习前戏 ——特征工程应用

机器学习笔记——特征工程应用机器学习为什么需要特征工程什么是特征工程特征工程的实现目录机器学习笔记——特征工程应用机器学习——特征工程应用机器学习为什么需要特征工程什么是特征工程sklearn工具特征抽取应用字典特征抽取
熬夜秃头君·2022-12-13 13:52

我的机器学习笔记——特征工程

我的机器学习笔记——特征工程1.特征工程是什么？
Wenee_·2022-12-13 13:22

机器学习笔记【二】——特征工程

特征工程what特征工程包含内容二、特征预处理特征预处理API数值型数据的无量纲化-归一化1.定义2.公式3.API4.归一化缺陷-标准化1.定义2.公式3.API4.标准化总结三、特征降维特征选择1.
Krisyeo1·2022-12-13 13:51

【百面机器学习笔记——第一章 特征工程】

百面机器学习笔记——第一章特征工程01特征归一化02类别型特征03高维组合特征的处理04特征组合07图像数据不足时的处理方法01特征归一化原因：消除量纲带来的不同数值量级的影响，防止梯度下降过程中不同方向下降速度不同
书玮嘎·2022-12-13 13:48

机器学习狗(本人)day1&2 —— 特征工程学习

机器学习狗day1&2——特征工程学习LEARN特征选择FeatureSelection首先，从特征开始说起，假设你现在有一个标准的Excel表格数据，它的每一行表示的是一个观测样本数据，表格数据中的每一列就是一个特征
b1ue0cean·2022-12-13 13:17

01_机器学习概述整理

机器学习的处理流程：数据采集、预处理、特征工程、建模和测试。
等风来随风飘·2022-12-13 13:12

01_机器学习相关笔记——特征工程（1）

01_机器学习相关笔记——特征工程（1）没有充足的数据、合适的特征，再强大的模型结构也无法得到满意的输出。
等风来随风飘·2022-12-13 13:05

大数据分析与应用（中级） 数据挖掘概念及流程

回归分析：6.选择数据挖掘工具时需要考虑的因素7.常用的数据挖掘工具1.机器学习PAI：2.SAS3.Stata4.Python5.IBMSPSSModeler6.Wake7.R语言8.MATLAB8.特征工程
长岛山没有雪·2022-12-13 07:30

NNI 自动调参使用。

NNI(NeuralNetworkIntelligence)是一个轻量而强大的工具，可以帮助用户自动化：超参调优，架构搜索，模型压缩，特征工程。本文只简单介绍如何超参数调优。1原理
JiangHe1997·2022-12-12 16:52

什么才是一个好的特征工程？

文章目录特征工程例子参考资料特征工程“上面的多项式特征是根据它们与目标数据的匹配程度来选择的。考虑这个问题的另一种方法是，一旦我们创建了新特性，我们仍然在使用线性回归。
CodeSlogan·2022-12-12 13:27

Python数据分析之特征工程

目录一、数据清洗：1、数据样本采集（抽样）2、异常值处理识别异常值和重复值直接丢弃（包括重复数据）集中值指代（除异常值外的均值、中位数、众数等等）插值根据不同特征值的具体形式处理二、特征预处理1、特征选择——剔除与标注不相关或者冗余的特征过滤思想（设置过滤的阈值）包裹思想（递归特征消除法算法—RFE—resavefeatureelimination）嵌入思想（正则化——系数反应特征重要程度）2、特
啊心个。·2022-12-12 12:38

张贵栓‖小学语文“版块互动、任务驱动、实践活动”学习任务群策略运用(一)

语文学习任务群由相互关联的系列学习任务组成,共同指向学生的核心素养发展,具有情境性、实践性、综合性。
悦读苑·2022-12-12 12:25

文本分类--普通分类

2问题总结文本分类的一般流程；3解决思路3.1文本的特征提取特征选择是特征工程中的重要一
FibonacciCode·2022-12-12 09:13

【特征工程】多项式特征PolynomialFeatures(将数据变化为多项式特征)

使用sklearn.preprocessing.PolynomialFeatures来进行特征的构造。它是使用多项式的方法来进行的，如果有a，b两个特征，那么它的2次多项式为（1,a,b,a^2,ab,b^2）。PolynomialFeatures有三个参数degree：控制多项式的度interaction_only：默认为False，如果指定为True，那么就不会有特征自己和自己结合的项，上面的
小胡同1991·2022-12-12 08:57
上一页 28 29 30 31 32 33 34 35 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他