数据分析挖掘-特征工程第11页

YOLOv5，YOLOv8改进-修改DCNv2

线性模型无法学习到特征的交叉属性，需要大量的人工特征工程的介入，深度网络对于交叉特征的学习有着天然的优势，在Wide&Deep模型中，Deep侧已经是一个DNN模型，而Wide侧是一个线性模型LR，无法有效的学习到交叉特征

陈子迩·2023-08-14 00:05

NNI(自动超参数搜索)工具环境配置及使用

NNI简介NNI(NeuralNetworkIntelligence)是一个轻量但强大的工具包，帮助用户自动的进行特征工程，神经网络架构搜索，超参调优以及模型压缩。

SHY_VWind·2023-08-13 19:13

NLP之相似语句识别--特征工程篇:bow+tfidf+svd+fuzzywuzzy+word2vec

Quora是一个海外知名的在线问答网站(类似中国的知乎、百度知道)，Quora上有许多问题和答案，也容许用户协同编辑问题和答案.不过由于某些“你懂的”原因，在国内无法访问访问该网站。在2018年9月，据Quora报告称每个月有超过3亿人访问Quora，很多人都会问重复的问题，还有很多问题具有相同意图仅仅只是表达方式不一样。例如，“如何进行网上购物?”和“网上购物的步骤有哪些?”类似这样的问题都是重

-派神-·2023-08-12 21:22

机器学习基础之《特征工程（4）—特征降维—案例》

一、探究用户对物品类别的喜好细分1、找到用户和物品类别的关系数据如下：（1）order_products__prior.csv：订单与商品信息字段：order_id，product_id，add_to_cart_order，reordered（2）products.csv：商品信息字段：product_id，product_name，aisle_id，department_id（3）orders.

csj50·2023-08-12 11:08

[深度学习]Part2 数据清洗和特征工程Ch06——【DeepBlue学习笔记】

本文仅供学习使用数据清洗和特征工程Ch061.特征工程1.1特征工程介绍1.2特征预处理1.2.1数据清洗1.2.1.1数据清洗—预处理1.2.1.2数据清洗—格式内容错误数据清洗1.2.1.3数据清洗

LiongLoure·2023-08-11 15:45

机器学习中的特征工程（四）---- 特征离散化处理方法

简介特征离散化指的是将连续特征划分离散的过程：将原始定量特征的一个区间一一映射到单一的值。离散化过程也被表述成分箱（Binning）的过程。特征离散化常应用于逻辑回归和金融领域的评分卡中，同时在规则提取，特征分类中也有对应的应用价值。本文主要介绍几种常见的分箱方法，包括等宽分箱、等频分箱、信息熵分箱、基于决策树分箱、卡方分箱等。分箱原理介绍数据分箱是一种数据预处理技术，用于减少次要观察误差的影响，

HaloZhang·2023-08-11 01:33

特征工程总结I

背景描述：整理电脑的时候偶然发现自己做过的这个特征工程总结，不过这已经是几年前的，下个月开始update理论和代码部分内容，有需要的朋友可以关注~总体框架（待更新）：

Nancy_张·2023-08-10 20:47

警惕“特征工程”中的陷阱

特征工程(FeatureEngineering)是机器学习中的重要环节。在传统的项目中，百分之七十以上的时间都花在了预处理数据上(DataPreprocessing)，其中特征工程消耗了很多时间。

tianyi6677·2023-08-10 11:46

机器学习基础之《特征工程（4）—特征降维》

一、什么是特征降维降维是指在某些限定条件下，降低随机变量（特征）个数，得到一组“不相关”主变量的过程1、降维降低维度ndarry维数：嵌套的层数0维：标量，具体的数0123...1维：向量2维：矩阵3维：多个二维数组嵌套n维：继续嵌套下去2、特征降维降的是什么降的是二维数组，特征是几行几列的，几行有多少样本，几列有多少特征降低特征的个数（就是列数）二、降维的两种方式1、特征选择2、主成分分析（可以

csj50·2023-08-09 17:13

【机器学习】编码、创造和筛选特征

在机器学习和数据科学领域中，特征工程是提取、转换和选择原始数据以创建更具信息价值的特征的过程。假设拿到一份数据集之后，如何逐步完成特征工程呢？

旅途中的宽~·2023-08-09 17:57

Scikit-learn与特征工程

文章目录1.Scikit-learn与特征工程1.1数据的来源与类型1.2数据的特征抽取1.3数据的特征预处理1.4数据的特征选择1.Scikit-learn与特征工程 数据决定了机器学习的上限，而算法只是尽可能逼近这个上限

olunano·2023-08-09 13:35

【Datawhale AI 夏令营第二期】AI 量化模型预测挑战赛

文章目录赛题分析赛题背景赛事任务赛题数据集评价指标Baseline实践导入模块EDA特征工程模型训练与验证结果输出改进赛题分析赛题背景量化金融在国外已经有数十年的历程，而在国内兴起还不到十年。

adureychloe·2023-08-08 18:02

模型训练技术指南

目录引言1.模型训练的重要性2.数据预处理3.特征工程4.模型选择与评估5.参数调优6.模型集成7.过拟合与欠拟合8.模型保存与加载9.分布式训练与加速10.最佳实践与常见问题引言模型训练是机器学习领域中至关重要的一步

Yan-英杰·2023-08-07 20:33

python机器学习（七）决策树(下) 特征工程、字典特征、文本特征、决策树算法API、可视化、解决回归问题

决策树算法特征工程-特征提取特征提取就是将任意数据转换为可用于机器学习的数字特征。计算机无法直接识别字符串，将字符串转换为机器可以读懂的数字特征，才能让计算机理解该字符串(特征)表达的意义。

hwwaizs·2023-08-07 18:05

机器学习特征工程——类别相关统计特征

阅读鱼佬《机器学习算法竞赛实战》4.3节记录，主要记录如何对类别相关统计特征进行目标编码机器学习难以识别复杂模式，尤其是不同特征间交互信息，因此需要根据直觉或业务理解构建特征。针对类别相关统计特征，可考虑：目标编码考虑类别特征和目标变量count,nunique,ratio经常使用的类别特征构造方式类别特征交叉组合类别特征间的组合目标编码目标编码是用目标变量（通常是Label）统计量对类别特征进行

STUffT·2023-08-07 10:39

深度学习，计算机视觉任务

目录计算机视觉任务1.K近邻算法2.得分函数3.损失函数的作用4.向前传播整体流程5.反向传播计算方法计算机视觉任务机器学习的流程：数据获取特征工程建立模型评估与应用计算机视觉：图像表示：计算机眼中的图像

Williamtym·2023-08-07 06:42

【AI量化模型】跑通baseline

跑通baseline任务学习内容特征工程模型训练与验证bug未纠错的结果任务教程部署在百度AIStudio，可以一键fork运行代码，选择*v10032g1*的配置，baseline运行大约20分钟，再加上进阶部分大约

weixin_44619759·2023-08-07 05:11

深度学习基础知识扫盲

深度学习监督学习（Supervisedlearning）监督学习分类无监督学习（Non-supervisedlearning）无监督学习的算法无监督学习使用场景术语特征值特征向量特征工程（Featureengineering

羊羊羊i·2023-08-06 12:58

机器学习基础概念

公众号：尤而小屋作者：Peter编辑：Peter大家好，我是Peter~本文主要机器学习的一些基本内容，包含：除了分类和回归之外的其他机器学习形式评估机器学习模型的规范流程为深度学习准备数据特征工程解决过拟合处理机器学习问题的通用流程

皮皮大·2023-08-06 00:42

python地图gps轨迹可视化_GPS轨迹可视化的三种方法

Contents:1、GIS软件2、js在线工具或api3、万能的Python做ML的时候，清洗数据也好，特征工程也好，当遇到时空数据，或者要建立LBS特征时，难免需要对坐标维度做可视化打点，来分析其他特征维度的稳定性或相关性

weixin_39732506·2023-08-05 19:37

机器学习基础之《特征工程（1）—数据集》

一、数据集1、目标知道数据集分为训练集和测试集会使用sklearn的数据集2、可用数据集公司内部，比如百度、微博数据接口，花钱政府拥有的数据集3、在学习阶段用到的数据集scikit-learn特点：（1）数据量较小（2）方便学习UCI特点：（1）收录了360个数据集（2）覆盖科学、生活、经济等领域（3）数据量几十万kaggle特点：（1）大数据竞赛平台（2）80万科学家（3）真实数据（4）数据量巨

csj50·2023-08-05 11:50

机器学习基础之《特征工程（2）—特征工程介绍、特征抽取》

一、什么是特征工程机器学习领域的大神AndrewNg(吴恩达)老师说“Comingupwithfeaturesisdifficult,time-consuming,requiresexpertknowledge

csj50·2023-08-05 11:50

机器学习基础之《特征工程（3）—特征预处理》

一、什么是特征预处理通过一些转换函数将特征数据转换成更加适合算法模型的特征数据过程处理前，特征值是数值，处理后，进行了特征缩放

csj50·2023-08-05 11:19

039. (9.12) 数模国赛C题中小微企业的信贷决策第三题思考

C中小微企业的信贷决策第三题思考思考查阅特征工程改进模型改动方面企业的生产经营和经济效益可能会受到一些突发因素影响，而且突发因素往往对不同行业、不同类别的企业会有不同的影响。

ORonaldinhoO·2023-08-05 03:10

机器学习---概述(一)

文章目录1.人工智能、机器学习、深度学习2.机器学习的工作流程2.1获取数据集2.2数据基本处理2.3特征工程2.3.1特征提取2.3.2特征预处理2.3.3特征降维2.4机器学习2.5模型评估3.机器学习的算法分类

肥大毛·2023-08-05 03:59

使用toad对数据进行分箱处理

Toad的功能覆盖了建模全流程，从EDA、特征工程、特征筛选到模型验证和评分卡转化。Toad的主要功能极大简化了建模中最重要最费时的流程，即特征筛选和分箱。

AIGC人工智残·2023-08-05 00:22

奥威BI系统：零编程建模、开发报表，提升决策速度

值得特别注意的一点是奥威BI系统支持零编程建模、开发报表，是一款人人都能用的大数据分析系统，有助于全面提升企业的数据分析挖掘效率，从而提高企业决策速度与质量。

qq_43696218·2023-08-04 17:11

2、机器学习系统搭建流程

一、机器学习系统搭建流程原始数据文本图像语音数据预处理特征工程（向量/矩阵）建模预测备注：机器学习系统中，端到端的学习（Endtoendlearning）二、机器学习算法：监督学习(Supervised

波罗的海de夏天·2023-08-04 03:25

【秋招】算法岗的八股文之机器学习

目录机器学习特征工程常见的计算模型总览线性回归模型与逻辑回归模型线性回归模型逻辑回归模型区别朴素贝叶斯分类器模型(NaiveBayes)决策树模型随机森林模型支持向量机模型(SupportVectorMachine

zz的大穗禾·2023-08-03 22:34

从入门到进阶，学习python必备八本神书

Python之所以这么流行得益于它适用于很多不同领域，目前Python使用最广泛的领域包括有PythonWeb（后端）开发、数据分析挖掘、网络爬虫、机器学习人工智能、运维开发等等。

python阿喵·2023-08-03 11:33

特征工程（一）——特征归一化及类型特征处理

实际工作中，特征工程是去除数据中的杂质，提炼为更合理的特征，供算法和模型使用。特征工程主要包括特征归一化、类型特征的表示、特征选择及非结构化数据的表示。本文主要介绍特征归一化及类型特征的表

叫我e卵石·2023-08-02 20:25

特征工程资料整理，如何从数据中挖掘特征

特征工程资料整理，如何从数据中挖掘特征一、特征工程是什么二、探索性数据分析EDA参考资料：1.pandas_profiling【推荐】2.Sweetviz3.pandasgui4.D-tale【推荐】结论三

SeafyLiang·2023-08-02 15:48

【Datawhale夏令营】任务三学习笔记

任务一笔记回顾任务二笔记回顾目录一：竞赛上分流程1.1问题建模1.2数据分析1.3数据清洗1.4特征工程1.5模型训练与验证二：任务总结与心得一：竞赛上分流程问题建模——>数据分析——>数据清洗——>特征工程

guiyumile·2023-08-01 10:48

数据挖掘项目：金融银行风控信用评分卡模型（上篇）

上篇理解数据探索性数据分析数据预处理特征工程下篇使用to

Soda kun·2023-07-31 19:59

聊一聊先进的感知器和伟大的BP算法

曾经，基于统计学习的机器学习方法在AI领域占据了半边天，逻辑回归、决策树、支持向量机等算法不久就耳熟能详，「特征工程」一词瞬间火了起来，普遍认为数据弄得好+特征工程做得好≈模型能work。

Dreamcatcher风·2023-07-31 13:34

数据挖掘练习——电信客户流失预警项目

二、一般数据分析，挖掘基本步骤：1、用pandas导入数据，查看数据的基本情况2、探索性数据分析（EDA）：单变量可视化；双变量的关系；多变量的关系3、特征工程特征筛选：将一些object类型改成数

ln_ivy·2023-07-31 10:30

【机器学习】西瓜书习题3.3Python编程实现对数几率回归

importnumpyasnpimportpandasaspdimportmatplotlibfrommatplotlibimportpyplotaspltfromsklearnimportlinear_model导入数据，进行数据处理和特征工程

一个甜甜的大橙子·2023-07-31 00:00

【机器学习】西瓜书习题3.5Python编程实现线性判别分析，并给出西瓜数据集 3.0α上的结果

一个甜甜的大橙子·2023-07-31 00:59

机器学习入门之特征工程

数据集数据集划分,训练集与测试集合fromsklearn.datasetsimportload_irisfromsklearn.model_selectionimporttrain_test_splitfromsklearn.feature_extractionimportDictVectorizerfromsklearn.feature_extraction.textimportCountVec

aaaak_·2023-07-30 05:59

机器学习03-数据理解(小白快速理解分析Pima Indians数据集)

数据理解是进行机器学习项目的重要第一步，它有助于我们对数据的基本属性有全面的了解，并为后续的数据预处理、特征工程和模型选择提供指导。

玩转AI·2023-07-29 09:03

Mnist分类与气温预测任务

目录传统机器学习与深度学习的特征工程特征向量pytorch实现minist代码解析归一化损失函数计算图Mnist分类获取Mnist数据集，预处理，输出一张图像面向工具包编程使用TensorDataset

醋酸洋红就是我·2023-07-29 07:03

大数据智能营销系统在各行各业中继续发展扩大

用户数据都可以采集和沉淀，并通过数据分析挖掘用户价值，形成运营体系。

tola荼兰·2023-07-28 23:24

深度学习入门（一）：神经网络基础

一、深度学习概念1、定义通过训练多层网络结构对位置数据进行分类或回归，深度学习解决特征工程问题。

一个很菜的小猪·2023-07-28 13:24

机器学习基础数据集、特征工程、特征预处理、特征选择 7.27

机器学习基础1.数据集2.特征工程3.学习分类4.模型5.损失函数6.优化7.过拟合8.欠拟合数据集又称资料集、数据集合或者资料集合，是一种由数据所组成的集合特征工程1.特征需求2.特征设计3.特征处理特征预处理

孤独memories·2023-07-28 08:00

数据挖掘实践任务2

任务2：特征工程（2天）特征衍生特征挑选：分别用IV值和随机森林等进行特征选择……以及你能想到特征工程处理结果原数据特征数80,通过随机森林筛选后的特征数50,剔除了37.50%的特征importpandasaspdimportnumpyasnpdata

乌和兔·2023-07-27 23:44

字节跳动 EB 级 Iceberg 数据湖的机器学习应用与优化

深度学习的模型规模越来越庞大，其训练数据量级也成倍增长，这对海量训练数据的存储方案也提出了更高的要求：怎样更高性能地读取训练样本、不使数据读取成为模型训练的瓶颈，怎样更高效地支持特征工程、更便捷地增删和回填特征

字节跳动云原生计算·2023-07-27 19:09

波士顿房价预测——线性回归模型

特征工程对数据进行标准化处理。机器学习使用线性回归模型进行预测。模型评估使用均方误差MS

AIGC人工智残·2023-07-27 00:01

R机器学习：特征工程与特征选择的介绍

看了很多高深的算法之后，实在是看不太明白，所以今天又来带大家复习基本功，都是两个非常非常重要的东西，先定两个基调，所谓的特征工程就是数据预处理，所谓的特征选择就是变量筛选，这样大家就不觉得这么难了。

Codewar·2023-07-26 05:59

基于ASAM ODS标准的试验数字化平台-WDP

这种落后的数据管理方式存在许多弊端，例如：数据易丢失或被修改、数据存放分散、查找数据效率低下、无法共享而导致数据利用率低、安全保密性差、无法进行有效的数据分析挖掘工作等。更重要的是，一旦影

WINDHILL_风丘科技·2023-07-25 18:14

特征选择的步骤与方法

为了找出影响时间序列a后续增加或减少的特征，可以使用相关性计算、特征工程和特征选择的方法。

12134·2023-07-25 18:35

推荐频道

数据分析挖掘-特征工程