特征处理

机器学习：使用opencv和python进行智能图像处理

数据特征处理fromsklearnimportpreprocessingimportnumpyasnpx=np.array([[1.,-2.,2.],[3.,0.,0.],[0.,1.,-1.]])x_scaled
koilin·2020-07-02 06:15

论文笔记：Deep neural networks for YouTube recommendations

该系统和工业界经典的推荐流程一样，系统分为候选集生成（也称为搜索或召回），排序两个阶段，这两个阶段分别使用了一个深度神经网络，本文从实践的角度对特征处理，模型训练和调优都有详细介绍。
xiongjiezk·2020-06-30 02:00

Sklearn之数据预处理——StandardScaler

机器学习模型被互联网行业广泛应用，一般做机器学习应用的时候大部分时间是花费在特征处理上，其中很关键的一步就是对特征数据进行归一化，为什么要归一化呢？
龙王.*?·2020-06-29 23:02

[spark]总结spark ML机器学习库（pyspark.ml）

目录一、pyspark.ml.feature特征处理二、pyspark.ml模型三、pyspark.ml.tuning参数遍历一、pyspark.ml.feature特征处理方法描述功能连续特征离散化Binarizer
辰星M·2020-06-29 20:40

【干货】数据挖掘比赛大数据处理和建模经验

2特征处理在处理大规模原始数据时，需要充分借助外存（硬盘）空间，只把真正需要处理的数据放进内存。一般而言，采用流式、分块的方式处理数据可以解决大部分问题。以下是一些具体的技巧。a）只加
腾讯广告算法大赛·2020-06-29 16:23

NLP（二）：中文文本特征处理

目录一.基本文本处理技能暂时先学一下基于词典的方法、基于统计的分词和词、字符频率统计1.基于词典的方法（字符串匹配，机械分词方法）1.1正向最大匹配思想MM1.2逆向最大匹配算法RMM1.3双向最大匹配法(Bi-directctionMatchingmethod,BM)2.基于统计的分词（无字典分词）2.1N-gram模型思想3.词、字符频率统计3.1词频率统计：第一步分词，然后根据分词后的结果进
我想听相声·2020-06-29 05:40

机器学习分类—svm+bagging（sklearn）

1.特征工程我认为的特征工程主要的步骤是，特征观察，特征分析，特征提取，特征处理和特征选择。
三门Simon·2020-06-28 23:27

记一次完整的机器学习竞赛经历

机器学习竞赛经历前言拓扑图数据分析与处理特征工程1.特征选择2.特征处理模型前言此次竞赛的题目为‘信用卡盗刷侦测’，主办方收集120天信用卡交易数据，0-90天作为训练集，90-120天作为测试集，去除
英俊强健·2020-06-28 19:38

python开发：特征工程代码模版（二）

正题开始：这篇文章是入门级的特征处理的打包解决方案的python实现汇总，如果想get一些新鲜血液的朋友可以叉了，只是方便玩数据的人进行数据特征筛选的代码集合，话不多说，让我们开始。
slade_sal·2020-06-28 01:12

特征工程

下篇-离散数据的处理方法特征处理（FeatureProcessing）【机器学习】特征工程七种常用方法离散化特征的方法特征工程之连续特征与离散特征处理方法介绍连续特征的离散化的意义特征工程--特征离散化的意义特征交叉特征工程中的特征交叉究竟是什么
zbxzc·2020-06-27 09:45

Spark MLlib特征处理：Normalizer 正则化---原理及实战

实战importorg.apache.spark.ml.feature.Normalizerimportorg.apache.spark.sql.SQLContextimportorg.apache.spark.{SparkContext,SparkConf}objectNormalizerExample{defmain(args:Array[String]){valconf=newSparkCo
朱智文·2020-06-27 08:25

特征工程——连续特征与离散特征处理方法

特征的标准化（归一化）连续特征  z-score标准化：这是最常见的特征预处理方式，基本所有的线性模型在拟合的时候都会做z-score标准化。具体的方法是求出样本特征x的均值mean和标准差std，然后用（x-mean)/std来代替原特征。这样特征就变成了均值为0，方差为1了。在sklearn中，我们可以用StandardScaler来做z-score标准化。当然，如果我们是用pandas做数据
Fan2g·2020-06-27 08:46

FM（Factorization Machines ）特征处理

博客链接：知乎，讲解的比较好https://zhuanlan.zhihu.com/p/37963267算法理论：https://www.cnblogs.com/AndyJee/p/7879765.htmlFM/FFM算法https://zhuanlan.zhihu.com/p/34564014工程实践http://www.cnblogs.com/AndyJee/p/8032553.htmlhttp
千寻～·2020-06-27 01:18

计算广告CTR预估系列(五)--阿里Deep Interest Network理论

预估系列(五)–阿里DeepInterestNetwork理论计算广告CTR预估系列(五)–阿里DeepInterestNetwork理论1.背景1.1名词解释1.2相关工作2.系统总览2.1训练数据2.2特征处理
轻春·2020-06-26 22:54

人工智障学习笔记——机器学习(1)特征工程

二.模块特征工程大体可以分为以下几大模块1.特征采集：主要基于业务理解，找出满足需求的数据，设计如何获取及存储特征点，并且评估其准确率、覆盖率、采集难度等2.特征处理：2.1采样：合法
九日王朝·2020-06-26 13:28

特征处理之使数据分布逼近正态分布

前言在机器学习和深度学习中，我们经常要对输入的数据做归一化或者在隐藏层使用Batch-Normlization（BN）操作，将数据范围缩放到[0,1]或者[-1,1]之间，主要作用：可以加快神经网络训练速度，防止过拟合。然而无论做归一化还是BN处理，虽然将数据的均值变为0，方差变为1，但是数据的整体分布并不一定服从标准的正态分布（实际数据大部分时候都不会是），做归一化和BN时，我们求出来的均值和方
Never-Giveup·2020-06-25 11:03

机器学习项目完整流程

去掉脏数据2.3.2示例、思考角度2.4数据采样2.4.1随机采样2.4.2分层抽样2.4.3正负样本不平衡的处理办法2.4.3.1情景2.4.3.2处理办法3特征提取和特征选择3.1特征工程的意义3.2特征处理
Bai_Yin·2020-06-25 02:35

Deep Learning Recommendation Model for Personalization and Recommendation Systems

对embedding实现模型并行对MLP进行数据并行题外话：recommendation和predict相关技术：DLRM_Net(#用于sparsefeature特征处理的网络结构(emb_EmbeddingBag
prin1127·2020-06-24 20:22

特征处理

1.特征缩放公式：Xi=Xi−XminXmax−XminX_i=\frac{X_i-X_{min}}{X_{max}-X_{min}}Xi=Xmax−XminXi−Xminimportnumpyasnpfromsklearn.preprocessingimportMinMaxScalerdata=np.array([[115.],[140.],[175.]])scaler=MinMaxScaler
lcwzzz·2020-06-24 02:19

sas构建评分卡模型过程详解（一）：特征处理及变量分箱

在进行特征处理前首先要走的是数据的导入和清洗，这里不再赘述。特征工程包括：缺失值、变量同质性、变量分箱。下面来逐一说明：缺失值：包括变量收集时缺失、变量加工时缺失。
jin_tmac·2020-06-23 22:12

基于python行为评分卡模型

违约风险下面是案例对本文有些概念不懂得可以看信用评分卡模型的建立数据+代码下载关于数据Loan_Amount:总的额度OS：未还金融Payment：还款金融Spend：使用金额Delq：逾期情况第一步，特征处理由于数据时
jiajia_wu·2020-06-23 21:10

算法层组件

联合特征工程组件联合特征工程的功能应包括：a)联合特征使用方案；b)联合特征获取方案；c)联合特征处理；d)联合特征监控。注
hellompc·2020-06-23 13:05

机器学习特征处理常用方法

1使用均值填充#空值的处理X=X.replace("?",np.NAN)#使用Imputer给定缺省值，默认的是以mean#对于缺省值，进行数据填充；默认是以列/特征的均值填充imputer=Imputer(missing_values="NaN")X=imputer.fit_transform(X,Y)2字符数据进行编码fromsklearn.preprocessingimportOrdinal
lingxingzhang·2020-06-23 11:23

TensorFlow feature_column 介绍与体验

TensorFlowfeature_column介绍与体验Tensorflow提供了名为tf.feature_column的强大工具用于特征处理,后续可以很方便的用于基于Estimator的模型,这一点在官方提供的两个例子中体现的淋漓尽致
珍妮的选择·2020-06-21 20:46

机器学习之03数据特征预处理

一、特征处理是什么通过特定的统计方法（数学方法），将数据转换成算法要求的数据1、数值型数据标准缩放：（1）归一化（2）标准化（3）缺失值2、类别型数据：one-hot编码3、时间类型：时间的切分4、预处理
把小兔打哭·2020-06-21 19:17

AI基础：特征工程-数字特征处理

在此之前，我已经写了以下几篇AI基础的快速入门，本篇文章讲解特征工程基础第二部分：（数字特征处理）。
湾区人工智能·2020-06-21 17:50

AI基础：特征工程-文本特征处理

在此之前，我已经写了以下几篇AI基础的快速入门，本篇文章讲解特征工程基础第三部分：（文本特征处理）。
湾区人工智能·2020-06-21 17:19

数据挖掘项目：银行信用评分卡建模分析（下篇）

上篇文章的链接：数据挖掘项目：银行信用评分卡建模分析（上篇）4.特征工程特征处理和特征生成特征衍生构建三个新的特征：总违约数，违约计数和每个月的支出。
AvenueCyy·2020-06-21 17:32

数据挖掘：特征工程——特征处理与特征生成

数据挖掘：特征工程——特征处理与特征构建这里贴一张网上特征工程的流程，供大家学习。一、什么是特征工程特征工程：其本质是一项工程活动，目的是最大限度地从原始数据中提取特征以供算法和模型使用。。
AvenueCyy·2020-06-21 17:31

Python使用numpy模块实现矩阵和列表的连接操作

Numpy模块被广泛用于科学和数值计算，自然有它的强大之处，之前对于特征处理中需要进行数据列表或者矩阵拼接的时候都是自己写的函数来完成的，今天发现一个好玩的函数，不仅好玩，关键性能强大，那就是Numpy
Together_CZ·2020-06-20 23:47

特征工程之类别特征处理

类别特征的输入往往是原始的字符串，因此除了例如决策树等少数能直接处理字符串形式输入的模型，其他模型往往需要将类别特征处理厂数值型才能正常处理。下面介绍几种常见的类别特征处理方法。
圈圈_Master·2020-06-20 22:39

机器学习特征工程1-数据预处理（sklearn实践）

「特征处理是困难的、耗时的且需要专家知识。『实用化的机器学习』基本上
scottlin·2020-06-20 21:46

使用dom的几个事件统计用户请求

pc端的用户统计相对好处理点，我们可以基于window的一些onload,onbeforeunload以及一些特征处理（一些算法）但是对于移动端h5的就有点少复杂了，移动端的用户操作习惯与pc端的有不一样的地方
荣锋亮·2020-06-18 11:00

总结|公共自行车使用量预测

东文，14.835第47名冰琪，14.852第50名继端，14.871第57名可自行点击上述文章详细了解他们的优化过程一、前言总的来说，三位同学都经历了这三个步骤数据处理，特征处理，调参，但各步骤内所使用详细的方法有所不同
大饼与我·2020-06-06 00:56

机器学习：特征工程之特征提取

目录第一部分：特征工程一.概念二.意义三.特征处理第二部分：特征提取一.特征抽取二.分类特征变量提取三.文本特征提取四.文本分类中的特征提取(Tfidf)备注：一.词第一部分：特征工程一.概念1.
condi1997·2020-04-12 11:49

机器学习笔记——特征工程（1）

  在机器学习领域有这样一种说法——“特征处理决定了模型效果的上限，而算法则决定了模型能够在多大程度上接近这个上限”。
龙少伊·2020-04-10 08:38

广告行业中那些趣事系列8：详解BERT中分类器源码

目录01整体模块划分02数据处理模块03特征处理模块04模型构建模块05
数据拾光者·2020-04-08 20:32

广告行业中那些趣事系列8：详解BERT中分类器源码

目录01整体模块划分02数据处理模块03特征处理模块04模型构建模块05
数据拾光者·2020-04-07 21:00

机器学习--回归问题、决策树、随机森林、GBDT、 XGBoost

零、特征工程（数据-特征-模型）1、数据特征处理*数据选择/清洗/采样*数据型/类别型/日期型/文本型特征处理*组合特征处理2、filter/wrapper/embedded三种特征选择方式一、前言：1
lv_dl·2020-04-07 07:09

kaggle入门——泰坦尼克之灾

目录引言数据认识总结特征处理建模预测logistic分类模型随机森林SVMxgboost模型验证交叉验证学习曲线高偏差：高方差模型融合总结后记引言一直久闻kaggle大名，自己也陆陆续续学了一些机器学习方面的知识
ghost222·2020-03-31 11:00

如何使用sklearn进行在线实时预测（构建真实世界中可用的模型）

红色方框的上半部分表示对训练数据进行特征处理，然后再对处理后的数据进行训练，生成model。红色方框的下半部分表示对
王伟_同学·2020-03-28 04:13

Spark机器学习库(MLlib)开发指南（1）

在较高层次上，它提供了如下的工具机器学习算法:通常的学习型算法，例如分类，回归，聚类以及协同过滤特征处理:特征提取，转换，降维以及特征选择p
xcrossed·2020-03-26 19:20

机器学习中的数据清洗与特征处理综述

随着美团交易规模的逐步增大，积累下来的业务数据和交易数据越来越多，这些数据是美团做为一个团购平台最宝贵的财富。通过对这些数据的分析和挖掘，不仅能给美团业务发展方向提供决策支持，也为业务的迭代指明了方向。目前在美团的团购系统中大量地应用到了机器学习和数据挖掘技术，例如个性化推荐、筛选排序、搜索排序、用户建模等等，为公司创造了巨大的价值。本文主要介绍在美团的推荐与个性化团队实践中的数据清洗与特征挖掘方
婉妃·2020-03-22 16:44

Spark中那些常用的特征处理操作

本篇从项目实战中总结常用的Spark特征处理实例，方便小伙伴们更好的使用Spark做数据挖掘相关的工作。
数据拾光者·2020-03-01 12:00

AI系统架构之算法平台需求

接着上次的数据流水线，从数据收集到处理，属于传统大数据基础架构的范畴；从特征处理到算法训练，再到算法打分，就是AI系统的特有部分了，这一段的流水线要想高效运转，需要解决算法和工程人员的技能偏差问题。
舟行·2020-02-28 12:02

数据挖掘：特征工程——特征提取与选择

数据挖掘：特征工程——特征提取与选择特征的处理和构建已经在上一篇特征处理和构建文章中有所总结。接来下对特征提取和选择进行说明。
AvenueCyy·2020-02-25 15:47

Spark机器学习API之特征处理（一）

Spark机器学习中关于特征处理的API主要包含三个方面：特征提取、特征转换与特征选择。本文通过例子介绍和学习Spark.ml中提供的关于特征处理的
Alukar·2020-02-21 19:58

数据角度解析逻辑回归

4、从概率角度理解z的含义5、构造代价函数求出参数的值6、从几何变换的角度重新梳理我们刚才的推理过程7、对于简单的非线性可分的问题8、从特征处理的角度重新梳理我们刚才的分析过程9、对于复杂的非线性可分的问题
重新出发_砥砺前行·2020-02-20 00:11

特征工程

通过总结和归纳，人们认为特征工程包括以下方面：本文使用pythonsklearnIRIS（鸢尾花）数据集来对特征处理功能进行说明，IRIS数据集包含4个特征(Sepal.
jockerMe·2020-02-18 22:54

特征工程（一）

转自七月算法班特征工程需要根据实际的业务场景进行处理---数据与特征处理1.数据选择/清洗/采样2.数值型/类别型/日期型/文本型特征处理3.组合特征处理---特征选择1.Filter/Wrapper/
士多啤梨苹果橙_cc15·2020-02-16 06:52
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他