datawhale异常检测第9页

azure 机器学习_如何在Azure机器学习中使用异常检测

azure机器学习微软在机器学习上的一大赌注是，这些技术需要实现民主化，并变成相对易于理解的构建基块，微软的开发人员可以在他们自己的应用程序中快速学习和使用这些技术。这就是Azure认知服务的用武之地。不必了解ResNet50深度学习神经网络的培训层，也不必了解如何使用TensorFlow或Microsoft认知工具包（CNTK）构建学习平台，这些服务只是API，可以用了。微软已经为这些服务训练了

cxq8989·2023-11-06 21:16

金融风控-贷款违约预测学习笔记(Part3：特征工程)

-贷款违约预测学习笔记（Part3：特征工程）1.特征预处理1.1处理类别型特征和数值型特征1.2缺失值填充1.3时间格式处理1.4将对象类型特征转换到数值1.5类别特征处理1.6异常值处理1.6.1异常检测方法一

查尔char·2023-11-06 16:53

从重采样到数据合成：如何处理机器学习中的不平衡分类问题？

这个问题在异常检测是

xiaokang06·2023-11-06 15:36

强化学习（二）——动态规划

Control）2.1策略迭代（PolicyIteration）2.2价值迭代（ValueIteration）2.3比较（Compare）Reference[1]https://github.com/datawhalechina

冠long馨·2023-11-05 20:47

Datawhale 零基础入门CV赛事-Task5 模型集成

集成学习集成学习只能在一定程度上提高精度，并需要耗费较大的训练时间，因此建议先使用提高单个模型的精度，再考虑集成学习过程。具体的集成学习方法需要与验证集划分方法结合，Dropout和TTA是应用较为广泛的方法。DropoutDropout是一种深度学习的一种技巧，他会随机让某些节点不参与训练，而在预测时，所有节点又参与训练，这样训练时就不会出现该模型对于某一点极其依赖，所以也是一种缓解过拟合的的有

顾子豪·2023-11-05 03:19

TimesNet：Temporal 2D-variation modeling for general time series analysis 论文要点

文章目录摘要问题分析数据层面方法层面本文方法整体框架TimesBlock1Dto2D选择最显著频率维度转换捕捉2D特征自适应聚合实验结果短期预测长期预测imputation分类异常检测文章获取：https

zzz_979·2023-11-04 17:28

《异常检测——从经典算法到深度学习》23 TimesNet: 用于常规时间序列分析的时间二维变化模型

zz#《异常检测——从经典算法到深度学习》0概论1基于隔离森林的异常检测算法2基于LOF的异常检测算法3基于One-ClassSVM的异常检测算法4基于高斯概率密度异常检测算法5Opprentice——

smile-yan·2023-11-04 17:50

异常检测方法总结

本文收集整理了公开网络上一些常见的异常检测方法（附资料来源和代码），不足之处，还望批评指正。

一缕阳光lyz·2023-11-04 03:50

古老的spc也可以用机器学习（二）-孤立森林算法

算法原理iForest（IsolationForest）孤立森林是一个基于Ensemble的快速异常检测方法，具有线性时间复杂度和高精准度，是符合大数据处理要求的state-of-the-art算法。

statr·2023-11-03 12:00

异常检测之PCA实战

模型构建及评估划重点PCA是一个经典的线性降维算法，而降维算法可以先进行降维、再重构数据，那些难以重构的样本就是和整体分布差异较大的样本点，我们通过计算原始数据和重构数据的差异来识别出难以重构的样本，从而达到异常检测的目的

Python风控模型与数据分析·2023-11-03 11:03

task03

Datawhale计算机视觉基础-图像处理（下）-Task03Haar特征描述算子-人脸检测地址：https://github.com/datawhalechina/team-learning/blob

黑乎乎AI·2023-11-03 09:14

论文学习——基于滑动窗口预测的水文时间序列异常检测

山外小楼听夜雨.·2023-11-03 04:01

异常检测算法速览（Python代码）

一、异常检测简介异常检测是通过数据挖掘方法发现与数据集分布不一致的异常数据，也被称为离群点、异常值检测等等。

算法进阶·2023-11-02 22:27

Stanford机器学习---第八讲. 支持向量机SVM

OctaveTutorial、LogisticRegression、Regularization、神经网络、机器学习系统设计、SVM（SupportVectorMachines支持向量机）、聚类、降维、异常检测

MachineLP·2023-11-02 18:24

Stanford机器学习---第8讲. 支持向量机SVM

OctaveTutorial、LogisticRegression、Regularization、神经网络、机器学习系统设计、SVM（SupportVectorMachines支持向量机）、聚类、降维、异常检测

hellotruth·2023-11-02 18:52

访问后端接口报错：net::ERR_CONNECTION_RESET

解决方案以深信服防火墙为例，在WEB应用防护中找到HTTP异常检测，在方法过滤中将PUT、DELETE方法取消选中确定即可。

libraboy·2023-11-02 08:36

异常检测算法（二）：OneClassSVM【严格讲，不是outlier检测方法，而是novelty检测方法】【但数据维度很高或对相关数据分布没任何假设情况下，也可作为一种很好的outlier检测方法】

OneClassSVM两个功能：无监督异常值检测；解决非平衡样本分类；在做非平衡样本分类的问题时，其中如果有一类比例严重失调，就可以直接用这个方式来做：OneClassSVM；OneClassSVM还有一个功能就是异常值检测。scikit-learn官网：2.7.NoveltyandOutlierDetection严格地讲，OneClassSVM不是一种outlierdetection方法，而是一

u013250861·2023-11-02 08:25

PCA、LOF、IForest、One-Class SVM异常检测例子

原数据（鸢尾花）fromsklearnimportdatasets#导入内置数据集模块iris=datasets.load_iris()#导入鸢尾花的数据集x=iris.data[:,0:2]#样本数据共150个，取前两个特征，即花瓣长、宽#可视化数据集importmatplotlib.pyplotaspltplt.scatter(x[:,0],x[:,1])#x的第0列绘制在横轴，x的第1列绘制

萌新待开发·2023-11-02 08:23

利用one-class SVM进行异常值检测

python数据分析与数据化运营宋天龙sklearn中提供了one-classSVM和EllipticEnvelope两种方法用于异常检测，前者基于libsvm实现的非监督式异常检测方法，可用于做高维度分布的评估

何国庆·2023-11-02 08:52

Linux内存异常检测工具—kfence

一、功能介绍Linux5.13内核新增一种内存异常检测工具——kfence(KernelElectric-Fence)，它是基于采样的低开销内存检测工具，这里所谓的采样就是提供少量的内存陷阱，来抓取非法内存访问

吴丹_89fc·2023-11-01 17:28

网络安全课题以及学术方向总结

文章目录综述篇防护篇使用AI保护应用威胁情报黑客工具检测敏感数据检测恶意样本检测入侵检测域名安全检测业务安全检测Web安全检测Web安全之URL异常检测Web安全之SQLi检测Web安全之XSS检测Web

三更两点·2023-11-01 16:32

王晓亮：关于技术人的十年！

↑↑↑关注后"星标"Datawhale每日干货&每月组队学习，不错过Datawhale干货作者：王晓亮，南京大学，Datawhale成员在Datawhale有许多同学想了解技术路径、选型，乃至职业规划及个人成长方向问题

Datawhale·2023-11-01 09:32

深度学习debug沉思录！

↑↑↑关注后"星标"Datawhale每日干货&每月组队学习，不错过Datawhale干货作者：土豆@知乎，来源：极市平台原文丨https://zhuanlan.zhihu.com/p/158739701

Datawhale·2023-10-31 11:42

监督式异常检测（Anomaly Detection）方法研究线

监督式异常检测（AnomalyDetection）方法论文研究线二、当只用正常数据时还可以怎么做？换个角度，当异常样本数据少，异常标签少的时候，换个角度，能不能自己构造异常样本，自己添加异常标签。

研途可达·2023-10-31 04:11

使用自动编码器进行半监督异常检测

使用自动编码器进行半监督异常检测前言前提条件相关介绍Semi-supervisedAnomalyDetectionusingAutoEncoders项目结构训练模型测试模型参考前言由于本人水平有限，难免出现错漏

FriendshipT·2023-10-31 04:58

异常检测--笔记一--概述

异常检测--笔记一--概述什么是异常检测异常检测的类别异常检测任务分类异常检测场景异常检测方法简介基于统计学的方法线性模型基于邻近度的方法集成方法机器学习李宏毅老师：异常检测异常检测不能简单的看成二分类参考资料什么是异常检测根据相关场景

暴走小辉·2023-10-31 01:02

网络纪元之VPN篇

网络安全里有一个术语，NBAD(NetworkBehaviorAnomalyDetection)，大概可以翻译为网络行为异常检测。比如你收到Email提醒，发现某个懒散的同事连续几个凌晨3点拷贝文件。

东街蹇叔·2023-10-30 21:17

数据预处理之异常值检测

目录一、前言二、任务准备三、采用DBSCAN聚类进行异常检测本文所用数据可在博客资源中获取。

那个叫马尔的大夫·2023-10-30 17:51

Datawhale-新能源时间序列赛事学习笔记(1)

1.赛题描述在电动汽车充电站运营管理中，准确预测充电站的电量需求对于提高充电站运营服务水平和优化区域电网供给能力非常关键。本次赛题旨在建立站点充电量预测模型，根据充电站的相关信息和历史电量数据，准确预测未来某段时间内充电站的充电量需求。赛题数据中提供了电动汽车充电站的场站编号、位置信息、历史电量等基本信息。参赛者需要基于这些数据，利用人工智能相关技术，建立预测模型来预测未来一段时间内的需求电量，帮

talle2021·2023-10-30 16:22

古老的spc也可以用机器学习（三）-支持向量机算法

现在大数据、机器学习应用越来越广泛，而机器学习算法的一个常见应用就算异常检测，本文介绍的是一种叫做二分类支持向量机算法进行异常检测。支持向量机简单描述一下，不做过多解释。

statr·2023-10-30 14:10

运行报错one of the variables needed for gradient computation has been modified by an inplace operation

为了解决这个问题，你可以尝试以下几个方法：1.使用torch.autograd.set_detect_anomaly(True)开启异常检测模式。

艺术就是CtrlC·2023-10-30 12:21

Datawhale Pandas 打卡-第五章变形

这章学习的知识我在之前从未接触过，不知道pandas还有这些功能函数。感觉有点抽象。一、长宽表的变形1.pivot长表变宽表长表变宽表2.meltpivot的逆运算，将宽表变长表二、索引的变形这部分主要介绍了stack和unstack函数的应用。三、其他变形函数这部分我认为最重要的是第三个，get_dummies，它其实是在对某些离散特征进行one-hot编码，方便后续的模型训练，我在做一些实验时

君恒_801f·2023-10-30 10:17

2023年“大湾区杯”粤港澳AI4S（AI for Science）赛事来了！

Datawhale赛事主办：广东省计算数学学会协办：百度、华为、北航、浙大、中大、Datawhale2023年“大湾区杯”粤港澳AI4S（AIforScience）竞赛，由广东省计算数学学会主办，百度飞桨

Datawhale·2023-10-29 03:53

Task02 PyTorch进阶训练技巧

参考链接：https://github.com/datawhalechina/thorough-pytorch本task注重于pytorch在实际使用中的一些操作~较为实用1.自定义损失函数PyTorch

从你美丽的流域·2023-10-28 12:13

计算之魂（吴军）1.4笔记，Datawhale组队学习Task03

心得分享：1、归并排序有效，是因为利用了X<Y、Y<Z，则一定有X<Z这样的逻辑；2、基础排序，选择排序、插入排序，基本不使用；3、不错的排序，归并排序、堆排序、快速排序；

飞速移动的代码菌·2023-10-28 06:27

【扩散模型】如何用最几毛钱生成壁纸

通过学习扩散模型了解到了统计学的美好，然后顺便记录下我之前文生图的基础流程~扩散模型简介这次是在DataWhale的组队学习里学习的，HuggingFace开放扩散模型学习地址扩散模型训练时通过对原图增加高斯噪声

飞速移动的代码菌·2023-10-28 06:27

计算之魂（吴军）1.3笔记，Datawhale组队学习Task02

心得分享：1、同样的问题用分治、动态规划划分为小问题，让结果尽量靠近线性复杂度会从5级工程师变成2.5级工程师；2、思考题1.3Q1varmaxSubArrayDp=function(nums){letpre=0,maxAns=nums[0]nums.forEach((x)=>{pre=Math.max(pre+x,x)maxAns=Math.max(maxAns,pre)});returnmax

飞速移动的代码菌·2023-10-28 06:26

【扩散模型】本质是数学概率模型

课程地址：https://github.com/huggingface/diffusion-models-class/blob/main/unit2/今天跟随DataWhale的直播课程，进一步认识到模型的本质都是概率模型

飞速移动的代码菌·2023-10-28 06:21

Datawhale 零基础入门CV赛事-Task3 字符识别模型

3字符识别模型本章将会讲解卷积神经网络（ConvolutionalNeuralNetwork,CNN）的常见层，并从头搭建一个字符识别模型。3.1学习目标学习CNN基础和原理使用Pytorch框架构建CNN模型，并完成训练3.2CNN介绍卷积神经网络（简称CNN）是一类特殊的人工神经网络，是深度学习中重要的一个分支。CNN在很多领域都表现优异，精度和速度比传统计算学习算法高很多。特别是在计算机视觉

致Great·2023-10-28 01:36

【无标题】

具体步骤：一、读取数据集二、数据分析三、数据清洗四、特征工程五、模型训练与验证六、输出结果七、小结参考链接：https://datawhaler.feishu.cn/docx/C6jvdEwsSo3JMwxFj1

LucyFang2020·2023-10-28 00:49

【详解+推导！！】Policy Gradient 策略梯度法

比较详细的推导可以看：https://datawhalechina.github.io/easy-rl/#/chapter4/chapter4?

志远1997·2023-10-27 23:19

智能运维 | 揭开监控系统神经中枢的神秘面纱

对于监控系统来说，从能力上看基本可以划分为数据采集、数据计算、数据存储、异常检测、报警处理以及监控可视化六块。

百度智能云·2023-10-27 13:22

异常检测概述

1、什么是异常检测异常检测（OutlierDetection），顾名思义，是识别与正常数据不同的数据，与预期行为差异大的数据。

Q_cy·2023-10-27 06:39

AI-理论-吃瓜教程-决策树-task3

AI-理论-吃瓜教程-决策树-task3(Datawhale37期组队学习)文章目录AI-理论-吃瓜教程-决策树-task31知识点2具体内容2.1流程2.2划分选择2.2.1信息熵2.2.2信息增益2.2.3

yxyibb·2023-10-26 22:10

吃瓜笔记04 决策树

学习内容：西瓜书和南瓜书--第4章讲解课程：Datawhale吃瓜教程（【吃瓜教程】《机器学习公式详解》（南瓜书）与西瓜书公式推导直播合集_哔哩哔哩_bilibili）目录第4章决策树4.1算法流程4.2

cookie222·2023-10-26 22:05

DataWhale吃瓜教程-Task3学习笔记(CH4-决策树)

吃瓜教程学习笔记-CH4决策树4.1-基本流程1-基本概念2-基本算法流程4.2-划分选择1-补充知识2-ID3算法与信息增益3-C4.5算法与增益率4-CART算法与基尼指数4.3-剪枝处理1-预剪枝2-后剪枝参考：4.1-基本流程1-基本概念决策树decisiontree：基于树的结构来进行的决策。算法原理：在分类问题上，从逻辑角度，表示基于特征对实例进行分类的过程，可以认为是if-then的

Alexa2077·2023-10-26 22:33

抢跑大模型应用大战，从这场黑客松开始

Datawhale赛事主办方：36Kr，合作方：Datawhale首届我爱黑“可颂”大语言模型应用创新挑战赛来了！

Datawhale·2023-10-26 12:07

知名软件语雀崩了八小时

Datawhale分享事故：语雀，来源：扩展迷EXTFA蚂蚁集团旗下的文档共享与协作平台语雀，作为一款笔记软件，支持丰富的文本格式，支持markdown语法，很多人喜欢使用，包括了不起也会使用，用户群体很广泛