datawhale异常检测

DataWhale Pandas数据分析 Task01：预备知识

文章目录练习Ex1：利用列表推导式写矩阵乘法Ex2：更新矩阵Ex3：卡方统计量Ex4：改进矩阵计算的性能Ex5：连续整数的最大长度心得体会练习Ex1：利用列表推导式写矩阵乘法一般的矩阵乘法根据公式，可以由三重循环写出：In[138]:M1=np.random.rand(2,3)In[139]:M2=np.random.rand(3,4)In[140]:res=np.empty((M1.shape[
Shawnxs_·2024-09-08 22:39

pytorch正向传播没问题，loss.backward()使定义的神经网络中权重参数变为nan

查了好多网上的解决办法：检查原始输入神经网络数据有没有nan值，初始化权重参数，使用relu激活函数，梯度裁剪，降低优化器的学习率等等都没解决，个人认为这些应该影响不大，一般不会出问题；3.最后是使用如下异常检测
加速却甩不掉伤悲·2024-09-08 16:02

工信教考 | AI智能体应用工程师（模拟试题）

（单选）A.回归分析B.聚类分析C.分类预测D.序列预测答案：B解析：无监督学习常用于聚类、降维、异常检测等任务，如市场分割、数据可视化等。以下哪种激活函数常用于分类问题的输出
人工智能-猫猫·2024-09-08 16:57

Day04-线性代数-特征值和特征向量(DataWhale)

七、特征值和特征向量AAA是n阶方阵，数λ\lambdaλ，若存在非零列向量α⃗\vec{\alpha}α，使得Aα⃗=λα⃗A\vec{\alpha}=\lambda\vec{\alpha}Aα=λα，则λ\lambdaλ是特征值，α⃗\vec{\alpha}α是对应于λ\lambdaλ的特征向量λ\lambdaλ可以为0α⃗\vec{\alpha}α不能为0⃗\vec{0}0，且为列向量Aα⃗
liying_tt·2024-09-08 08:03

数据分析-13-时间序列异常值检测的类型及常见的检测方法

参考时间序列异常值的分类及检测参考异常值数据预警分析1时间序列异常的类型时间序列异常检测是数据处理和分析的重要环节，广泛应用于量化交易、网络安全检测、自动驾驶汽车和大型工业设备日常维护等领域。
皮皮冰燃·2024-09-07 07:37

用Transformer实现OCR字符识别！

Datawhale干货作者：安晟、袁明坤，Datawhale成员在CV领域中，transformer除了分类还能做什么？
Datawhale·2024-09-06 01:52

Datawhale X 李宏毅苹果书 AI夏令营 入门 Task3-机器学习框架

目录实践方法论1.模型偏差2.优化问题3.过拟合4.交叉验证5.不匹配实践方法论1.模型偏差当一个模型由于其结构的限制，无法捕捉数据中的真实关系时，即使找到了最优的参数，模型的损失依然较高。可以通过增加输入特征、使用更复杂的模型结构或采用深度学习等方法来新设计模型，增加模型的灵活性。2.优化问题在机器学习模型训练过程中，即使模型的灵活性足够高，也可能由于优化算法的问题导致训练数据的损失不够低。为了
沙雕是沙雕是沙雕·2024-09-04 19:08

Datawhale X 李宏毅苹果书 AI夏令营-深度学入门task2：线性模型

1.线性模型把输入的特征x乘上一个权重，再加上一个偏置就得到预测的结果，这样的模型称为线性模型（linearmodel）2.分段线性模型线性模型也许过于简单，x1跟y可能中间有比较复杂的关系。线性模型有很大的限制，只能表示一条直线，这一种来自于模型的限制称为模型的偏差，无法模拟真实的情况。所以需要写一个更复杂的、更有灵活性的、有未知参数的函数。分段线性曲线（piecewiselinearcurve
m0_53743757·2024-09-04 11:43

聪明办法学Python第1节：启航

作业链接：https://hydro.ac/d/datawhale_p2s/user/53146第一行代码print("聪明办法学Python")#输出：聪明办法学PythonHelloWorld的由来
m0_53743757·2024-09-04 11:13

Datawhale七月组队——动手学数据分析 Task01 数据加载及探索性数据分析

第一次的打卡内容包括数据的载入及初步观察、Pandas基础以及探索性数据分析三个部分。1.数据的载入及初步观察这一节内容中，刚开始绝对路径的设置中"/"和'''\'用错了，直接拿文件夹的路径粘贴过来，导致运行失败使用pandas中read_csv读取csv数据时，对于有表头的数据，将header设置为空(None)，会报错：pandas_libs\parsers.pyxinpandas._libs
郁浓·2024-09-03 15:36

Datawhale AI夏令营第五期CV Task01

、体验baseline1.下载baseline相关文件aptinstallgit-lfsgitlfsinstallgitclonehttps://www.modelscope.cn/datasets/Datawhale
m0_60530253·2024-09-02 07:21

Datawhale AI夏令营第五期CV Task02

一、yolo模型介绍YOLO，全称为"YouOnlyLookOnce"，是一种流行的实时目标检测算法，由JosephRedmon等人于2015年首次提出。YOLO的核心思想是将目标检测任务视为一个单一的回归问题，直接从图像像素到边界框坐标和类别概率的映射。这种设计使得YOLO能够以非常快的速度进行目标检测，同时保持较高的精度，特别适合需要实时处理的应用场景。YOLO算法的一个显著特点是它在单个网络
m0_60530253·2024-09-02 07:21

Datawhale AI夏令营第五期魔搭-CV竞赛方向Task1笔记--初识yolo模型

DatawhaleAI夏令营第五期魔搭-CV竞赛方向Task1笔记–初识yolo模型作者:福州大学我是一个温柔的刀客2024/8/221.赛题简介本赛题最终目标是开发一套智能识别系统，能够自动检测和分类城市管理中的违规行为
切记 我是一个 温柔的 刀客·2024-09-02 07:19

【大数据】孤立森林算法

2.3孤立森林算法改进三、孤立森林算法代码实现3.1孤立森林算法python实现3.2孤立森林算法JAVA实现3.3孤立森林算法C++实现四、孤立森林算法应用一、孤立森林算法概述孤立森林算法是一种用于异常检测的机器学习算法
大雨淅淅·2024-09-02 03:56

Datawhale Al夏令营第三期 Al+物质科学task2学习笔记

AI4Science是一个较为普遍的术语，通常指的是人工智能在科学研究和技术发展中的应用。它涵盖了各种科学领域，包括物理学、化学、生物学、地球科学等。虽然没有一个特定的确切历史，但可以描述人工智能在科学研究中的一些早期里程碑和发展趋势。早期发展知识表示与推理：20世纪70年代末和80年代初，早期的AI研究开始探索如何用机器推理来模拟人类的思维过程。这种推理方式被应用于物理学、化学等学科中，尝试解决
weixin_75033552·2024-09-01 17:56

Datawhale x李宏毅苹果书入门 AI夏令营 task03学习笔记

实践方法论训练模型的基本步骤：（如下图所示）用训练集训练模型，（最终得出来最优的参数集）将最优参数集带入模型中，用测试集测试模型（人话：将最优参数集带入原来函数中，用测试集的x值计算y值）（这个过程就叫做预测）训练过程中遇到问题的解决攻略（看下图的方式是“前序遍历”）modelbias出现问题的情况：1.看trainingdata的loss，太大；2.当你模型无论如何调整参数，训练的结果还是不够好
weixin_75033552·2024-09-01 17:22

Datawhale X 李宏毅苹果书 AI夏令营 进阶 Task2-自适应学习率+分类

目录1.自适应学习率1.1AdaGrad1.2RMSProp1.3Adam1.4学习率调度1.5优化策略的总结2.分类2.1分类与回归的关系2.2带有softmax的分类2.3分类损失1.自适应学习率传统的梯度下降方法在优化过程中常常面临学习率设置不当的问题。固定的学习率在训练初期可能过大，导致模型训练不稳定，而在后期可能过小，导致训练速度缓慢。为了克服这些问题，自适应学习率方法应运而生。这些方法
沙雕是沙雕是沙雕·2024-08-31 22:57

Datawhale AI夏令营

一、分析CV识别任务任务分析自己研究生期间做过的大多是无监督任务，监督任务做的很少。比如，之前用过yolov5做过滑动验证码的识别，给滑动验证码的缺口打标签是项耗时费力的工作。本次任务相同，是给非机动车、机动车打标签。frame_id：不同帧event_id：一帧里面出现的不同车辆idbbox：车辆位置模型输入输出猜测1）如果识别车辆很容易，那么输入原始音频x，标出每帧的位置作为输出，记为y。放进
于弋gg·2024-08-31 04:21

基于STM32的工厂安全监测系统：采用FreeRTOS、MQTT协议、InfluxDB存储与Grafana可视化，实现实时数据监测与异常检测算法优化的综合解决方案（代码示例）

一、项目概述项目目标与用途随着工业自动化的不断推进，工厂的安全问题成为了企业管理者关注的重点。工厂中的温度、湿度、气体浓度、烟雾、压力等环境参数直接影响着生产的安全性和产品的质量。本项目旨在设计并实现一个嵌入式工厂安全监测系统，实时监测工厂环境中的关键安全参数，通过无线通信模块将数据传输到云端进行存储和分析，从而实现对工厂环境的智能化监控和预警。项目解决的问题与价值实时监测：实时采集工厂内的温度、
极客小张·2024-08-30 20:03

[Datawhale#1] cv task1 - Datawhale AI夏令营

from=Datawhale可以用3090，速度很快！
cinboxer·2024-08-30 15:29

[Datawhale AI 夏令营][第五期]智能识别系统-Task1笔记

任务是发布在MARS大数据服务平台的2024“大运河杯”数据开发应用创新大赛——城市治理。了解智慧河长的朋友可能听说类似的项目，它们可以识别河道中出现的一些问题。这次的智能识别系统与前者有相似的地方，但这个系统将聚焦城市违规行为的智能检测，通过研究开发高效可靠的计算机视觉算法，提升违规行为检测识别的准确度，降低对大量人工的依赖，提升检测效果和效率，从而推动城市治理向更高效、更智能、更文明的方向发展
keexh·2024-08-30 15:58

DataWhale AI夏令营 2024大运河杯-数据开发应用创新赛-task2

DataWhaleAI夏令营2024大运河杯-数据开发应用创新赛YOLO(YouOnlyLookOnce)上分心得分享YOLO(YouOnlyLookOnce)YOLO算的上是近几年最火的目标检测模型了
十分钟ll·2024-08-30 15:57

Datawhale X 李宏毅苹果书AI夏令营深度学习详解进阶Task02

目录一、自适应学习率二、学习率调度三、优化总结四、分类五、问题与解答本文了解到梯度下降是深度学习中最为基础的优化算法，其核心思想是沿着损失函数的梯度方向更新模型参数，以最小化损失值。公式如下：θt+1←θt-η*∇θL(θt)其中，θ表示模型参数，η表示学习率，L表示损失函数，∇θL表示损失函数关于参数的梯度。然而，梯度下降在复杂误差表面上存在局限性。例如，在鞍点或局部最小值处，梯度接近零，导致模
z are·2024-08-30 08:14

2020-03-24

Datawhale零基础入门数据挖掘-Task2数据分析【代码摘要】赛题：零基础入门数据挖掘-二手车交易价格预测地址：[https://tianchi.aliyun.com/competition/entrance
黑乎乎AI·2024-08-29 09:10

Datawhale AI夏令营-task03

DatawhaleAI夏令营-task03笔记来源：DatawhaleAI夏令营数据增强基础数据增强是一种在机器学习和深度学习领域常用的技术，尤其是在处理图像和视频数据时。
ghost_him·2024-08-29 06:50

【学习笔记】第三章深度学习基础——Datawhale X李宏毅苹果书 AI夏令营

局部极小值与鞍点梯度为0的点我们统称为临界点，包括局部极小值、鞍点等局部极小值和鞍点的梯度都为0，那如何判断呢？先请出我们损失函数：L(θ)，θ是模型中的参数的取值，是一个向量。由于网络的复杂性，我们无法直接写出损失函数，不过我们可以写出损失函数的近似取值。根据宋浩老师所讲的大学一年级高等数学的知识，我们可以通过三阶泰勒展开对损失函数在θ附近的取值进行近似：其中，θ是模型中的参数的取值，θ’是在θ
MoyiTech·2024-08-28 11:38

Datawhale X 李宏毅苹果书 AI夏令营｜机器学习基础之案例学习

机器学习（MachineLearning,ML）：机器具有学习的能力，即让机器具备找一个函数的能力函数不同，机器学习的类别不同：回归（regression）：找到的函数的输出是一个数值或标量（scalar）。例如：机器学习预测某一个时间段内的PM2.5，机器要找到一个函数f，输入是跟PM2.5有关的的指数，输出是明天中午的PM2.5的值。分类（classification）：让机器做选择题，先准备
Monyan·2024-08-28 11:06

局部极小值与鞍点 Datawhale X 李宏毅苹果书 AI夏令营

1，为什么随着参数的不断更新，损失无法降低？当参数对损失微分为零的时候，梯度下降就不能再更新参数了，训练就停下来了，损失不再下降了，此时梯度接近于0。我们把梯度为零的点统称为临界点（criticalpoint）。损失没有办法再下降，也许是因为收敛在了临界点，临界点包括局部极小值，局部极大值和鞍点（梯度是零且区别于局部极小值和局部极大值（localmaximum）的点）2，如果一个点的梯度接近于0，
千740·2024-08-27 09:23

Datawhale X 李宏毅苹果书 AI夏令营Day03

一、打卡Datawhale二、学习1、文档学习图中展示了一个函数集合，其中包含多个未知参数的函数fθ1(x)和fθ2(x)。通过将这些函数组合起来，可以得到一个更大的函数集合。
xuanEpiphany29·2024-08-27 06:34

电力行业电气领域相关数据集下载地址汇总输电线路变电站电网应用数据集汇总(全网最全)

例如，输电线路图像数据集通过无人机或直升机拍摄，包含了杆塔、绝缘子、导线等详细图像，为目标检测、分类和异常检测提供了丰富的素材。
FL1623863129·2024-08-26 02:25

Datawhale X 李宏毅苹果书 AI夏令营Day02

一、打卡Datawhale进入打卡链接选择相对应的任务打卡就可以了二、学习1、线性模型依旧是b站上老师的授课视频，我找到知乎上解释很好的文章，分享一下机器学习（一）线性模型————理论篇线性回归模型、对数几率模型
xuanEpiphany29·2024-08-24 19:21

FastAPI部署大模型Llama 3.1

项目地址：self-llm/models/Llama3_1/01-Llama3_1-8B-InstructFastApi部署调用.mdatmaster·datawhalechina/self-llm(github.com
记得叫Mark周更·2024-08-23 14:12

周报 | 24.8.12-24.8.18文章汇总

周报|24.8.5-24.8.11文章汇总-CSDN博客OpenCV与AI深度学习|实战|使用YoloV8实例分割识别猪的姿态（含数据集）-CSDN博客极市平台|异常检测开源数据集汇总-CSDN博客程序员学长
双木的木·2024-08-23 00:15

Datawhale AI夏令营第四期魔搭- AIGC文生图方向 task03笔记

如何学习八图ai模型kolors1,Kolors是由快手公司开源的第三代文本到图像生成模型，基于StableDiffusion框架开发。它支持中英文输入，特别在中文内容的理解和生成上表现出色。2,深度学习基础：熟悉神经网络、卷积神经网络（CNN）、Transformer等深度学习模型的基本原理。自然语言处理（NLP）：了解文本编码、语言模型等NLP技术，因为Kolors在生成图像时需要理解并处理输
汪贤阳·2024-08-22 11:30

异常GPT：使用LVLMs检测工业异常

AnomalyGPT：利用LVLMs进行工业异常检测摘要本文介绍了一种名为AnomalyGPT的新型工业异常检测方法，该方法基于大型视觉语言模型(LVLMs)。
DUT_LYH·2024-03-19 16:27

(202402)多智能体MetaGPT入门2：AI Agent知识体系结构

文章目录前言1智能体定义2热门智能体案例3智能体的宏观机会4AIAgent与Sy1&Sy2观看视频前言感谢datawhale组织开源的多智能体学习内容，飞书文档地址在https://deepwisdom.feishu.cn
早上真好·2024-03-02 03:14

基于极限树特征递归消除和LightGBM的异常检测模型

摘要入侵检测数据维数大、数据样本不均衡、数据集分散性大的问题严重影响分类性能,为了解决该问题,文章提出基于极限随机树的特征递归消除（ExtraTrees-RecursiveFeatureElimination,ET-RFE）和LightGBM（LGBM）的入侵检测方法。首先对网络数据进行独热编码重构,在数据级层面均衡少量样本的攻击类别;其次,使用基于ET-RFE对流量特征进行降维处理,寻找含有信息
宋罗世家技术屋·2024-02-27 20:33

探索LightGBM：监督式聚类与异常检测

导言监督式聚类和异常检测是在监督学习框架下进行的一种特殊形式的数据分析技术。在Python中，LightGBM提供了一些功能来执行监督式聚类和异常检测任务。
Echo_Wish·2024-02-27 19:02

深入浅出PyTorch学习网址

https://datawhalechina.github.io/thorough-pytorch/
今天是学习的一天·2024-02-23 19:38

Datawhale用免费GPU线上跑AI项目实践课程任务一学习笔记。部署ChatGLM3-6B模型

前言本篇文章为学习笔记，流程参照Datawhale用免费GPU线上跑AI项目实践课程任务，个人写此文章为记录学习历程和补充概念，并希望为后续的学习者开辟道路，没有侵权的意思。
Hoogte-oile·2024-02-20 21:04

Datawhale零基础入门金融风控Task1 赛题理解

Task1赛题理解Tip:本次新人赛是Datawhale与天池联合发起的0基础入门系列赛事第四场——零基础入门金融风控之贷款违约预测挑战赛。
一缕阳光lyz·2024-02-20 13:47

【强化学习】day1 强化学习基础、马尔可夫决策过程、表格型方法

写在最前：参加DataWhale十一月组队学习记录【教程地址】https://github.com/datawhalechina/joyrl-bookhttps://datawhalechina.github.io
宏辉·2024-02-20 09:32

Lag-Llama:第一个时间序列预测的开源基础模型介绍和性能测试

2023年10月，我们发表了一篇关于TimeGPT的文章，TimeGPT是时间序列预测的第一个基础模型之一，具有零样本推理、异常检测和共形预测能力。
deephub·2024-02-20 08:16

基于UI交互意图理解的异常检测方法

美团到店平台技术部/质量工程部与复旦大学周扬帆教授团队开展了科研合作，基于业务实际场景，自主研发了多模态UI交互意图识别模型以及配套的UI交互框架。本文从大前端质量保障领域的痛点出发，介绍了UI交互意图识别的方法设计与实现。基于UI交互意图编写的测试用例在实际业务中展现出了可以跨端、跨App的泛化能力，希望可以为从事相关工作的同学带来一些启发或帮助。1.背景近年来，随着美团多种业务线的扩充和迭代，
·2024-02-19 10:59

Lag-Llama:第一个时间序列预测的开源基础模型介绍和性能测试

2023年10月，我们发表了一篇关于TimeGPT的文章，TimeGPT是时间序列预测的第一个基础模型之一，具有零样本推理、异常检测和共形预测能力。
·2024-02-15 10:32

异常检测-基于统计学的方法-学习笔记-2

异常检测的学习笔记并非原创，而是搜索各位大佬的帖子整理而得。如有冒犯，请联系我。1.概述统计学⽅法对数据的正常性做出假定。它们假定正常的数据对象由⼀个统计模型产⽣，而不遵守该模型的数据是异常点。
Rank_Fan007·2024-02-15 05:37

李宏毅机器学习笔记 2.回归

最近在跟着Datawhale组队学习打卡，学习李宏毅的机器学习/深度学习的课程。
Simone Zeng·2024-02-12 11:34

Djiango后端开发入门学习之task04--serializers（序列化器，准确说是数据类型转化器）及应用

  本文根据datawhale开源Djiango后端开发入门(https://github.com/Joe-2002/sweettalk-django4.2）Task04：序列化器serializers
小鳄鱼队里一只小蜗牛·2024-02-12 10:30

Deep Learning for Anomaly Detection: A Review（翻译）

前言一、引言二、异常检测：问题的复杂性和挑战1.主要问题复杂性2.深度异常检测所面临的主要挑战三、用深度异常检测应对挑战1.预备工作2.深度异常检测方法的分类四.深度学习的特征提取1.预训练模型2.特定的特征提取模型五
appron·2024-02-11 14:50

datawhale 10月学习——树模型与集成学习：梯度提升树

前情回顾决策树CART树的实现集成模式两种并行集成的树模型AdaBoost结论速递本次学习了GBDT，首先了解了用于回归的GBDT，将损失使用梯度下降法进行减小；用于分类的GBDT要稍微复杂一些，需要对分类损失进行定义。学习了助教提供的代码。目录前情回顾结论速递1用于回归的GBDT1.1原理1.2代码实现2用于分类的GBDT2.1原理2.2代码实现1用于回归的GBDT1.1原理与AdaBoost类
SheltonXiao·2024-02-11 14:39
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他