datawhale异常检测

【论文阅读笔记】Towards Universal Unsupervised Anomaly Detection in Medical Imaging

TowardsUniversalUnsupervisedAnomalyDetectioninMedicalImagingarxiv，19Jan2024【开源】【核心思想】本文介绍了一种新的无监督异常检测方法
cskywit·2024-01-26 12:10

异常检测(Anomaly Detection)

1.问题的动机什么是异常检测呢？
清☆茶·2024-01-26 06:40

Datawhale 大模型基础 Task6 模型之Adaptation篇 笔记

通用大模型不能适用于全部领域，并且有着时效性等问题，因此需要进行适应来改善其性能。适应主要分为：预训练模型（主干部分的训练，最消耗算力）；获取特定领域的数据集；找一些参数用于适配；定义损失函数来作为适配的标准；进行问题的优化表示。适应的方法主要有：探测、微调（可以提升零样本性能、改善泛化能力、获取新任务的能力）。轻量微调和微调的思路大题相似，分为轻量级微调的变体、提示词微调、前缀微调、适配器微调。
AIzealot无·2024-01-26 06:40

Datawhale Task5：模型训练篇

本章学习模型训练第6章模型训练模型训练主要由目标函数和优化算法组成6.1目标函数有三类语言模型的目标函数：只包含解码器的模型（如，GPT-3）：计算单向上下文嵌入（contextualembeddings），一次生成一个token只包含编码器的模型（如，BERT）：计算双向上下文嵌入编码器解码器模型（如，T5）：编码输入，解码输出我们可以使用任何模型将token序列映射到上下文嵌入中（例如，LST
AIzealot无·2024-01-26 06:40

【论文阅读】Time-Series Anomaly Detection Service at Microsoft

Time-SeriesAnomalyDetectionServiceatMicrosoft前言论文原文：Time-SeriesAnomalyDetectionServiceatMicrosoft，KDD2019「异常检测
EmoryHuang·2024-01-24 18:04

datawhale 大模型学习 第五章-模型训练

一、目标函数今天要讨论的是以下三种模型结构：Decoder-only模型：例如，GPT-3，单向上下文嵌入，在生成文本时一次生成一个tokenEncoder-only模型:例如，BERT,利用双向上下文注意力生成embedingEncoder-decoder模型：例如，T5,利用双向上下文编码，利用单向上下文生成文本最终结果就是将token序列映射为一个Embedding向量其中：L:代表文本长度
fan_fan_feng·2024-01-24 16:20

车联网平台如何提高主动发现能力浅谈

要提高车联网平台的主动发现能力，可以从以下几个方面进行优化和改进：数据采集与处理：提高数据采集的准确性和实时性，对各种车辆和道路数据进行快速处理和分析，提取出有价值的信息，为后续的异常检测和预警提供支持
MarkHD·2024-01-24 15:21

DW大模型理论基础 第二章 大模型的能力

大模型的能力参考链接：https://github.com/datawhalechina/so-large-lm/tree/mainGPT-3——这个具有代表性的⼤型语⾔模型的能⼒值得我们探讨。
LucyFang2020·2024-01-24 08:49

第五章：大模型的数据

参考链接：https://github.com/datawhalechina/so-large-lm/tree/main一、大语言模型背后的数据⼤型语⾔模型是在"原始⽂本"上进⾏训练的。
LucyFang2020·2024-01-24 08:49

第十一章：大模型之Adaptation

参考链接：https://github.com/datawhalechina/so-large-lm/tree/main1引言为什么需要Adaptation?
LucyFang2020·2024-01-24 08:45

终端异常检测和处置

防护方式本节讨论上文提到的5种防护方式的优缺点。非常明显的是SDK在防护方式上具备天然优势，因为SDK可以直接参与到产品设计种，而终端的许多问题都是设计缺陷导致，SDK能从根源上解决一部分问题。其次为可信系统，可信系统可以被认为是基于SDK实现的一套可信机制，这一套机制包含了认证、加密等能力，从软件上保护关键资产。可信系统的缺陷是没有对可信根做读保护，安全存储、PUF（PhysicalUnclon
萍水相逢_d272·2024-01-23 14:45

基于时空模型的视频异常检测

这无非是一个异常检测（anomalydetection）问题，即在我们生活或工作的环境中发现异常事件发生的地方，而正常情况下事情进展顺利。解决异常检测任务的流行方法是通过无监督或半
新缸中之脑·2024-01-23 09:16

图像检测系列之（12）异常检测（13）拼接伪造（14）deepfake | ICCV2021生成对抗GAN汇总梳理...

（1）GAN改进系列|最新ICCV2021生成对抗网络GAN论文梳理汇总图像编辑系列之（2）基于StyleGAN（3）GAN逆映射（4）人脸（5）语义生成|ICCV2021生成对抗GAN梳理汇总图像恢复系列之（6）超分（7）反光去除（8）光斑去除（9）阴影去除（10）水下图像失真去除|ICCV2021生成对抗GAN图像恢复系列（11）之修复（inpainting）|最新ICCV2021生成对抗网络
机器学习与AI生成创作·2024-01-23 06:26

2024年美国大学生数学建模思路 - 案例：异常检测

文章目录赛题思路一、简介--关于异常检测异常检测监督学习二、异常检测算法2.箱线图分析3.基于距离/密度4.基于划分思想建模资料赛题思路（赛题出来以后第一时间在CSDN分享）https://blog.csdn.net
m0_71450098·2024-01-23 03:02

datawhale 大模型学习 第四章-新模型架构

一、现状GPT3是一个通过96个Transformerblock堆叠在一起的神经网络.即：每一个TransformerBlock是一个多头注意力层的Block目前大模型的规模已经到了极限（模型越大，需要训练资源和时间也就越长）二、混合专家模型混合专家模型通俗点讲就是：有N个专家，每个专家有各种的不同领域能力和模型参数，通过一个门控制机制来给不同专家分配权重，最终汇总所有专家的结果。优点：1.专家与
fan_fan_feng·2024-01-22 21:48

2024年美赛数学建模思路 - 案例：异常检测

文章目录赛题思路一、简介--关于异常检测异常检测监督学习二、异常检测算法2.箱线图分析3.基于距离/密度4.基于划分思想建模资料赛题思路（赛题出来以后第一时间在CSDN分享）https://blog.csdn.net
建模君A·2024-01-22 20:49

深度强化学习Task2：策略梯度算法

本篇博客是本人参加Datawhale组队学习第二次任务的笔记【教程地址】文章目录基于价值算法和基于策略算法的比较策略梯度算法策略梯度算法的直观理解策略梯度算法REINFORCE算法基于平稳分布的策略梯度算法
卡拉比丘流形·2024-01-22 07:16

Node.js assert 模块详解及实际应用指南

Node.js内建的断言库，即assert模块，充当了自动化测试和异常检测中的关键角色。断言是指一种预期表达式应始终为真的测试方法。
m0_73898769·2024-01-21 17:32

基于最近邻的异常检测 （1）——Distance-based方法

因为论文的需要，涉及到许多无监督异常检测算法。
一衰烟雨·2024-01-21 12:07

机器学习-决策树-异常检测-主成分分析

决策树（DecisionTree）一种对实例进行分类的树形结构，通过多层判断区分目标所属类别本质：通过多层判断，从训练数据集中归纳出一组分类规则优点：计算量小，运算速度快易于理解，可清晰查看个属性的重要性缺点：忽略属性间的相关性样本类别分布不均匀时，容易影响模型表现决策树求解问题核心：特征选择，每一个节点，应该选用哪个特征三种求解方法:ID3C4.5CARTID3：利用信息熵原理选择信息增益最大的
小旺不正经·2024-01-21 08:02

datawhale 第三章-模型架构

一、大模型的分词器1.1什么是分词？分词的目的是将输入文本分成一个个词元，保证各个词元拥有相对完整和独立的语义，以供后续任务（比如学习embedding或者作为高级模型的输入）使用。1.2分词的三种粒度词粒度在英文等语言中有着天然的空格分隔，但是对于中文等语言可能需要额外的分词算法来进行处理（比如中文的jieba分词）词粒度的缺点：词粒度的词表由于长尾效应可能会非常大，并且稀有词往往很难学好；OO
fan_fan_feng·2024-01-21 08:41

视频异常检测论文笔记

看几篇中文的学习一下别人的思路基于全局-局部自注意力网络的视频异常检测方法主要贡献：网络结构注意力模块结构：融合自注意力和自编码器的视频异常检测主要贡献：网络结构Transformer模块动态图融合门控自注意力机制的生成对抗网络视频异常检测贡献网络结构门控注意力机制基于全局
何大春·2024-01-21 05:54

(202401)深度强化学习基础2：策略梯度

文章目录前言策略梯度1基于价值算法的缺点2策略梯度算法3REINFORCE算法本章小结前言感谢Datawhale成员的开源本次学习内容的文档地址为第九章策略梯度策略梯度这个章节会开始介绍基于策略梯度的算法
早上真好·2024-01-20 22:27

（202401）深度强化学习基础与实践1：马尔科夫过程、DNQ算法回顾

文章目录序言马尔科夫决策过程含义性质回报状态转移矩阵DQN算法深度网络经验回放目标网络实战DQN算法DQN算法进阶DoubleDQNDuelingDQNNoisyDQNPERDQNC51算法序言本文章记录Datawhale
早上真好·2024-01-20 22:56

datawhale 大模型理论基础 引言

学习地址：大模型理论基础一、什么是语言模型（LanguageModel)语言模型其实是一个概率模型，给每一个句子列表计算一个概率值：p(x1,…,xL)例如：p(the,mouse,ate,the,cheese)=0.02,p(the,cheeseate,the,mouse)=0.01,p(the,cheeseate,the,mouse)=0.01自回归语言模型(Autoregressivelan
fan_fan_feng·2024-01-20 19:49

datawhale 第二章-大模型的能力

一、概述GPT-3作为一个语言模型，被训练来预测下一个词。并未明确针对特定任务进行训练。在某些任务上，比如语言建模，GPT-3大幅度超越了现有技术的最高水平；在其他任务上，GPT-3与训练有素，拥有大量标签数据的系统竞争时，却明显落后二、语言模型的适应性：从语言模型到任务模型的转化将要给语言模型往特定任务模型转换的过程中，需要以下两个输入：任务描述：即解释一下你这个任务是要干嘛的训练实例：也就是通
fan_fan_feng·2024-01-20 19:49

Datawhale 强化学习笔记(二）马尔可夫过程，DQN 算法

函数如何用梯度下降的方式更新网络参数强化学习vs深度学习提高训练稳定性的技巧经验回放目标网络代码实战DQN算法进阶DoubleDQNDuelingDQN算法代码实战参考在线阅读文档github教程开源框架JoyRLdatawhalechina
RessCris·2024-01-20 17:54

DataWhale组队学习之知识图谱task04

参考datawhale开源组织:https://github.com/datawhalechina/team-learning-nlp/blob/master/KnowledgeGraph_Basic/
YANJINING·2024-01-20 16:28

Datawhale AI夏令营 机器学习组学习日记（任务2.1-2.2）

一、任务2.11.1任务内容字段x1至x8为用户相关的属性，为匿名处理字段。添加代码对这些数据字段的取值分析，那些字段为数值类型？那些字段为类别类型？对于数值类型的字段，考虑绘制在标签分组下的箱线图。从common_ts中提取小时，绘制每小时下标签分布的变化。对udmap进行onehot，统计每个key对应的标签均值，绘制直方图。1.2代码解析1.2.1字段x1至x8属性分析#导入库importp
m0_49558200·2024-01-20 06:11

Datawhale AI夏令营 机器学习组学习日记（任务1）

一、赛题内容本次大赛提供了讯飞开放平台海量的应用数据作为训练样本，参赛选手需要基于提供的样本构建模型，预测用户的新增情况。赛题数据由约62万条训练集、20万条测试集数据组成，共包含13个字段。其中uuid为样本唯一标识，eid为访问行为ID，udmap为行为属性，其中的key1到key9表示不同的行为属性，如项目名、项目id等相关字段，common_ts为应用访问记录发生时间（毫秒时间戳），其余字
m0_49558200·2024-01-20 06:10

贷款违约预测-Task5 模型融合

赛题：零基础入门数据挖掘-零基础入门金融风控之贷款违约预测项目地址：https://github.com/datawhalechina/team-learning-data-mining/tree/master
致Great·2024-01-19 21:45

【Datawhale x 财务学习笔记】用智谱清言的代码沙盒进行分析

体验网址智谱清言：https://chatglm.cn/prompt帮我分析一下这个excel文件，从财务角度给出利润情况，并给出优化建议体验结果首先，我将查看上传的Excel文件的内容，以便了解其结构和包含的数据。然后，我将基于这些数据进行分析，并提供财务角度的利润情况和优化建议。让我们开始吧。importpandasaspd#LoadtheExcelfilefile_path='/mnt/da
JeffDingAI·2024-01-19 16:21

清华毕业生去哪了？

Datawhale分享2023届就业情况，来源：清华大学近日，清华就业工作会召开清华2023届档案在校本科毕业生3200多人档案在校研究生毕业生5200多人这些清华学生毕业后都去哪了？就业还是深造？
Datawhale·2024-01-19 09:03

ICLR 2024接收率31％，清华LCM论文作者：讲个笑话，被拒了！

Datawhale分享顶会：ICLR2024，编辑：机器之心你被拒了吗？ICLR2024国际学习表征会议已经来到了第十二届，将于今年5月7日-11日在奥地利维也纳会展中心举行。
Datawhale·2024-01-19 09:33

超过GPT3.5？Mixtral 8*7B 模型结构分析

Datawhale干货作者：宋志学，Datawhale成员前言2023年12月11日，MistralAI团队发布了一款高质量的稀疏专家混合模型Mixtral8x7B。
Datawhale·2024-01-19 09:00

2024美赛数学建模思路 - 案例：异常检测

文章目录赛题思路一、简介--关于异常检测异常检测监督学习二、异常检测算法2.箱线图分析3.基于距离/密度4.基于划分思想建模资料赛题思路（赛题出来以后第一时间在CSDN分享）https://blog.csdn.net
建模君Assistance·2024-01-19 06:21

寻找游戏大模王赛后分享（我的寻找游戏大模王之旅

AI原生应用大赛的Top1荆轲刺秦王团队的小罗，很高兴能在这里与大家分享我们这次比赛的经验，同时也希望以后有机会可以和大家一起交流学习~左二是我初遇首先，怀着对创作游戏和学习大模型的那么一份憧憬，作为Datawhale
Unicornlyy·2024-01-18 10:20

图像处理——人脸情绪识别（python卷积神经网络）

、项目背景二、项目任务三、数据说明四、项目步骤1.图片基本情况查看2.图片处理3.模型构建4.模型训练5.验证集验证模型效果6.使用模型进行预测总结前言这是我第一次做图像处理的项目，项目基于科大讯飞和Datawhale
机智的小神仙儿·2024-01-18 09:15

吃瓜教程Task1：概览西瓜书+南瓜书第1、2章

更多学习内容可以参考下面的链接：南瓜书的地址：https://github.com/datawhalechina/pumpkin-book【视频链接】https://www.bilibili.com/video
卡拉比丘流形·2024-01-18 05:45

深度强化学习Task1：马尔可夫过程、DQN算法回顾

本篇博客是本人参加Datawhale组队学习第一次任务的笔记【教程地址】https://github.com/datawhalechina/joyrl-book【强化学习库JoyRL】https://github.com
卡拉比丘流形·2024-01-18 05:14

工业产品表面缺陷检测算法

代码仓库：https://gitee.com/zhgn2020814/Defect_detection.git文中部分图源见水印1、PaDiM问题：异常检测：实际应用中缺乏异常样本，并且异常可能会有意想不到的模式
.别拖至春天.·2024-01-17 15:50

深度学习常用代码总结(k-means, NMS)

k-means由于其原理简单，可解释强，实现方便，收敛速度快，在数据挖掘、数据分析、异常检测、模式识别、金融风控、数据科学、智能营销和数据运营等领域有着广泛的应用。
BIT_Legend·2024-01-17 07:00

机器学习学习笔记（吴恩达）（第三课第一周）（无监督算法，K-means、异常检测）

欢迎聚类算法：无监督学习：聚类、异常检测推荐算法：强化学习：聚类（Clustering）聚类算法：查看大量数据点并自动找到彼此相关或相似的数据点。
kgbkqLjm·2024-01-16 10:30

必示科技助力中国联通智网创新中心通过智能化运维(AIOps)通用能力成熟度3级评估

综合在配置管理、数据层、智能计算层、异常检测场景四部分评估得分，满足智能化运维(AIOps)能力成熟度3级评估要求。截至目前，国内仅
BizSeer必示科技·2024-01-16 07:34

Datawhale 大模型基础理论 Day1 引言

开源链接如下：https://github.com/datawhalechina/so-large-lm/blob/main/docs/content/ch01.md语言模型的概念：即能够赋予每个有意义的词
AIzealot无·2024-01-16 02:29

【wow-ts】前端学习笔记Typescript基础语法（一）

项目地址是https://github.com/datawhalechina/wow-ts。
miskirito·2024-01-15 22:40

多示例学习 (multi-instance learning, MIL) 学习路线 (归类、重点文章列举、持续更新)

本文在于能够让大家能够更加快速地了解MIL这个领域，因此将从以下几个方面重点介绍MIL：MIL背景介绍；理论MIL概述：注意力网络；对比学习；介入学习；强化学习；GAN；应用MIL概述：全幻灯片分类；视频异常检测
因吉·2024-01-15 22:15

工业异常检测AnomalyGPT-训练试跑及问题解决

写在前面，AnomalyGPT训练试跑遇到的坑大部分好解决，只有在保存模型失败的地方卡了一天才解决，本来是个小问题，昨天没解决的时候尝试放弃在单卡的4090上训练，但换一台机器又遇到了新的问题，最后决定还是回来踏踏实实填坑了。准备数据：（根据官方的提示直接准备就好）Prerequisites:Beforetrainingthemodel,makingsuretheenvironmentisprop
独鹿·2024-01-15 17:47

时间序列异常检测算法S-H-ESD

1.基于统计的异常检测1.1Grubbs'TestGrubbs'Test为一种假设检验的方法，常被用来检验服从正太分布的单变量数据集（univariatedataset）YY中的单个异常值。
Rnan-prince·2024-01-15 15:49

异常检测基线的上下界判断

最近做异常检测，基于基线进行异常判断，可是用到了好多算法，如，3sigma、箱线图、MAD等，但是显示数据来了，哥哥算法暴露出了缺陷。
Rnan-prince·2024-01-15 15:47
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他