E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
时序数据异常检测
千万级实时并发计算设计大揭秘
本文简单介绍一个系统监控AI
异常检测
实时告警计算的架构数据归一化由于数据采集工具多样性,自然导致数据格式的多样性,所以需要对数据格式进行统一。
qiaoHaoTing
·
2021-01-10 15:30
多线程
并发
算法
大数据
经验分享
aiops
高并发
干货丨DolphinDB与MongoDB在
时序数据
上的对比测试
前者是列式存储的多模型数据库,主要用于结构化
时序数据
的高速存储、查询和分析。后者是文档型的NoSQL数据库,可用于处理非结构化和结构化的数据,可以根据键值快速查找或写入一个文档。
法规和规范化股份
·
2021-01-10 14:33
数据库
Elastic:验证机器学习预测的准确性
ElasticStack的机器学习为我们的
异常检测
提供了极大的方便。同时它还有一项很重要的功能,那就是它的预测(forecast)功能。这个在很多的实际应用中也有很大的用处。
Elastic 中国社区官方博客
·
2021-01-09 19:24
Elastic
Observability
elasticsearch
大数据
sklearn中lstm_基于lstm的日志
异常检测
工具包
1.前言日志
异常检测
模型从模型角度可以分为机器学习和深度学习两大方向,目前基于机器学习的已经有港中文开源的loglizer框架。
AWS云计算
·
2021-01-09 00:48
sklearn中lstm
pandas-task10-
时序数据
.md
文章目录一、时序中的基本对象二、时间戳1.Timestamp的构造与属性2.Datetime序列的生成3.dt对象4.时间戳的切片与索引三、时间差1.Timedelta的生成2.Timedelta的运算四、日期偏置1.Offset对象2.偏置字符串五、时序中的滑窗与分组1.滑动窗口2.重采样六、练习Ex1:太阳辐射数据集Ex2:水果销量数据集本周末期末考试三门需要复习只能大概快速梳理一下了写了下练
Alex好好干饭
·
2021-01-08 15:52
pandas
pandas
深度学习
数据挖掘
干货丨
时序数据
库DolphinDB和TimescaleDB 性能对比测试报告
一、概述DolphinDBDolphinDB是以C++编写的一款分析型的高性能分布式
时序数据
库,使用高吞吐低延迟的列式内存引擎,集成了功能强大的编程语言和高容量高速度的流数据分析系统,可在数据库中进行复杂的编程和运算
DolphinDB
·
2021-01-08 12:55
dolphindb
postgresql
大数据处理
数据库
数据库开发
干货丨
时序数据
库DolphinDB和TimescaleDB 性能对比测试报告
一、概述DolphinDBDolphinDB是以C++编写的一款分析型的高性能分布式
时序数据
库,使用高吞吐低延迟的列式内存引擎,集成了功能强大的编程语言和高容量高速度的流数据分析系统,可在数据库中进行复杂的编程和运算
DolphinDB
·
2021-01-08 12:55
dolphindb
postgresql
大数据处理
数据库
数据库开发
如何使用ClickHouse实现
时序数据
管理和挖掘?
本次文章将详细解读京东城市时空数据引擎JUST(https://just.urban-computing.cn/)是如何使用ClickHouse实现
时序数据
管理和挖掘的。
京东智联云开发者
·
2021-01-07 12:24
数据库
数据采集
揭开KPI
异常检测
顶级AI模型面纱
摘要:2020GDE全球开发者大赛-KPI
异常检测
告一段落,来自深圳福田莲花街道的“原子弹从入门到精通”有幸取得了总榜TOP1的成绩,在这里跟大家分享深圳福田莲花街道在本次比赛的解决方案。
华为云开发者社区
·
2021-01-07 12:22
数据
华为
人工智能
如何修改influxdb表结构_
时序数据
库DolphinDB与InfluxDB对比测试报告2
2018年8月,我们曾发布测试报告DolphinDB与InfluxDB对比测试报告。当时的结果显示,DolphinDB的查询性能领先InfluxDB一到三个数据量级,数据导入性能领先一个数量级,数据导出性能相差不大。时隔半年,DolphinDB与InfluxDB都做了不少功能和性能上的优化,两者的性能究竟有何变化?我们重新对DolphinDB和InfluxDB进行对比测试,测试涵盖数据导入导出、数
温特二Winter
·
2021-01-07 09:39
如何修改influxdb表结构
寒假组队学习计划!
↑关注后"星标"Datawhale每日干货&每月组队学习,不错过Datawhale学习开源贡献:Datawhale团队今年最后一次组队学习,包含数据分析、编程实践(LeetCode腾讯精选练习50)、
异常检测
Datawhale
·
2021-01-06 20:00
python
编程语言
人工智能
机器学习
数据挖掘
如何使用ClickHouse实现
时序数据
管理和挖掘?
本次文章将详细解读京东城市时空数据引擎JUST(https://just.urban-computing.cn/)是如何使用ClickHouse实现
时序数据
管理和挖掘的。
京东智联云开发者
·
2021-01-06 19:54
数据库
数据采集
揭开KPI
异常检测
顶级AI模型面纱
摘要:2020GDE全球开发者大赛-KPI
异常检测
告一段落,来自深圳福田莲花街道的“原子弹从入门到精通”有幸取得了总榜TOP1的成绩,在这里跟大家分享深圳福田莲花街道在本次比赛的解决方案。
华为云开发者社区
·
2021-01-06 13:48
数据
华为
人工智能
干货丨DolphinDB与MongoDB在
时序数据
上的对比测试
前者是列式存储的多模型数据库,主要用于结构化
时序数据
的高速存储、查询和分析。后者是文档型的NoSQL数据库,可用于处理非结构化和结构化的数据,可以根据键值快速查找或写入一个文档。
DolphinDB
·
2021-01-06 02:17
dolphindb
mongodb
大数据处理
nosql
linux
干货丨DolphinDB与MongoDB在
时序数据
上的对比测试
前者是列式存储的多模型数据库,主要用于结构化
时序数据
的高速存储、查询和分析。后者是文档型的NoSQL数据库,可用于处理非结构化和结构化的数据,可以根据键值快速查找或写入一个文档。
DolphinDB
·
2021-01-05 14:33
dolphindb
mongodb
大数据处理
nosql
linux
pytorch LSTM的股价预测
LSTM是一种序列模型,是RNN中最典型的一个网络结构,对RNN做了一些改进同时具有RNN的特性,可以更好的处理
时序数据
。
我对算法一无所知
·
2021-01-04 11:49
pytorch
python
人工智能
深度学习
股票预测
干货丨如何高速迁移MySQL数据到
时序数据
库DolphinDB
DolphinDB提供了两种导入MySQL数据的方法:ODBC插件和MySQL插件。我们推荐使用MySQL插件导入MySQL数据,因为它的速度比ODBC导入更快,导入6.5G数据,MySQL插件的速度是ODBC插件的4倍,并且使用MySQL插件无需任何配置,而ODBC插件需要配置数据源。在使用MySQL插件之前,请先参考DolphinDB安装使用指南安装DolphinDB。1.下载插件Dolphi
DolphinDB
·
2021-01-04 11:08
dolphindb
mysql
数据库
分布式系统
大数据处理
干货丨如何高速迁移MySQL数据到
时序数据
库DolphinDB
DolphinDB提供了两种导入MySQL数据的方法:ODBC插件和MySQL插件。我们推荐使用MySQL插件导入MySQL数据,因为它的速度比ODBC导入更快,导入6.5G数据,MySQL插件的速度是ODBC插件的4倍,并且使用MySQL插件无需任何配置,而ODBC插件需要配置数据源。在使用MySQL插件之前,请先参考DolphinDB安装使用指南安装DolphinDB。1.下载插件Dolphi
DolphinDB
·
2021-01-04 10:06
dolphindb
mysql
数据库
分布式系统
大数据处理
pytorch 梯度NAN异常值解决
gradient为nan可能原因:梯度爆炸学习率太大数据本身有问题backward时,某些方法造成0在分母上,如:使用方法sqrt()定位造成nan的代码:importtorch#
异常检测
开启torch.autograd.set_detect_anomaly
sini2018
·
2021-01-02 01:13
pytorch
学习笔记
pytorch
深度学习
神经网络
人工智能
干货丨
时序数据
库DolphinDB即时编译(JIT)详解
DolphinDB是高性能分布式
时序数据
库,内置了丰富的计算功能和强大多范式编程语言。为了能够提高DolphinDB脚本的执行效率,从1.01版本开始,DolphinDB支持即时编译(JIT)。
DolphinDB
·
2020-12-31 09:15
时序数据库使用教程
DolphinDB
高性能计算
时序数据库
jit
大数据
InfluxDB API 未授权访问漏洞
InfluxDB是一个使用Go语言编写的开源分布式,支持高并发的
时序数据
库,其使用JWT作为鉴权方式。
weixin_44912035
·
2020-12-31 01:58
漏洞复现
时序数据
库作为工业物联网数据后台有哪些优势?
工业物联网的数据特点和痛点工业物联网的数据采集有着频率高、设备多、维度高的特点,数据量非常大,对系统的吞吐量有很高的要求。同时工业物联网往往需要系统能够实时处理数据,对系统预警,监控,甚至反控。不少系统还需要提供图形化终端供操作工人实时监控设备的运行,这给整个系统带来了更大的压力。对于采集到的海量历史数据,通常还需要进行离线的建模和分析。因此,工业物联网的数据平台有着非常苛刻的要求,既要有非常高的
DolphinDB
·
2020-12-29 20:34
物联网
dolphindb
数据库
流计算
大数据处理
时序数据
库作为工业物联网数据后台有哪些优势?
工业物联网的数据特点和痛点工业物联网的数据采集有着频率高、设备多、维度高的特点,数据量非常大,对系统的吞吐量有很高的要求。同时工业物联网往往需要系统能够实时处理数据,对系统预警,监控,甚至反控。不少系统还需要提供图形化终端供操作工人实时监控设备的运行,这给整个系统带来了更大的压力。对于采集到的海量历史数据,通常还需要进行离线的建模和分析。因此,工业物联网的数据平台有着非常苛刻的要求,既要有非常高的
DolphinDB
·
2020-12-28 12:36
物联网
dolphindb
数据库
流计算
大数据处理
dnn模型 list index out of range_Pytorch贝叶斯深度学习库BLiTZ实现LSTM模型预测
时序数据
并绘制置信区间...
本文将主要讲述如何使用BLiTZ(PyTorch贝叶斯深度学习库)来建立贝叶斯LSTM模型,以及如何在其上使用序列数据进行训练与推理。在本文中,我们将解释贝叶斯长期短期记忆模型(LSTM)是如何工作的,然后通过一个Kaggle数据集进行股票置信区间的预测。贝叶斯LSTM层众所周知,LSTM结构旨在解决使用标准的循环神经网络(RNN)处理长序列数据时发生的信息消失问题。在数学上,LSTM结构的描述如
coolgo666
·
2020-12-28 10:07
dnn模型
list
index
out
of
range
用java操作数据库
文章目录任务描述:思路:环境介绍:步骤:代码:总结:参考:任务描述:把已有物联网数据库稍加修改搬迁到自己数据库,用timescaleDB(
时序数据
库)来存储。思路:用java的jdbc来操作数据库。
wjCwl
·
2020-12-27 16:18
idea
java
sql
基于深度学习的日志数据
异常检测
基于深度学习的日志数据
异常检测
数据对象智能运维(AIOps)是通过机器学习等算法分析来自于多种运维工具和设备的大规模数据。
海华啊
·
2020-12-27 12:12
论文学习
大数据
数据挖掘
机器学习
运维
CMU赵越 关于
异常检测
的分享!
每月组队学习,不错过Datawhale干货作者:赵越,卡内基梅隆大学,Datawhale特邀作者信息知乎微调:https://www.zhihu.com/people/breakneverPPT和视频:后台回复
异常检测
获取内容概括
Datawhale
·
2020-12-26 19:00
算法
python
机器学习
人工智能
大数据
chapter15.1-2 时间序列1--时间序列分解
15.1时间序列--概念15.1.1概念横截面数据:在一个给定的时间点测量变量值纵向数据:随着时间的变化反复测量变量值对
时序数据
的研究包括两个基本问题:对数据的描述【这段时间内发生了什么?趋势?
于饼喵
·
2020-12-26 12:04
机器学习中准确率、精确率、召回率、误报率、漏报率、F1-Score、AP&mAP、AUC、MAE、MAPE、MSE、RMSE、R-Squared等指标的定义和说明
在机器学习和深度学习用于
异常检测
(Anomalydetection)、电子商务(E-commerce)、信息检索(Informationretrieval,IR)等领域任务(Task)中,有很多的指标来判断机器学习和深度学习效果的好坏
liveshow021_jxb
·
2020-12-26 12:00
评估指标
机器学习
深度学习
auc
信息检索
电子商务
干货丨
时序数据
库DolphinDB流数据教程
实时流处理一般是将业务系统产生的数据进行实时收集,交由流处理框架进行数据清洗,统计,入库,并可以通过可视化的方式对统计结果进行实时的展示。传统的面向静态数据表的计算引擎无法胜任流数据领域的分析和计算任务。在金融交易、物联网、互联网/移动互联网等应用场景中,复杂的业务需求对大数据处理的实时性提出了更高的要求。对于这一类高实时性需求的场景,需要一个快速、高效、灵活可控的流式大数据处理平台来支撑。Dol
DolphinDB
·
2020-12-25 11:03
干货丨
时序数据
库DolphinDB流数据教程
实时流处理一般是将业务系统产生的数据进行实时收集,交由流处理框架进行数据清洗,统计,入库,并可以通过可视化的方式对统计结果进行实时的展示。传统的面向静态数据表的计算引擎无法胜任流数据领域的分析和计算任务。在金融交易、物联网、互联网/移动互联网等应用场景中,复杂的业务需求对大数据处理的实时性提出了更高的要求。对于这一类高实时性需求的场景,需要一个快速、高效、灵活可控的流式大数据处理平台来支撑。Dol
DolphinDB
·
2020-12-25 10:08
流计算
dolphindb
数据库
分布式系统
数据库开发
干货丨如何用
时序数据
库寻找相似的历史k线
有网友提问应该用什么样的数据库/数据结构/算法来计算某支股票的相似K线?具体的问题描述是,假设给出某股某段行情K线(单位/日),从任何其他股票历史中匹配出与之最为相似的某段历史K线,并给出相似度值(单位/%),并以此排序,获取最为相似的N个结果。我们可以使用k线的距离以及股票日回报的相关性来衡量k线相似度,使用Tushare提供的沪深股票2008年到2017年的日线行情数据来做实验。如何把Tush
DolphinDB
·
2020-12-24 10:17
dolphindb
金融
数据库
分布式系统
tushare
干货丨如何用
时序数据
库寻找相似的历史k线
有网友提问应该用什么样的数据库/数据结构/算法来计算某支股票的相似K线?具体的问题描述是,假设给出某股某段行情K线(单位/日),从任何其他股票历史中匹配出与之最为相似的某段历史K线,并给出相似度值(单位/%),并以此排序,获取最为相似的N个结果。我们可以使用k线的距离以及股票日回报的相关性来衡量k线相似度,使用Tushare提供的沪深股票2008年到2017年的日线行情数据来做实验。如何把Tush
DolphinDB
·
2020-12-24 10:44
dolphindb
金融
数据库
分布式系统
tushare
干货丨详细解读Orca与pandas的差异
由于DolphinDB是一款相对成熟的高性能分布式
时序数据
库,其底层对一些方法的处理机制已经成型,这就决定了Orca在某些细节方面会与pandas存在差异。
DolphinDB
·
2020-12-24 09:00
时序数据库使用教程
DolphinDB
orca
pandas
时序数据库
分布式系统
【学习笔记】分布式追踪Tracing
Metrics:用于记录可聚合的数据,且通常是固定类型的
时序数据
,每个都是一个逻辑计量单元,或者一个时间
分水岭报
·
2020-12-23 16:07
java
分布式
jaeger
监控
【学习笔记】分布式追踪Tracing
Metrics:用于记录可聚合的数据,且通常是固定类型的
时序数据
,每个都是一个逻辑计量单元,或者一个时间
分水岭报
·
2020-12-23 16:22
java
分布式
jaeger
监控
干货丨如何使用
时序数据
库快速计算买方或卖方驱动交易
给定高频交易数据以及报价数据,如何判断每笔交易是由买方驱动或是卖方驱动,是进行高频交易数据分析经常需要处理的问题。本文将介绍如何使用DolphinDB快速计算每笔交易的驱动方,只需不到2秒钟即可对美国一天的level1的高频交易数据进行计算并存入数据库。本文使用了非同时连接(asofjoin)以及map-reduce。本文用到的数据是含有逐笔交易的交易表trade和买卖报价表nbbo。它们分别包含
DolphinDB
·
2020-12-23 10:59
dolphindb
数据库
数据库开发
金融科技
分布式系统
干货丨如何使用
时序数据
库快速计算买方或卖方驱动交易
给定高频交易数据以及报价数据,如何判断每笔交易是由买方驱动或是卖方驱动,是进行高频交易数据分析经常需要处理的问题。本文将介绍如何使用DolphinDB快速计算每笔交易的驱动方,只需不到2秒钟即可对美国一天的level1的高频交易数据进行计算并存入数据库。本文使用了非同时连接(asofjoin)以及map-reduce。本文用到的数据是含有逐笔交易的交易表trade和买卖报价表nbbo。它们分别包含
DolphinDB
·
2020-12-22 11:27
dolphindb
数据库
数据库开发
金融科技
分布式系统
深度强化学习在
时序数据
压缩中的应用--ICDE 2020收录论文
时序数据
是海量数据中的一个重要组成部分,除了挖掘分析预测等,如何高效的压缩存储是一个基础且重要的课题。同时,我们也正处在人工智能时代,深度学习已经有了很多很好的应用,如何
阿里云云栖号
·
2020-12-22 11:53
javascript
干货丨如何用Orca对DolphinDB分布式表进行操作
DolphinDB是一个分布式
时序数据
库,并且内置了丰富的计算和分析功能。它可以将TB级的海量数据存储在多台物理机器上,充分利用CPU,对海量数据进行高性能分析计算。
DolphinDB
·
2020-12-22 09:25
时序数据库使用教程
DolphinDB
orca
时序数据库
pandas
python
深度强化学习在
时序数据
压缩中的应用--ICDE 2020收录论文
时序数据
是海量数据中的一个重要组成部分,除了挖掘分析预测等,如何高效的压缩存储是一个基础且重要的课题。同时,我们也正处在人工智能时代,深度学习已经有了很多很好的应用,如何
阿里云云栖号
·
2020-12-21 17:52
javascript
干货丨如何使用
时序数据
库处理Tushare金融数据
DolphinDB是新一代的
时序数据
库,不仅可以作为分布式数据仓库或者内存数据库来使用,而且自带丰富的计算工具,可以作为研究工具或研究平台来使用,非常适用于量化金融、物联网等领域的海量数据分析。
DolphinDB
·
2020-12-21 17:37
dolphindb
tushare
金融科技
数据库
分布式系统
干货丨如何使用
时序数据
库处理Tushare金融数据
DolphinDB是新一代的
时序数据
库,不仅可以作为分布式数据仓库或者内存数据库来使用,而且自带丰富的计算工具,可以作为研究工具或研究平台来使用,非常适用于量化金融、物联网等领域的海量数据分析。
DolphinDB
·
2020-12-21 11:56
dolphindb
tushare
金融科技
数据库
分布式系统
比SkLearn更好用的机器学习工具-PyCaret
异常检测
AnomalyDetection,关联规则Associat
李博Garvin
·
2020-12-20 17:28
机器学习
机器学习
人工智能
干货丨
时序数据
库DolphinDB流数据聚合引擎教程
流数据是指随时间持续增长的动态数据。互联网的运营数据和物联网的传感器数据都属于流数据的范畴。流数据的特性决定了它的数据集是动态变化的,传统的面向静态数据表的计算引擎无法胜任流数据领域的分析和计算任务,所以流数据场景需要专门的计算引擎来处理。DolphinDB提供了灵活的面向流数据的聚合引擎,通过createStreamAggregator函数创建流数据聚合引擎,能够持续不断地对已有的流数据做聚合计
DolphinDB
·
2020-12-18 11:29
物联网
流计算
dolphindb
数据库
数据库开发
干货丨
时序数据
库DolphinDB流数据聚合引擎教程
流数据是指随时间持续增长的动态数据。互联网的运营数据和物联网的传感器数据都属于流数据的范畴。流数据的特性决定了它的数据集是动态变化的,传统的面向静态数据表的计算引擎无法胜任流数据领域的分析和计算任务,所以流数据场景需要专门的计算引擎来处理。DolphinDB提供了灵活的面向流数据的聚合引擎,通过createStreamAggregator函数创建流数据聚合引擎,能够持续不断地对已有的流数据做聚合计
DolphinDB
·
2020-12-18 10:13
物联网
流计算
dolphindb
数据库
数据库开发
异常检测
-One-Class SVM 单分类
本文记录的目的是方便自己学习和复习,有误之处请谅解,欢迎指出。(2)SVDD(oneclassSVM)SVDD的思路其实不难,基本思想是:既然只有一个class,那就训练出一个最小的超球面,将这数据全部“包起来”,当分类一个新样本时,如果这个样本落在超球面内,就属于这个类,否则为异常样本。具体怎么实现呢?之前的文章有详细介绍过支持向量机的推导过程,我们已经知道SVM的需要优化公式如下图所示,其中y
zstu_翊
·
2020-12-17 18:55
异常检测
-自编码
本文记录的目的是方便自己学习和复习,有误之处请谅解,欢迎指出。我们日常项目中经常会遇到数据不均衡的情况,这非常普遍,例如某动物分类项目的类别数量占比为300:100:900:500,直接训练模型会导致模型偏向数量多的一类,个人认为模型偏向一侧的原因是:由于数量较多的类别,每次被传递调整的损失就较多,而其他类别可能还没被完全训练好,该类已经完成拟合,如何解决呢?常用的解决方法:增加数据、上采样、下采
zstu_翊
·
2020-12-17 17:03
时序转化为图构建高效可解释的时序分析模型
同时我们把所实现的方法落地为阿里云·SLS的智能巡检服务,可以应用于大规模的时间序列
异常检测
与分析,辅助运维,运营,研发等诸多场景。整体导读文章通过真实场景下数据
阿里云云栖号
·
2020-12-17 12:43
javascript
时序转化为图构建高效可解释的时序分析模型
同时我们把所实现的方法落地为阿里云·SLS的智能巡检服务,可以应用于大规模的时间序列
异常检测
与分析,辅助运维,运营,研发等诸多场景。整体导读文章通过真实场景下数据
阿里云云栖号
·
2020-12-17 12:43
javascript
上一页
51
52
53
54
55
56
57
58
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他