时序数据库influxdb

双汇大数据方案选型：从棘手的InfluxDB+Redis到毫秒级查询的TDengine

双汇发展多个分厂的能源管控大数据系统主要采用两种技术栈：InfluxDB/Redis和Kafka/Redis/HBase/Flink，对于中小型研发团队来讲，无论是系统搭建，还是实施运维都非常棘手。
·2021-01-27 11:10

boltdb源码阅读

而且不少出名的开源项目在使用它，比如etcd，InfluxDB等。本文记录下笔者在阅读源码后了解到的其工作原理，以留备忘。简介boltdb数据库是一款go开发的k/v数据库。
行如风1·2021-01-26 15:44

时序数据库DolphinDB横截引擎教程。

在处理实时流数据时，不仅需要按照时间做纵向聚合计算，还需要对最新的数据做横向比较和计算，如金融里对所有股票的最新报价求百分位、工业物联网中计算一批设备的温度均值等。DolphinDBdatabase提供了横截面聚合引擎，可以对流数据中所有分组的最新数据做聚合运算。横截面引擎的主体分为两部分：横截面数据表和计算引擎。横截面数据是横截面引擎的内部表，保存了所有分组最新的截面数据。计算引擎是一组聚合计算
·2021-01-26 02:02

boltdb源码阅读

而且不少出名的开源项目在使用它，比如etcd，InfluxDB等。本文记录下笔者在阅读源码后了解到的其工作原理，以留备忘。简介boltdb数据库是一款go开发的k/v数据库。
·2021-01-26 02:28

时序数据库DolphinDB横截引擎教程。

在处理实时流数据时，不仅需要按照时间做纵向聚合计算，还需要对最新的数据做横向比较和计算，如金融里对所有股票的最新报价求百分位、工业物联网中计算一批设备的温度均值等。DolphinDBdatabase提供了横截面聚合引擎，可以对流数据中所有分组的最新数据做聚合运算。横截面引擎的主体分为两部分：横截面数据表和计算引擎。横截面数据是横截面引擎的内部表，保存了所有分组最新的截面数据。计算引擎是一组聚合计算
·2021-01-26 01:40

时序数据库DolphinDB历史数据回放教程

一个量化策略在用于实际交易时，处理实时数据的程序通常为事件驱动。而研发量化策略时，需要使用历史数据进行回测，这时的程序通常不是事件驱动。因此同一个策略需要编写两套代码，不仅耗时而且容易出错。在DolphinDBdatabase中，用户可将历史数据按照时间顺序以“实时数据”的方式导入流数据表中，这样就可以使用同一套代码进行回测和实盘交易。DolphinDB的流数据处理框架采用发布-订阅-消费的模式。
DolphinDB·2021-01-21 10:44

干货丨时序数据库DolphinDB与Spark的性能对比测试报告

DolphinDB是C++编写的高性能分布式时序数据库，内置高吞吐低延迟的列式内存引擎，集成
DolphinDB·2021-01-21 10:11

干货丨时序数据库DolphinDB插件开发教程

DolphinDB支持动态加载外部插件，以扩展系统功能。插件用C++编写，需要编译成".so"或".dll"共享库文件。本文着重介绍开发插件的方法和注意事项，并详细介绍以下几个具体场景的插件开发流程：如何开发支持时间序列数据处理的插件函数如何开发用于处理分布式SQL的聚合函数如何开发支持新的分布式算法的插件函数如何开发支持流数据处理的插件函数如何开发支持外部数据源的插件函数1.如何开发插件1.1基
DolphinDB·2021-01-21 10:38

干货丨时序数据库DolphinDB与Aliyun HybridDB for PostgreSQL在金融数据集上的比较

1.概述DolphinDB是一款高性能混合列式数据库和数据分析系统，尤其擅长处理时间序列数据。AliyunHybridDBforPostgreSQL（以下简称HybridDB）是由阿里巴巴提供的基于开源Greenplum定制的MPP架构企业级通用数据仓库产品。在本报告中，我们对DolphinDB和HybridDB，在时间序列数据集上进行了性能对比测试。测试涵盖了CSV文件的加载、单个查询的执行、并
DolphinDB·2021-01-21 10:08

干货丨时序数据库DolphinDB作业管理概述

作业（Job）是DolphinDB中最基本的执行单位，可以简单理解为一段DolphinDB脚本代码在DolphinDB系统中的一次执行。Job根据阻塞与否可分成同步作业和异步作业。同步作业同步作业也称为交互式作业（InteractiveJob），它的主要来源有：WebnotebookDolphinDBGUIDolphinDB命令行界面通过DolphinDB提供的各个编程语言API接口由于这种类型的
DolphinDB·2021-01-21 10:36

干货丨时序数据库DolphinDB异常检测引擎教程

DolphinDB作为一个高性能的分布式时序数据库(timeseriesdatabase)，内置了一个流数据框架，既能实时处理分析这些物联网数据，也能对历史数据进行计算分析，帮助用户利用、发挥这些数据的价值
DolphinDB·2021-01-21 10:31

干货丨时序数据库DolphinDB与Spark的性能对比测试报告

DolphinDB是C++编写的高性能分布式时序数据库，内置高吞吐低延迟的列式内存引擎，集成
DolphinDB·2021-01-19 13:01

借助Docker搭建JMeter+Grafana+Influxdb监控平台的详细教程

我们都知道Jmeter提供了原生的结果查看，既然有原生的查看结果，为什么还要多此一举使用其他工具进行查看呢，除了查看内容丰富外还有最主要的原因：Jmeter提供的查看结果插件本身是比较消耗性能的，所以在正式压测中应当禁用。但是我们又需要在脚本运行时实时查看结果，这时就需要借助外在工具实现。除此之外，在真实压测过程中还需要注意Jmeter图形化模式只适合调试使用，不要进行压测。图形化的压测方式会消耗
·2021-01-15 10:04

干货丨时序数据库DolphinDB与Aliyun HybridDB for PostgreSQL在金融数据集上的比较

1.概述DolphinDB是一款高性能混合列式数据库和数据分析系统，尤其擅长处理时间序列数据。AliyunHybridDBforPostgreSQL（以下简称HybridDB）是由阿里巴巴提供的基于开源Greenplum定制的MPP架构企业级通用数据仓库产品。在本报告中，我们对DolphinDB和HybridDB，在时间序列数据集上进行了性能对比测试。测试涵盖了CSV文件的加载、单个查询的执行、并
DolphinDB·2021-01-13 14:04

influxdb无法实现关联表_时序数据库DolphinDB与InfluxDB对比测试报告2

近日，我们曾发布测试报告DolphinDB与InfluxDB对比测试报告，此报告测试于2019年。
高继扬·2021-01-12 19:54

干货丨时序数据库DolphinDB作业管理概述

作业（Job）是DolphinDB中最基本的执行单位，可以简单理解为一段DolphinDB脚本代码在DolphinDB系统中的一次执行。Job根据阻塞与否可分成同步作业和异步作业。同步作业同步作业也称为交互式作业（InteractiveJob），它的主要来源有：WebnotebookDolphinDBGUIDolphinDB命令行界面通过DolphinDB提供的各个编程语言API接口由于这种类型的
dfgdfgd·2021-01-12 15:25

干货丨时序数据库DolphinDB和TimescaleDB 性能对比测试报告

一、概述DolphinDBDolphinDB是以C++编写的一款分析型的高性能分布式时序数据库，使用高吞吐低延迟的列式内存引擎，集成了功能强大的编程语言和高容量高速度的流数据分析系统，可在数据库中进行复杂的编程和运算
DolphinDB·2021-01-12 10:47

干货丨时序数据库DolphinDB与Druid的对比测试

DolphinDB和Druid都是分布式的分析型时序数据库。尽管前者使用c++开发，后者使用java开发，两者在架构、功能、应用场景等方面有很多共同点。
DolphinDB·2021-01-12 09:01

干货丨时序数据库DolphinDB和TimescaleDB 性能对比测试报告

一、概述DolphinDBDolphinDB是以C++编写的一款分析型的高性能分布式时序数据库，使用高吞吐低延迟的列式内存引擎，集成了功能强大的编程语言和高容量高速度的流数据分析系统，可在数据库中进行复杂的编程和运算
DolphinDB·2021-01-11 11:43

干货丨时序数据库DolphinDB和TimescaleDB 性能对比测试报告

一、概述DolphinDBDolphinDB是以C++编写的一款分析型的高性能分布式时序数据库，使用高吞吐低延迟的列式内存引擎，集成了功能强大的编程语言和高容量高速度的流数据分析系统，可在数据库中进行复杂的编程和运算
DolphinDB·2021-01-08 12:55

干货丨时序数据库DolphinDB和TimescaleDB 性能对比测试报告

一、概述DolphinDBDolphinDB是以C++编写的一款分析型的高性能分布式时序数据库，使用高吞吐低延迟的列式内存引擎，集成了功能强大的编程语言和高容量高速度的流数据分析系统，可在数据库中进行复杂的编程和运算
DolphinDB·2021-01-08 12:55

如何修改influxdb表结构_时序数据库DolphinDB与InfluxDB对比测试报告2

2018年8月，我们曾发布测试报告DolphinDB与InfluxDB对比测试报告。
温特二Winter·2021-01-07 09:39

干货丨如何高速迁移MySQL数据到时序数据库DolphinDB

DolphinDB提供了两种导入MySQL数据的方法：ODBC插件和MySQL插件。我们推荐使用MySQL插件导入MySQL数据，因为它的速度比ODBC导入更快，导入6.5G数据，MySQL插件的速度是ODBC插件的4倍，并且使用MySQL插件无需任何配置，而ODBC插件需要配置数据源。在使用MySQL插件之前，请先参考DolphinDB安装使用指南安装DolphinDB。1.下载插件Dolphi
DolphinDB·2021-01-04 11:08

干货丨如何高速迁移MySQL数据到时序数据库DolphinDB

DolphinDB提供了两种导入MySQL数据的方法：ODBC插件和MySQL插件。我们推荐使用MySQL插件导入MySQL数据，因为它的速度比ODBC导入更快，导入6.5G数据，MySQL插件的速度是ODBC插件的4倍，并且使用MySQL插件无需任何配置，而ODBC插件需要配置数据源。在使用MySQL插件之前，请先参考DolphinDB安装使用指南安装DolphinDB。1.下载插件Dolphi
DolphinDB·2021-01-04 10:06

干货丨时序数据库DolphinDB即时编译（JIT）详解

DolphinDB是高性能分布式时序数据库，内置了丰富的计算功能和强大多范式编程语言。为了能够提高DolphinDB脚本的执行效率，从1.01版本开始，DolphinDB支持即时编译（JIT）。
DolphinDB·2020-12-31 09:15

InfluxDB API 未授权访问漏洞

InfluxDB是一个使用Go语言编写的开源分布式，支持高并发的时序数据库，其使用JWT作为鉴权方式。
weixin_44912035·2020-12-31 01:58

时序数据库作为工业物联网数据后台有哪些优势？

工业物联网的数据特点和痛点工业物联网的数据采集有着频率高、设备多、维度高的特点，数据量非常大，对系统的吞吐量有很高的要求。同时工业物联网往往需要系统能够实时处理数据，对系统预警，监控，甚至反控。不少系统还需要提供图形化终端供操作工人实时监控设备的运行，这给整个系统带来了更大的压力。对于采集到的海量历史数据，通常还需要进行离线的建模和分析。因此，工业物联网的数据平台有着非常苛刻的要求，既要有非常高的
DolphinDB·2020-12-29 20:34

时序数据库作为工业物联网数据后台有哪些优势？

工业物联网的数据特点和痛点工业物联网的数据采集有着频率高、设备多、维度高的特点，数据量非常大，对系统的吞吐量有很高的要求。同时工业物联网往往需要系统能够实时处理数据，对系统预警，监控，甚至反控。不少系统还需要提供图形化终端供操作工人实时监控设备的运行，这给整个系统带来了更大的压力。对于采集到的海量历史数据，通常还需要进行离线的建模和分析。因此，工业物联网的数据平台有着非常苛刻的要求，既要有非常高的
DolphinDB·2020-12-28 12:36

用java操作数据库

文章目录任务描述：思路：环境介绍：步骤:代码：总结：参考：任务描述：把已有物联网数据库稍加修改搬迁到自己数据库，用timescaleDB（时序数据库）来存储。思路：用java的jdbc来操作数据库。
wjCwl·2020-12-27 16:18

干货丨时序数据库DolphinDB流数据教程

实时流处理一般是将业务系统产生的数据进行实时收集，交由流处理框架进行数据清洗，统计，入库，并可以通过可视化的方式对统计结果进行实时的展示。传统的面向静态数据表的计算引擎无法胜任流数据领域的分析和计算任务。在金融交易、物联网、互联网/移动互联网等应用场景中，复杂的业务需求对大数据处理的实时性提出了更高的要求。对于这一类高实时性需求的场景，需要一个快速、高效、灵活可控的流式大数据处理平台来支撑。Dol
DolphinDB·2020-12-25 11:03

干货丨时序数据库DolphinDB流数据教程

实时流处理一般是将业务系统产生的数据进行实时收集，交由流处理框架进行数据清洗，统计，入库，并可以通过可视化的方式对统计结果进行实时的展示。传统的面向静态数据表的计算引擎无法胜任流数据领域的分析和计算任务。在金融交易、物联网、互联网/移动互联网等应用场景中，复杂的业务需求对大数据处理的实时性提出了更高的要求。对于这一类高实时性需求的场景，需要一个快速、高效、灵活可控的流式大数据处理平台来支撑。Dol
DolphinDB·2020-12-25 10:08

干货丨如何用时序数据库寻找相似的历史k线

有网友提问应该用什么样的数据库/数据结构/算法来计算某支股票的相似K线?具体的问题描述是，假设给出某股某段行情K线（单位/日），从任何其他股票历史中匹配出与之最为相似的某段历史K线，并给出相似度值（单位/%），并以此排序，获取最为相似的N个结果。我们可以使用k线的距离以及股票日回报的相关性来衡量k线相似度，使用Tushare提供的沪深股票2008年到2017年的日线行情数据来做实验。如何把Tush
DolphinDB·2020-12-24 10:17

干货丨如何用时序数据库寻找相似的历史k线

有网友提问应该用什么样的数据库/数据结构/算法来计算某支股票的相似K线?具体的问题描述是，假设给出某股某段行情K线（单位/日），从任何其他股票历史中匹配出与之最为相似的某段历史K线，并给出相似度值（单位/%），并以此排序，获取最为相似的N个结果。我们可以使用k线的距离以及股票日回报的相关性来衡量k线相似度，使用Tushare提供的沪深股票2008年到2017年的日线行情数据来做实验。如何把Tush
DolphinDB·2020-12-24 10:44

干货丨详细解读Orca与pandas的差异

由于DolphinDB是一款相对成熟的高性能分布式时序数据库，其底层对一些方法的处理机制已经成型，这就决定了Orca在某些细节方面会与pandas存在差异。
DolphinDB·2020-12-24 09:00

干货丨如何使用时序数据库快速计算买方或卖方驱动交易

给定高频交易数据以及报价数据，如何判断每笔交易是由买方驱动或是卖方驱动，是进行高频交易数据分析经常需要处理的问题。本文将介绍如何使用DolphinDB快速计算每笔交易的驱动方，只需不到2秒钟即可对美国一天的level1的高频交易数据进行计算并存入数据库。本文使用了非同时连接（asofjoin）以及map-reduce。本文用到的数据是含有逐笔交易的交易表trade和买卖报价表nbbo。它们分别包含
DolphinDB·2020-12-23 10:59

干货丨如何使用时序数据库快速计算买方或卖方驱动交易

给定高频交易数据以及报价数据，如何判断每笔交易是由买方驱动或是卖方驱动，是进行高频交易数据分析经常需要处理的问题。本文将介绍如何使用DolphinDB快速计算每笔交易的驱动方，只需不到2秒钟即可对美国一天的level1的高频交易数据进行计算并存入数据库。本文使用了非同时连接（asofjoin）以及map-reduce。本文用到的数据是含有逐笔交易的交易表trade和买卖报价表nbbo。它们分别包含
DolphinDB·2020-12-22 11:27

干货丨如何用Orca对DolphinDB分布式表进行操作

DolphinDB是一个分布式时序数据库，并且内置了丰富的计算和分析功能。它可以将TB级的海量数据存储在多台物理机器上，充分利用CPU，对海量数据进行高性能分析计算。
DolphinDB·2020-12-22 09:25

干货丨如何使用时序数据库处理Tushare金融数据

DolphinDB是新一代的时序数据库，不仅可以作为分布式数据仓库或者内存数据库来使用，而且自带丰富的计算工具，可以作为研究工具或研究平台来使用，非常适用于量化金融、物联网等领域的海量数据分析。
DolphinDB·2020-12-21 17:37

干货丨如何使用时序数据库处理Tushare金融数据

DolphinDB是新一代的时序数据库，不仅可以作为分布式数据仓库或者内存数据库来使用，而且自带丰富的计算工具，可以作为研究工具或研究平台来使用，非常适用于量化金融、物联网等领域的海量数据分析。
DolphinDB·2020-12-21 11:56

influxdb无法实现关联表_Influxdb中Select查询请求结果涉及到的一些数据结构

前言关于Select查询请求结果涉及到的一些数据结构Series定义typeSeriesstruct{//Nameisthemeasurementname.Namestring//Tagsfortheseries.TagsTagsiduint64}typeTagsstruct{idstringmmap[string]string}Series其实就是measurement和tags的组合，tags
weixin_39637614·2020-12-20 23:43

干货丨时序数据库DolphinDB流数据聚合引擎教程

流数据是指随时间持续增长的动态数据。互联网的运营数据和物联网的传感器数据都属于流数据的范畴。流数据的特性决定了它的数据集是动态变化的，传统的面向静态数据表的计算引擎无法胜任流数据领域的分析和计算任务，所以流数据场景需要专门的计算引擎来处理。DolphinDB提供了灵活的面向流数据的聚合引擎，通过createStreamAggregator函数创建流数据聚合引擎，能够持续不断地对已有的流数据做聚合计
DolphinDB·2020-12-18 11:29

干货丨时序数据库DolphinDB流数据聚合引擎教程

流数据是指随时间持续增长的动态数据。互联网的运营数据和物联网的传感器数据都属于流数据的范畴。流数据的特性决定了它的数据集是动态变化的，传统的面向静态数据表的计算引擎无法胜任流数据领域的分析和计算任务，所以流数据场景需要专门的计算引擎来处理。DolphinDB提供了灵活的面向流数据的聚合引擎，通过createStreamAggregator函数创建流数据聚合引擎，能够持续不断地对已有的流数据做聚合计
DolphinDB·2020-12-18 10:13

干货丨时序数据库DolphinDB代码模块复用教程

在软件团队开发项目中，要提升开发效率和质量，代码必然要进行封装和重用。在使用DolphinDB的脚本进行开发时，可以使用module和use方法，来声明和使用可重用模块。1.模块介绍在DolphinDB中，模块是指只包含函数定义的代码包。它具有以下特点：以.dos作为模块文件的后缀，dos是DolphinDBscript的缩写模块文件保存在DolphinDB节点的[home]/modules目录下
DolphinDB·2020-12-17 09:14

时序数据库交易回测系列一：技术信号回测

本系列文章将会介绍如何使用DolphinDB进行交易回测。本文以移动平均线指标为例，介绍如何在DolphinDB中实现技术信号回测。移动平均线指标（Movingaverage，简称MA）属于趋势指标。在金融分析领域，移动平均线是不可缺少的指标工具。除了指示趋势，均线指标还能避免由于股价下跌错失清仓的机会，减少收益的损失，及时止损，也能避免股价上涨错失买入的实际，从而获得更高的收益。回测过程中，我们
DolphinDB·2020-12-16 18:20

时序数据库交易回测系列一：技术信号回测

本系列文章将会介绍如何使用DolphinDB进行交易回测。本文以移动平均线指标为例，介绍如何在DolphinDB中实现技术信号回测。移动平均线指标（Movingaverage，简称MA）属于趋势指标。在金融分析领域，移动平均线是不可缺少的指标工具。除了指示趋势，均线指标还能避免由于股价下跌错失清仓的机会，减少收益的损失，及时止损，也能避免股价上涨错失买入的实际，从而获得更高的收益。回测过程中，我们
DolphinDB·2020-12-16 13:37

干货丨时序数据库DolphinDB高可用设计及部署教程

与其它时序数据库不同的是，DolphinDB的高可用确保强一致性。1.概述DolphinDB采用多副本机制，相同数据块的副本存储在不同的数据节点上。
DolphinDB·2020-12-16 09:12

干货丨时序数据库分区教程（二）

时序数据库分区教程（一）介绍了DolphinDBDatabase的几种分区方式，本文将会详细讲解DolphinDB的分区原则、特殊的分区方案，让用户对DolphinDB分区数据库有更深入的了解。
DolphinDB·2020-12-15 18:16

干货丨时序数据库分区教程（二）

时序数据库分区教程（一）介绍了DolphinDBDatabase的几种分区方式，本文将会详细讲解DolphinDB的分区原则、特殊的分区方案，让用户对DolphinDB分区数据库有更深入的了解。
DolphinDB·2020-12-15 13:25

如何使用时序数据库回放加密货币盘口与逐笔交易数据

对加密货币盘口与逐笔交易数据的回放展示，可帮助量化研究人员检验量化策略，也有助于交易员复盘，加深对市场的洞察。DolphinDB可实现盘口和逐笔交易数据的高速回放，以及对回放结果逐点查询。DolphinDB支持将多个分布式表同步回放并发布到流数据表，例如对盘口和交易这两个表进行同步回放。前端JavaScript使用DolphinDBWebAPI来轮询回放输出的流数据表，实现盘口和交易数据的可视化回
DolphinDB·2020-12-15 09:48

干货丨时序数据库分区教程（一）

1.为什么对数据进行分区？对数据库进行分区可以极大的降低系统响应延迟同时提高数据吞吐量。具体来说，分区有以下几个好处：分区使得大型表更易于管理。对数据子集的维护操作也更加高效，因为这些操作只针对需要的数据而不是整个表。一个好的分区策略将通过只读取满足查询所需的相关数据来减少要扫描的数据量。当所有的数据都在同一个分区上，对数据库的查询，计算，以及其它操作都会被限制在磁盘访问IO这个瓶颈上。分区使得系
DolphinDB·2020-12-14 14:34
上一页 24 25 26 27 28 29 30 31 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他