Druid.io

Druid简介

Druid的官方网站是http://druid.io。注意：阿里巴巴也曾创建过一个开源项目叫作Druid（简称阿里Druid），它是一个数据库连接池的项目。
老菜啦·2023-10-01 06:36

druid.io 去重计数

在大数据分析中，对数据进行计数去重是比较常见的需求，而druid.io中提供了多种去重计数的aggregtions函数，对于这些去重的aggregtions也不尽相同。
Mr_小白不白·2023-09-21 18:34

Druid(Druid.io)架构分析

Druid架构分析一、基本概念Datasource：Druid中的Datasource可以理解为Mysql中的表，但Druid对“表”中的”列”进行了分类，其包含下面三个重要的概念：1.时间列(Timestamp):每行数据的时间值，默认使用UTC时间格式，保存到毫秒级别，本列是数据聚合以及范围查询的重要指标2.维度列（Dimension）：标识数据行的列，可以是一列，也可以是多列3.指标列(Me
凌晨1点21分·2023-09-21 18:29

Mysql实现监控数据统计分析：Druid开源分布式系统与阿里巴巴的Druid数据库连接池

Druid一个用于大数据实时处理的开源分布式系统官方网址：http://druid.io/Druid是一个用于大
boonya·2023-08-14 08:51

druid 修改segment的保存时间

参考http://druid.io/docs/0.12.1/operations/rule-configuration.html具体配置注意的是更新rule不会立即生效，除非重启coordinator节点
pcqlegend·2023-04-20 12:55

理解Druid原理与架构

Druid.io（以下简称Druid）是2013年底开源出来的，主要解决的是对实时数据以及较近时间的历史数据的多维查询提供高并发(多用户)，低延时，高可靠性的问题。
灵佑666·2022-08-25 07:37

Druid.io大查询分析思路

Druid.io是CPU和IO双密集型的大数据组件，因为Druid架构中无论是处理实时数据摄入的peon进程还是存储历史数据的历史节点，在负责数据存储的同时还需要处理其节点上数据的查询。
RantLing·2021-06-11 06:53

==ElasticSearch做实时OLAP框架～实时搜索、统计和OLAP需求，甚至可以作为NOSQL来使用

OLAP框架–lxw的大数据田地http://lxw1234.com/archives/2015/12/588.htm一直想找一个用于大数据平台实时OLAP（甚至是实时计算）的框架，之前调研的Druid（druid.io
葡萄喃喃呓语·2021-05-06 23:15

Apache Druid 单机环境搭建

2019独角兽企业重金招聘Python工程师标准>>>下载http://druid.io/downloads.html下载druid-0.10.1-bin.tar.gz.,mysql-metadata-storage
weixin_33691700·2020-09-15 03:47

配置druid集群

用于存储元数据信息ZooKeeper（集群状态管理服务）用于集群协调DeepStorage（数据文件存储库）HDFS或Cassandra用于存储冷数据下载当前Druid最新版为：0.11.0，下载地址：http://druid.io
王树民·2020-09-15 03:25

第四章：druid.io的功能

目前druid.io的版本已经发展到0.7.1了，其功能也在不断的完善中，功能的基本描述及使用在官方文档上面已经有很详细的介绍。这里将不对功能做过多的描述，重点是在用的过程和怎么用。
fish_cool·2020-08-26 23:39

Druid官方文档翻译-节点类型（IndexingService）

感谢优酷土豆张海雷技术大牛的帮助节点类型（NodeType）IndexingService原文链接：http://druid.io/docs/0.9.0/design/indexing-service.htmlIndexingservice
helloworld1214·2020-08-23 04:35

【Druid】Druid 离线数据导入小试

本次操作时参考Druid官网离线文件数据导入指导进行：http://druid.io/docs/0.10.0/tutorials/tutorial-batch.html首先准备了一份json格式的数据文件
PowerMe·2020-08-22 22:24

【线上】加上重试机制（使用guava-retrying）

遇到的需要重试场景：Druid.IO集群中会遇到边界情况druid集群中有runningtask,对于runningtask会有对应的middlemanager进程去运行.druid提供了对应的查看task
master-dragon·2020-08-10 06:05

Redis分布式锁实现数据写入幂等性

程序简要设计Flink时间窗口计算将计算结果写入Druid.io的拓补图结构如下:Flink从kafka消费数据,进行分别进行计量和及时的计算,最终将计算结果写入到kafka,最终druid.io使用kafka-inex-service
梦想成真那天·2020-08-08 22:41

Druid.io系列（九）：数据摄入

时间：2018-06-1121:57:58阅读：36评论：0收藏：0[点我收藏+]标签：filepreashonsreplicatopicdatetime数据源query1.概述Druid的数据摄入主要包括两大类：1.实时输入摄入：包括Pull,Push两种-Pull:需要启动一个RealtimeNode节点，通过不同的Firehose摄取不同种类的数据源。-Push:需要启动Tranquilit
王树民·2020-07-28 15:33

Druid.io启用SQL支持

Druid.io的SQL功能虽然在试验阶段，但是也支持了大部分的功能，而且还可以通过AvaticaJDBC查看请求的json，有助于我们理解Druid.io的语法。
anchichun6550·2020-07-15 20:46

Druid.io通过NiFi摄取流数据

NiFi是一个易于使用，功能强大且可靠的系统来处理和分发数据。本文讲述如何用NiFi将Http的Json数据传到Druid。国外的一篇文章讲到如何用NiFi将推文传到Druid，https://community.hortonworks.com/articles/177561/streaming-tweets-with-nifi-kafka-tranquility-druid.html，数据来源稍
anchichun6550·2020-07-15 20:46

druid.io 海量实时OLAP数据仓库

druid.io海量实时OLAP数据仓库(翻译+总结)(1)-lpthread-博客园http://www.cnblogs.com/lpthread/p/4519687.html//为什么要用Druid
葡萄喃喃呓语·2020-07-12 16:38

Druid.io SQL乱码问题

1、场景1.1、依赖版本avatica-core1.11.0druid0.12.01.2、问题重现：使用AvaticaJDBC查询语句：SELECTscoreFROMstudentWHEREname='小明'到Druid变成：SELECTscoreFROMstudentWHEREname='??'。2、解决过程思路：检查请求发送前requestbody->检查收到请求后解析的文本2.1、初步怀疑请
anchichun6550·2020-07-07 03:24

druid.io 海量实时OLAP数据仓库 (翻译+总结) (1)

介绍我是NDPmedia公司的大数据OLAP的资深高级工程师，专注于OLAP领域,现将一个成熟的可靠的高性能的海量实时OLAP数据仓库介绍给大家:druid.ioNDPmedia在2014年3月就开始使用,见链接:http://blog.csdn.net/chenyi8888/article/details/37594771druid是个很新的平台，2013年底才开源出来，虽然出现的比较晚，但dr
weixin_30794499·2020-07-05 22:27

海量数据实时OLAP分析系统-Druid.io安装配置和体验

一、Druid简介Druid是一个为大型冷数据集上实时探索查询而设计的开源数据分析和存储系统，提供极具成本效益并且永远在线的实时数据摄取和任意数据处理。主要特性：为分析而设计——Druid是为OLAP工作流的探索性分析而构建。它支持各种filter、aggregator和查询类型，并为添加新功能提供了一个框架。用户已经利用Druid的基础设施开发了高级K查询和直方图功能。交互式查询——Druid的
Metz·2020-07-05 14:18

开源工具之Druid.io

Druid.io是面向海量数据的、用于实时查询与分析的OLAP存储系统。Druid的四大关键特性：亚秒级的OLAP查询分析。
Z_J_T·2020-07-04 09:53

OLAP及分析工具选型

Druid和同类的比较原文：http://druid.io/druid.htmlDruidvsElasticsearchDruidvsKey/ValueStores(HBase/Cassandra)DruidvsRedshiftDruidvsSparkDruidvsSQL-on-Hadoop
Benjamin0705·2020-07-04 02:20

Druid学习笔记-技术

原文：http://druid.io/technologyDruid是一个开源的分布式数据存储。
ai2018·2020-06-27 01:06

druid hadoop批量摄取 之 增量摄取和重建索引

参考官网http://druid.io/docs/0.12.1/ingestion/update-existing-data.html本节假定读者了解如何使用Hadoop进行批量摄取。
pcqlegend·2020-06-25 12:43

druid.io 精确去重【转载】

转载作者：邓钫元快手大数据地址：https://mp.weixin.qq.com/s/jDW1sordtki-O5-tsVE94gBitMap一个int(32bit),无符号数的范围是：[0,4294967295](42亿多，即[0,2^32-1])countdistinct()的每一个distinct值用1bit存储，那么最大就是：(2^32/8bytes=512MB)，即最终结果是要用512M
master-dragon·2020-06-25 02:26

druid.io在安装过程出现元数据库异常问题

在我们启动coordinator的时候用来刷新元数据库，但是发现出现表刷入失败，可以在日志里查看到字符编码问题可以使用mysql的修改字符编码，这个地方和官网的字符编码有点不一样ALTERDATABASEdruidDEFAULTCHARACTERSETutf8COLLATEutf8_general_ci2019-02-26T00:20:54,163WARN[main]io.druid.metada
Xlucas·2020-06-24 19:13

Druid.io系列（四）：索引过程分析

Druid底层不保存原始数据，而是借鉴了ApacheLucene、ApacheSolr以及ElasticSearch等检索引擎的基本做法，对数据按列建立索引，最终转化为Segment，用于存储、查询与分析。首先，无论是实时数据还是批量数据在进入Druid前都需要经过IndexingService这个过程。在IndexingService阶段，Druid主要做三件事：第一，将每条记录转换为列式(co
njpjsoftdev·2020-06-24 17:31

Druid.io系列（六）：问题总结

我们在生产环境中使用Druid也遇到了很多问题，通过阅读官网文档、源码以及社区提问解决或部分解决了很多问题，现将遇到的问题、解决方案以及调优经验总结如下：问题一：Hadoopbatchingestion失败，日志错误为“Nobuckets?…“解决方案：这个问题当初困扰了我们大概一周的时间，对于大部分刚接触Druid人来说基本都会遇到时区问题。其实问题很简单，主要在于集群工作时区与导入数据时区不一
njpjsoftdev·2020-06-24 17:31

Druid.io系列（五）：查询过程

Druid使用JSONoverHTTP作为底层的查询语言，不过强大的社区也为我们提供了多种查询方式，比如Python接口pydruid、R接口RDruid、JavaScript接口plywood、类SQL接口plyql、PHP接口druid-php等。Druid查询目前只支持单表操作，基本涵盖了ANSISQL中常用的查询语句，包括：聚合类(Aggregation)查询时间序列查询TopN查询Gro
njpjsoftdev·2020-06-24 17:00

Druid（Druid.io）安装（单机&集群）

Druid安装部署一、环境需求Java8（8u92+）Linux,MacOSX,orotherUnix-likeOS（不支持Windows系统）Zookeeper(3.4+)Druid下载：官网：https://druid.apache.org，进入官网后点击“Download”,进入下载界面，当前最新版本0.16，这里我们选择编译版本下载；如果想下载历史版本，可以下拉，点击“Apacherele
凌晨1点21分·2020-06-22 20:38

Druid官方文档翻译-概述

感谢优酷土豆张海雷技术大牛的帮助概述（Overview）原文链接：http://druid.io/docs/0.9.0/design/design.html什么是DruidDruid的创建允许获取大量很少变化的数据集
helloworld1214·2020-02-11 05:46

Druid：Integration with Kafka

1.基本配置Druid使用Kafka作为数据源的基本配置方式不是本文介绍的重点，可以参考Druid的官方文档进行配置：http://druid.io/docs/latest/ingestion/stream-ingestion.html2
MeazZa·2019-12-25 01:11

druid.io 0.12.2 升级到0.15.0 数据摄入过慢问题排查

问题在升级0.12.2到0.15.0遇到了一个很奇怪的问题，不论实时写入(tranquility)还是hadoop离线摄入数据摄入都奇慢无福，知道后来报错。排查首先看实时摄入日志发现实时摄入任务有以下日志。2019-08-09T19:00:12,919INFO[task-runner-0-priority-0]org.apache.druid.segment.realtime.plumber.Re
Moon_Storm·2019-12-12 09:49

druid

Druid.io（以下简称Druid）是面向海量数据的、用于实时查询与分析的OLAP存储系统。Druid的四大关键特性总结如下：亚秒级的OLAP查询分析。
大诗兄_zl·2019-12-06 23:53

superset 初探

前置知识http://pandas.pydata.org/pandas-docs/stable/https://www.sqlalchemy.org/http://druid.io/https://www.anaconda.com
brookin·2019-06-27 17:00

【干货】一文理解Druid原理架构（时序数据库，不是ali的数据库连接池）

Druid.io（以下简称Druid）是2013年底开源出来的，主要解决的是对实时数据以及较近时间的历史数据的多维查询提供高并发(多用户)，低延时，高可靠性的问题。
首席数据师·2018-09-10 21:12

elasticsearch-03.从elasticsearch中将数据导出到json文件中

最近公司在处理大数据方面做技术选型工作，目前进入视野范围的有elasticsearch，crate，druid.io。本文将讲述如何将elasticsearch中的数据导出到json文件。
我是笑嘻嘻·2018-05-24 13:49

使用ElasticSearch作为大数据平台的实时OLAP框架 – lxw的大数据田地

关键字：elasticsearch、olap一直想找一个用于大数据平台实时OLAP（甚至是实时计算）的框架，之前调研的Druid（druid.io）太过复杂，整个Druid由5、6个服务组成，而且加载数据也不太方便
·2018-05-09 15:00

Druid.io实时大数据原理介绍

Druid.io是“神马”？Druid.io是一个开源的，分布式的，列式存储的，适用于实时数据分析的OLAP系统。它能够快速聚合、灵活过滤、毫秒级查询、和低延迟数据导入。
小黑妹·2018-04-01 22:50

druid部署

Quickstart单机测试http://druid.io/docs/0.10.1/tutorials/quickstart.html（1）Gettingstarted下载安装Druid:curl-Ohttp
大诗兄_zl·2018-02-11 14:29

在SpringBoot使用Druid进行数据监控

然后它们的官网http://druid.io/在官网中给出了详细的各个信息可以进行参考，最新的版本等。本文重点不在D
weixin_34227447·2018-01-18 09:00

第七章：druid.io实践分享之Realtime＋kafka 二

本节重点介绍在运行过程中，这两个组件会出现什么问题及解决方式场景如下：场景1、第一次上线kafka的partition与realtime的个数关系场景2、kafka数据写入最优方式场景3、realtime配置文件在实际过程的变化及重点参数场景4、segment堆积产生的原因及如何避免场景5、realtime对JVM的要求场景6、多个dataSource，大小表拆分，多topic消费场景一初次上线要
fish_cool·2016-08-18 10:47

第七章：druid.io实践分享之realtime+kafka 一

目前使用druid已经有3年了，在整个国内互联网广告行业了解下来，我们算较早使用的团队。其优势太明显了，就是快，绝大多数的场景都可以在毫秒或秒级响应（特别是数据量足够大的情况下，还能保持良好的速度）。其二就是提供的功能特别能解决我们业务上的问题。其三整个系统相对来说还是比较封闭的，减少了不必要的依赖，json的灵活性提供了更好的二次开发的潜力。其四整体源码风格是函数式，可以使之前面向对象开发的工程
fish_cool·2016-08-16 13:18

druid.io分享PPT

最近去做了一次druid科普分享，附上PPT：http://pan.baidu.com/s/1c2v8the如有错误请指正。
fish_cool·2016-07-31 18:15

druid.io 从本地批(batch)导入数据与从hdfs 批导入数据的index task配置

先搭建几个节点：coordinator、historical、overlord、middleManager。并且启动服务。前提：需要准备好mysql（http://my.oschina.net/u/2460844/blog/637334 该文中说明了mysql的配置）、hdfs集群、zookeeper(单机版就可以)1.__common 配置： druid.extensions.coordinat
一只小江·2016-03-29 19:00

druid.io 使用hdfs作为deep storage 出现scheme: hdfs错误

使用hdfs作为druid.io的deepstorage，但是在提交任务时却出现了错误。
一只小江·2016-03-29 18:00

druid.io 使用hdfs作为deep storage 不能保存

前提：---a、首先需要你自己搭建一个hadoop集群，该集群自带hdfs功能。---b、第二点在你的druid的集群每一台机器配置hadoop-client。并且需要修改conf，可以直接将hadoop集群的conf目录拷贝过来。（注意：如果conf中的配置文件使用了机器名，这时你需要拷贝集群中机器的/etc/hosts中的必要内容，添加到本机的/etc/hosts中，假设192.168.121
一只小江·2016-03-23 19:00

druid.io 使用indexing service 配置出现 - Received FAILED

多节点部署druid.io，使用indexingservice进行批量数据导入，出现问题。
一只小江·2016-03-22 19:00
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他