E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Doris
【遇见
Doris
】
Doris
on ES在快手商业化的最佳实践
贺祥快手商业化团队数据架构高级工程师主要负责商业化报表引擎快手商业化报表引擎为外部广告主提供广告投放效果的实时多维分析报表在线查询服务,以及为商业化内部各系统提供多维分析报表查询服务。致力于解决多维分析报表场景的高性能、高并发、高稳定的查询问题。1业务场景介绍1.1服务介绍本文主要侧重介绍DorisonES(DOE)在我们业务场景的实践,所以我们的数据架构在这里只做简单介绍,如上如图所示。总体来说
ApacheDoris
·
2024-02-08 11:04
数据仓库
大数据
分布式
数据库
java
【
Doris
】
Doris
on ES在快手商业化的最佳实践
快手商业化报表引擎为外部广告主提供广告投放效果的实时多维分析报表在线查询服务,以及为商业化内部各系统提供多维分析报表查询服务。致力于解决多维分析报表场景的高性能、高并发、高稳定的查询问题。1业务场景介绍1.1服务介绍本文主要侧重介绍DorisonES(DOE)在我们业务场景的实践,所以我们的数据架构在这里只做简单介绍,如上如图所示。总体来说数据分为实时+离线两块事实数据写入,外加mysqlbinl
九层之台起于累土
·
2024-02-08 11:34
【Doris】
【BigData】
elasticsearch
大数据
kafka
数据库
文末附群|
Doris
on ES在快手商业化的最佳实践
贺祥快手商业化团队数据架构高级工程师主要负责商业化报表引擎快手商业化报表引擎为外部广告主提供广告投放效果的实时多维分析报表在线查询服务,以及为商业化内部各系统提供多维分析报表查询服务。致力于解决多维分析报表场景的高性能、高并发、高稳定的查询问题。1业务场景介绍1.1服务介绍本文主要侧重介绍DorisonES(DOE)在我们业务场景的实践,所以我们的数据架构在这里只做简单介绍,如上如图所示。总体来说
小晨说数据
·
2024-02-08 11:33
Doris专栏
数据库
分布式
java
xhtml
大数据
Apache
Doris
用户案例库
按行业分类互联网京东ApacheDoris在京东广告平台的应用ApacheDoris在京东双十一大促中的实践京东物流基于
Doris
的亿级数据自助探索应用ApacheDoris物化视图与索引在京东的典型应用
hf200012
·
2024-02-08 11:03
Doris
大数据
doris
使用navicat导出mysql离线数据后,再导入
doris
的方案
一、背景
doris
本身是支持直接从mysql中同步数据的,但有时候,客户不允许我们使用
doris
直连mysql,此时就需要客户配合将mysql中的数据手工导出成离线文件,我们再导入到
doris
中二、环境
austin1000
·
2024-02-07 16:23
数据库
mysql
doris
navicat
Doris
中的本地routineload环境,用于开发回归测试用例
----------------2024-2-6-更新--------------
doris
的routineload,就是从kafka中加载数据到表,特点是定时、周期性的从kafka取数据。
howard_shooter
·
2024-02-07 10:24
Doris
数据库
kyuubi 接入starrocks |
doris
kyuubi接入starrocks一、环境Hadoop集群组件版本Hadoop3.1.1spark3.Xzookeeper3.XHive3.Xkyuubi版本1.7.1starrocks2.X 已将kyuubi部署到yarn上,并且接入了spark3引擎,并通过Ambari进行kyuubi组件的管理,下面步骤为新增对starrocks集群的访问。二、接入步骤 假设安排hostA、hostB两个节点
甜甜的巧克力阿
·
2024-02-07 09:48
大数据相关
大数据
kyuubi
starrocks
doris
Doris
集群部署
一、
Doris
默认端口号注意:当部署多个FE实例时,要保证FE的http_port配置相同。
一心猿
·
2024-02-05 21:34
大数据
大数据
D73 2组阿德
doris
+《活出生命的意义》读书笔记
曾经看过一个故事在一间病房里,新住进来两个病人,两个人病情差不多,医生在诊断之后,说两个人可能只有一两年的时间了。他们的家属每天都会过来看望和陪伴他们。A的家属,每次来都会带一束花,穿着整齐,精神满满地过来看他,每次都告诉他:"家里的事,你别担心,我们会处理好的,你就安心养病就可以。”而B的家属他的妻子则完全相反,每天都蓬头垢面,看着邋里邋遢地,每次来都拉着B的手向他哭诉:“爸妈他们本来身体就不好
阿德doris
·
2024-02-04 20:40
Doris
(三)-集群部署3个FE+3个BE
前置1)配置java环境1st解压jdk包unzipjdk1.8.0_171-amd64.zip2nd配置环境变量vim/etc/profile#文末添加JAVA_HOME=/data/jdk1.8.0_171-amd64PATH=$JAVA_HOME/bin:$PATHexportPATHJAVA_HOME3rd启用配置source/etc/profile4th验证java-version2)下
BatmanWayne
·
2024-02-04 05:40
数据仓库
doris
数据仓库
集群
Doris
bitmap实现留存计算
一、背景什么是留存比如用户今天使用某应用,明天还继续使用该应用,叫做留存。bitmap原理基本思想是用数组下标表示元素的值,用0,1标记元素是否存在,1表示存在,0表示不存在。由于使用bit为单位来存储数据,大大节省了存储空间。例如:给定一个数组array=[1,3,5];为什么要用bitmap?bitmap为什么能计算留存?bitmap为什么只支持int类型?①节省存储空间。②留存实际上是求交集
小晨说数据
·
2024-02-04 04:06
java
python
算法
数据结构
数据分析
Doris
的12天减肥日记-第5天
去平安了解了情况。接受温老师杨老师的面试邀请下午去助理面试,主要是了解平某的情况事情会一件一件慢慢来和食物一样清新不油腻图片发自App
Dorisyoung
·
2024-02-03 20:22
Apache
Doris
整合 FLINK CDC + Iceberg 构建实时湖仓一体的联邦查询
1概况本文展示如何使用FlinkCDC+Iceberg+
Doris
构建实时湖仓一体的联邦查询分析,
Doris
1.1版本提供了Iceberg的支持,本文主要展示
Doris
和Iceberg怎么使用,大家按照步骤可以一步步完成
京东云技术团队
·
2024-02-03 02:58
apache
flink
大数据
记
doris
加载压缩文件(lzo、snappy)pr
做了一个case,是
doris
支持加载lzo压缩文件。
howard_shooter
·
2024-02-02 23:41
Doris
信息技术笔记
压缩
streampark+flink一键整库或多表同步mysql到
doris
实战
streampark+flink一键整库或多表同步mysql到
doris
实战,此应用一旦推广起来,那么数据实时异构时,不仅可以减少对数据库的查询压力,还可以减少数据同步时的至少50%的成本,还可以减少30%
京东云技术团队
·
2024-02-01 12:42
flink
mysql
大数据
【数据结构与算法】之哈希表系列-20240131
.两个列表的最小索引总和二、1122.数组的相对排序三、1002.查找共用字符四、771.宝石与石头五、961.在长度2N的数组中找出重复N次的元素一、599.两个列表的最小索引总和简单假设Andy和
Doris
敲代码敲到头发茂密
·
2024-02-01 06:35
数据结构与算法
散列表
数据结构
python
leetcode
开发语言
算法
Apache
Doris
2.0.4 版本正式发布
官网下载:https://
doris
.apache.org/download/GitHub下载:h
SelectDB技术团队
·
2024-01-31 03:38
apache
大数据
数据仓库
数据分析
数据库
Apache
Doris
doris
安装文档翻译-标准部署(Standard deployment)
文档地址:对应1.2版本Standarddeployment-ApacheDorisThistopicisaboutthehardwareandsoftwareenvironmentneededtodeployDoris,therecommendeddeploymentmode,clusterscaling,andcommonproblemsoccurincreatingandrunningclu
zxfBdd
·
2024-01-29 06:11
大数据
doris
1.
doris
简介
doris
概述ApacheDoris是现代化的MPP(MassivelyParallelProcessing大规模并行处理)框架分析性数据库,有效支持实时数据分析,分布式架构简单,易于维护,支持10PB
夹毛局的程序员
·
2024-01-28 16:28
doris
大数据
2.
doris
数据类型与分区
用户创建与授权--创建用户createuser'test'identifiedby'test';--创建数据库createdatabasetest_db;--授权用户grantallontest_dbtotest;建表语法CREATE[EXTERNAL]TABLE[IFNOTEXISTS][database.]table_name(column_definition1[,column_defini
夹毛局的程序员
·
2024-01-28 16:28
doris
大数据
3.
doris
Rollup与索引
RollupROLLUP在多维分析中是“上卷”的意思,即将数据按某种指定的粒度进行进一步聚合基本概念在
Doris
中,我们将用户通过建表语句创建出来的表称为Base表(BaseTable)。
夹毛局的程序员
·
2024-01-28 16:28
doris
doris
4.
Doris
数据导入导出
导入
Doris
支持多种数据源导入如S3HDFSKafka本地文件Binlog等官方文档导入的原子性保证
Doris
的每一个导入作业,不论是使用BrokerLoad进行批量导入,还是使用INSERT语句进行单条导入
夹毛局的程序员
·
2024-01-28 16:27
doris
doris
Doris
系列12-数据导入之Broker Load
名词解释:Frontend(FE):
Doris
系统的元数据和调度节点。在导入流程中主要负责导入plan生
只是甲
·
2024-01-28 15:29
Doris
数据库误删除恢复
如果不小心误删除了表,
doris
提供了恢复机制,但时间间隔不能超过一天,记得要迅速首先查看当前能恢复的记录有那些可以通过SHOWCATALOGRECYCLEBIN来查询当前可恢复的元信息,也可以在语句后面加
jinqianwang
·
2024-01-28 05:47
数据库
Doris
Apache
Doris
的Rollup和前缀索引
目录1.Aggregate表(Uniq表同理)添加rollup2.Duplicate表添加rollup3.key和前缀索引的关系、查询命中前缀索引的规则3.1key和前缀索引的关系3.2查询命中前缀索引的规则1.Aggregate表(Uniq表同理)添加rollup添加rollupmysql>mysql>altertabletable1addrolluprollup_city(name,city_
Bulut0907
·
2024-01-27 17:09
#
Apache
Doris
Apache
Doris
Rollup
前缀索引
MPP数据库
Aggregate
多场景下 3-11 倍性能提升,Apache
Doris
1.2 新版本性能公开
自ApacheDoris1.1.0版本发布距今已经有数月之久,在这一期间,我们重新思考并确立了社区新版本发布的流程,正式引入了LTS(Long-TermSupport,长周期支持)版本的概念,在1.1.x系列版本中不再引入大的功能Feature、仅提供问题修复和稳定性改进,力求满足更多社区用户在稳定性方面的高要求。值得高兴的是,这一行动已经有了明显的成效,目前1.1.x系列最新版本的稳定性经受了众
SelectDB技术团队
·
2024-01-27 17:36
apache
java
数据库
大数据
c++
文本检索性能提升 40 倍,Apache
Doris
倒排索引深度解读
在OLAP领域,ApacheDoris已成为高性能、高并发以及高时效性的代名词。在面向海量数据的复杂查询需求时,除硬件配置、集群规模、网络带宽等因素外,提升性能的核心在于如何最大程度地降低SQL执行时的CPU、内存和IO开销,而这其中数据库索引扮演着至关重要的角色。合理的索引结构设计可以跳过大量不必要的底层数据读取、快速检索定位到所需数据,并进一步提升后续计算的执行效率、降低查询SQL的运行时间和
SelectDB技术团队
·
2024-01-27 17:35
大数据
数据库
elasticsearch
数据分析
doris
Doris
表格数据信息查看
1.查看当前数据库下所有表的信息SHOWTABLESTATUS;2.查看当前数据库表名包含test的数据表信息SHOWTABLESTATUSLIKE“%test%”;
荣~博客
·
2024-01-27 14:25
mysql
doris
Doris
与 Clickhouse 对比(一)
1.常用引擎☕️
Doris
表数据模型duplicatekey场景:适用于数据无需提前聚合的分析业务。⚠️注意点:只指定排序列,相同的行并不会合并。uniquekey场景:适用于有更新需求的业务。
大数据左右手
·
2024-01-27 08:14
Doris
Doris
clickhouse
Doris
Load方式
导入(Load)功能就是将用户的原始数据导入到
Doris
中。导入成功后,用户即可通过Mysql客户端查询数据。
Doris
支持多种导入方式。
贾斯汀玛尔斯
·
2024-01-27 02:53
hadoop
Doris
Doris
Doris
--基础--3.4--SQL--表的基本概念
Doris
–基础–3.4–SQL–表的基本概念1、基本概念在
Doris
中,数据都以表(Table)的形式进行逻辑上的描述。
勤径苦舟
·
2024-01-27 02:53
Doris
sql
数据库
大数据
Apache
Doris
数据模型介绍
ApacheDoris代码仓库地址:apache/incubator-
doris
欢迎大家关注加星本文档主要从逻辑层面描述
Doris
的数据模型以帮助用户更好的使用
Doris
应对不同的业务场景。
hf200012
·
2024-01-27 02:53
Doris
apache
数据库
database
Doris
基本概念介绍
文章目录简介使用数据模型aggregate模型Unique模型Duplicate模式数据划分PartitionBucket创建库、表简介ApacheDoris是一个基于MPP架构的高性能、实时的分析型数据库,以极速易用的特点被人们所熟知,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景基于此,ApacheDoris能够较好的满足报表分析、
坚持是一种态度
·
2024-01-27 02:50
大数据开发
学习
笔记
doris
Doris
系列3-基础使用指南
基础使用指南
Doris
采用MySQL协议进行通信,用户可通过MySQLclient或者MySQLJDBC连接到
Doris
集群。
只是甲
·
2024-01-26 17:11
Apache
Doris
ODBC Mysql外表在Ubuntu下使用方法及配置
今天是2021年最后一天,提前祝大家元旦快乐,这也是2021年最后一篇文章,后续会给大家带来更多关于
Doris
的文章,同时也希望
Doris
2022年起飞,顺利从Apache孵化器毕业成顶级项目,给大家带来更快
张家锋
·
2024-01-26 09:23
Doris
的 RPC
doris
中使用了gRPC(proto)和thrift,两种RPC框架都用了,不准确的说,gRPC用于BE-BE之间通讯,thrift用于FE-BE之间通讯。
howard_shooter
·
2024-01-25 13:20
rpc
网络协议
网络
Doris
为什么国内大厂都会使用它
Doris
介绍官方地址:ApacheDoris:Open-SourceReal-TimeDataWarehouse-ApacheDorisApacheDoris源于百度2008年启动的产品Palo在2018
softshow1026
·
2024-01-25 08:12
数学建模
Apache
Doris
(七十):
Doris
优化
Doris
中的优化涉及到的方面非常多,例如在分区、分桶、join、查询、参数等各个方面都有优化对应策略,具体可以参考前面每个部分内容,这里大体总结下
Doris
中的优化相关内容:执行SQL慢可以通过
Doris
IT贫道
·
2024-01-24 14:08
大数据OLAP体系技术栈
apache
doris
Apache
Doris
(六十八): DataX DorisWriter - (2) -
Doris
参数介绍
个人主页:IT贫道-CSDN博客私聊博主:私聊博主加WX好友,获取更多资料哦~博主个人B栈地址:豹哥教你学编程的个人空间-豹哥教你学编程个人主页-哔哩哔哩视频目录编辑
IT贫道
·
2024-01-24 14:08
大数据OLAP体系技术栈
Apache
Doris
Doris
Apache
Doris
(六十七): DataX DorisWriter - (1) - 源码编译及集成
个人主页:IT贫道-CSDN博客私聊博主:私聊博主加WX好友,获取更多资料哦~博主个人B栈地址:豹哥教你学编程的个人空间-豹哥教你学编程个人主页-哔哩哔哩视频目录
IT贫道
·
2024-01-24 14:38
大数据OLAP体系技术栈
Apache
Doris
Doris
Apache
Doris
(六十九):JDBC Catalog
个人主页:IT贫道-CSDN博客私聊博主:私聊博主加WX好友,获取更多资料哦~博主个人B栈地址:豹哥教你学编程的个人空间-豹哥教你学编程个人主页-哔哩哔哩视频目录1.创建Catalog
IT贫道
·
2024-01-24 14:36
大数据OLAP体系技术栈
Apache
Doris
apache
doris
大数据
Doris
(五十八):SQL函数之字符串函数(二)
文章目录SQL函数之字符串函数(二)一、group_concat(VARCHARstr[,VARCHARsep])
Lansonli
·
2024-01-24 05:25
大数据OLAP技术体系
sql
数据库
Doris
大数据
Doris
实战笔记
Doris
实战笔记本文基于
Doris
1.2.4.1版本部署,其他版本不同之处还请见谅注意:在
Doris
官网下载时,记得查询自己的服务器cpu核心架构,下载合适的架构才能运行
Doris
安装部署
Doris
在安装部署时
Mastersheaven
·
2024-01-23 22:47
docker
apache
datagrip或navicat连接
doris
数据库
首先一般在公司连的话会有一个证书公司一般内部都会提供的工具你导入这个证书的配置文件到工具即可连接公司的数据库首先看datagrip连接
doris
新建一个datasource选择mysql然后填入对应的ip
后季暖
·
2024-01-23 11:49
安全
用flinkcdc debezium来捕获数据库的删除内容
我在用flinkcdc把数据从sqlserver写到
doris
正常情况下sqlserver有删除数据,
doris
是能捕获到并很快同步删除的。
后季暖
·
2024-01-23 11:17
数据库
Goodbye My Lover
Doris
DidIdisappointyouorletyoudown?我是否让你失望或令你萎靡ShouldIbefeelingguiltyorletthejudgesfrown?我是否应感到有罪或接受罪责'CauseIsawtheendbeforewe'dbegun,因为我们从开始就看到了结局YesIsawyouwereblindedandIknewIhadwon.是的我看到了你的盲目并且知道我已经赢了So
DroisAndEthan
·
2024-01-23 04:46
Apache
doris
Datax DorisWriter扩展使用方法
DataX是阿里云DataWorks数据集成的开源版本,在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX实现了包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS等各种异构数据源之间高效的数据同步功能ApacheDoris是一个现代化的MP
张家锋
·
2024-01-22 15:27
2019-11-16 两个列表的最小索引总和
假设Andy和
Doris
想在晚餐时选择一家餐厅,并且他们都有一个表示最喜爱餐厅的列表,每个餐厅的名字用字符串表示。你需要帮助他们用最少的索引和找出他们共同喜爱的餐厅。
Antrn
·
2024-01-22 14:43
flinkcdc 3.0 尝鲜
本文会将从环境搭建到demo来全流程体验flinkcdc3.0包含了如下内容flink1.18standalone搭建
doris
1fe1be搭建整库数据同步测试各同步场景从检查点重启同步任务环境搭建flink
Antg
·
2024-01-22 03:51
flinkcdc
flinkcdc
flink
doris
Apache
Doris
数据库有哪些应用场景?
对于
Doris
,一直听圈内的人在说,吹得神乎其神,但到底有多强,从来没有真正的去尝试一把。直到这次,被人狠狠上了一课。
禹鼎侯
·
2024-01-21 18:14
数据库
数据库
apache
全文检索
clickhouse
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他