E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Doris动态分区
Doris
https://
doris
.apache.org/zh-CN/docs/dev/data-table/data-modelSHOWFRONTENDS;SHOWBACKENDS;SHOWBROKER;http
The_Well
·
2023-06-19 19:30
大数据
Doris
入门到精通-阶段二(基本概念&使用)
简介在
Doris
中,数据都以关系表(Table)的形式进行逻辑上的描述。
顶尖高手养成计划
·
2023-06-19 19:00
Doris
数据库
Doris
入门篇-分区分桶实验
分区的基本操作添加分区ALTERTABLEv2x_olap_database.government_carADDPARTITIONp20221203VALUESLESSTHAN("2022-12-04");
动态分区
表不能添加分区
顶尖高手养成计划
·
2023-06-19 19:00
Doris
数据库
Apache
Doris
1.2.4 Release 版本正式发布|版本通告
在1.2.4版本中,
Doris
团队已经修复了自1.2.3版本发布以来近150个问题或性能改进项。同时,1.2.4版本也作为1.2.3的迭代版本,具备更高的稳定性,建议所有用户升级到这个版本。
·
2023-06-19 19:03
Apache
Doris
1.2.1 Release 版本正式发布|版本通告
亲爱的社区小伙伴们,我们很高兴地宣布,ApacheDoris于2023年1月4日迎来1.2.1Release版本的正式发布!在新版本中,ApacheDoris团队修复了自1.2.0版本发布以来约200个问题或性能改进项。同时,1.2.1版本作为1.2LTS的第一个迭代版本,具备更高的稳定性,建议用户升级到这个版本。GitHub下载:https://github.com/apache/dor...官
·
2023-06-19 19:57
Apache
Doris
1.2.2 Release 版本正式发布
亲爱的社区小伙伴们,我们很高兴地宣布,ApacheDoris于2023年2月15日迎来1.2.2Release版本的正式发布!在新版本中,ApacheDoris团队修复了自1.2.1版本发布以来超过200个问题或性能改进项。同时,1.2.2版本作为1.2LTS的迭代版本,具备更高的稳定性,建议用户升级到这个版本。GitHub下载:https://github.com/apache/dor...官网
·
2023-06-19 19:57
Apache
Doris
1.1.4 版本正式发布!
作为1.1LTS(Long-termSupport,长周期支持)版本基础之上的Bugfix版本,在ApacheDoris1.1.4版本中,
Doris
团队修复了自1.1.3版本以来的约60个Issue或性能优化项
·
2023-06-19 19:24
Apache
Doris
1.1.3 版本正式发布!|版本通告
亲爱的社区小伙伴们,我们很高兴地告诉大家,在2022年10月17日我们迎来了ApacheDoris1.1.3版本的正式发布。作为1.1LTS版本基础之上的Bugfix版本,在1.1.3版本中有超过80个Issue或性能优化项被合入,系统稳定性和性能得以进一步加强,推荐所有用户下载和使用。下载使用GitHub下载:https://github.com/apache/dor...官网下载页:https
·
2023-06-19 19:23
Doris
集群的安装部署
目录安装与部署软硬件配置1、机器选择2、软件选择3、环境信息修改和部署架构4、安装部署
Doris
5、启动FE6、在FE节点启动MySQL客户端7、在BE节点启动be8、查看BE状态8、查看FE状态是否正常
Xlucas
·
2023-06-19 19:35
Doris
Doris
OLAP
MPP
Apache
Doris
1.2.5 版本正式发布
在1.2.5版本中,
Doris
团队已经修复了自1.2.4版本发布以来近210个问题或性能改进项。同时,1.2.5版本也作为1.2.4的迭代版本,具备更高的稳定性,欢迎大家下载体验。
·
2023-06-19 19:09
Doris
-1.2.3 详细安装教程&
doris
-1.2.3性能测试教程
这是一个详细的安装和测试教程,包含了二进制包的版本选择和下载,FE、BE节点的部署,ssb数据集性能测试和tpch数据集性能测试。都有详细的教程和截图、步骤讲解目录一、二进制包下载1、下载2、选择下载包2.1BE下载2.2FE下载2.3安装JavaUDF函数二、安装部署1、文件归一2、添加环境变量3、修改可打开文件数(每个节点)添加4、部署FE节点1.1解压文件1.2创建FE元数据存储的目录1.3
小雏菊的成长
·
2023-06-19 19:32
大数据开发相关技术学习笔记
服务器
linux
doris
MySQL
分布式数据库
Apache
Doris
基于
Doris
0.15-1.0MPPMassivelyParallelProcessing大规模并行处理。
wqy19941008
·
2023-06-19 11:37
学习总结
java
数据库
开发语言
Doris
常用命令
ApacheDoris是一个现代化的MPP分析型数据库产品。仅需亚秒级响应时间即可获得查询结果,有效地支持实时数据分析。ApacheDoris的分布式架构非常简洁,易于运维,并且可以支持10PB以上的超大数据集。ApacheDoris可以满足多种数据分析需求,例如固定历史报表,实时数据分析,交互式数据分析和探索式数据分析等。令您的数据分析工作更加简单高效!dorisFE启动与停止:./start_
如是我闻.春风不渡
·
2023-06-19 11:37
大数据
database
数据仓库
Doris
开发指南
1.
Doris
简介1.1
Doris
概述ApacheDoris由百度大数据部研发(之前叫百度Palo,2018年贡献到Apache社区后,更名为
Doris
),在百度内部,有超过200个产品线在使用,部署机器超过
_777.....
·
2023-06-19 11:37
Doris
hadoop
sql
数据仓库
database
大数据
Doris
FE启动流程源码解读
FE启动流程分析
Doris
中FE主要负责接收和返回客户端请求、元数据以及集群管理、查询计划生成等工作。本文主要看一下
Doris
的fe在启动时做了什么。
BigDataMK
·
2023-06-19 11:36
大数据
doris
mpp
数据库
大数据
数据库架构
Doris
数据副本分区均衡策略,fromBe has no replica in the map, can‘t move
文章目录前言一、分区负载均衡二、问题来了1.进一步验证2.解决前言当前使用
Doris
版本为0.14某天观察到线上
Doris
集群资源使用情况,发现整体上内存、CPU使用率较低,为降低成本进行了一波缩容操作
柏油
·
2023-06-19 11:36
大数据
java
运维
apache
Doris
扩缩容和副本均衡
扩缩容和副本均衡对于集群节点发生变化(扩缩容)时,集群内部的tablet是如何以一定的策略完成数据的重分布,从而达到每个be能够分布尽可能数量相同的tablet。同时,集群内部某些tablet由于某些原因发生损坏时,这些tablet的自动修复工作又是如何进行的呢?为什么通常需要推荐三副本,不采用2副本或者1副本存储?这个和副本自动修复机制有什么关联吗?一一来看上面的问题之前,我们先看一下整个tab
BigDataMK
·
2023-06-19 11:05
doris
数据库
开发语言
大数据
Spark DPP(
动态分区
裁剪)导致的DataSourceScanExec NullPointerException问题分析以及解决
背景本文基于spark3.1.2,且运行在yarn模式下最近在调试sparksql的时候遇到了空指针的问题,如下:Causedby:java.lang.NullPointerExceptionatorg.apache.spark.sql.execution.DataSourceScanExec.$init$(DataSourceScanExec.scala:57)atorg.apache.spar
鸿乃江边鸟
·
2023-06-19 07:42
spark
大数据
分布式
spark
big
data
scala
大数据
Doris
(三十九):Spark Load 注意事项
文章目录SparkLoad注意事项SparkLoad注意事项1、现在Sparkload还不支持
Doris
表字段是String类型的导入,如果你的表字段有String类型的请改成varchar类型,不然会导入失败
Lansonli
·
2023-06-19 03:35
大数据OLAP技术体系
spark
大数据
hadoop
Apache
Doris
Doris
Doris
单机部署
文章目录1.前言2.安装3.启动4.使用5.记一次安装报错1.前言 ApacheDoris是一款现代MPP(MassivelyParallelProcessing大规模并行处理)的分布式SQL分析数据库,所谓分析数据库就是将其数据集分布在许多机器或节点上,以处理大量数据,采用Apache2.0认证授权。它的前身是原百度Palo,由百度在2017年开源,2018年进入Apache孵化器。Apach
小强签名设计
·
2023-06-18 21:27
数据库
Doris
Doris
Spark Load 记录
环境
doris
:selectdb-
doris
-1.2.0-1-caeed14spark:2.4.6Hadoop:3.1.0步骤●配置环境:参考官网DorisSparkLoad●配置示例○fe.confenable_spark_load
本旺
·
2023-06-18 15:23
spark
hadoop
大数据
doris
用户权限设置
创建角色语法:CREATEROLE[IFNOTEXISTS]role1;该语句创建一个无权限的角色,可以后续通过GRANT命令赋予该角色权限。例子mysql>CREATEROLEtest;QueryOK,0rowsaffected(0.01sec)删除角色语法:DROPROLE
贾斯汀玛尔斯
·
2023-06-18 15:23
Doris
Doris
Doris
之资源管理
资源管理为了节省
Doris
集群内的计算、存储资源,
Doris
需要引入一些其他外部资源来完成相关的工作,如Spark/GPU用于查询,HDFS/S3用于外部存储,Spark/MapReduce用于ETL,
墨卿风竹
·
2023-06-18 15:51
spark
hadoop
big
data
Doris
支持spark导入设计文档
Doris
支持spark导入设计文档背景
Doris
现在支持Brokerload/routineload/streamload/minibatchload等多种导入方式。
墨卿风竹
·
2023-06-18 15:51
spark
big
data
hadoop
大数据
Doris
(三十五):
Doris
创建Spark Resource
文章目录
Doris
创建SparkResource一、创建SparkResource二、分配资源权限
Doris
创建SparkResource一、创建SparkResourceSpark作为一种外部计算资源在
Lansonli
·
2023-06-18 15:50
大数据OLAP技术体系
spark
大数据
分布式
Apache
Doris
Doris
大数据
Doris
(二十六):Broker Load基本原理和语法介绍
BrokerLoad基本原理和语法介绍一、基本原理二、BrokerLoad语法BrokerLoad基本原理和语法介绍ApacheDoris架构中除了有BE和FE进程之外,还可以部署Broker可选进程,主要用于支持
Doris
Lansonli
·
2023-06-18 12:07
大数据OLAP技术体系
大数据
Apache
Doris
Doris
Doris
开发手记4:倍速性能提升,向量化导入的性能调优实践
正好有
Doris
社区的小伙伴吐槽向量化的导入性能表现并不是很理想,就借这个机会对之前开发的向量化导入的工作进行了性能调优,取得了不错的优化效果。
LeeHappen
·
2023-06-18 01:23
Doris
面试题二十道
问题1:什么是
Doris
?答案:
Doris
(前身为Palo)是一款开源的分布式列式存储计算引擎,用于快速查询和分析大规模数据。
MIDSUMMER_yy
·
2023-06-18 01:08
大数据
大数据
Doris
(三十三):Spark集群搭建
文章目录Spark集群搭建一、SparkStandalone集群搭建1、下载Spark安装包2、上传、
Lansonli
·
2023-06-17 18:46
大数据OLAP技术体系
spark
大数据
hadoop
Apache
Doris
Doris
大数据
Doris
(四十三):kafka 简单json格式数据导入到
Doris
文章目录kafka简单json格式数据导入到
Doris
一、创建
Doris
表二、创建Kafkatopic三、创建Ro
Lansonli
·
2023-06-17 14:39
大数据OLAP技术体系
json
java
开发语言
Apache
Doris
大数据
SQL——条件判断语句
常用于
动态分区
!
Parker_1314
·
2023-06-17 12:13
Hive
sql
hive
使用Apache SeaTunnel进行数据库同步(MySQL to MySQL)
目前,大数据体系里有各种各样的数据引擎,有大数据生态的Hadoop、Hive、Kudu、Kafka、HDFS,也有泛大数据库体系的MongoDB、Redis、ClickHouse、
Doris
,更有云上的
猿敲月下码
·
2023-06-17 10:50
数据库
mysql
seaTunnel
sql优化-json字符串数组解析优化-
doris
sql优化-json字符串数组解析优化-dorisdata字段数据样式:[{“key”:“pen_id”,“value”:“754284934366130203”},{“key”:“distance_fault”,“value”:“[0,0,0,0,0,0,0,0,0,0]”},{“key”:“camera_0_fault”,“value”:“[0,0,0,0,0,0,0,0,0,0]”},{“k
cg6
·
2023-06-17 01:33
doris
doris
json
sql
doris
- 数仓 拉链表 按天全量打宽表性能优化
数仓拉链表按天全量打宽性能优化现状描述优化优化参数现状描述1、业务历史数据可以变更2、拉链表按天打宽3、拉链表模型分区字段设计不合理,通用的过滤字段没有作为分区分桶字段4、拉链表表数据量略大、模型数据分区不合理和服务器资源限制,计算任务执行超时【3-4年,用户数:132W】5、基于拉链表打宽后的天表行转列【最多列达到300列】,sum(casewhen…end),没有提前过滤数据优化1、完善模型设
cg6
·
2023-06-17 01:03
大数据
doris
数据库
性能优化
数据库
大数据
DJ4-3
动态分区
分配算法
目录一、基于顺序搜索的分配算法1、最佳适应算法(BF)2、最坏适应算法(Worstfit,WF)3、首次适应算法(FirstFit,FF)4、下次适应算法(Nextfit,NF)二、基于索引搜索的分配算法5、快速适应算法(Quikfit,QF)6、伙伴系统7、哈希算法一、基于顺序搜索的分配算法1、最佳适应算法(BF)算法内容:选择:能满足要求的、最小的空闲分区分配给作业。要求:将所有的空闲分区按其
狂放不羁霸
·
2023-06-16 23:12
计算机操作系统
算法
计算机操作系统
学习
大数据
Doris
(三十八):Spark Load 导入Hive数据
SparkLoad导入Hive数据一、SparkLoad导入Hive非分区表数据1、在node3hive客户端,准备向Hive表加载的数据2、启动Hive,在Hive客户端创建Hive表并加载数据3、在
Doris
Lansonli
·
2023-06-16 22:35
大数据OLAP技术体系
hive
大数据
spark
Apache
Doris
Doris
如何基于 Apache
Doris
构建简易高效的用户行为分析平台?
用户行为分析是企业了解用户的重要方式之一,可以从点击、登录、观看、跳出、下单购买等多维角度还原用户动态使用场景和用户体验,通过对用户行为埋点数据进行分析,可以详细、清楚地了解用户的行为习惯,从中发现用户使用产品的规律,以用于精确营销、产品优化,从而驱动业务实现增长。随着数字化转型进程的不断推进,用户行为分析平台在企业内部扮演的角色愈发重要,如何进一步挖掘用户行为数据价值,也成为了当下各企业不断努力
·
2023-06-16 18:47
doris
常用命令
ALTERTABLEdb.tbDROPCOLUMNcol添加字段ALTERTABLEdb.tbADDCOLUMNcolint(11)DEFAULT‘0’comment‘’AFTERother_col;
doris
左林右李02
·
2023-06-16 18:04
数据仓库
数据库
sql
需要加强的地方,记录一下
基础知识目前想学的:JVM、并发编程、反射、计网、设计模式技术栈Java、MySQL、Redis、ES、Zookeeper、Kafka、Netty、Dubbo、ClickHouse、
Doris
、、大数据方向
FanZheGOGOGO
·
2023-06-16 16:06
java
java
jvm
开发语言
Spring boot 操作
doris
1.启动
doris
1.1一台fe三台be[root@node01bin]#./start_fe.sh--daemon[root@node01bin]#.
wudl5566
·
2023-06-16 15:04
doris
doris
部署集群时遇到的问题
doris
部署时,遇到了两个问题,一个是两个服务器时钟不一致问题;还有一个是在启动dorisFE端时,解析了服务器另一个ip地址,通过ipaddr命令可以看到本服务器有两个ip地址,192.16.48.4
鲸落ж
·
2023-06-16 13:26
doris
网络
操作系统伙伴(Buddy) --算法C语言实现
内存分区——伙伴(Buddy)算法1.1概念内存管理的分区技术主要为固定分区和
动态分区
,都存在一定的缺陷。
墨痕白羽
·
2023-06-15 17:44
buddy算法
内存分区
操作系统
c语言
Apache
Doris
社区所有贡献者来领礼品啦!
2022年6月16日,全球最大的开源软件基金会宣布,ApacheDoris正式从Apache孵化器毕业,成为顶级项目!在整个孵化期间,因为拥有一群热爱开源、热爱ApacheDoris的优秀开发者,才让ApacheDoris取得了今天的成就:累计发布Release版本8次Contributor增长至338人每月活跃贡献者接近100人提交PR数量超过6000GithubStar数量突破4.4k社区用户
·
2023-06-15 11:20
大数据
Doris
(四十一):Routine Load严格模式和导入案例
文章目录RoutineLoad严格模式和导入案例一、严格模式二、严格模式导入Kafka数据到DorisRoutineLoad严格模式和导入案例
Lansonli
·
2023-06-15 06:28
大数据OLAP技术体系
大数据
Apache
Doris
Doris
一文揭秘高效稳定的 Apache
Doris
内存管理机制
作者:SelectDB高级研发工程师、ApacheDorisCommitter邹新一背景ApacheDoris作为基于MPP架构的OLAP数据库,数据从磁盘加载到内存后,会在算子间流式传递并计算,在内存中存储计算的中间结果,这种方式减少了频繁的磁盘I/O操作,充分利用多机多核的并行计算能力,可在性能上呈现巨大优势。在面临内存资源消耗巨大的复杂计算和大规模作业时,有效的内存分配、统计、管控对于系统的
·
2023-06-14 18:20
Doris
数仓的4大特点
01-极简架构
Doris
从设计上来说,融合了GoogleMesa的数据存储模型、Apache的ORCFile存储格式、ApacheImpala查询引擎和MySQL交互协议,是一个拥有先进技术和先进架构的领先设计产品
000X000
·
2023-06-14 11:35
大数据
hadoop
Doris数仓的4大特点
Doris数仓
Doris
集成Spark读写的简单示例
Doris
集成Spark读写的简单示例文章目录
Doris
集成Spark读写的简单示例0、写在前面1、SparkDorisConnector介绍2、基本示例2.1提前准备表和数据2.2新建项目2.3使用SQL
WHYBIGDATA
·
2023-06-14 11:16
大数据技术栈文档
spark
scala
大数据
Doris
Apache
Doris
:Rollup 物化视图
整理了一下目前开启虚拟机需要用到的程序,包括MySQL,Hadoop,Linux,hive,
Doris
3.5RollupROLLUP在多维分析中是“上卷”的意思,即将数据按某种指定的粒度进行进一步聚合。
All996
·
2023-06-14 10:22
hive
学习
数学建模
数据仓库
数据库
【Hive】(十四)Hive 项目实战之电子商务消费行为分析
文章目录一、前言二、项目需求三、数据结构Customer表Transaction表Store表Review表四、项目实战通过UDF自定义MD5加密函数对表内容进行检查,为数据清洗做准备开启
动态分区
,通过窗口函数对数据进行清洗数据分析
云 祁
·
2023-06-14 10:41
#
----
Hive
hive
2020年
DORIS
本周运势重要提醒(5.11-5.17)
PS:12星座运势是天象对12星座的整体影响,可参考上升星座为主,太阳星座为辅。想了解个人运势,需要个人的出生年月日时制作星盘来分析,更多详情请添加VX:Every-ying本周是回炉重造重新历练的一周5.11太阳金牛座六分海王星双鱼座&土星在水瓶座开始逆行座这一天太阳与海王星的互动让我们增添了更多的灵感,对于从事灵性,艺术工作的人来说,是一个学习的好机会。同时土星开始了为期4个多月的逆行,从水瓶
莹丘丘的记录课堂
·
2023-06-13 21:43
上一页
17
18
19
20
21
22
23
24
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他