E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Doris动态分区
doris
:使用 Hint 调整 Join Shuffle 方式
概述
Doris
支持使用Hint来调整Join操作中数据Shuffle的类型,从而优化查询性能。本节将详细介绍如何在
Doris
中利用Hint来指定JoinShuffle的类型。
向阳1218
·
2025-02-23 16:47
大数据
doris
doris
集群
开发
doris
的团队厉害,这个百度工程师确实也干了一些实事,不像领导层只会跑火车。
warrah
·
2025-02-20 09:30
岁月云——大数据杂烩
doris
Hive的
动态分区
与静态分区(区别及详解)
静态分区与
动态分区
的区别:1、静态分区2、
动态分区
静态分区与
动态分区
的区别:静态分区是先把分区表创好,然后手动把数据导入到对应的分区里面去。静态分区实在编译期间指定分区名。
东南枝上的大雄
·
2025-02-19 16:41
Hadoop
hive
大数据
hadoop
Hive 分区详解
分区表的一个分区对应hdfs上的一个目录分区表包括静态分区表和
动态分区
表,根据分区会不会自动创建来区分多级分区表,即创建的时
mm_ren
·
2025-02-19 15:36
分区表
hadoop
大数据
hive
spark
Hive的
动态分区
的原理
Hive
动态分区
原理详解1.什么是Hive
动态分区
?在Hive中,分区(Partition)是对表数据的一种划分方式,类似于关系型数据库中的分区表。
肥猪猪爸
·
2025-02-19 15:01
大数据
hive
hadoop
数据仓库
大数据
sql
面试
doris
:查询缓存
概念介绍SQLCache是
Doris
提供的一种查询优化机制,可以显著提升查询性能。它通过缓存查询结果来减少重复计算,适用于数据更新频率较低的场景。
向阳1218
·
2025-02-16 22:17
大数据
doris
Apache
Doris
2.1.6 版本正式发布
官网下载:https://
doris
.apache.org/GitHub下载:ReleaseApacheDoris2.1.6R
SelectDB技术团队
·
2025-02-14 14:07
doris
数据仓库
开源
数据库
大数据
Apache
Doris
2.0.15 版本发布
立即下载:ApacheDoris-Download|EasilydeployDorisanywhere-ApacheDorisGitHub下载:https://github.com/apache/
doris
SelectDB技术团队
·
2025-02-14 14:07
大数据
数据库
数据仓库
doris
数据同步
Doris
实战——工商信息查询平台的湖仓一体建设
目录前言一、架构1.0:传统Lambda架构二、OLAP引擎调研三、架构2.0:数据服务层AllinApacheDoris四、架构3.0:基于DorisMulti-Catalog的湖仓一体架构五、实践经验5.1引入Merge-on-Write,百亿级单表查询提速近三倍5.2部分列数据更新,数据开发效率提升100%5.3丰富Join的优化手段,整体查询速度最高提升近四倍5.4LightSchemaC
吵吵叭火
·
2025-02-14 14:06
大数据
大数据
数据仓库
Flink KafkaConsumer offset是如何提交的
请参阅下面的
动态分区
检查一节register.consumer.metrics指定是否在Flink中注册KafkaConsumer的指标commit.offsets.on.chec
红烛暗盗梦
·
2025-02-12 21:23
flink
大数据
Doris
实战—构建日志存储与分析平台
构建日志存储与分析平台日志是系统运行的详细记录,包含各种事件发生的主体、时间、位置、内容等关键信息。出于运维可观测、网络安全监控及业务分析等多重需求,企业通常需要将分散的日志采集起来,进行集中存储、查询和分析,以进一步从日志数据里挖掘出有价值的内容。针对此场景,ApacheDoris提供了相应解决方案,针对日志场景的特点,增加了倒排索引和极速全文检索能力,极致优化写入性能和存储空间,使得用户可以基
不二人生
·
2025-02-09 18:47
Doris
实战
doris
日志分析
doris
:MySQL Load
Doris
兼容MySQL协议,可以使用MySQL标准的LOADDATA语法导入本地文件。MySQLLoad是一种同步导入方式,执行导入后即返回导入结果。
向阳1218
·
2025-02-09 02:51
大数据
doris
Doris
故障恢复
故障日志data/fe/
doris
-meta/bdbrecoveryTrackershouldoverlaporfollowondisklastVLSNof81,809,450recoveryFirst
登高·
·
2025-02-08 17:48
Linux架构
数据仓库
Hudi VS
Doris
使用分析
数据湖是一个集中式的存储库,允许你以任意规模存储多个来源、所有结构化和非结构化数据,可以按照原样存储数据,无需对数据进行结构化处理,并运行不同类型的分析对数据进行加工。Hudi(HadoopUpsertsDeletesandIncrementals)定位-面向数据湖的增量写入、更新与删除技术。Hudi通过表格式管理的能力,为数据湖提供ACID事务、时间旅行查询等特性。场景-近实时抽数(大规模数据更
sunxunyong
·
2025-02-07 01:13
数据库
doris
:事务
目前
Doris
不支持嵌套事务。显式事务显式事务需要用户主动开启、提交或回滚事务,目前不支持DDL和查询语句。BEGIN
向阳1218
·
2025-02-05 14:08
大数据
doris
Doris
通过ODBC连接MYSQL
1.概述ODBCExternalTableOfDoris提供了
Doris
通过数据库访问的标准接口(ODBC)来访问外部表,外部表省去了繁琐的数据导入工作,让
Doris
可以具有了访问各式数据库的能力,并借助
Leo⁵
·
2025-02-04 08:56
Doris
mysql
数据库
2024年最全
Doris
:读取
Doris
数据的N种方法_访问
doris
,阿里大牛教你自己写大数据开发第三方库
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。需要这份系统化资料的朋友,可以戳这里获取一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!arrow-memory-netty${arrow.v
2401_84181108
·
2025-02-04 08:49
程序员
大数据
使用
doris
过程中总结的与mysql中语法差异
1.mysql中的varchar()长度与
doris
中长度不一致,导致导入失败2.
doris
中where后面时间与字符串比较需转化类型#当create_time为datetime类型,mysql中使用concat
数据游戏
·
2025-02-04 00:52
数仓
mysql
数据库
database
Doris
使用手册以及与Mysql差异整理
目录数据类型
Doris
数据类型数值类型日期类型字符串类型半结构类型聚合类型IP类型MySQL到
Doris
类型映射数据模型
Doris
的数据模型Aggregate模型示例一:导入数据聚合建表插入数据查看表示例二
Jet-W
·
2025-02-04 00:51
mysql
数据库
doris
大数据
后端
DorisSQL与MySQL函数与语法对照差异篇
1.日期函数时区.mysql -> convert_tz(dt,from_tz,to_tz)
doris
-> CONVERT_TZ(DATETIME dt, VARCHAR from_tz, VARCHAR
小晨说数据
·
2025-02-04 00:19
字符串
mysql
java
数据库
sql
Doris
中架构和mysql语法的差异
Doris
的架构只设FE,BE两种角色,两个进程,不依赖于外部组件,方便部署和运维,FE和BE都可线性扩展。
苦苦挣扎的小码农
·
2025-02-03 23:13
架构
hive怎么处理过滤掉满足多个多个条件的记录_Hive基础面试题总结
1.描述一下Hive
动态分区
和分桶使用场景和使用方法分区按照数据表的某列或某些列分为多个分区,分区从形式上可以理解为文件夹,比如我们要收集某个大型网站的日志数据,一个网站每天的日志数据存在同一张表上,由于每天会生成大量的日志
weixin_39761422
·
2025-02-03 20:48
Hive 分区和分桶总结
目录分区和分桶总结1、分区1、分区介绍2、分区表的操作3、
动态分区
2、分桶表1、分桶表介绍2、分桶表的操作3、分区表和分桶表的区别参考分区和分桶总结1、分区1、分区介绍由于数据量过于庞大,使用分区,可以并行的进行处理数据
Stray_Lambs
·
2025-02-03 14:23
大数据
hive
hive 分区表select全部数据_【Hive教程】(六)HIVE分区表 (静态分区+
动态分区
)
分区表分区表在实际企业中用途非常广,首先一个案例体验一下分区表的作用:假设我每天都要往HIVE表中插入一万条数据。经过一年的时间,我里面已经有365万条数据。现在我需要查询某个日期的数据,我select*fromtablenamewheredata=”20180101″,那么hive一般会扫描整个表内容,会消耗很多时间。如果引入partition概念。以日期作为分区字段,相同日期的数据在同一个分区
weixin_39658318
·
2025-02-01 04:30
hive
分区表select全部数据
【大数据入门核心技术-Hive】(十一)HiveSQL数据分区
目录一、分区的概念二、创建分区1)静态分区1、单分区测试2、多分区测试2)
动态分区
3、
动态分区
和静态分区混合使用三、分区的其它操作1、恢复分区2、归档分区3、交换分区四、分区数据查询1、单分区数据查询2
forest_long
·
2025-02-01 03:25
大数据技术入门到21天通关
大数据
hive
hadoop
数据仓库
hdfs
Doris
实战——特步集团零售数据仓库项目实践
批量数据的导入3.2实时数据接入3.3数据加工3.4BI查询四、实时需求响应五、其他经验5.1DorisBE内存溢出5.2SQL任务超时5.3删除语句不支持表达式5.4Drop表闪回六、未来展望原文大佬的这篇
Doris
吵吵叭火
·
2025-02-01 03:54
#
Doris
大数据
大数据
数据仓库
使用supervisor实现
Doris
进程自动拉起
ApacheDoris代码仓库地址:apache/incubator-
doris
欢迎大家关注加星supervisor安装1.使用yum命令安装(推荐)yuminstallepel-releaseyuminstall-ysupervisorsystemctlenablesupervisord
hf200012
·
2025-02-01 02:50
Doris
Apache
Doris
3.0核心特性和生产实践解读
上周
Doris
社区发布了
Doris
3.0版本,3.0版本被定位成湖仓一体演化路线上的重要里程碑版本。同时
Doris
官方社区已经更新了3.0版本的文档。
王知无(import_bigdata)
·
2025-01-31 10:36
apache
OLAP引擎比较
doris
是一个OLAP数据库,支持对大数据的复杂查询,延迟为秒级。
doris
比sparksql快,主要原因在于针对场景不同导致的架构不同。
小手追梦
·
2025-01-31 10:30
hadoop
rpc
java
doris
:异常数据处理
为了处理这些异常情况,
Doris
提供了两个重要的控制参数:严格模式(strict_mode):用于控制是否过滤转换失败的数据行。
向阳1218
·
2025-01-29 23:19
大数据
doris
springboot整合
doris
(
doris
创建表)
Doris
的数据模型主要分为3类:明细模型(DuplicateKeyModel):允许指定的Key列重复;适用于必须保留所有原始数据记录的情况主键模型(UniqueKeyModel):每一行的Key值唯一
小徐敲java
·
2025-01-28 23:09
doris
spring
boot
数据库
doris
从建表语句带你学习
doris
_数据类型
1、前言概述1.1、
doris
建表模板CREATE[EXTERNAL]TABLE[IFNOTEXISTS][DATABASE.]table_name(column_definition1[,column_deinition2
圣·杰克船长
·
2025-01-28 23:09
doris
数据类型
doris
: MAP数据类型
MAP表示由K,V类型元素组成的map,不能作为key列使用。目前支持在Duplicate,Unique模型的表中使用。K,V支持的类型有:BOOLEAN,TINYINT,SMALLINT,INT,BIGINT,LARGEINT,FLOAT,DOUBLE,DECIMAL,DECIMALV3,DATE,DATEV2,DATETIME,DATETIMEV2,CHAR,VARCHAR,STRINGCSV
向阳1218
·
2025-01-28 23:06
大数据
doris
doris
: CSV导入数据
本文介绍如何在
Doris
中导入CSV格式的数据文件。
Doris
支持灵活的CSV格式配置,包括自定义分隔符、字段包围符等,并提供多种导入方式以满足不同场景的数据导入需求。
向阳1218
·
2025-01-27 16:56
大数据
doris
doris
: ARRAY数据类型
ARRAY表示由T类型元素组成的数组,不能作为key列使用。2.0之前仅支持在Duplicate模型的表中使用。从2.0版本开始支持在Unique模型的表中的非key列使用。T支持的类型有:BOOLEAN,TINYINT,SMALLINT,INT,BIGINT,LARGEINT,FLOAT,DOUBLE,DECIMAL,DATE,DATEV2,DATETIME,DATETIMEV2,CHAR,VA
向阳1218
·
2025-01-27 09:36
大数据
doris
doris
:ORC
本文介绍如何在
Doris
中导入ORC格式的数据文件。
向阳1218
·
2025-01-26 19:30
大数据
doris
Apache
Doris
2.1.8 版本正式发布
立即下载:https://
doris
.apache.org/downloadGitHub下载:https://github.com/apache/
doris
/rel
SelectDB技术团队
·
2025-01-25 17:01
Doris
数据库
大数据
数据分析
数据仓库
doris
:Azure Storage导入数据
Doris
提供两种方式从AzureStorage导入文件:使用S3Load将AzureStorage文件导入到
Doris
中,这是一个异步的导入方式。
向阳1218
·
2025-01-24 16:53
azure
flask
microsoft
doris
Apache
Doris
主要应用场景和一些实际案例
以下是
Doris
的主要应用场景和一些实际案例。应用场景1.实时数据分析数据流处理:
Doris
可以实时ingest(引入)和分析数据流,适用于监控系统、实时用户行为分析等场景。
临水逸
·
2025-01-24 13:33
apache
doris
:Insert Into Select
INSERTINTO支持将
Doris
查询的结果导入到另一个表中。INSERTINTO是一个同步导入方式,执行导入后返回导入结果。可以通过请求的返回判断导入是否成功。
向阳1218
·
2025-01-24 08:24
大数据
doris
Doris
-计算特性
1全新优化器1.1如何开启1.2统计信息1.2.1使用ANALYZE语句手动收集1.2.1自动收集
卢子墨
·
2025-01-23 02:07
OLAP/OLTP
数据库
大数据
Doris
【YashanDB知识库】手工迁移
Doris
数据到崖山分布式
具体步骤如下:通过sql语句将
Doris
表导出成csv文件注:导出到本地文件时需要先在fe.conf中配置enable_outfile_to_local=true并重启fe节点--
·
2025-01-21 21:16
数据库
doris
:阿里云 OSS 导入数据
Doris
提供两种方式从阿里云OSS导入文件:使用S3Load将阿里云OSS文件导入到
Doris
中,这是一个异步的导入方式。使用TVF将阿里云OSS文件导入到
Doris
中,这是一个同步的导入方式。
向阳1218
·
2025-01-21 13:01
大数据
阿里云
数据库
云计算
doris
Apache
Doris
2.1.6 版本正式发布
官网下载:https://
doris
.apache.org/GitHub下载:https://github.com/apach
·
2025-01-21 12:15
oracle goldengate from mongodb to oracle的实时同步
我方工程师把mongodb数据库同步到
doris
数据仓库。考虑
夹心饼2024
·
2025-01-21 04:09
数据库运维案例分享
oracle
mongodb
数据库
正式开源,
Doris
Operator 支持高效 Kubernetes 容器化部署方案
为满足用户在Kubernetes平台上对
Doris
的高效部署和运维要求,飞轮科技推出了Dor
SelectDB技术团队
·
2025-01-20 01:13
kubernetes
容器化部署
数据仓库
云原生
开源
Apache
Doris
安装部署
目录
Doris
简介
Doris
安装包下载JDK安装
Doris
安装单机部署安装部署规划创建用户解压安装包配置FE配置BE启动FE和BE连接
Doris
集群添加BE节点修改root和admin用户的密码创建数据库和数据表停止
ErbaoLiu
·
2025-01-19 19:47
Flink
Doris
Apache
Doris
部署安装
单机部署安装
FE
BE
doris
安装部署
doris
安装部署架构
Doris
的主要架构分为FE(frontend)、BE(backend)两个角色、两个进程,不依赖于外部的组件,极易部署、运维,FE和BE都有很好的拓展性。
猫猫姐
·
2025-01-19 18:13
Doris
doris
采用海豚调度器+
Doris
开发数仓保姆级教程(满满是踩坑干货细节,持续更新)
目录一、采用海豚调度器+
Doris
开发平替CDHHdfs+Yarn+Hive+Oozie的理由。
大模型大数据攻城狮
·
2025-01-17 19:56
海豚调度器从入门到精通
doris
海豚调度器
离线数仓
实时数仓
国产代替
信创大数据
flink数仓
白鲸开源即将在
Doris
Summit Asia 2024展示新议题!
一年一度的ApacheDoris峰会再次启航,DorisSummitAsia2024现已开启报名,将于2024年12月14日在深圳正式举办。此次峰会,将对实时极速、存算分离、湖仓一体、半结构化数据分析、向量索引、异步物化视图等诸多特性进行全方位解读,为现场观众带来一场技术与思维碰撞的盛宴。白鲸开源已确认将参与此次峰会,并在大会的「泛互联网分论坛」上带来题为《利用ApacheSeaTunnel对接1
·
2025-01-17 05:01
数据库
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他