E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
--Doris
大数据
Doris
(四十六):Stream Load基本原理和语法介绍
基本原理和语法介绍一、基本原理二、语法与结果1、语法2、返回结果StreamLoad基本原理和语法介绍Streamload是一个同步的导入方式,用户通过发送HTTP协议发送请求将本地文件或数据流导入到
Doris
Lansonli
·
2023-06-22 17:57
大数据
服务器
运维
Doris
Apache
Doris
Doris
-简介、架构、编译、安装和数据表的基本使用
目录1、
Doris
简介2、
Doris
网址3、
Doris
架构3、编译和安装3.1、软硬件需求3.2、编译3.2.1、安装Docker环境3.2.2、使用Docker开发镜像编译3.3、集群部署3.3.1、
jerry-89
·
2023-06-22 16:27
大数据
数据库
大数据中台技术组件
CDH二、相关的技术栈数据存储:HDFS,HBase,Kudu等数据计算:MapReduce,Spark,Flink交互式查询:Impala,Presto在线实时分析:ClickHouse,Kylin,
Doris
TURING.DT
·
2023-06-22 16:31
大数据
java
开发语言
大数据
Doris
(四十七):开启Steam Load记录
文章目录开启SteamLoad记录一、停止
Doris
集群二、在node3-node5BE节点上配置be.conf三、重新启动
Doris
集群开启SteamLoad记录后续执行StreamLoad导入任务后
Lansonli
·
2023-06-22 12:52
大数据
大数据
Apache
Doris
Day1+4组49号
doris
+《学习力》
今天开始共读第一本书,来自Angie的《学习力:如何成为一个有价值的知识变现者》【旧知】在认识萌薇老师以前,从来没听过知识变现。每天除了按部就班地上班,就是带娃和玩手机,直到参加萌薇老师的手账营,我才第一次知道了什么是知识变现。在这之后我又陆续参加了一些付费社群。我发现互联网时代下,人人都有可能实现知识变现。只是直到现在我也不知道自己的价值变现的方向在哪里,而且我也总会想,自己的能力还不够,可能没
阿德doris
·
2023-06-22 10:25
[建议收藏] Mysql+ETLCloud CDC+
Doris
实时数仓同步实战
一、业务需求及其痛点随着数字化转型,企业需要对各种销售及营销数据进行实时同步分析,例如销售订单信息,库存信息,会员信息,设备状态信息等等,这些统计分析信息可以实时同步到
Doris
中进行分析和统计,
Doris
苛子
·
2023-06-22 06:26
大数据
数据分析
数据挖掘
叮咚买菜基于 Apache
Doris
统一 OLAP 引擎的应用实践
经过调研选型,最终引入ApacheDoris作为最终的OLAP分析引擎,
Doris
作为核心的OLAP引擎支持复杂地分析操作、提供多维的数据视图,在叮咚买菜数十个业务场景中广泛应
·
2023-06-21 14:19
Apache Flink X Apache
Doris
构建极速易用的实时数仓架构
摘要:本文整理自SelectDB资深大数据研发专家王磊,在FFA2022实时湖仓专场的分享。本篇内容主要分为四个部分:实时数仓需求和挑战基于ApacheDoris和ApacheFlink构建实时数仓用户案例与最佳实践分享新版本特性点击查看直播回放和演讲PPT一、实时数仓需求和挑战在数据流的角度上,分析一下传统的数据架构。从图中可以看到,数据分为实时数据流和离线数据流。在实时数据部分,通过Binlo
·
2023-06-21 14:18
后端flink大数据实时计算
【无标题】
Doris
简介ApacheDoris(原百度Palo)是一个基于MPP架构的高性能、实时的分析型数据库,由百度在2017年开源,2018年8月进入Apache孵化器。
jerry-89
·
2023-06-21 10:40
DorisDB
数据库
OpenAI考虑为AI创建应用程序商店;Meta员工年薪反超Google;Apache
Doris
1.2.5发布|极客头条
「极客头条」——技术人员的新闻圈!CSDN的读者朋友们早上好哇,「极客头条」来啦,快来看今天都有哪些值得我们技术人关注的重要新闻吧。整理|梦依丹出品|CSDN(ID:CSDNnews)一分钟速览新闻点!阿里巴巴:张勇卸任董事会主席和CEO,蔡崇信和吴泳铭接任腾讯首次披露行业大模型进展:不追求参数高,希望成本预算可控京东旧将闫小兵回归,入职综合部美图推出国内首个懂美学的视觉大模型MiracleVis
极客日报
·
2023-06-21 09:09
快讯
极客日报
人工智能
apache
【解决问题的还得是看源码来得快】Datax脏数据配置问题解决
背景最近在用Datax进行数据测试,从sqlserver的数据输出到
Doris
,
Doris
安装在虚拟机上,只有3G内存,FE和BE同时安装在一起,由于内存过于小,在数据导入的时候想通过输出速率的方式解决问题
Hunter_Young
·
2023-06-20 16:44
java
开发语言
大数据
big
data
源码软件
Doris
初认识
Doris
初认识文章目录
Doris
初认识1.
Doris
概述2.核心特性3.使用场景4.架构1.
Doris
概述ApacheDoris是由百度大数据部研发(之前叫百度Palo,2018年贡献到Apache社区后
WHYBIGDATA
·
2023-06-20 09:42
大数据技术栈文档
OLAP
数据库
大数据
Doris
Doris
的安装
Doris
的安装文章目录
Doris
的安装写在前面Linux操作系统版本需求软件需求操作系统安装要求设置系统最大打开文件句柄数时钟同步关闭交换分区(swap)开发测试环境生产环境安装下载安装包默认端口集群部署前置准备安装部署
WHYBIGDATA
·
2023-06-20 09:39
OLAP
大数据技术栈文档
linux
Doris
大数据
Doris
镜像构建及容器编排
Doris
镜像构建以构建完成的
doris
镜像ponylee/
doris
,starrocks镜像ponylee/starrocks。entrypoint.sh脚本文件#!
PONY LEE
·
2023-06-20 01:34
容器化
docker
doris
docker部署 1.2.4.1版本
目录写在前面镜像编译准备工作下载编译好的包fe安装包be安装包编辑初始化文件init_fe.shinit_be.sh编辑Dockerfilefe-Dockerfilebe-Dockerfile构建镜像
doris
-fedoris-be
qzWsong
·
2023-06-20 01:31
doris
docker
linux
运维
Doris
--基础--3.5--SQL--建表
Doris
–基础–3.5–SQL–建表1、查看帮助1.1、命令HELPCREATETABLE;1.2、内容MySQL[(none)]>helpcreatetableName:'CREATETABLE'Description
勤径苦舟
·
2023-06-19 19:33
Doris
sql
数据库
java
在
doris
中实现行转列操作的三种方式及列转行的实现
本文演示使用sql进行列转行的操作和列转行一、行转列创建表droptablescore_1;CREATETABLEIFNOTEXISTSscore_1( `user_id`BIGINTNOTNULLCOMMENT"user_id", `subject`VARCHAR(255)NOTNULLCOMMENT"学科", `score`BIGINT NOTNULLDEFAULT'0'COMMENT"
自成E家
·
2023-06-19 19:02
doris
数据库
mysql
Apache
Doris
数据分区Partition、数据分桶(distributed by)
目录1.数据分区和分桶的关系2.数据分区2.1range分区2.1.1多列range分区2.2list分区2.2.1多列list分区3.数据分桶4.关于Partition和Bucket的数量和数据量的建议5.建表语句properties设置5.1replication_num5.2storage_medium&storage_cooldown_time6.ENGINE1.数据分区和分桶的关系先分区
Bulut0907
·
2023-06-19 19:02
#
Apache
Doris
doris
数据分区
partition
by
数据分桶
distributed
by
Apache
Doris
基础使用(一)
目录1.1创建数据库1.2建表1.2.1单分区1.2.2复合分区1.3导入数据1.3.1Broker导入1.3.2Routine导入1.3.3其他导入方式1.1创建数据库###1.1创建数据库```sqlMySQL>CREATEDATABASEexample_db;MySQL>SHOWDATABASES;+--------------------+|Database|+--------------
野狼e族
·
2023-06-19 19:31
Doris
大数据
Doris
https://
doris
.apache.org/zh-CN/docs/dev/data-table/data-modelSHOWFRONTENDS;SHOWBACKENDS;SHOWBROKER;http
The_Well
·
2023-06-19 19:30
大数据
Doris
入门到精通-阶段二(基本概念&使用)
简介在
Doris
中,数据都以关系表(Table)的形式进行逻辑上的描述。
顶尖高手养成计划
·
2023-06-19 19:00
Doris
数据库
Doris
入门篇-分区分桶实验
简介测试分区分桶效果。分区的基本操作添加分区ALTERTABLEv2x_olap_database.government_carADDPARTITIONp20221203VALUESLESSTHAN("2022-12-04");动态分区表不能添加分区,需要转为手动分区表。查看分区showpartitionsfrom删除分区altertabledroppartition手动分区表与动态分区表切换手动
顶尖高手养成计划
·
2023-06-19 19:00
Doris
数据库
Apache
Doris
1.2.4 Release 版本正式发布|版本通告
在1.2.4版本中,
Doris
团队已经修复了自1.2.3版本发布以来近150个问题或性能改进项。同时,1.2.4版本也作为1.2.3的迭代版本,具备更高的稳定性,建议所有用户升级到这个版本。
·
2023-06-19 19:03
Apache
Doris
1.2.1 Release 版本正式发布|版本通告
亲爱的社区小伙伴们,我们很高兴地宣布,ApacheDoris于2023年1月4日迎来1.2.1Release版本的正式发布!在新版本中,ApacheDoris团队修复了自1.2.0版本发布以来约200个问题或性能改进项。同时,1.2.1版本作为1.2LTS的第一个迭代版本,具备更高的稳定性,建议用户升级到这个版本。GitHub下载:https://github.com/apache/dor...官
·
2023-06-19 19:57
Apache
Doris
1.2.2 Release 版本正式发布
亲爱的社区小伙伴们,我们很高兴地宣布,ApacheDoris于2023年2月15日迎来1.2.2Release版本的正式发布!在新版本中,ApacheDoris团队修复了自1.2.1版本发布以来超过200个问题或性能改进项。同时,1.2.2版本作为1.2LTS的迭代版本,具备更高的稳定性,建议用户升级到这个版本。GitHub下载:https://github.com/apache/dor...官网
·
2023-06-19 19:57
Apache
Doris
1.1.4 版本正式发布!
作为1.1LTS(Long-termSupport,长周期支持)版本基础之上的Bugfix版本,在ApacheDoris1.1.4版本中,
Doris
团队修复了自1.1.3版本以来的约60个Issue或性能优化项
·
2023-06-19 19:24
Apache
Doris
1.1.3 版本正式发布!|版本通告
亲爱的社区小伙伴们,我们很高兴地告诉大家,在2022年10月17日我们迎来了ApacheDoris1.1.3版本的正式发布。作为1.1LTS版本基础之上的Bugfix版本,在1.1.3版本中有超过80个Issue或性能优化项被合入,系统稳定性和性能得以进一步加强,推荐所有用户下载和使用。下载使用GitHub下载:https://github.com/apache/dor...官网下载页:https
·
2023-06-19 19:23
Doris
集群的安装部署
目录安装与部署软硬件配置1、机器选择2、软件选择3、环境信息修改和部署架构4、安装部署
Doris
5、启动FE6、在FE节点启动MySQL客户端7、在BE节点启动be8、查看BE状态8、查看FE状态是否正常
Xlucas
·
2023-06-19 19:35
Doris
Doris
OLAP
MPP
Apache
Doris
1.2.5 版本正式发布
在1.2.5版本中,
Doris
团队已经修复了自1.2.4版本发布以来近210个问题或性能改进项。同时,1.2.5版本也作为1.2.4的迭代版本,具备更高的稳定性,欢迎大家下载体验。
·
2023-06-19 19:09
Doris
-1.2.3 详细安装教程&
doris
-1.2.3性能测试教程
这是一个详细的安装和测试教程,包含了二进制包的版本选择和下载,FE、BE节点的部署,ssb数据集性能测试和tpch数据集性能测试。都有详细的教程和截图、步骤讲解目录一、二进制包下载1、下载2、选择下载包2.1BE下载2.2FE下载2.3安装JavaUDF函数二、安装部署1、文件归一2、添加环境变量3、修改可打开文件数(每个节点)添加4、部署FE节点1.1解压文件1.2创建FE元数据存储的目录1.3
小雏菊的成长
·
2023-06-19 19:32
大数据开发相关技术学习笔记
服务器
linux
doris
MySQL
分布式数据库
Apache
Doris
基于
Doris
0.15-1.0MPPMassivelyParallelProcessing大规模并行处理。
wqy19941008
·
2023-06-19 11:37
学习总结
java
数据库
开发语言
Doris
常用命令
ApacheDoris是一个现代化的MPP分析型数据库产品。仅需亚秒级响应时间即可获得查询结果,有效地支持实时数据分析。ApacheDoris的分布式架构非常简洁,易于运维,并且可以支持10PB以上的超大数据集。ApacheDoris可以满足多种数据分析需求,例如固定历史报表,实时数据分析,交互式数据分析和探索式数据分析等。令您的数据分析工作更加简单高效!dorisFE启动与停止:./start_
如是我闻.春风不渡
·
2023-06-19 11:37
大数据
database
数据仓库
Doris
开发指南
1.
Doris
简介1.1
Doris
概述ApacheDoris由百度大数据部研发(之前叫百度Palo,2018年贡献到Apache社区后,更名为
Doris
),在百度内部,有超过200个产品线在使用,部署机器超过
_777.....
·
2023-06-19 11:37
Doris
hadoop
sql
数据仓库
database
大数据
Doris
FE启动流程源码解读
FE启动流程分析
Doris
中FE主要负责接收和返回客户端请求、元数据以及集群管理、查询计划生成等工作。本文主要看一下
Doris
的fe在启动时做了什么。
BigDataMK
·
2023-06-19 11:36
大数据
doris
mpp
数据库
大数据
数据库架构
Doris
数据副本分区均衡策略,fromBe has no replica in the map, can‘t move
文章目录前言一、分区负载均衡二、问题来了1.进一步验证2.解决前言当前使用
Doris
版本为0.14某天观察到线上
Doris
集群资源使用情况,发现整体上内存、CPU使用率较低,为降低成本进行了一波缩容操作
柏油
·
2023-06-19 11:36
大数据
java
运维
apache
Doris
扩缩容和副本均衡
扩缩容和副本均衡对于集群节点发生变化(扩缩容)时,集群内部的tablet是如何以一定的策略完成数据的重分布,从而达到每个be能够分布尽可能数量相同的tablet。同时,集群内部某些tablet由于某些原因发生损坏时,这些tablet的自动修复工作又是如何进行的呢?为什么通常需要推荐三副本,不采用2副本或者1副本存储?这个和副本自动修复机制有什么关联吗?一一来看上面的问题之前,我们先看一下整个tab
BigDataMK
·
2023-06-19 11:05
doris
数据库
开发语言
大数据
大数据
Doris
(三十九):Spark Load 注意事项
文章目录SparkLoad注意事项SparkLoad注意事项1、现在Sparkload还不支持
Doris
表字段是String类型的导入,如果你的表字段有String类型的请改成varchar类型,不然会导入失败
Lansonli
·
2023-06-19 03:35
大数据OLAP技术体系
spark
大数据
hadoop
Apache
Doris
Doris
Doris
单机部署
文章目录1.前言2.安装3.启动4.使用5.记一次安装报错1.前言 ApacheDoris是一款现代MPP(MassivelyParallelProcessing大规模并行处理)的分布式SQL分析数据库,所谓分析数据库就是将其数据集分布在许多机器或节点上,以处理大量数据,采用Apache2.0认证授权。它的前身是原百度Palo,由百度在2017年开源,2018年进入Apache孵化器。Apach
小强签名设计
·
2023-06-18 21:27
数据库
Doris
Doris
Spark Load 记录
环境
doris
:selectdb-
doris
-1.2.0-1-caeed14spark:2.4.6Hadoop:3.1.0步骤●配置环境:参考官网DorisSparkLoad●配置示例○fe.confenable_spark_load
本旺
·
2023-06-18 15:23
spark
hadoop
大数据
doris
用户权限设置
创建角色语法:CREATEROLE[IFNOTEXISTS]role1;该语句创建一个无权限的角色,可以后续通过GRANT命令赋予该角色权限。例子mysql>CREATEROLEtest;QueryOK,0rowsaffected(0.01sec)删除角色语法:DROPROLE
贾斯汀玛尔斯
·
2023-06-18 15:23
Doris
Doris
Doris
之资源管理
资源管理为了节省
Doris
集群内的计算、存储资源,
Doris
需要引入一些其他外部资源来完成相关的工作,如Spark/GPU用于查询,HDFS/S3用于外部存储,Spark/MapReduce用于ETL,
墨卿风竹
·
2023-06-18 15:51
spark
hadoop
big
data
Doris
支持spark导入设计文档
Doris
支持spark导入设计文档背景
Doris
现在支持Brokerload/routineload/streamload/minibatchload等多种导入方式。
墨卿风竹
·
2023-06-18 15:51
spark
big
data
hadoop
大数据
Doris
(三十五):
Doris
创建Spark Resource
文章目录
Doris
创建SparkResource一、创建SparkResource二、分配资源权限
Doris
创建SparkResource一、创建SparkResourceSpark作为一种外部计算资源在
Lansonli
·
2023-06-18 15:50
大数据OLAP技术体系
spark
大数据
分布式
Apache
Doris
Doris
大数据
Doris
(二十六):Broker Load基本原理和语法介绍
BrokerLoad基本原理和语法介绍一、基本原理二、BrokerLoad语法BrokerLoad基本原理和语法介绍ApacheDoris架构中除了有BE和FE进程之外,还可以部署Broker可选进程,主要用于支持
Doris
Lansonli
·
2023-06-18 12:07
大数据OLAP技术体系
大数据
Apache
Doris
Doris
Doris
开发手记4:倍速性能提升,向量化导入的性能调优实践
正好有
Doris
社区的小伙伴吐槽向量化的导入性能表现并不是很理想,就借这个机会对之前开发的向量化导入的工作进行了性能调优,取得了不错的优化效果。
LeeHappen
·
2023-06-18 01:23
Doris
面试题二十道
问题1:什么是
Doris
?答案:
Doris
(前身为Palo)是一款开源的分布式列式存储计算引擎,用于快速查询和分析大规模数据。
MIDSUMMER_yy
·
2023-06-18 01:08
大数据
大数据
Doris
(三十三):Spark集群搭建
文章目录Spark集群搭建一、SparkStandalone集群搭建1、下载Spark安装包2、上传、
Lansonli
·
2023-06-17 18:46
大数据OLAP技术体系
spark
大数据
hadoop
Apache
Doris
Doris
大数据
Doris
(四十三):kafka 简单json格式数据导入到
Doris
文章目录kafka简单json格式数据导入到
Doris
一、创建
Doris
表二、创建Kafkatopic三、创建Ro
Lansonli
·
2023-06-17 14:39
大数据OLAP技术体系
json
java
开发语言
Apache
Doris
大数据
使用Apache SeaTunnel进行数据库同步(MySQL to MySQL)
目前,大数据体系里有各种各样的数据引擎,有大数据生态的Hadoop、Hive、Kudu、Kafka、HDFS,也有泛大数据库体系的MongoDB、Redis、ClickHouse、
Doris
,更有云上的
猿敲月下码
·
2023-06-17 10:50
数据库
mysql
seaTunnel
sql优化-json字符串数组解析优化-
doris
sql优化-json字符串数组解析优化-dorisdata字段数据样式:[{“key”:“pen_id”,“value”:“754284934366130203”},{“key”:“distance_fault”,“value”:“[0,0,0,0,0,0,0,0,0,0]”},{“key”:“camera_0_fault”,“value”:“[0,0,0,0,0,0,0,0,0,0]”},{“k
cg6
·
2023-06-17 01:33
doris
doris
json
sql
上一页
13
14
15
16
17
18
19
20
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他