E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Starrocks
StarRocks
生成列:百倍提速半结构化数据分析
半结构化分析主要是指对MAP,STRUCT,JSON,ARRAY等复杂数据类型的查询分析。这些数据类型表达能力强,因此被广泛应用到OLAP分析的各种场景中,但由于其实现的复杂性,对这些复杂类型分析将会比一般简单类型要更困难和耗时,例如:需要对MAP,STRUCT,JSON等数据类型中的某个字段进行查询分析。由于这些复杂类型会被存储为一个整体,因此需要先将整个半结构化类型的字段先从存储层读取上来,然
StarRocks_labs
·
2024-01-18 17:36
后端
白山云基于
StarRocks
数据库构建湖仓一体数仓的实践
背景随着每天万亿级别的业务数据流向数据湖,数据湖的弊端也逐渐凸显出来,例如:数据入湖时效性差:数据湖主要依赖于离线批量计算,通常不支持实时数据更新,因此无法保证数据的强一致性,造成数据不及时、不准确;查询性能差:在传统架构下,数据湖的查询速度较差,小时粒度的数据查询往往需要数分钟才能得到响应,在多个业务方同时执行数据湖查询任务时,查询响应慢的劣势更加明显;查询体验差:数据存储在多个地方,在进行联邦
StarRocks_labs
·
2024-01-18 17:04
社区投稿
数据库
大数据
技术选型|开源大数据OLAP引擎最佳实践
一、开源OLAP综述二、开源数仓解决方案三、ClickHouse介绍四、
StarRocks
介绍五、Trino介绍六、客户案例01开源OLAP综述如今的开源数据引擎多种多样,不同种类的引擎满足了我们不同的需求
浪尖聊大数据-浪尖
·
2024-01-18 08:14
运维
大数据
分布式
数据库
人工智能
数据仓库系列:
StarRocks
的简单试用及与clickhouse的对比
1.搭建测试环境dockerpullstarrocks/allin1-ubuntu:2.5.4dockerrun-p9030:9030-p8030:8030-p8040:8040-itdstarrocks/allin1-ubuntu:2.5.4dockerps2.简单测试2.1.使用mysqlclient连接mysql-P9030-h127.0.0.1-uroot--prompt="StarRoc
enjoy编程
·
2024-01-18 08:13
数仓
MPPDB
数据仓库
clickhouse
StarRocks
MPPDB
ClickHouse vs
StarRocks
全场景MPP数据库选型对比
ClickHousevsStarRocks选型对比面向列存的DBMS新的选择Hadoop从诞生已经十三年了,Hadoop的供应商争先恐后的为Hadoop贡献各种开源插件,发明各种的解决方案技术栈,一方面确实帮助很多用户解决了问题,但另一方面因为繁杂的技术栈与高昂的维护成本,Hadoop也渐渐地失去了原本属于他的市场。对于用户来说,一套高性能,简单化,可扩展的数据库产品能够帮助他们解决业务痛点问题。
涛子丶白了你一眼
·
2024-01-18 08:12
大数据技术
数据库
hadoop
大数据
ClickHouse vs
StarRocks
选型对比
ClickHousevsStarRocks选型对比面向列存的DBMS新的选择Hadoop从诞生已经十三年了,Hadoop的供应商争先恐后的为Hadoop贡献各种开源插件,发明各种的解决方案技术栈,一方面确实帮助很多用户解决了问题,但另一方面因为繁杂的技术栈与高昂的维护成本,Hadoop也渐渐地失去了原本属于他的市场。对于用户来说,一套高性能,简单化,可扩展的数据库产品能够帮助他们解决业务痛点问题。
dan20211
·
2024-01-18 08:40
big
data
数据库
hadoop
Clickhouse VS
StarRocks
ClickHousevsStarRocks选型对比面向列存的DBMS新的选择Hadoop从诞生已经十三年了,Hadoop的供应商争先恐后的为Hadoop贡献各种开源插件,发明各种的解决方案技术栈,一方面确实帮助很多用户解决了问题,但另一方面因为繁杂的技术栈与高昂的维护成本,Hadoop也渐渐地失去了原本属于他的市场。对于用户来说,一套高性能,简单化,可扩展的数据库产品能够帮助他们解决业务痛点问题。
chixushuchu
·
2024-01-18 08:10
数据库
clickhouse
starrocks
Druid vs
StarRocks
选型对比
1、Druid与
StarRocks
介绍近年来,越来越多的企业开始使用数据驱动决策,对数据探索分析的需求进一步提升。
Asware
·
2024-01-18 08:40
数据库
数据仓库
big
data
【技术选型】clickhouse vs
starRocks
如果集群化,
starRocks
可以替换clickhouse,但支持的函数会相对少一些(clickhouse有不少自定义函数)信息比对功能clickhousestarRocksjoin大表关联容易OOM对
偏振万花筒
·
2024-01-18 08:08
大数据
数据仓库
clickhouse
国产开源优秀新一代MPP数据库
StarRocks
入门之旅-数仓新利器(上)
概述背景ApacheDoris官方地址https://doris.apache.org/ApacheDorisGitHub源码地址https://github.com/apache/incubator-dorisApacheDoris是一个现代化的MPP分析型数据库产品。仅需亚秒级响应时间即可获得查询结果,有效地支持实时数据分析。ApacheDoris的分布式架构非常简洁,易于运维,并且可以支持1
IT小神
·
2024-01-15 13:45
大数据
数据库
分布式
数据库
大数据
分布式
数仓选型必列入考虑的OLAP列式数据库ClickHouse(中)
实战案例使用背景ELK作为老一代日志分析技术栈非常成熟,可以说是最为流行的大数据日志和搜索解决方案;主要设计组件及架构如下:而新一代日志监控选型如ClickHouse、
StarRocks
特别是近年来对ELK
IT小神
·
2024-01-15 13:45
数据仓库
数据库
运维
数据库
elasticsearch
UData-解决数据使用的最后一公里
导读文章主要介绍了UData系统的设计理念,描述了该系统的查询引擎基于
StarRocks
在联邦查询方面做了哪些增强,从而使一条ES外表的联邦聚合关联查询性能提升数倍。
架构师小秘圈
·
2024-01-15 13:42
单元测试
国产开源优秀新一代MPP数据库
StarRocks
入门之旅-数仓新利器(中)
概述背景ApacheDoris官方地址ApacheDorisApacheDorisGitHub源码地址GitHub-apache/incubator-doris:ApacheDoris(Incubating)isanMPP-basedinteractiveSQLdatawarehousingforreportingandanalysis.ApacheDoris是一个现代化的MPP分析型数据库产品。
Firstlucky77
·
2024-01-15 13:42
java
mysql
linux
一款
StarRocks
客户端工具,支持可视化建表、数据编辑
什么是
StarRocks
?
StarRocks
是新一代极速全场景MPP(MassivelyParallelProcessing)数据库。
StarRocks
的愿景是能够让用户的数据分析变得更加简单和敏捷。
哈库纳玛塔塔
·
2024-01-15 13:40
database
intellij
idea
大数据
StarRocks
(七):数据表创建
1.基本概念1.1Row&Column一张表包括行(Row)和列(Column)。Row即用户的一行数据。Column用于描述一行数据中不同的字段。⚫在默认的数据模型中,Column只分为排序列和非排序列。存储引擎会按照排序列对数据进行排序存储,并建立稀疏索引,以便在排序数据上进行快速查找。⚫而在聚合模型中,Column可以分为两大类:Key和Value。从业务角度看,Key和Value可以分别对
运维仙人
·
2024-01-15 01:08
大数据
大数据
StarRocks
大数据
StarRocks
(六) :Catalog
StarRocks
自2.3版本起支持Catalog(数据目录)功能,实现在一套系统内同时维护内、外部数据,方便您轻松访问并查询存储在各类外部源的数据。
运维仙人
·
2024-01-15 01:07
大数据
大数据
starrocks
【数据库】
starrocks
安装踩坑
starrocks
官网的部署文档还是蛮详细的,可还是有坑要踩的。
七镜
·
2024-01-13 19:44
实战营|阿里云 x
StarRocks
邀你现场体验云上极速湖仓--深圳站
StarRocks
自3.0大版本起,实现了从计算OLAP分析到统一Lakehouse的重大产品能力升级。
StarRocks_labs
·
2024-01-13 13:25
StarRocks
数据库
数据仓库
湖仓
腾讯实验平台基于
StarRocks
构建湖仓底座
作者:腾讯大数据平台部科学实验中心TechLead、专家工程师马金勇博士腾讯大数据平台部科学实验中心数据负责人、专家工程师胡明杰StarRocksContributor、腾讯高级工程师刘志行在2022年,腾讯A/BTest团队启动了海外商业化版本ABetterChoice的建设。作为一个全新的SaaS产品,ABetterChoice将腾讯内部积累的优秀实验能力进行抽象,并基于海外合规、多云环境适配
StarRocks_labs
·
2024-01-13 13:53
后端
实战营|阿里云 x
StarRocks
邀你现场体验云上极速湖仓--深圳站
简介:1月20日深圳阿里中心,阿里云xStarRocks邀你现场体验云上极速湖仓实战营,从0-1轻松上手
StarRocks
湖仓分析。
阿里云大数据AI技术
·
2024-01-13 03:22
阿里云
云计算
在Ubuntu主机上使用USB无线网卡
前言上个月冲动消费攒了一台华擎DeskMiniX300小主机,装了Ubuntu22.04,用来解决M1芯片MacBookPro上无法编译x86_64架构的
StarRocks
和ClickHouse的问题。
LittleMagic
·
2024-01-13 00:16
【技术选型】Doris vs
starRocks
比对结论仅从当前能看到的数据中,相比于doris,
starRocks
在性能方面具备优势,且更新频率高(降低维护成本)。
偏振万花筒
·
2024-01-12 08:41
大数据
大数据
分布式
starrocks
权限管理-2.3.2版本
1.新用户创建以及授权1.创建用户(未分配角色)--使用明文密码创建用户,允许其从'172.25.20.1'登陆。如果172.25.20.1被%替换就是所有ip都可以访问CREATEUSERbigdata@'172.25.20.1'IDENTIFIEDWITHmysql_native_passwordBY'Zhengda@1';不能创建数据库和表2.创建用户(分配角色)CREATEUSER'dmp
远方有海,小样不乖
·
2024-01-12 08:50
大数据
Starrocks
监控方案
GrafanaLabs部署prometheus配置文件global:scrape_interval:15sevaluation_interval:15sscrape_configs:-job_name:'
StarRocks
_Cluster'metrics_path
远方有海,小样不乖
·
2024-01-12 08:46
数据库
运维
【大数据OLAP引擎】
StarRocks
为什么快?
StarRocks
的优势
StarRocks
最初主要的优势是性能,当时在单表查询方面与性能标杆ClickHouse不相上下,而join优化特性使其在多表关联查询场景下的性能表现要远远优于ClickHouse
话数Science
·
2024-01-11 04:33
StarRocks
大数据
大数据
架构
【大数据OLAP引擎】StartRocks存算分离
存算一体到存算分离存算一体作为MPP数据库的典型代表,
StarRocks
3.0版本之前使用存算一体(shared-nothing)架构,BE同时负责数据存储和计算,在查询时可以直接访问BE本地数据,进行本地计算
话数Science
·
2024-01-11 04:02
大数据
StarRocks
大数据
架构
转转OLAP自助分析实践
文章目录1.导读2.背景介绍2.1为什么要做自助分析2.2核心解决的问题2.3建设初期的卡点3.技术实现3.1技术架构3.2基于QuickBI+
StarRocks
的自助分析功能实现3.3为什么选择
StarRocks
转转技术团队
·
2024-01-11 03:58
大数据
【技术选型】clickhouse vs
starRocks
如果集群化,
starRocks
可以替换clickhouse,但支持的函数会相对少一些(clickhouse有不少自定义函数)信息比对功能clickhousestarRocksjoin大表关联容易OOM对
偏振万花筒
·
2024-01-10 10:12
clickhouse
starRocks
大数据
大数据
StarRocks
(五) :数据类型
StarRocks
支持数据类型:数值类型、字符串类型、日期类型、半结构化类型、其他类型。您在建表时可以指定以下类型的列,向表中导入该类型的数据并查询数据。
运维仙人
·
2024-01-09 17:29
大数据
大数据
StarRocks
StarRocks
Awards 2023 年度贡献人物
这一年,
StarRocks
继续全方位大步向前迈进,在300+贡献者的辛勤建设下,社区先后发布了50+版本,并完成了从全场景OLAP到云原生湖仓的进化。
StarRocks_labs
·
2024-01-09 13:06
数据仓库
大数据
clickhouse
StarRocks
集群搭建
StarRocks
集群搭建一、
StarRocks
简介
StarRocks
是新一代极速全场景MPP(MassivelyParallelProcessing)数据库。
awsless
·
2024-01-08 14:41
数据库
大数据
数据分析
datax数据导入
starrocks
表报列数量不匹配错误,问题解决思路
背景在做客户数据导入任务的时候,需要将客户oracle的数据通过datax导入到
starrocks
的表中,但是datax的配置文件中SQL查找客户数据的列数和要导入的
starrocks
表的列数都是相同且对应的
lx__angel
·
2024-01-06 15:10
Linux
datax
数据同步
列数不匹配
starrocks
linux
大数据
StarRocks
(四) :常用命令
这次主要介绍生产工作中使用
Starrocks
时的常用命令4.1连接
StarRocks
4.1.1Linux命令行连接[root@hadoop1011fe]#yuminstallmysql-y[root@hadoop1011fe
运维仙人
·
2024-01-05 13:02
大数据
大数据
StarRocks
直播预告|
StarRocks
3.2 全面解读:易用性和性能的双重提升
StarRocks
3.2版本即将发布,这是
StarRocks
的又一次重大升级,除了进一步完善存算分离架构、数据湖分析和物化视图等重要特性,我们还聚焦于运维操作细节,大大提升了
StarRocks
的易用性,
StarRocks_labs
·
2024-01-04 20:38
后端
微信基于
StarRocks
的湖仓一体实践
通过
StarRocks
的湖仓一体方案,以及和社区密切配合开发的实时增量物化视图,微信解决了“实时、极速”背后的“统一”诉求。在直播业务场景中,通过湖上建仓的方
StarRocks_labs
·
2024-01-04 20:38
后端
B 站基于
StarRocks
构建大数据元仓
经过调研和性能测试,大数据元仓最终以
StarRocks
为技术底座,从实际的应用效果来看,大部分查询都能在几百毫秒内返回结果。
StarRocks_labs
·
2024-01-04 20:08
后端
StarRocks
在小红书自助分析场景的应用与实践
作者:小红书OLAP研发负责人王成近两年
StarRocks
一直是小红书OLAP引擎体系里非常重要的部分,过去一年,小红书的
StarRocks
使用规模呈现出翻倍的增长速度,目前整体规模已经达到30个集群,
StarRocks_labs
·
2024-01-04 20:07
后端
大数据
StarRocks
(三)
StarRocks
数据表设计
在
StarRocks
中,
运维仙人
·
2024-01-04 07:30
大数据
大数据
starrocks
大数据
StarRocks
(二)
StarRocks
集群部署
一、生产机器资源评估1.梳理数据量,包括每天增量数据接入和全量数据接入2.数据存储时间长度(1个月/3个月/半年/1年/三年等)3.报表的SQL查询数量,SQL查询占用资源的统计,需要提前做好压测4.压测可以采用官网提供的压测工具先进行测试,根据测试数据进行资源调整,然后再要业务数据进行压测一遍最终以压测中预期结果最好的机器配置进行申请,如果公司很rich的话,直接用80c/256G的机器配置。二
运维仙人
·
2024-01-04 07:55
大数据
大数据
StarRocks
大数据
StarRocks
(一)
StarRocks
概述
1
StarRocks
介绍
StarRocks
是新一代极速全场景MPP(MassivelyParallelProcessing)数据库,它充分吸收关系型OLAP数据库和分布式存储系统在大数据时代的优秀研究成果
运维仙人
·
2024-01-03 06:24
大数据
大数据
python定时查询
starrocks
将结果保存在excel
背景在工作过程中要定期的更新excel表的信息,每个星期都要去查询strarocks的数据导出结果到excel,俗话说:“不会偷懒的运维不是好运维”,于是写了python小程序解决这个重复的工作,设置定时任务,直接去服务器下载导出的excel表格即可。代码代码的逻辑简单介绍:将要执行的SQL以名称进行区分保存并放到目录:SQLfileDir,设置结果存放路径:./…/outputdir/。pyth
运维仙人
·
2024-01-01 14:24
Python
大数据
python
starrocks
doris
存算分离降本增效,
StarRocks
助力聚水潭 SaaS 业务服务化升级
作者:聚水潭数据研发负责人溪竹聚水潭是中国领先的SaaS软件服务商,核心产品是电商ERP,协同350余家电商平台,为商家提供综合的信息化、数字化解决方案。公司是偏线下商家侧的toB服务商,员工人数超过3500,线下网点超过100个,每天要承载大概2亿包裹量的ERP发货流程,产生的数据量超过10TP。公司数据智能产品的定位是将数据融入到服务流程中,在ERP这个大的体系里,帮助商家进行数据提效。从整体
StarRocks_labs
·
2023-12-30 15:38
后端
StarRocks
数据模型之主键模型(当前版本v3.1)
StarRocks
表设计数据模型,有四种:分别是明细模型(DumplicateKeytable),聚合模型(Aggregatetable),更新模型(UniqueKeytable),主键模型(PrimaryKeytable
临界爵迹
·
2023-12-29 09:34
数据库
数据库
StarRocks
:快速查询的秘密解析
StarRocks
,作为一种高效的分布式实时分析数据库,以其快速的查询性能在业界广受赞誉。本文将重点讨论
StarRocks
能够实现快速查询的原因,并分条论述其优势。
临界爵迹
·
2023-12-29 09:03
大数据
数据库
Flink导入
StarRocks
1、pom依赖881.13.62.12org.apache.flinkflink-java${flink.version}org.apache.flinkflink-streaming-java_${scala.binary.version}${flink.version}org.apache.flinkflink-runtime-web_${scala.binary.version}${flin
docsz
·
2023-12-28 16:29
starrocks
分包zip压缩,解压报错:invalid zip file with overlapped components (possible zip bomb)
最近生产环境传输了
starrocks
的安装包,分包压缩之后上传服务器文件,然后合成一个大包,在进行解压的时候出现解压失败的问题。根据报错提示增加环境变量,将问题解决。
运维仙人
·
2023-12-28 10:54
大数据
linux
starrocks
集群fe/be节点进程守护脚本
自建
starrocks
集群,有时候服务会挂掉,无法自动拉起服务,于是采用supervisor进行进程守护。可能是版本的原因,supervisor程序总是异常,无法对fe//be进行守护。
运维仙人
·
2023-12-28 10:17
运维
linux
StarRocks
-3.1.6升级
1、升级路径1.1、小版本升级您可以跨小版本升级您的
StarRocks
集群,例如,从v2.2.6直接升级到v2.2.11。
docsz
·
2023-12-27 03:04
starrocks
CloudCanal x Debezium 打造实时数据流动新范式
CloudCanal近期实现了从Kafka消费Debezium格式数据,将其同步到
StarRocks
、Doris、Elasticsearch、MongoDB、ClickHouse等12种数据库和数仓,补全其数据到达能力
ClouGence
·
2023-12-22 16:48
CloudCanal
数据库
大数据
数据仓库
etl
Flink系列之:使用Flink Mysql CDC基于Flink DataStream同步mysql数据到
StarRocks
数据库
Flink系列之:使用FlinkMysqlCDC基于FlinkDataStream同步mysql数据到
StarRocks
数据库一、相关技术博客二、pom.xml三、mysql表结构四、
StarRocks
最笨的羊羊
·
2023-12-22 13:03
大数据
Flink
Flink系列
Flink
Mysql
CDC
DataStream
StarRocks数据库
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他