starrocks 第3页

大数据StarRocks(二) StarRocks集群部署

一、生产机器资源评估1.梳理数据量，包括每天增量数据接入和全量数据接入2.数据存储时间长度（1个月/3个月/半年/1年/三年等）3.报表的SQL查询数量，SQL查询占用资源的统计，需要提前做好压测4.压测可以采用官网提供的压测工具先进行测试，根据测试数据进行资源调整，然后再要业务数据进行压测一遍最终以压测中预期结果最好的机器配置进行申请，如果公司很rich的话，直接用80c/256G的机器配置。二

运维仙人·2024-01-04 07:55

大数据StarRocks(一) StarRocks概述

1StarRocks介绍StarRocks是新一代极速全场景MPP(MassivelyParallelProcessing)数据库，它充分吸收关系型OLAP数据库和分布式存储系统在大数据时代的优秀研究成果

运维仙人·2024-01-03 06:24

python定时查询starrocks将结果保存在excel

背景在工作过程中要定期的更新excel表的信息，每个星期都要去查询strarocks的数据导出结果到excel，俗话说：“不会偷懒的运维不是好运维”，于是写了python小程序解决这个重复的工作，设置定时任务，直接去服务器下载导出的excel表格即可。代码代码的逻辑简单介绍：将要执行的SQL以名称进行区分保存并放到目录：SQLfileDir，设置结果存放路径：./…/outputdir/。pyth

运维仙人·2024-01-01 14:24

存算分离降本增效，StarRocks 助力聚水潭 SaaS 业务服务化升级

作者：聚水潭数据研发负责人溪竹聚水潭是中国领先的SaaS软件服务商，核心产品是电商ERP，协同350余家电商平台，为商家提供综合的信息化、数字化解决方案。公司是偏线下商家侧的toB服务商，员工人数超过3500，线下网点超过100个，每天要承载大概2亿包裹量的ERP发货流程，产生的数据量超过10TP。公司数据智能产品的定位是将数据融入到服务流程中，在ERP这个大的体系里，帮助商家进行数据提效。从整体

StarRocks_labs·2023-12-30 15:38

StarRocks数据模型之主键模型（当前版本v3.1）

StarRocks表设计数据模型，有四种：分别是明细模型（DumplicateKeytable），聚合模型（Aggregatetable），更新模型（UniqueKeytable），主键模型（PrimaryKeytable

临界爵迹·2023-12-29 09:34

StarRocks：快速查询的秘密解析

StarRocks，作为一种高效的分布式实时分析数据库，以其快速的查询性能在业界广受赞誉。本文将重点讨论StarRocks能够实现快速查询的原因，并分条论述其优势。

临界爵迹·2023-12-29 09:03

Flink导入StarRocks

1、pom依赖881.13.62.12org.apache.flinkflink-java${flink.version}org.apache.flinkflink-streaming-java_${scala.binary.version}${flink.version}org.apache.flinkflink-runtime-web_${scala.binary.version}${flin

docsz·2023-12-28 16:29

分包zip压缩，解压报错：invalid zip file with overlapped components (possible zip bomb)

最近生产环境传输了starrocks的安装包，分包压缩之后上传服务器文件，然后合成一个大包，在进行解压的时候出现解压失败的问题。根据报错提示增加环境变量，将问题解决。

运维仙人·2023-12-28 10:54

starrocks集群fe/be节点进程守护脚本

自建starrocks集群，有时候服务会挂掉，无法自动拉起服务，于是采用supervisor进行进程守护。可能是版本的原因，supervisor程序总是异常，无法对fe//be进行守护。

运维仙人·2023-12-28 10:17

StarRocks-3.1.6升级

1、升级路径1.1、小版本升级您可以跨小版本升级您的StarRocks集群，例如，从v2.2.6直接升级到v2.2.11。

docsz·2023-12-27 03:04

CloudCanal x Debezium 打造实时数据流动新范式

CloudCanal近期实现了从Kafka消费Debezium格式数据，将其同步到StarRocks、Doris、Elasticsearch、MongoDB、ClickHouse等12种数据库和数仓，补全其数据到达能力

ClouGence·2023-12-22 16:48

Flink系列之：使用Flink Mysql CDC基于Flink DataStream同步mysql数据到StarRocks数据库

Flink系列之：使用FlinkMysqlCDC基于FlinkDataStream同步mysql数据到StarRocks数据库一、相关技术博客二、pom.xml三、mysql表结构四、StarRocks

最笨的羊羊·2023-12-22 13:03

【StarRocks-1.简介】

一、简介:starRocks起源于开源软件Doris,其相对Doris的社区环境，starRcoks有商业团队维护、快速版本迭代和dockerHub高支持,让我在生产环境中更加偏向于starRocks，

万琛·2023-12-16 13:52

StarRocks上新，“One Data、All Analytics”还有多远？

近年来,无论国外的Snowflake、Databricks，还是国内StarRocks、PingCAP，大批数据分析型公司涌现，都旨在满足越来越多的数据分析需求，帮助各种企业充分释

大数据在线·2023-12-04 18:14

StarRocks 存算分离最佳实践，让降本增效更简单

StarRocks存算分离自版本3.0.0开放使用，已经历过多个大版本迭代，在众多客户生产环境中得到验证。但在用户使用过程中也反馈了一些问题，大多源自对新能力不够熟悉导致无法达到最佳效果。

StarRocks_labs·2023-12-04 15:55

Flink系列：使用Debezium将MySQL数据库表数据采集到Kafka Topic，并将Kafka Topic数据同步到StarRocks数据库

Flink系列：使用Debezium将MySQL数据库表数据采集到KafkaTopic，并将KafkaTopic数据同步到StarRocks数据库在本篇文章中，我们将介绍如何使用ApacheFlink、

代码指四方·2023-12-02 18:36

用 CloudCanal 快速验证阿里云 EMR for StarRocks 和 Doris

背景StarRocks和Doris是近两年来相当流行的、国产的、开源的实时数仓，不仅数据检索、分析能力出众，而且数据准备实时性好、准确度高、使用丝滑，可如同在线数据库般使用。

ClouGence·2023-12-02 08:47

UData+StarRocks在京东物流的实践 | 京东物流技术团队

1背景数据服务与数据分析场景是数据团队在数据应用上两个大的方向，行业内大家有可能会遇到下面的问题：1.1数据服务烟囱式开发模式：每来一个需求开发一个数据服务，数据服务无法复用，难以平台化，技术上无法积累服务维护难度大：当开发了大量数据服务后，后期维护是大问题，尤其是618、双11大促期间，在没有统一的监控、限流、灾备方案的情况下一个人维护上百个数据服务是一件很痛苦的事，也造成了很大的安全隐患业务需

京东云技术团队·2023-11-29 13:46

StarRocks从入门到精通系列六：使用EXPORT、Spark、Flink从StarRocks中导出数据

StarRocks从入门到精通系列六：使用EXPORT、Spark、Flink从StarRocks中导出数据一、使用EXPORT导出数据1.背景信息2.导出流程3.基本原理4.相关配置5.基本操作6.最佳实践二

最笨的羊羊·2023-11-28 11:38

StarRocks

目录StarRocks基本概念系统架构功能排序键物化视图数据导入使用库表创建数据类型注意事项新增分区修改字段类型问题问题1：问题2：问题3：问题4：问题5：ClickHouse与StarRocks的对比

坤岭·2023-11-28 11:07

StarRocks-Profile分析及优化指南

使用mysqlclient连接starrocks集群，mysql-hip-P9030-uroot-pxxx然后输入##该参数开启的是session变量，若想开启全局变量可以setglobalis_repo

落花闲庭坐·2023-11-28 11:36

StarRocks 的学习笔记

StarRocks的学习笔记文章目录StarRocks的学习笔记1.介绍1.1StarRocks特性1.2使用场景1.3OLAP多维分析1.4实时数据仓库1.5高并发查询1.6统一分析2.系统架构2.1StarRocks

白居不易.·2023-11-28 11:36

第2.8章：StarRocks表设计--物化视图

在实际的业务中，我们通常需要对数据进行对原始明细数据任意维度的分析以及固定维度聚合分析。两种场景并存的情况下，聚合模型表由于缺失部分明细数据，就无法满足用户对明细数据的分析需求。如果仅建立一个明细模型，虽然可以满足任意维度的分析需求，但对明细数据进行聚合分析时，实时分析性能不佳。若同时建立一个聚合模型和一个明细模型，虽然可以满足性能和任意维度分析，但两表之间本身无关联，需要业务方自行选择分析表，不

流木d·2023-11-28 11:35

第4.4章：StarRocks备份还原--Backup&Restore

Backup是StarRocks目前提供的唯一一种可将数据与元数据一并导出的导出方式。

流木d·2023-11-28 11:35

StarRocks企业级数据库

第1章StarRocks简介1.1StarRocks介绍StarRocks是新一代极速全场景MPP数据库StraRocks充分吸收关系型OLAP数据库和分布式存储系统在大数据时代的优秀研究成果，在业界实践的基础上

AllenGd·2023-11-28 11:30

Starrocks异步物化视图的使用以及注意事项

最近在使用starrocks来进行实时数据项目的开发，尝试使用了一下starrocks的异步物化视图。

雾岛与鲸·2023-11-28 11:28

StarRocks 算子落盘：让大查询又快又稳

内存是对数据库非常重要的数据存储介质，它承载了所有查询计算的请求，在提升性能、实时分析等场景都有着重要的作用。正是由于内存如此重要，经常会遇到内存不够的情况，从而导致查询被强制终止，甚至对线上其他查询性能产生负面影响。例如：在轻量级ETL或查询加速场景（如INSERTINTOASSELECT任务，或构建大宽表的物化视图进行建模），由于涉及查询通常是多张大表关联或者是高基数聚合等复杂计算，从而在实际

StarRocks_labs·2023-11-27 20:08

极速进化，融合“新“生 | StarRocks Summit 2023 技术交流峰会圆满落幕

2023年11月17日，由StarRocks社区发起、镜舟科技主办的StarRocks年度大型技术交流峰会StarRocksSummit2023在上海成功举行。

StarRocks_labs·2023-11-27 20:38

StarRocks Evolution：One Data，All Analytics

在11月17日举行的StarRocksSummit2023上，StarRocksTSCMember、镜舟科技CTO张友东详细介绍了StarRocks社区的发展情况，并全面解析了StarRocks的核心技术与未来规划

StarRocks_labs·2023-11-27 20:07

window环境搭建StarRocksFE节点

StarRocks部署–源码编译前言注意:本文借用了一些其他文章的一些截图，同时自己做了具体的编译步骤，添加了一些新的内容目标：编译StarRocks2.5.13版本FE节点代码，在本地window环境运行

疯子1313·2023-11-27 09:28

StarRocks与ClickHouse

现在ROLAP计算存储一体的数据仓库主要有三种，即StarRocks(DorisDB)，ClickHouse和ApacheDoris。应用最广的数据查询系统主要有Druid，Kylin和HBase。

Yuan_CSDF·2023-11-26 19:11

技术分享 | ClickHouse & StarRocks 使用经验分享

一.大纲本篇分享下个人在实时数仓方向的一些使用经验，主要包含了ClickHouse和StarRocks这两款目前比较流行的实时数仓，文章仅代表个人拙见，有问题欢迎指出，Thanks♪(･ω･)ﾉ关于实时数仓

爱可生开源社区·2023-11-26 19:08

数仓成本下降近一半，StarRocks 存算分离助力云览科技业务出海

作为数据驱动的高科技公司，从数据中挖掘价值一直是公司核心任务，公司以前选用了众多组件来提升内部大数据分析效率，如Trino作为即席查询的工具、用ClickHouse和StarRocks来加速报表业务查询

StarRocks_labs·2023-11-24 12:31

使用flink api把数据写到StarRocks存储系统

使用Flink的JDBC连接器将数据写入StarRocks存储系统中。

wuchongyong·2023-11-20 11:43

flink 读取 starrocks 数据

一些命令./bin/stop-cluster.sh./bin/start-cluster.sh./bin/flinklistrunning新补充一些jar包,需要重启clusterCouldnotacquiretheminimumrequiredresources.提示资源不够,需要更改配置https://blog.csdn.net/liupinyang/article/details/12628

weixin_42462308·2023-11-20 11:11

springboot集成starrocks、以及采用flink实现mysql与starrocks亚秒级同步

application.yml（因采用dynamic-datasource-spring-boot-starter动态数据源，所以才是以下配置文件的样式，像redis，druid根据自己情况导入依赖）这个配置文件的场景是把starrocks

qq_41369135·2023-11-20 11:03

Flink——读取Kafka数据处理后存入StarRocks

授权方式登录登录华为FusionInsightManager下载flinkuser用户的授权文件user.keytab、krb5.conf准备LoginUtil工具类登录代码如下：//loginStringuserPrincipal="flinkuser";StringuserKeytabPath=System.getProperty("user.dir")+File.separator+"con

^o^Smile^_^·2023-11-20 11:55

FLINK SQL将数据导入至STARROCKS报错

报错信息："Message":"Thesizeofthisbatchexceedthemaxsize[104857600]ofjsontypedatadata[234201957].解决：'sink.buffer-flush.max-bytes' = '104857600',

朱云婷�·2023-11-20 11:53

flink 查看写入starrocks的数据量总行数

针对该connector:https://github.com/StarRocks/docs.zh-cn/blob/main/loading/Flink-connector-starrocks.md

Thomas2143·2023-11-20 11:51

经验篇：大数据常用工具集合

数据存储工具rds、mysql、postgresql、presto；starrocks/Doris；oss、es、hdfs、binlog、nosql、redis、neo4j；Kafkaoss：文件、图片

lazyone10·2023-11-17 17:32

快速构建 SAP ERP 内置数据库 HANA 到 StarRocks 的数据迁移同步任务

简述SAPHANA是由SAP开发的一款内存列式数据库,具有预测分析、空间数据处理、文本分析、文本搜索、流分析、图形数据处理等高级分析功能。HANA内存列式数据库特性，即启动后可以把所有数据载入内存，相比传统基于硬盘的数据库，性能提升10~10,000倍。HANA一般内置在SAPERP系统中提供服务，在制造业应用广泛。现如今企业尝试建立统一数据分析平台，SAPHANA保存了ERP相关数据，如何实时同

ClouGence·2023-11-17 10:01

StarRocks × Apache Flink：如何构建简单强大的实时数仓架构

实时数据分析正在成为企业数字化经营的核心，如何有效构建实时数据分析系统是每个企业都在面临的挑战。当前在构建实时数仓时，由于数据源的多样性，需要使用不同的采集工具，如Flume、Canal、Logstash。对于不同的业务，我们通常会采用不同的分析引擎。比如，对于固定报表业务，根据已知的查询语句可以预先将事实表与维度表打平成宽表，充分利用ClickHouse强大的单表查询能力；对于高并发的查询请求，

大数据技术架构·2023-11-15 16:27

在Ubuntu主机上使用USB无线网卡

前言上个月冲动消费攒了一台华擎DeskMiniX300小主机，装了Ubuntu22.04，用来解决M1芯片MacBookPro上无法编译x86_64架构的StarRocks和ClickHouse的问题。

疯狂撸代码的奋青·2023-11-11 17:31

来云栖大会看 “ 云+StarRocks 3.0：极速统一的湖仓新范式 ”

其中，在「生态产品与伙伴赋能」主题中，StarRocks技术指导委员会成员、镜舟科技CTO张友东和阿里云高级技术专家范振将分享话题云+StarRocks3.0：极速统一的湖仓新范式。

Apache Spark中国社区·2023-11-11 08:49

Flink往Starrocks写数据报错：too many filtered rows

Bug信息Causedby:com.starrocks.data.load.stream.exception.StreamLoadFailException:{"TxnId":2711690,"Label

SunnyRivers·2023-11-08 19:01

CentOS7安装部署StarRocks

文章目录CentOS7安装部署StarRocks一、前言1.简介2.环境二、正文1.StarRocks基础1）架构图2）通讯端口2.部署服务器3.安装基础环境1）安装JDK112）修改机器名3）安装GCC4

趴着喝可乐·2023-11-08 17:02

火山引擎 EMR StarRocks 场景案例分享

字节数据平台·2023-11-07 05:06

hive数据通过sqoop、datax导入starrocks的几种方式

零、sqoop方式1、shell调用sqoop脚本##Dsqoop.export.records.per.statement=500这个参数很关键，可解决和starrocks报"toomanytabletversions

涤生6686·2023-11-05 04:29

一文速通 StarRocks 数据库：核心概念、架构与特性

Author:XinyaoTian概述本文档简要梳理了StarRocks的基本信息。简介IntroductionStarRocks是面向下个时代的，高性能的数据分析仓库。

田昕峣 Richard·2023-11-03 07:31

无需数据搬迁，10倍性能提升！携程的统一分析之旅

作者：携程技术中心大数据总监许鹏携程自2022年起引入了StarRocks，目前已经成为了集团内部的主要技术栈，应用到酒店、机票、商旅、度假、市场、火车票等多个关键业务线。

StarRocks_labs·2023-11-02 11:10

推荐频道

starrocks