E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
数仓同步工具
Databend 开源周报第 126 期
Databend是一款现代云
数仓
。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:https://app.databend.cn。
Databend
·
2024-01-05 05:25
数据库
开源
数据库工程师—面试
2.
数仓
每层做了什么事说的层次感不清晰,3.写过最复杂的SQL,如路径分析,流失,回流用户
劝学-大数据
·
2024-01-05 00:59
大数据面试题
面试
职场和发展
大数据
物流实时
数仓
:
数仓
搭建(DWD)二
系列文章目录物流实时
数仓
:采集通道搭建物流实时
数仓
:
数仓
搭建物流实时
数仓
:
数仓
搭建(DIM)物流实时
数仓
:
数仓
搭建(DWD)一物流实时
数仓
:
数仓
搭建(DWD)二文章目录系列文章目录前言一、代码编写1.文件创建
超哥--
·
2024-01-04 22:27
物流实时数仓
java
数据库
服务器
物流实时
数仓
:
数仓
搭建(DWS)一
系列文章目录物流实时
数仓
:采集通道搭建物流实时
数仓
:
数仓
搭建物流实时
数仓
:
数仓
搭建(DIM)物流实时
数仓
:
数仓
搭建(DWD)一物流实时
数仓
:
数仓
搭建(DWD)二物流实时
数仓
:
数仓
搭建(DWS)一文章目录系列文章目录前言一
超哥--
·
2024-01-04 22:56
物流实时数仓
数据库
flink
大数据
java
微信基于StarRocks的湖仓一体实践
作者:StarRocksActiveContributer、微信OLAP内核研发工程师微信作为国内活跃用户最多的社交软件,其数据平台建设经历了从Hadoop到ClickHouse亚秒级实时
数仓
的阶段,但仍旧面临着数据体验割裂
StarRocks_labs
·
2024-01-04 20:38
后端
数据湖和传统
数仓
区别及湖仓一体
1.数据仓库早期系统采用关系型数据库来存放管理数据,但是随着大数据技术的兴起,人们对于多方面数据进行分析的需求愈加强烈,这就要求建立一个能够面向分析、集成保存大量历史数据的新型管理机制,这一机制就是数据仓库。数据仓库通常存储来自不同源的数据,集成源数据以提供统一的视图。这些资源可以包括事务系统、应用程序日志文件、关系数据库等等。数据仓库特性:面向主题:与传统数据库面向应用进行数据组织的特点相对应,
土豆马铃薯
·
2024-01-04 20:04
数据湖
大数据
spark
分布式
流式湖仓增强,Hologres + Flink构建企业级实时
数仓
2023年12月,由阿里云主办的实时计算闭门会在北京举行,阿里云实时
数仓
Hologres研发负责人姜伟华现场分享Hologres+Flink构建的企业级实时
数仓
,实现全链路的数据实时计算、实时写入、实时更新
阿里云大数据AI技术
·
2024-01-04 16:07
flink
大数据
数仓
工作中的常见问题及解决方案
数据仓库系列文章
数仓
架构发展史
数仓
建模方法论
数仓
建模分层理论
数仓
建模—宽表的设计
数仓
建模—指标体系数据仓库之拉链表
数仓
—数据集成
数仓
—数据集市
数仓
—商业智能系统
数仓
—埋点设计与管理
数仓
—IDMapping
大数据技术派
·
2024-01-04 16:34
spark
大数据
分布式
mac电脑配置本地连接开发机器一键打包部署
已安装请跳过)/bin/bash-c"$(curl-fsSLhttps://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"安装rsync
同步工具
会编程的羽流云
·
2024-01-04 11:02
linux部署安装
macos
java
开发
实时
数仓
投放主备链路Diff测试工具落地实践
一、背景目前实时
数仓
提供的投放实时指标优先级别越来越重要,特别下游为规则引擎提供的
数仓
数据,直接对投放运营的广告投放产生直接影响,数据延迟或者异常均可能产生直接或者间接的资产损失;从投放管理平台的链路全景图投放全景图来看
得物技术
·
2024-01-04 08:02
得物技术
数据库
某人寿保险公司基础架构云化与小机
数仓
下移实践
随着数据中心IT基础架构的不断演进,云计算、大数据、移动互联的需求日益高涨,快速敏捷、易于维护以及扩展性,逐渐成为金融机构在升级数据中心时重点考虑的方面。某人寿保险公司(以下简称“客户”)过往采用传统三层架构,即IBMPower/x86+FCSAN+集中式存储的组合,在使用多年后面临设备老旧、灵活性与性能无法及时满足业务变化等问题。另外,传统架构也存在使用专用硬件及网络、存储控制器集中、架构及运维
志凌海纳SmartX
·
2024-01-04 03:09
超融合
云计算
数据库架构
阿里巴巴开源异构数据源离线/全量/增量
同步工具
- DataX
19年之后由于某些原因断更了三年,23年重新扬帆起航,推出更多优质博文,希望大家多多支持~古之立大事者,不惟有超世之才,亦必有坚忍不拔之志个人CSND主页——Micro麦可乐的博客《Docker实操教程》专栏以最新的Centos版本为基础进行Docker实操教程,入门到实战《RabbitMQ》本专栏主要介绍使用JAVA开发RabbitMQ的系列教程,从基础知识到项目实战《设计模式》专栏以实际的生活
Micro麦可乐
·
2024-01-04 00:51
数据库
开源
DataX
数据库同步工具
数据同步框架
数据全量同步
数据增量同步
CountDownLatch 的用法
intcount)countDown()longgetCount()await()booleanawait(longtimeout,TimeUnitunit)两个示例CountDownLatch是一个
同步工具
类
赵丙双
·
2024-01-03 22:25
java
CountDownLatch
java
Doris
数仓
使用规范(经验版)
第一部分:字符集规范【强制】数据库字符集指定utf-8,并且只支持utf-8。命令规范【建议】库名统一使用小写方式,中间用下划线(_)分割,长度62字节内【建议】表名称大小写敏感,统一使用小写方式,中间用下划线(_)分割,长度64字节内第二部分:建表规范【强制】确保每个tablet大小为1-3G之间。举例:假设表内单分区数据量在100G,按天分区,bucket数量100个。【强烈建议】不要使用Au
hf200012
·
2024-01-03 19:30
数据库
java
前端
Doris
大数据
电商
数仓
可视化1--数据导入
1、数据来源介绍以及数据文件下载1、业务数据业务数据往往产生于事务型过程处理,所以一般存储在关系型数据库中,如mysql、oracle业务数据源:用户基本信息、商品分类信息、商品信息、店铺信息、订单数据、订单支付信息、活动信息、物流信息等2、埋点数据埋点日志相对业务数据是用于数据分析、挖掘需求,一般以日志形式存储于日志文件中,随后通过采集落地分布式存储介质中如hdfs、hbase用户行为日志:用户
bigdata从入门到放弃
·
2024-01-03 18:53
数据仓库
linux
hadoop
大数据
java
数据仓库
我的大数据之路:2023年度总结
2023年度最值得骄傲的事从0到1搭建了离线
数仓
体系,针对Hadoop生态组件的原理和特性有了深入的理解。
话数Science
·
2024-01-03 18:07
大数据
面试
大数据
面试
spark
【大数据】Doris
数仓
使用规范原则
第一部分:字符集规范【强制】数据库字符集指定utf-8,并且只支持utf-8。命令规范【建议】库名统一使用小写方式,中间用下划线(_)分割,长度62字节内【建议】表名称大小写敏感,统一使用小写方式,中间用下划线(_)分割,长度64字节内第二部分:建表规范【强制】确保每个tablet大小为1-3G之间。举例:假设表内单分区数据量在100G,按天分区,bucket数量100个。【强烈建议】不要使用Au
奔向理想的星辰大海
·
2024-01-03 16:48
大数据
云原生
技术研发
大数据
数据库
数睿通2.0:高效的数据处理,主数据与数据表功能全面升级
引言八天很短,七天很长,数睿通2.0数据中台也随之迎来了新一轮的版本迭代,本次更新主要包括:主数据模型(可视化建模)主数据派发(支持派发主数据到下游数据表,rabbitMq,kafka,接口)数据表(
数仓
分层表信息展示
小螺旋丸
·
2024-01-03 10:51
大数据
数据库
大数据
数据中台
Flink实时电商
数仓
(十)
common模块回顾appBaseApp:作为其他子模块中使用Flink-StreamAPI的父类,实现了StreamAPI中的通用逻辑,在其他子模块中只需编写关于数据处理的核心逻辑。BaseSQLApp:作为其他子模块中使用Flink-SQLAPI的父类。在里面设置了使用SQLAPI的环境、并行度、检查点等固定逻辑。bean:存放其他子模块中使用到的javaBean对象,因为如果一直使用json
十七✧ᐦ̤
·
2024-01-03 09:50
flink
大数据
Hive自定义函数支持国密SM4解密
当前项目背景需要使用到国密SM4对加密后的数据进行解密,Hive是不支持的,尝试了华为DWS
数仓
,华为只支持在DWS中的SM4加密解密,不支持外部加密数据DWS解密新建Maven工程只需要将引用的第三方依赖打到
4935同学
·
2024-01-03 08:03
Hive
Java
hive
hadoop
数据仓库
计算机毕业设计吊打导师hadoop+spark+hive知识图谱医生推荐系统 医生数据分析可视化大屏 医生爬虫 医疗可视化 医生大数据 机器学习 大数据毕业设计
mapreduce对mysql中的医生数据进行数据分析,使用高德地图解析地理位置,并将结果转入.csv文件同时上传到hdfs文件系统;3.使用hive建库建表,导入.csv数据集;4.一半指标使用离线
数仓
计算机毕业设计大神
·
2024-01-03 07:53
数据仓库命名规范详解
一、
数仓
中为什么要在数据开发过程中强调遵守
数仓
开发命名规范呢?
孤城暮雨@
·
2024-01-03 04:17
数据仓库
hive
hadoop
数据库
sql
database
数据库架构
Azkaban+Spark资源调度
本文以利用Azkaban+Spark构建
数仓
的DWS层和ADS层为例!!!
孤城暮雨@
·
2024-01-03 04:46
spark
大数据
分布式
iMazing 2 .17.16最新官方中文版免费下载安装激活
作为苹果指定的iOS设备
同步工具
。mazing什么意思iMazing是一款强大的iOS设备管理器,能够备份、保存、导出您的iOS设备数据,激活后可绑定2台移动设备
yanling2023
·
2024-01-02 14:33
mac软件
热门软件
iMazing
macos
ios
iMazing
Spark内容分享(二十):网易基于 Kyuubi + Spark 内核优化以及实践
AQE–History2.AQE–Shuffle3.AQE-SmallReducePartition4.AQE–SkewedReducePartition5.AQE–OptimizePlanKyuubi+Spark
数仓
类任务优化实践
之乎者也·
·
2024-01-02 10:21
Spark
内容分享
大数据(Hadoop)内容分享
spark
大数据
分布式
最容易出错的 Hive Sql 详解
前言在进行
数仓
搭建和数据分析时最常用的就是sql,其语法简洁明了,易于理解,目前大数据领域的几大主流框架全部都支持sql语法,包括hive,spark,flink等,所以sql在大数据领域有着不可替代的作用
奔跑者-辉
·
2024-01-02 07:30
hive
hive
sql
大数据
Flink的优势
主要应用场景包括实时
数仓
、实时大屏、实时推荐、实时报表、实时风控和实时监控,当然还有其他一些应用场景。总之,实时计算的业务需求,一般都会用Flink进行开发。
有味青年
·
2024-01-01 13:01
笔记
数据
同步工具
—DataX—Web部署使用
以前了解datax,感觉对易用性不大好,目前发现已经图形配置工具。简单整理一下。DataX—Web部署使用Datax的使用过程中,我们会发现,不管是利用java调用以及python命令启动的方式,我们都无法进行任务的管理,并且每次执行任务前,我们都需要编辑Json配置文件,这是比较繁琐的,随着业务的增加,配置文件不方便管理和迁移并且每次执行都需要记录命令。同时目前DataX只支持单机版,无法调用远
javastart
·
2023-12-31 21:50
大数据
mongodb
数据库
Impala导出csv文件
场景:当
数仓
环境为大数据集群(impala),临时从
数仓
取数导出为csv文件使用impala-shell命令把文件导出为本地csv文件--正常导出impala-shell-q"SELECT*FROMyour_table
n_avo7_i
·
2023-12-31 18:34
大数据
linux
sql
详解Lambda和Kappa架构的区别
二、架构详解1、随着大数据的发展,人们逐渐对系统的实时性提出了要求,为了计算一些实时指标,就在原来离线
数仓
的基础上增加了一个实时计
小枫@码
·
2023-12-31 18:55
架构师
架构
实时
数仓
应用价值(下)
博客浅析研发支出费用化和资本化的区别-CSDN博客商业银行数据资产估值白皮书,推荐系统源码下载-CSDN博客用友BIP数据资产入表解决方案白皮书,推荐系统源码下载-CSDN博客六、具体五种方案的解析业界常见的实时
数仓
方案有这几种
Michael_Shentu
·
2023-12-31 00:46
大数据
数据库
人工智能
深度学习
尝试开源一款mysql-es数据
同步工具
shigen坚持更新文章的博客写手,擅长Java、python、vue、shell等编程语言和各种应用程序、脚本的开发。记录成长,分享认知,留住感动。mysql-es-synchronizer项目介绍mysql-es-synchronizer,一款开源的轻量级MySQL数据增量同步到elasticsearch工具,只需简单的配置即可实现增量的数据同步。配置文件MySQL和elasticsearch
shigen01
·
2023-12-30 19:12
开源
mysql
elasticsearch
Flink实时电商
数仓
(九)
用户注册汇总表需求分析统计各窗口的注册用户数,写入Doris思路分析读取kafka用户注册主题数据转换数据结构string->JSONObject->javaBean使用user_info表中的数据代表用户注册设置水位线开窗聚合写入Doris具体实现创建用户注册统计类继承BaseApp,设置端口,并行度,kafka消费者组,kafka主题(Topic_user_register)启动zookeep
十七✧ᐦ̤
·
2023-12-30 11:16
flink
大数据
GBASE南大通用-Base 8a集群
同步工具
超详细指南 手把手带您玩转灾备
1工具介绍GBase8a集群间
同步工具
是基于集群的底层二进制数据同步的工具,其同步的对象是库内的数据,通过解析、对比智能索引中摘要信息的变化,来实现同构集群的同构表的数据复制功能,目前已经支持图形化操作
GBASE数据库
·
2023-12-30 10:24
数据库
GBASE南大通用
GBASE
亚信安慧AntDB MTK数据
同步工具
之数据稽核
数据稽核是一种用于确保表数据准确性和一致性的重要方法,它涉及到检查数据的完整性、致性、有效性和合法性,以及与预期规范的匹配程度等多个方面。随着大数据时代的到来,通过有效的数据稽核,组织可以提高决策的准确性和效率,优化业务流程,并增强数据的可靠性和可用性。数据稽核也可以帮助组织发现数据质量问题、识别潜在的数据错误,并为数据管理和决策提供可靠的基础。本文介绍了MTK数据稽核的功能以及操作步骤。MTK支
亚信安慧AntDB数据库
·
2023-12-30 09:57
antdb
数据库
antdb数据库
Flink实时电商
数仓
(八)
用户域登录各窗口汇总表主要任务:从kafka页面日志主题读取数据,统计七日回流用户:之前活跃的用户,有一段时间不活跃了,之后又开始活跃,称为回流用户当日独立用户数:同一个用户当天重复登录,只算作一个独立用户。思路分析读取kafka页面主题数据转换数据结构:String->JSONObject过滤数据,uid不为null登录的两种情况用户打开应用后自动登录用户打印应用后没有登录,浏览后跳转到登录页面
十七✧ᐦ̤
·
2023-12-30 09:55
flink
linq
数据库
AI大模型时代下运维开发探索第二篇:基于大模型(LLM)的数据仓库
在SREWorks社区聚集了很多进行运维
数仓
建设的同学,大家都会遇到类似的挑战和问题:
数仓
中存储大量数据消耗成本,但很多存储的数据却并没有消费。
阿里云大数据AI技术
·
2023-12-30 07:39
原型模式
数据中台-架构、构建与体系建设
构建与体系建设数据中台架构数据中台构建方法论技术体系数据体系服务体系运营体系数据中台功能架构数据中台技术架构企业构建数据中台评估统计分析阶段决策支持阶段数据驱动阶段运营优化阶段数据汇集-打破企业数据孤岛数据开发-提取数据价值数据体系建设贴源数据层ODS(OperationalDataStore)统一
数仓
层
Ybb_studyRecord
·
2023-12-30 03:53
数据中台
架构
大数据
运维
java系列-Semaphore
信号量(Semaphore)不是严格意义上的锁,而是一种
同步工具
,用于控制同时访问某个特定资源的线程数量。
lostfish123
·
2023-12-29 20:41
Java
java
Flink实时电商
数仓
之DWS层
需求分析关键词统计关键词出现的频率IK分词进行分词需要引入IK分词器,使用它时需要引入相关的依赖。它能够将搜索的关键字按照日常的使用习惯进行拆分。比如将苹果iphone手机,拆分为苹果,iphone,手机。org.apache.dorisflink-doris-connector-1.17com.janeluoikanalyzer测试代码如下:publicclassIkUtil{publicsta
十七✧ᐦ̤
·
2023-12-29 17:19
flink
大数据
详解Java可重入锁ReentrantLock
详解Java可重入锁ReentrantLockJava的ReentrantLock是一个高级的线程
同步工具
,提供了比传统的synchronized方法和语句更灵活、更丰富的线程同步机制。
黑风风
·
2023-12-29 16:17
java
多线程
java
开发语言
长文解读 "数据仓库" 面试必备知识
数仓
分层
数仓
简介1.数据仓库和数据库的区别数据仓库:数据量特别的大,TB~PB级别会保留历史数据一般使用OLAP分析(On-LineAnalyticalProcessing),联机分析处理(聚合操作),
you的日常
·
2023-12-29 15:28
数据仓库-
数仓
优化小厂实践
根据自己的实践整理一些
数仓
相关的优化。二、优化1、简易架构图2、ODS层优化2.1分段式解析随着业务增长,数据量也不断增加,凌晨任务经常基线预警、破线,导致数据不能正常产出,影响运营人员分析数据。
大数据点滴
·
2023-12-29 09:25
#
数据仓库
数据仓库
datax
DataXDataX是阿里巴巴集团内被广泛使用的离线数据
同步工具
/平台,实现包括MySQL、SQLServer、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能
jerry-89
·
2023-12-29 09:24
DorisDB
database
java系列-CountDownLatch
CountDownLatch不是一种锁,而是一种
同步工具
类,用于协调多个线程之间的操作。
lostfish123
·
2023-12-28 21:31
Java
java
企业最新几种好用的数据
同步工具
对比
随着科技的不断发展,企业处理的数据量愈发庞大。数字化浪潮的涌现使得数据在业务活动和决策中的角色变得日益重要,然而这些数据往往分布在不同的位置,需要进行同步和分类,以便更有效地利用。因此,数据同步成为确保各地数据一致性的关键步骤。本文将深入探讨数据同步的原因和遇到的挑战,以及几种最佳数据同步软件。数据同步的原因和挑战数据同步解决了企业面临的多个挑战,包括数据孤岛、重复/冲突数据、低质量/过时数据、数
镭速
·
2023-12-28 19:52
大文件传输
文件传输
php
网络
开发语言
服务器
tcp/ip
分享7个Python实战项目代码,让你分分钟晋级大老!快收藏_python编程作品
听两个聊天机器人互相聊天:3、分析唐诗的作者是李白还是杜甫:4、彩票随机生成35选7:5、自动写检讨书:6、屏幕录相机,抓屏软件:7、制作Gif动图:一、Python入门二、Python爬虫三、数据分析四、数据库与ETL
数仓
五
老-程序员
·
2023-12-28 19:38
编程
Python爬虫
代码
python
开发语言
代码作品
银行
数仓
建模方法论
随着金融行业的不断发展,银行业务越来越复杂,数据量也越来越大。为了更好地管理和利用这些数据,银行数据仓库体系应运而生。在前面的文章中,我们介绍了银行数据仓库体系的基础知识,本篇文章将重点介绍银行数据仓库体系实践(7)—数据模型设计及流程。一、数据模型设计数据模型设计是银行数据仓库体系的核心,它是对银行业务进行抽象和概括的过程。在设计数据模型时,需要考虑以下几个方面:业务需求:数据模型的设计必须符合
添柴少年yyds
·
2023-12-28 18:56
数据挖掘
数据仓库
人工智能
ODS DW APP DIM
数仓
ODS:通过ETL工具从源端系统抽取数据,存入ODS层;DW:从ODS层数据进行抽取并按主题进行分类存储;DWD(数据明细层):会对ODS的数据做一定的清洗和汇总,然后生成DWM中间表;DWM(数据中间层):对DWD中的数据按照一定维度进行汇总后,放到DWS中的一张表;DWS(数据服务层):从DWM中间表中按主题进行高度汇总业务宽表,满足各项业务需要;APP:依据DWS中的宽表数据,进行应用(可视
p1i2n3g4
·
2023-12-28 17:41
大数据
数据仓库
数据库
数据挖掘
canal mysql从库_使用Canal作为mysql的数据
同步工具
目前我采取另一种实现方式,通过实时同步数据库表的方式实现,例如我们要统计每天注册与登录人数,我们只需把会员表同步到统计库中,实现本地统计就可以了,这样效率更高,耦合度更低,Canal就是一个很好的数据库
同步工具
啧吖
·
2023-12-28 11:24
canal
mysql从库
上一页
3
4
5
6
7
8
9
10
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他