E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
数仓项目学习
【大数据】Doris 构建实时
数仓
落地方案详解(三):Doris 实时
数仓
设计
本系列包含:Doris构建实时
数仓
落地方案详解(一):实时数据仓库概述Doris构建实时
数仓
落地方案详解(二):Doris核心功能解读Doris构建实时
数仓
落地方案详解(三):Doris实时
数仓
设计Doris
G皮T
·
2023-09-20 08:10
大数据
大数据
数据仓库
Doris
流批一体
Lambda
Kappa
实时数仓
【大数据】Doris 构建实时
数仓
落地方案详解(一):实时数据仓库概述
本系列包含:Doris构建实时
数仓
落地方案详解(一):实时数据仓库概述Doris构建实时
数仓
落地方案详解(二):Doris核心功能解读Doris构建实时
数仓
落地方案详解(三):Doris实时
数仓
设计Doris
G皮T
·
2023-09-20 08:40
大数据
大数据
数据仓库
Doris
实时数仓
MPP架构
Hadoop
HDFS
【大数据】Doris 构建实时
数仓
落地方案详解(二):Doris 核心功能解读
本系列包含:Doris构建实时
数仓
落地方案详解(一):实时数据仓库概述Doris构建实时
数仓
落地方案详解(二):Doris核心功能解读Doris构建实时
数仓
落地方案详解(三):Doris实时
数仓
设计Doris
G皮T
·
2023-09-20 08:40
大数据
大数据
数据仓库
Doris
实时数仓
MPP架构
Hadoop
HDFS
【大数据】Doris 构建实时
数仓
落地方案详解(三):Doris 实时
数仓
设计
本系列包含:Doris构建实时
数仓
落地方案详解(一):实时数据仓库概述Doris构建实时
数仓
落地方案详解(二):Doris核心功能解读Doris构建实时
数仓
落地方案详解(三):Doris实时
数仓
设计Doris
G皮T
·
2023-09-20 08:38
大数据
大数据
数据仓库
Doris
流批一体
Lambda
Kappa
实时数仓
MatrixDB数据库学习——筑梦之路
为万物互联的智能时代提供坚实、简洁的智能数据核心基础设施,为物联网应用、工业互联网、智能运维、智慧城市、实时
数仓
、智能家居、车
筑梦之路
·
2023-09-20 05:55
数据库技术
数据库
big
data
数据仓库
数仓
规范随记
数仓
分层以《大数据之路:阿里巴巴大数据实践》中五层(ods/dwd/dws/dim/ads)分类为基础划分,有序列表记录是分层大类,分层大类下的无需列表是分层小类或者说真正落地的:ods:近源层/贴源层
mizuhokaga
·
2023-09-20 00:56
总结
大数据
深度解读 Flink 1.11:流批一体 Hive
数仓
2020-06-02
Flink1.11中流计算结合Hive批处理
数仓
,给离线
数仓
带来Flink流处理实时且Exactly-once的能力。
会飞的鱼go
·
2023-09-19 14:06
基于vue的黑马前端项目小兔鲜
目录
项目学习
初始化项目建立项目引入elementpluselementPlus主题设置配置axios路由引入静态资源自动导入scss变量Layout页组件结构快速搭建字体图标渲染一级导航渲染吸顶导航交互实现
ོ栖落
·
2023-09-19 12:41
开发工具
arcgis
Flink 离线批处理 Mysql to Hive 离线
数仓
flinkmysqltohive我本地用的版本是flink1.13.2scala2.11,hive3.1.2环境配置1,source端读取mysql导入FLINK_HOME/lib,flink-connector-jdbc.jar2.sink端写入Hive,导入FLINK_HOME/lib,flink-sql-connector-hive注意如果没有找到自己对应版本的flinkhive包的话就导入
aaaak_
·
2023-09-19 11:56
大数据
hive
flink
mysql
Databend 开源周报第 111 期
Databend是一款现代云
数仓
。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:https://app.databend.cn。
Databend
·
2023-09-19 09:51
开源
数据库
支持多数据源联合查询的本地运行SQL执行引擎syncnany-SQL安装和配置
在微服务和云原生愈发流行的今天,数据的分布也愈发脱离单库单机而更加复杂,使用的数据库类型也会更多,但业务的复杂依然会带来了大量的数据查询和导出需求,而很多时候我们很难为数据量的大部分系统创建完整的BI
数仓
系统
·
2023-09-19 09:22
支持多数据源联合查询的SQL运行引擎sycnany-SQL添加使用自定义函数
在微服务和云原生愈发流行的今天,数据的分布也愈发脱离单库单机而更加复杂,使用的数据库类型也会更多,但业务的复杂依然会带来了大量的数据查询和导出需求,而很多时候我们很难为数据量的大部分系统创建完整的BI
数仓
系统
·
2023-09-19 09:22
幸福里基于 Flink & Paimon 的流式
数仓
实践
幸福里业务是一种典型的交易、事务类型的业务场景,这种业务场景在实时
数仓
建模中遇到了诸多挑战。
Apache Flink
·
2023-09-19 07:26
Flink
大数据
实时计算
flink
大数据
Flink相关
知乎实时
数仓
架构演进_天池技术圈-阿里云天池关于flink实时
数仓
的实际问题_flinkdatastream按天,小时写入hdfs_一个写湿的程序猿的博客-CSDN博客基于Flink+Hudi的实时
数仓
在
丢雷劳谋
·
2023-09-19 07:24
大数据
flink
大数据
vue3
项目学习
一:创建vue3项目
创建vue3项目一、使用vue-cli创建vue3项目1.安装vue-cli2.创建vue3项目二、初始化项目结构三、导入element-ui一、使用vue-cli创建vue3项目1.安装vue-cli先查看是否安装vue-cli在cmd窗口输入vue-V查看版本,如果出现则说明存在vue-cli,如果出现则需要安装vue-clinpmi-g@vue/cli如果需要升级版本则可以输入npmupda
别出声~~
·
2023-09-19 07:04
vue3学习
学习
vue.js
【直播预约中】 腾讯大数据 x StarRocks|构建新一代实时湖仓
随着信息时代的兴起,数据已成为推动业务决策和创新的核心要素;结构化、半结构化等多种类型的数据呈现爆炸式增长,如何高效处理和分析海量数据已经成为关键挑战,结合传统
数仓
与数据湖优势的湖仓一体(Lakehouse
StarRocks_labs
·
2023-09-19 04:34
后端
【大数据】Doris 构建实时
数仓
落地方案详解(一):实时数据仓库概述
Doris构建实时
数仓
落地方案详解(一):实时数据仓库概述1.数据仓库的发展历程2.数据仓库技术的发展3.
数仓
的相关技术栈4.OLAP查询5.MPP架构6.实时
数仓
定义7.实时
数仓
的难点数据仓库的概念可以追溯到
G皮T
·
2023-09-19 04:45
大数据
大数据
数据仓库
Doris
实时数仓
MPP架构
Hadoop
HDFS
【大数据】Doris 构建实时
数仓
落地方案详解(二):Doris 核心功能解读
Doris构建实时
数仓
落地方案详解(二):Doris核心功能解读1.Doris发展历程2.Doris三大模型3.Doris数据导入4.Doris多表关联5.Doris核心设计6.Doris查询优化7.Doris
G皮T
·
2023-09-19 04:14
大数据
大数据
数据仓库
Doris
实时数仓
MPP架构
Hadoop
HDFS
数据湖调研
数据湖调研1什么是数据湖2数据湖能解决什么问题3数据湖与
数仓
的区别4数据湖生态5当前常见的数据湖实现方案5.1基于Hudi5.2基于Iceberg5.2.1Iceberg应用场景:5.3数据湖基本实现:
Direction_Wind
·
2023-09-19 00:30
技术调研
big
data
知识图谱
nosql
【直播预约中】 腾讯大数据 x StarRocks|构建新一代实时湖仓
随着信息时代的兴起,数据已成为推动业务决策和创新的核心要素;结构化、半结构化等多种类型的数据呈现爆炸式增长,如何高效处理和分析海量数据已经成为关键挑战,结合传统
数仓
与数据湖优势的湖仓一体(Lakehouse
·
2023-09-18 21:54
后端
如何快速从 ETL 到 ELT?火山引擎 ByteHouse 做了这三件事
在
数仓
及分析领域,海量数据则主要采按列的方式储存。因此,将数据从行级转换成列级存储是建立企业
数仓
的基础能力。传统方式是采用Extract-Transform-Load
·
2023-09-18 18:39
大数据云原生数据仓库数据库
幸福里基于 Flink & Paimon 的流式
数仓
实践
幸福里业务是一种典型的交易、事务类型的业务场景,这种业务场景在实时
数仓
建模中遇到了诸多挑战。
·
2023-09-18 17:57
后端flink大数据
HashData 云
数仓
上线华为蓝鲸应⽤商城
近⽇,经过华为对企业技术、产品和服务能⼒的综合评估,酷克数据企业级云原⽣数据仓库HashData通过与华为OceanStorPacific分布式存储的适配与优化,形成⼀体化解决⽅案,成功上线华为蓝鲸应⽤商城。图1:华为蓝鲸商城HashData产品⻚⾯华为蓝鲸应⽤商城是华为数据存储产品线与合作伙伴联合打造的⼀站式IT应⽤解决⽅案集成平台,通过对企业应⽤与IT基础设施的深度融合,构建了应⽤快速上线、应
·
2023-09-18 16:34
数据库运维
【遇见Doris】Doris在作业帮实时
数仓
中的应用&实践
9月20日的ApacheDoris线上Meetup——壹佰案例峰会预热沙龙圆满成功,现在为大家带来这次Meetup的内容回顾。本次Meetup请到了来自作业帮和百度画像团队的技术大牛带来ApacheDoris应用与实践上的经验分享,了解更多详情请关注Doris官方公众号。嘉宾分享回顾会陆续放出,公众号后台回复“0920”立即get回放录像。糜利敏作业帮大数据查询引擎负责人伴随着业务的快速发展,由于
ApacheDoris
·
2023-09-18 08:07
大数据
分布式
编程语言
hadoop
数据库
Day69 Kafka 设计原理详解
Storm/Spark流式处理引擎web/nginx,访问日志消息服务开放统一接口给consumerhadoop,hbase等.装载到hadoop,
数仓
etl做离线分析和数据挖掘.ScreenShot2022
小周爱吃瓜
·
2023-09-17 12:39
企业级数据仓库-
数仓
实战
数仓
实战安装包大小安装清单环境搭建一、环境搭建01(机器准备)准备好三台虚拟机,并进行修改hostname、在hosts文件增加ip地址和主机名映射。
beyond_champion
·
2023-09-17 03:06
数据仓库
数据仓库
数据库
hadoop
big
data
通过
项目学习
Go语言之环境搭建
Go语言在这里我们不做过多的介绍,它的简易容易上手和高性能在开发语言的江湖中闻名遐迩。Docker、etcd、Prometheus等从基础软件到时序数据库等有名的都是Go语言实现。我们也时常能听到某某互联网公司使用Go重构了以前java或者Python写的系统,性能提升了多少倍,同时节省了多少硬件资源。话不多说,直接进入正题。开发Go语言前,首先就是搭建Go开发环境。Go开发环境设置起来是相当的简
whatiscoding
·
2023-09-17 02:41
数据仓库模型设计V2.0
一、
数仓
建模的意义数据模型就是数据组织和存储方法,它强调从业务、数据存取和使用角度合理存储数据。只有将数据有序的组织和存储起来之后,数据才能得到高性能、低成本、高效率、高质量的使用。
000X000
·
2023-09-16 21:46
数据仓库
数据建模
实战
数据仓库
spark
大数据
数据仓库模型设计V2.0
Hive参数与性能调优-V2.0
但是如果我们只局限于会使用Hive,而不考虑性能问题,就难搭建出一个完美的
数仓
,所以Hive性能调优是我们大数据从业者必须掌握的技能。本文将给大家讲解Hive性能调优的一些方法及技巧。
000X000
·
2023-09-16 21:54
数据仓库
HIVE
大数据
hive
数据仓库
Hive参数与性能调优
实时
数仓
方案如何选型和构建(建议收藏)
一、为何需要实时
数仓
架构最初企业存储数据都在
数仓
中存储,但是随着数据量的增大,传统数据的方案在时效性上和数据维护上变得越来越困难。实时
数仓
架构应运而生。
also&lucky
·
2023-09-16 11:30
大数据
数据仓库
ETL之拉链表算法探索
历史数据存储方式
数仓
中历史数据存储的2种方式:快照存储快照式存储拉链存储拉链表存储可以很明显的看出:在
数仓
中,相比于快照存储,拉链表,既能满足反应数据的历史状态,又可以最大程度的节省存储。
Daniel_张
·
2023-09-16 10:39
离线
数仓
和实时
数仓
割裂的痛点,数据湖方案
离线
数仓
和实时
数仓
割裂的痛点:1)离线加工数据产出时效性不足2)实时加工可观测性,可运维性较弱3)批流双链路,双份资源开销4)全天计算资源高峰集中在凌晨数据湖方案:数据入湖增量计算,提升时效流表二像性,
秉寒-CHO
·
2023-09-16 08:53
大数据
数仓
的主数据出数据指标是否有意义 ,单调递增的数据指标作为虚荣指标是否对公司的业务发展有实际的指导意义
数仓
的主数据出数据指标如果能够指导公司的业务发展,那么这些指标是有意义的。然而,如果这些指标只是单调递增的虚荣指标,那么它们并不能对公司的业务发展提供实际的指导意义。
秉寒-CHO
·
2023-09-16 08:53
数据仓库
Serverless
数仓
技术与挑战 - 张雁飞|3306π
在本次分享中,我们将介绍一款新型Serverless
数仓
技术。该技术旨在解决传统
数仓
在扩展性、成本和管理上的局限性,能够大幅提升性能并降低成本。我们还将探讨Serverless
数仓
面临的技术挑战。
Databend
·
2023-09-16 07:23
serverless
云原生
Meetup 回顾|Data Infra 研究社第十期(含资料发布)
此次直播活动的两大主题分别是《漫谈时序数据库的设计》和《云原生
数仓
产品》。Greptime联合创始人-冯家纯、Databend优化器负责人-雷宇分别为本次活动分享了他们的独特见解。
Databend
·
2023-09-16 07:52
rust
开发语言
后端
Flink集成Hive之Hive Catalog与Hive Dialect--以Flink1.12
什么是HiveCatalog如何使用HiveCatalog什么是HiveDialect如何使用HiveDialect公众号『大数据技术与
数仓
』
大数据技术与数仓
·
2023-09-15 12:37
一百七十八、ClickHouse——海豚调度执行ClickHouse的.sql文件
一、目的由于
数仓
的ADS层是在ClickHouse中,即把Hive中DWS层的结果数据同步到ClickHouse中,因此需要在ClickHouse中建表,于是需要海豚调度执行ClickHouse的.sql
天地风雷水火山泽
·
2023-09-15 09:47
ClickHouse
clickhouse
HashData 云
数仓
上线华为蓝鲸应⽤商城
近⽇,经过华为对企业技术、产品和服务能⼒的综合评估,酷克数据企业级云原⽣数据仓库HashData通过与华为OceanStorPacific分布式存储的适配与优化,形成⼀体化解决⽅案,成功上线华为蓝鲸应⽤商城。图1:华为蓝鲸商城HashData产品⻚⾯华为蓝鲸应⽤商城是华为数据存储产品线与合作伙伴联合打造的⼀站式IT应⽤解决⽅案集成平台,通过对企业应⽤与IT基础设施的深度融合,构建了应⽤快速上线、应
HashData酷克数据
·
2023-09-15 08:47
华为
数据仓库
数据库
一百七十七、Hive——海豚调度执行Hive的.sql文件
一、目的对于Hive
数仓
,每一层的建库建表SQL语句都各自放在一个.sql文件里,然后用海豚调度执行一下Hive的.sql文件二、实施步骤(一)第一步,上传.sql文件到海豚调度器上(二)第二步,建立并配置工作流
天地风雷水火山泽
·
2023-09-15 07:33
Hive
hive
大数据
GaussDB(DWS)云原生
数仓
技术解析:湖仓一体,体验与大数据互联互通
文章目录前言一、关于数据仓库需求场景分类二、数据仓库线下部署场景2.1、线下部署场景介绍及优劣势说明2.2、线下部署场景对应的客户需求三、数据仓库公有云部署场景3.1、公有云部署场景介绍及优劣势说明3.2、公有云部署场景对应的客户需求四、为何重视数据共享(含湖仓一体)?4.1、传统数据共享业务场景4.2、数据共享(含湖仓一体)能力解决掉的问题五、数据仓库技术架构演进5.1、SharedStorag
白鹿第一帅
·
2023-09-15 07:56
企业级开发业务解决方案
大数据入门与高阶开发(Big
Data)
白鹿第一帅
gaussdb
云原生
云原生数仓技术解析
湖仓一体
DWS
大数据
尚硅谷大数据项目《在线教育之离线
数仓
》笔记008
视频地址:尚硅谷大数据项目《在线教育之离线
数仓
》_哔哩哔哩_bilibili目录P123P124P125P126P127P128P129P123ApacheSuperset是一个现代的数据探索和可视化平台
upward337
·
2023-09-14 23:32
#
大数据数仓
大数据
离线数仓
superset
数仓
模型之 拉链表
Q1什么拉链表?拉链表,记录每条信息的生命周期,一旦一条记录的生命周期结束,就要重新开始一条新的记录,并把当前日期放入生效的开始日期;如果当前信息至今有效,在生效结束日期中填入一个极大值(一般为9999-99-99)Q2为什么要建立拉链表?拉链表适合于:数据会发生变化,但是大部分是不变的;比如:订单信息从未支付、已支付、未发货、已完成等经历了一周,大部分时间是不变化的,只有状态和状态发生时间会有更
秋慕云
·
2023-09-14 18:54
大数据面试知识点
大数据:1.离线
数仓
【ERP、电商、业务清楚、】1.业务熟悉2.技术架构3.
数仓
建设4.指标【5个】做过哪些指标如何做的2.spark工具:1.技术架构2.优点:3.实时指标yarn:1.背景2.好处3
ODzongzi
·
2023-09-14 14:24
大数据
认识数据分析
文章目录1.认识数据分析1.1数据自身的三大属性1.2建
数仓
数据分析的工程技术1.3数据分析解决问题的原理1.4数据分析的具体流程1.5数据的中心化和智能化1.6数据分析的四种类型和六个方向1.认识数据分析
几窗花鸢
·
2023-09-14 07:29
数据分析
数据分析
数据挖掘
《黑马头条》
项目学习
第一天
服务环境准备。nacos的安装运行黑马的centos镜像linux(里面包含了docker,不需要另外安装)docker镜像拉取dockerpullnacos/nacos-server:1.2.0创建容器dockerrun--envMODE-standlone--namenacos--restart=always-d-p8848:8848nacos/nacos-server:1.2.0MODE-s
熊熊危机
·
2023-09-14 04:11
学习
eureka
云原生
《黑马头条》
项目学习
(一)
文章目录介绍功能结构图技术栈环境搭建服务器Nacos安装DockerDocker安装Nacos下载项目工程文件介绍黑马头条项目是黑马程序员的公开免费课程,项目使用了众多主流技术,对于本人学习有较大帮助。改项目类似于今日头条、腾讯新闻…等主流软件。功能结构图技术栈环境搭建服务器首先我们需要先具备一个Linux服务器环境,大家可以使用虚拟机,也可以使用各大厂的云服务器(阿里、腾讯、华为),这里就不再赘
Honey Ro
·
2023-09-14 04:10
学习
docker
java
spring
cloud
【学习笔记】尚硅谷大数据项目之Flink实时
数仓
---数据可视化接口实现
这里写自定义目录标题第1章数据可视化接口1.1设计思路1.2需求梳理1.2.1最终显示效果图1.2.2分析可视化大屏1.2.3接口执行过程第2章Sugar数据大屏2.1产品介绍2.2使用入口2.3创建数据大屏第3章总成交金额接口3.1Sugar组件:数字翻牌器3.1.1添加组件3.1.2配置组件3.1.3查询组件需要的数据格式3.1.4接口访问路径以及返回格式3.2数据接口实现3.2.1创建数据接
在学习的王哈哈
·
2023-09-13 13:31
大数据项目
大数据
学习
flink
尚硅谷大数据项目《在线教育之实时
数仓
》笔记001
视频地址:尚硅谷大数据项目《在线教育之实时
数仓
》_哔哩哔哩_bilibili目录P001P002P003P004P005P001以在线教育采集系统和离线
数仓
为前置基础,分为三个部分讲解:实时
数仓
架构介绍
upward337
·
2023-09-13 13:00
#
大数据数仓
大数据
数据仓库
实时数仓
数仓
相关知识集合
数仓
建模说到
数仓
建模,就得提下经典的2套理论:范式建模Inmon提出的集线器的自上而下(EDW-DM)的数据仓库架构。维度建模Kimball提出的总线式的自下而上(DM-DW)的数据仓库架构。
zjy997
·
2023-09-13 11:37
大数据之路
Databend 开源周报第 110 期
Databend是一款现代云
数仓
。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:https://app.databend.cn。
Databend
·
2023-09-13 09:31
开源
数据库
上一页
18
19
20
21
22
23
24
25
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他