E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
数仓(
离线实时一体化
数仓
与湖仓一体—云原生大数据平台的持续演进
**林伟,阿里云智能研究员、阿里云智能通用计算平台MaxCompute、机器学习PAI平台技术负责人**本篇内容将从三个部分为读者讲述离线实时一体化
数仓
与湖仓一体—云原生大数据平台的持续演进。通过从数
·
2021-11-25 13:44
阿里云开发者
基于 ClickHouse OLAP 的生态:构建基于 ClickHouse 计算存储为核心的“批流一体”
数仓
体系
概述本文关键词:■OLAP■Multidimensionalinformationsystems■Datawarehousing■Databases■Decisionsupportsystems(DSS)■Executiveinformationsystems(EIS)■Businessintelligence(BI)■Businessanalytics■Datamining■Datavisual
禅与计算机程序设计艺术
·
2021-11-25 03:16
大数据面试题
十一、
数仓
分层十二、热点十三、spark一、Linux常用高级命令netstatps-eftopiotoprpmtar查看磁盘df-h查看内
cpuCode
·
2021-11-24 19:15
面试题
hadoop
大数据
big
data
hdfs
分布式
Tapdata 在线研讨会:DaaS vs 大数据平台,是竞争还是共处?
从20年前的传统
数仓
,到10年前大数据平台,5年前开始火热的数据中台以及最近出现的湖仓一体新数据平台,今天被数据孤岛困扰的企业,面临着太多的选择。
·
2021-11-24 17:48
mongodb
Tapdata 在线研讨会:DaaS vs 大数据平台,是竞争还是共处?
从20年前的传统
数仓
,到10年前大数据平台,5年前开始火热的数据中台以及最近出现的湖仓一体新数据平台,今天被数据孤岛困扰的企业,面临着太多的选择。
·
2021-11-23 15:51
数据库
离线实时一体化
数仓
与湖仓一体—云原生大数据平台的持续演进
林伟,阿里云智能研究员、阿里云智能通用计算平台MaxCompute、机器学习PAI平台技术负责人本篇内容将从三个部分为读者讲述离线实时一体化
数仓
与湖仓一体—云原生大数据平台的持续演进。通过从数据湖到数
·
2021-11-23 11:58
分布式java
OushuDB 的主要功能
极速执行器:高效的执行器,比传统
数仓
/MPP快5-10倍,比HadoopSQL引擎要快5-30倍。
·
2021-11-18 15:30
oushudb-hawq
数仓
建设规范指南
以下文章来源于五分钟学大数据,作者园陌本文将全面讲解
数仓
建设规范,从数据模型规范,到
数仓
公共规范,
数仓
各层规范,最后到
数仓
命名规范,包括表命名,指标字段命名规范等!
静虑自得
·
2021-11-18 08:23
Kyligence + Tableau 统一语义层赋能数据分析平民化
前言大家都知道,数据分析项目从需求提出到最终交付要经历一个漫长的过程,需要进行数据源整合、指标定义、模型开发、
数仓
任务开发及运维、报表开发等一系列环节,开发周期动辄都是以周为单位,而且业务场景也并非一成不变
·
2021-11-17 10:52
kylin数据分析
大数据开发工程师需要了解的【
数仓
中的维度设计】
目录(1)
数仓
模型如何分层(2)企业
数仓
模型分层架构(3)维度设计如何理解(4)维表是怎么生成的(5)维度整合的两种策略(6)维度拆分的最佳方案(7)缓慢变化维的处理方式(8)企业中处理缓慢变化维的最佳方案
<一蓑烟雨任平生>
·
2021-11-16 22:07
数据仓库
hive
sql
数据库
大数据可视化BI分析工具Superset部署详解
应用场景由于Superset能够对接常用的大数据分析工具,如Hive、Kylin、Impala、Druid、mysql等,且支持自定义仪表盘,故可作为
数仓
的可视化工具。
·
2021-11-16 13:45
大数据
Databend 设计概述 | 白皮书
Databend是一个开源的、完全面向云架构的新式
数仓
,它提供快速的弹性扩展能力,并结合云的弹性、简单性和低成本,使DataCloud构建变得更加容易。
·
2021-11-16 10:58
rust
最强最全面的
数仓
建设规范指南
本文将全面讲解
数仓
建设规范,从数据模型规范,到
数仓
公共规范,
数仓
各层规范,最后到
数仓
命名规范,包括表命名,指标字段命名规范等!
五分钟学大数据
·
2021-11-11 12:00
Databend 社区积极拥抱 Rust 生态(202111回顾)
Databend旨在成为一个开源、弹性、可靠的无服务器
数仓
,查询快如闪电,与弹性、简单、低成本的云服务有机结合。数据云的构建,从未如此简单!
·
2021-11-10 16:35
data云原生大数据
《Saas模式云原生数据仓库应用场景实践》激活数据生产力,让分析产生价值
本书基于阿里巴巴自研SaaS模式云
数仓
MaxCompute,重点介绍搜索、用户增长、业务增长、人群圈选、实时数据处理、半结构化数据处理、大规模数据科学分析、湖仓一体八个经典场景实践,使得企业数据资产的价值在业务发展中得以最大化彰显
阿里云开发者
·
2021-11-09 16:37
云原生
数据仓库
cloud
native
《SaaS模式云原生数据仓库应用场景实践》电子书重磅来袭! 激活数据生产力,让分析产生价值!
本书基于阿里巴巴自研SaaS模式云
数仓
MaxCompute,重点介绍搜索、用户增长、业务增长、人群圈选、实时数据处理、半结构化数据处理、大规模数据科学分析、湖仓一体八个经典场景实践,使得企业数据资产的价值在业务发展中得以最大化彰显
·
2021-11-08 16:22
阿里云开发者
大数据开发基础入门与项目实战(三)Hadoop核心及生态圈技术栈之3.数据仓库工具Hive基础
文章目录1.Hive概述(1)
数仓
工具Hive的产生背景(2)
数仓
工具Hive与RDBMS对比(3)
数仓
工具Hive的优缺点(4)
数仓
工具Hive的架构原理2.Hive安装与配置(1)安装准备(2)安装
cutercorley
·
2021-11-07 11:54
大数据开发基础入门与项目实战
大数据开发
Hadoop核心及生态圈技术栈
数据仓库工具Hive基础
2021 年网易云音乐实时计算平台发展和挑战
主要内容为:平台功能批流一体未来规划网易云音乐实时
数仓
平台上线以后,经过一年半的发展,整体实时
数仓
已经初具规模,我们已有实时
数仓
表300+,运行中的任务数有1200+。其中1000左右的任务是SQL
·
2021-11-05 11:35
Flink大数据
腾讯看点基于 Flink 构建万亿数据量下的实时
数仓
及实时查询系统
本文由社区志愿者路培杰整理,腾讯看点数据团队高级工程师王展雄在FlinkForwardAsia2020分享的议题《腾讯看点基于Flink构建万亿数据量下的实时
数仓
及实时查询系统》。
·
2021-11-05 11:04
Flink大数据
顺丰科技 Hudi on Flink 实时
数仓
实践
本文作者为刘杰,介绍了顺丰科技
数仓
的架构,趟过的一些问题、使用Hudi来优化整个job状态的实践细节,以及未来的一些规划。
·
2021-11-05 11:34
Flink大数据
欠账必还系列
1、mybatis整合spring技术2、dubbo是个啥3、flink基本知识和学习flink实时
数仓
4、flink内核5、spring和springmvc6、基于ssm做几个java小型项目今天和郭老师吃饭学习到的东西
有上进心的阿龙
·
2021-11-02 16:11
笔记
java
spring
spring
boot
数据治理理论 + 实践
数据治理无论是在
数仓
建设过程中还是
数仓
建设完成之后都是及其重要的,是数据部门基础建设的必经之路,是降本提效,形成企业数据资产的关键一环一数据质量管理1.1数据质量基本概念数据质量管理(DataQualityManagement
·
2021-11-02 00:00
dev
生产队的驴永不懈怠 | 尚硅谷Flink实时
数仓
视频教程发布!
我趁老婆洗澡,看了一眼她手机,发现她和丈母娘的语音聊天。老婆说:今天胸口闷得慌,老婆说:待会儿把他揍一顿出出气。丈母娘:不要做无理取闹的事!丈母娘:先翻旧账铺垫铺垫哈。我整个人都不好了……第二天早上起床,不爱搭理老婆。她问我:你干啥呢?我:死了。她又问:那怎么睁着眼睛?我:死不瞑目。她再问:那为啥还喘气呢?我:咽不下这口气。我果断和她分手了,她说:你会找到更好的。我:连你这么差的我都留不住……我:
·
2021-10-28 12:17
Flink大数据
生产队的驴永不懈怠 ,尚硅谷Flink实时
数仓
视频教程
摘要:这世间青山灼灼星光杳杳,秋雨淅淅晚风慢慢,也抵不过公子眉目间的星辰和大数据视频。我趁老婆洗澡,看了一眼她手机,发现她和丈母娘的语音聊天。老婆说:今天胸口闷得慌,老婆说:待会儿把他揍一顿出出气。丈母娘:不要做无理取闹的事!丈母娘:先翻旧账铺垫铺垫哈。我整个人都不好了……第二天早上起床,不爱搭理老婆。她问我:你干啥呢?我:死了。她又问:那怎么睁着眼睛?我:死不瞑目。她再问:那为啥还喘气呢?我:咽
尚硅谷铁粉
·
2021-10-28 11:44
大数据
flink
大数据
big
data
使用 Flink CDC 实现 MySQL 数据实时入 Apache Doris
本文通过实例来演示怎么通过FlinkCDC结合Doris的FlinkConnector实现从Mysql数据库中监听数据并实时入库到Doris
数仓
对应的表中。
·
2021-10-27 15:13
全平台技术架构:后台+人工智能+大数据
后台:业务层(业务中台),如OA、ERP等;人工智能:智能服务层,如推荐系统、人脸识别等;大数据:基础数据层(
数仓
、数据中台)。中台:是啥?待详细追踪溯源。
天然玩家
·
2021-10-25 18:17
架构设计
big
data
架构
人工智能
大数据
数仓
建设流程方案,
数仓
设计流程,适用于实际工作场景
大数据
数仓
概念学术上:数据仓库,英文名称为DataWarehouse,可简写为DW或DWH,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。
老姜的数据江湖
·
2021-10-25 15:03
大数据数仓
数据仓库
大数据
big
data
全网首发|阿里资深技术专家
数仓
调优经验分享(上)
简介:本篇文章总结了AnalyticDB表的设计的最佳经验、数据写入的最佳经验、高效查询的最佳实践,以及一些常见的问题。随着云原生数据仓库AnalyticDBforMySQL(下文统一简称:AnalyticDB)在阿里集团各个业务线、社会上各行各业的推广应用,我们沉淀了一些最佳实践,现在笔者整理在这里,供大家参考,希望对大家有帮助。本篇文章总结了AnalyticDB表的设计的最佳经验、数据写入的最
·
2021-10-20 14:34
数据库运维
superset启动脚本及安装
superset安装配置记录----灵感来自B站尚硅谷
数仓
3.0项目(尚硅谷NB)Superset官网地址:http://superset.apache.org/1.安装Python环境Superset
5axz
·
2021-10-17 07:28
linux
数据仓库
相约 DTCC 2021 | Tapdata 受邀分享:如何打造面向 TP 业务的数据平台架构
演讲时间:2021年10月20日09:40-10:20演讲地点:北京国际会议中心(专场11:[企业数据中台设计与实践])演讲主题:RealTimeDaaS-面向TP业务的数据平台架构从20年前的传统
数仓
·
2021-10-14 18:33
数据数据仓库
内附PPT下载 | 阿里云资深技术专家 陈长城:一站式数据管理DMS及最新解决方案解读
议题包含企业数据管理当前的一些痛点、DMS一站式数据管理平台以及其核心技术、实时
数仓
解决方案以及相应的应用实践等。
·
2021-10-13 14:57
阿里云开发者
内含干货PPT下载|一站式数据管理DMS及最新解决方案发布
议题包含企业数据管理当前的一些痛,DMS一站式数据管理平台以及其核心技术,实时
数仓
解决方案以及相应的应用实践。
·
2021-10-12 14:46
数据库人工智能
顺丰科技 Hudi on Flink 实时
数仓
实践
简介:介绍了顺丰科技
数仓
的架构,趟过的一些问题、使用Hudi来优化整个job状态的实践细节,以及未来的一些规划。
·
2021-10-12 11:28
Flinkspark
近期工作总结 2021-10
一、数据产品经理分类1、
数仓
产品经理:
数仓
的基本知识、
数仓
分层、维度建模方法->可以在需求阶段就预判数据模型之间的调用情况;2、BI应用产品经理:数据指标基本知识、数据指标背后代表的业务内容->能够找到最适合反应业务需求的数据指标
anchord
·
2021-10-09 17:19
重磅|阿里云发布“一站式敏捷数据仓库解决方案” 实现库仓一体数据分析能力(内含干货PPT下载)
通过低代码操作,阿里云一站式敏捷数据仓库解决方案大幅降低了实时
数仓
的构建难度和数据加工门槛,同时可支撑企业各类
·
2021-10-06 20:18
阿里云开发者
带你了解
数仓
安全测试的TLS协议
摘要:SSL/TLS协议是业界常用的加密通信协议,通过该协议可以完成通信双方身份认证,会话密钥协商,通信内容加密和完整性保护。本文分享自华为云社区《GaussDB(DWS)安全测试之TLS协议》,作者:ACBD。1.协议安全机制SSL/TLS协议是业界常用的加密通信协议,通过该协议可以完成通信双方身份认证,会话密钥协商,通信内容加密和完整性保护。SSL/TLS协议的算法套件包含4种算法:密钥交换、
·
2021-10-06 12:22
ssl通信安全数据库tls
【Kafka】Kafka集群安装
一、参考资料【尚硅谷】2021新版电商
数仓
V4.0丨大数据数据仓库项目实战_哔哩哔哩_bilibili
后台研发Marion
·
2021-10-05 23:17
大数据
kafka
【Zookeeper】Zookeeper集群安装实战
一、参考资料【尚硅谷】2021新版电商
数仓
V4.0丨大数据数据仓库项目实战_哔哩哔哩_bilibili
后台研发Marion
·
2021-10-05 23:38
大数据
zookeeper
数据仓库之电商
数仓
-- 2、业务数据采集平台
目录一、电商业务简介1.1电商业务流程1.2电商常识(SKU、SPU)1.3电商系统表结构1.3.1活动信息表(activity_info)1.3.2活动规则表(activity_rule)1.3.3活动商品关联表(activity_sku)1.3.4平台属性表(base_attr_info)1.3.5平台属性值表(base_attr_value)1.3.6商品一级分类表(base_categor
FunnyPrince_
·
2021-10-04 18:59
大数据
#
Hadoop
#
数据仓库
big
data
数据仓库
sqoop
hive
mysql
腾讯看点基于 Flink 构建万亿数据量下的实时
数仓
及实时查询系统
Flink中文社区」,获取更多技术干货▼摘要:本文由社区志愿者路培杰整理,腾讯看点数据团队高级工程师王展雄在FlinkForwardAsia2020分享的议题《腾讯看点基于Flink构建万亿数据量下的实时
数仓
及实时查询系统
·
2021-10-04 00:00
dev
大数据---离线
数仓
实战项目(四)
离线
数仓
实战---网站流量日志分析系统一、模块开发---数据生成模块1.1、目标数据1.1.1、页面数据1.1.2、事件数据1.1.3、曝光数据1.1.4、启动数据1.1.5、错误数据1.2、数据埋点1.2.1
静_步
·
2021-10-03 16:12
大数据
数据仓库
数据仓库学习
数仓
诞生原因(1)历史数据积存:使用频率低,数据挤压导致性能下降(2)企业数据分析需要:防止各部门抽取数据不一致,通过
数仓
每天/每时定期抽取数据,使企业中取得的数据具有统一性。
阿欣的小站
·
2021-09-24 18:32
数据仓库之数据质量建设(深度好文)
数仓
建设真正的难点不在于
数仓
设计,而在于后续业务发展起来,业务线变的庞大之后的数据治理,而数据治理的范围非常广,包含数据本⾝的管理、数据安全、数据质量、数据成本等。
五分钟学大数据
·
2021-09-24 11:38
大数据
数据仓库
数据治理
数据质量
Apache Hudi 在 B 站构建实时数据湖的实践
主要内容为:传统离线
数仓
痛点数据湖技术方案Hudi任务稳定性保障数据入湖实践增量数据湖平台收益社区贡献未来的发展与思考一、传统离线
数仓
痛点1.痛点之前B站
数仓
的入仓流程大致如下所示:在这种架构下产生了以下几个核心痛点
·
2021-09-23 21:03
Flink大数据
个推技术实践 | Spark性能调优看这篇,性能提升60%↑ 成本降低50%↓
作为国内专业的数据智能服务商,个推从早期的1.3版本便引入Spark,并基于Spark建设
数仓
,进行大规模数据的
·
2021-09-23 20:26
实时
数仓
当前主流架构(精简总结收藏!!)
目录1-实时
数仓
架构特点1.1-
数仓
分层明显少于离线
数仓
1.2-数据存储的多样化1.3-技术难度远高于离线
数仓
2-实时
数仓
应用场景3-实时
数仓
架构3.1-lamdba架构3.2-kappa架构3.3-架构对比
KG大数据
·
2021-09-23 13:54
实时计算(数仓)
kafka
flink
hadoop
数据仓库
hive
数据仓库之数据质量建设(好文点赞收藏!)
数据质量管理流程3.1-数据资产等级3.2-数据加工过程卡点校验3.2.1-在线系统数据校验3.2.2-离线系统数据校验3.3-数据处理风险监控3.3.1-数据质量监控3.3.2-数据及时性监控4-总结0-前言
数仓
建设真正的难点不在于
数仓
设计
KG大数据
·
2021-09-22 11:50
hive和数据仓库(离线)
big
data
hive
hadoop
数据仓库
etl
五万字 | Flink知识体系保姆级总结
运行架构四、Flink算子大全五、流处理中的Time与Window六、Flink状态管理七、Flink容错八、FlinkSQL九、FlinkCEP十、FlinkCDC十一、基于Flink构建全场景实时
数仓
十二
create17
·
2021-09-16 08:27
sqlite
lamp
scipy
zk
makefile
Apache Doris在蜀海供应链
数仓
建设中的实践
概述最早接触doris是在2020年初,当时是为了解决在海量数据上实时高并发查询的问题,当时调研了很多框架,在使用这Doris之前我的架构和其他公司的架构基本差不多,Hadoop,Hive,Spark,Presto,但是这些都满足不了我的需求,在调研Clickhouse的时候,发现了Doris,看网上介绍从性能上,并发性及易用性上都非常好。在深度做了测试之后给我的是更大的惊喜,我之后就将我的架构全
·
2021-09-15 10:27
以示例讲解Clickhouse Docker集群部署以及配置
3.拷贝到其他文件夹4.分发到其他服务器配置集群1.修改配置2.新增集群配置文件metrika.xml集群运行及测试写在前面抽空来更新一下大数据的玩意儿了,起初架构选型的时候有考虑Hadoop那一套做
数仓
·
2021-09-14 11:53
上一页
52
53
54
55
56
57
58
59
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他