大数据架构设计理论

【技思广益 · 腾讯技术人原创集】双周优秀作品回顾vol.03

❤️腾讯后台开发工程师jhonye《大数据架构系列：如何理解湖仓一体》这十多年大数据技术蓬勃发展，从市场的表现来看基于大数据的数据存储和计算是非常有价值的，其中以云数据仓库为主打业务的公司Snowf
·2022-09-23 16:57

《大数据架构和算法实现之路：电商系统的技术实战》——1.6　案例实践

本节书摘来自华章计算机《大数据架构和算法实现之路：电商系统的技术实战》一书中的第1章，第1.6节，作者黄申，更多章节内容可以访问云栖社区“华章计算机”公众号查看。
weixin_34240520·2022-09-23 15:35

关于数据治理工程师证书，你想知道的都在这里了

编辑：彭文华来源：大数据架构师（ID：bigdata_arch）彭友们好，我是你的老彭友。最近有很多很多彭友问我CDGA（数据治理工程师认证）的事情，我挨个回答效率也慢。
大数据架构师Evan·2022-09-22 19:20

CDPA考试的火热，代表中国数据行业驶上高速公路

编辑：彭文华来源：大数据架构师（ID：bigdata_arch）彭友们好，我是老彭。我今天去参加DAMA组织的数据治理工程师（CDGA）考试了。
大数据架构师Evan·2022-09-22 19:20

大数据浪潮下_前端工程师眼中的完整数据链图

原文链接月17日云栖精选夜读：大数据浪潮下，前端工程师眼中的完整数据链图yq传送门2017-05-1717:53:43浏览211评论0大数据架构java阿里云mysql高可用电商内存管理数加c#数据同步数据中心数据结构摘要
weixin_33744854·2022-09-22 14:58

数据仓库建设之数仓架构

一、离线数仓大数据架构1.数仓架构下面详细说明图中的各个组件及其所起的作用。图中显示的整个数据仓库环境包括操作型系统和数据仓库系统两大部分。ETL过程分成了抽取和转换装载两个部分。
chimchim66·2022-09-15 12:13

大数据架构系列：如何理解湖仓一体？

导语|本文推选自腾讯云开发者社区-【技思广益·腾讯技术人原创集】专栏。该专栏是腾讯云开发者社区为腾讯技术人与广泛开发者打造的分享交流窗口。栏目邀约腾讯技术人分享原创的技术积淀，与广泛开发者互启迪共成长。本文作者是腾讯后台开发工程师叶强盛。引言这十多年大数据技术蓬勃发展，从市场的表现来看基于大数据的数据存储和计算是非常有价值的，其中以云数据仓库为主打业务的公司Snowflake市值最高（截止当前44
·2022-09-14 18:05

大数据系列（未完，待续）

大数据架构大数据架构：搭建CDH5.5.1分布式集群环境Hive大数据：Hive常用参数调优SparkSpark基本架构及原理SparkContext原理解析SparkRDD、DataFrame原理及操作详解
weixin_30425949·2022-09-09 09:25

实时数仓和离线数仓的概念

目录1、数据仓库的发展趋势1.1数据仓库的趋势1.2数据仓库的发展2、数据仓库架构的演变2.1传统数仓架构2.2离线大数据架构2.3Lambda架构2.4Kappa架构2.5混合架构3、三种大数据数据仓库架构
灵境旅行家·2022-08-31 12:18

不容错过！什么是领域驱动设计？为什么落地这么难？

引言领域驱动设计并不是新的架构设计理论，从EricEvans提出至今已经有十多年历史。由于微服务架构的兴起，DDD常用于指导微服务边界划分，并重新广泛进入软件研发大众的视野。
·2022-08-25 10:06

不容错过！什么是领域驱动设计？为什么落地这么难？

引言领域驱动设计并不是新的架构设计理论，从EricEvans提出至今已经有十多年历史。由于微服务架构的兴起，DDD常用于指导微服务边界划分，并重新广泛进入软件研发大众的视野。
京东云开发者·2022-08-25 09:00

kudu-- 分布式数据库

在阿里、小米、网易等公司的大数据架构中，KUDU都有着不可替代的地位。
四月天03·2022-08-22 23:11

大数据知识体系

潇洒劫个妞-大数据体系笔记教程https://www.cnblogs.com/xsjgn/tag/it18%E6%8E%8C/、想成为一名合格的大数据架构师你必须要掌握这些内容https://cloud.tencent.com
提莫_·2022-08-18 01:37

SQL on Hadoop在快手大数据平台的实践与优化 | 分享实录

快手大数据架构工程师钟靓本文是根据快手大数据架构工程师钟靓于5月18-19日在A2M人工智能与机器学习创新峰会《SQLonHadoop在快手大数据平台的实践与优化》演讲中的分享内容整理而成。
msup789·2022-08-13 12:57

透过数字化转型再谈数据中台（三）：一文遍历大数据架构变迁史

编者按：《透过数字化转型再谈数据中台》系列连载6-8篇左右，作者结合自己在数据中台领域多年实践经验，总结了数据架构知识、BI知识，以及分享给大家一些产业互联网实施经验。本文是系列文章中的第三篇。在前面两篇“关于数字化转型的几个见解”、“唯一性定理中的数据中台”提到了数据中台发展问题。比如概念发展太快，信息量过载，以及存在广义、狭义的数据中台定义的差别等，涉及到的这些知识都离不开数据架构的范畴，所以
松子无核·2022-08-11 10:42

百度用户产品流批一体的实时数仓实践

文章整体包含4个部分，首先会介绍下大数据架构演进，从经典架构到Lambda架构再到Kappa架构；然后会介绍下我们做流批一体实时数仓的背景，旧架构面临的主要问题；第三会介绍下我们流批一体实时数仓的技术方案
·2022-08-10 12:42

首席数据官：从哪里来？到哪里去？

编辑：孙宁来源：大数据架构师（ID：bigdata_arch）数字经济是继农业经济、工业经济之后的主要经济形态。
大数据架构师Evan·2022-08-05 13:56

酷开科技 × StarRocks：统一 OLAP 分析引擎，全面打造数字化的 OTT 模式

作者：周桂民，大数据架构师和负责人，主要负责大数据平台基础建设工作酷开科技，全称深圳市酷开网络科技股份有限公司，成立于2006年，自主研发了智能电视操作系统——酷开系统。
·2022-08-03 17:55

Hadoop HDFS数据仓库技术

作为大数据领域的始祖，开源项目Hadoop已经诞生了近15年了，虽然今天大数据技术已经层出不穷，市场上涌现出了很多优秀的大数据架构和产品，但是Hadoop中的很多技术实现仍然有借鉴意义，本篇我们就来看下
Java云海.·2022-08-02 09:30

大数据开发写sql写烦了，要不要转？

瞅瞅方向：如数据分析师、大数据开发工程师、大数据分析师、数据开发工程师、大数据架构师、大数据运维工程师、ELT工程师、数据仓库工程师、大数据BI工程师等。丰富自己的能力，到处都机会。
embelfe_segge·2022-08-01 13:29

实战+源码 带你快速掌握React Hooks

ReactHooks大纲函数式编程什么是纯函数什么是副作用（Effect）为什么要使用纯函数React函数组件和类组件的区别为什么会出现ReactHooks前言-React组件设计理论-什么是Hooks
这个前端不太冷·2022-08-01 10:00

大数据开发写sql写烦了，要不要转？

瞅瞅方向：如数据分析师、大数据开发工程师、大数据分析师、数据开发工程师、大数据架构师、大数据运维工程师、ELT工程师、数据仓库工程师、大数据BI工程师等。丰富自己的能力，到处都机会。
m0_67403188·2022-07-31 10:38

小海豚“变身”全新智能调度引擎，深入浅出在DDS的实践开发应用

这次在7月Meetup为大家带来的是基于DolphinScheduler的智能调度引擎在DDS的应用，这场演讲主要会跟大家介绍宇动源-DDS（自研的图形化数据开发工作室）、大数据架构、DDS产品和使用中遇到的问题
·2022-07-22 16:29

大数据架构之Hadoop生态圈

第一章：集群规划测试开发集群（逻辑划分）：1台管理节点理解点+1台工具节点/1台边缘节点——N太工作节点可在ClouderaManager界面查看，端口号：71801台机器上部署管理节点，通常包括以下叫角色：NN：NameNode（HDFS）；SHS：SparkHistoryServer（Spark）；RM：ReduceManager（YARN）；JHS：jobHistoryServerZK：Zo
TT15751097576·2022-07-18 13:06

实时BI（四）低成本的数据准实时处理思路

系列话题的最后一篇文章，所以简单回顾一下前面的几次分享：第一篇文章讲解了BI对数据T+1同步机制的原因和过程；第二篇文章讲解了如果要实现实时或者准实时，对传统数据仓库分层的ETL架构要做出哪些调整；第三篇文章讲解了大数据架构下的
派可数据BI可视化·2022-07-17 22:35

数字化转型考古：最早的数字化转型是哪年开始的？

编辑：彭文华来源：大数据架构师彭友们好，我是老彭啊。这两年“数字化转型”这个词太热了！有些人还没踏上数字化的路，同样也有些人却已经为数字化转型挠破了头。历史总是惊人的相似。
大数据架构师Evan·2022-07-16 14:52

什么是IceBerg

实时数据仓库的发展、架构和趋势这篇文章从实时数仓开始讲到批流一体，谈了谈对大数据架构体系发展趋势的看法。
阳呀么阳阳阳·2022-07-13 08:15

大数据开发写sql写烦了，要不要转？

瞅瞅方向：如数据分析师、大数据开发工程师、大数据分析师、数据开发工程师、大数据架构师、大数据运维工程师、ELT工程师、数据仓库工程师、大数据BI工程师等。丰富自己的能力，到处都机会。
测试小扎·2022-07-12 12:47

视频教程-SpringBoot实现分布式微服务电商项目第15季（含配套资料）-Java

拥有丰富的企业应用软件开发经验、深厚的软件架构设计理论基础及实践能力。项目开发历程：基于大数据技术推荐系统，医疗保险大数据分析与统计推断，H5跨平台APP，携程酒店APP，Go语言
weixin_33499147·2022-07-09 07:06

大数据架构师——音乐数据中心平台离线数仓综合项目（一）

文章目录音乐数据中心平台离线数仓综合项目数据库与ER建模数据库数据库三范式第一范式(1NF)：原子性，字段不可分第二范式(2NF)：唯一性，一个表只能说明一个事物，有主键，非主键字段依赖主键第三范式(3NF)：非主键字段不能相互依赖，不存在传递依赖反范式ER实体模型ER实体关系模型案例数据仓库与维度建模数据仓库意义什么是数据仓库？数据仓库发展历程1.萌芽阶段(1978~1988年)2.探索阶段3.
yangwei_sir·2022-07-08 11:05

我选有钱有话语权的大数据架构师！

前段时间，朋友出去面试，还没聊几句面试官就开始直奔主题：“目前的我们的开发遇到了一些困难：过去是烟囱式的开发模式，各个项目组之间的数据资源不互通，也分散了很多小的数仓，可能面临开发规范不一致，数据来源不一致，计算逻辑不一致等问题，如果你来了，准备如何解决？”朋友自信满满地回答：“集中所有数据，重新进行采集、计算、存储、加工，并统一标准和口径，形成标准数据，再进行存储。必要的话可以上数据中台。”没想
全栈开发者社区·2022-07-08 11:04

实时工业大数据产品实践——上汽集团数据湖

讲师简介：侯松，上汽集团资深大数据架构师、OracleACE、PMP、北美寿险管理师，《高并发Oracle数据库系统的架构与设计》作者，ACOUG社区、PG社区核心成员。
coqonmdrr954803650·2022-07-08 11:00

大数据架构师——数据湖技术（一）

文章目录数据湖技术概述什么是数据湖？大数据为什么需要数据湖？数据湖技术之IcebergIceberg概念及特点Iceberg数据存储格式1.Iceberg术语2.表格式Iceberg特点详述1.Iceberg分区与隐藏分区(HiddenPartition)2.Iceberg表演化(TableEvolution)3.模式演化(SchemaEvolution)4.分区演化(PartitionEvolu
yangwei_sir·2022-07-08 11:29

ZooKeeper与CAP是什么关系？适用于哪些场景？

典型大数据架构有哪些？我该怎么选择？2、要有亲自动手的意识，并积极主动接触和学习新技术。PS：最好能有一个自己的测试环境（有大量朋友因为环境而止步！）3、学到的知识，多在合适的业务场景进行试用和验证。
arno_wzk·2022-07-05 10:34

数据仓库架构

大数据架构演变（数仓架构演变）传统离线大数据架构21世纪初随着互联网时代的到来，数据量暴增，大数据时代到来。
Keven He·2022-07-04 12:53

17-ETL工具、大数据架构、Flume介绍、Flume组件介绍

9.8ETL9.8.1概念描述ETL理解ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据设计分为3部分数据抽取数据的清洗转换数据的加载对3部分的理解在设计ETL的时候我们也是从这三部分出发。数据的抽取是从各个不同的数据源抽取到ODS(OperationalDataStore，操作型数据存储)中——这
大数据下的画像人·2022-07-02 09:20

视频教程-区块链项目：基于以太坊开发拍卖系统DApp教程（含资料）-区块链

拥有丰富的企业应用软件开发经验、深厚的软件架构设计理论基础及实践能力。项目开发历程：基于大数据技术推荐系统，医疗保险大数据分析与统计推断，H5跨平台APP，携程酒店APP，Go语言实现Sto
weixin_33843679·2022-06-26 13:01

教务管理系统——数据库课程设计mysql+java

download.csdn.net/download/weixin_48388330/85448967此为工程文件资源包【题目】教务管理系统（或自拟题目）【目的】该实践性环节对于巩固学生的数据库知识，系统地掌握数据库设计理论与应用
平杨猪·2022-06-23 08:16

高考作文：如何下好“数据治理”这盘大棋？

编辑：彭文华来源：大数据架构师彭友们好，我是老彭。今天是众多考生的大日子，全国高考。我没在彭友圈里给考生加油，因为他们根本看不到。所以，我准备用自己的方式重温高考——写一篇高考作文，请各位彭友品鉴。
大数据架构师Evan·2022-06-13 11:22

技术趋势-大数据架构

细数一下，大数据架构目前比较热的词包括：*数据湖、湖仓一体*批流合一、实时计算*存算分离、存储虚拟化*交易和分析融合，OLAP、HTAP、HSAP等等，基本上还是围绕大数据平台的存储和计算的两大主题。
舟行·2022-06-01 04:25

大数据架构设计阶段之——Zookeeper

zookeeper从入门到实战（简介）本文是对架构设计阶段的zookeeper进行总结1.入门1.1概述：1.zookeeper是一个开源分布式的，为分布式应用提供协调服务的·Apache项目。2.zookeeper=文件系统+通知机制zookeeper的工作机制：是一个基于观察者模式设计的分布式服务管理框架，他负责存储和管理大家都关心的数据，，然后接受观察者的注册，一旦这些数据的状态发生了变化，
D奋斗的小菜鸟！·2022-05-28 02:38

从建筑设计院到规资局，建筑与社会

大学时老师在讲建筑设计理论时说：优秀的建筑作品不可能在田间地头上的。
其安·2022-05-10 12:50

大数据架构师进阶之路-技术学习路线

大数据架构师进阶之路自大学毕业从事IT行业已有两年有余，虽在这两年一直没有停止学习的脚步，但总是感觉，不成体系，再就是学过的技术长时间不用，也忘记了，写篇博客的目的，是想在工作之余，一是充实自己，将学习的痕迹记录下来
俺是刘铁柱·2022-04-27 08:20

MySQL 数据库范式化设计理论总结

目录一、设计范式1.第一范式（1NF）2.第二范式（2NF）3.第三范式（3NF）二、范式化设计三、反规范化设计四、设计总结一、设计范式问题：什么是范式化设计，为什么需要反规范化设计？范式来自来自英文NormalFrom。开发过程中要设计一个好的数据库逻辑关系，必须满足一定的约束条件，此约束条件形成了开发范式，分成几个等级，一级比一级严格。满足这些范式理论上可以让我们的数据库逻辑结构更加简洁、清晰
·2022-04-22 10:41

2019年大数据从入门到精通应该具备的知识体系

入门知识推荐书籍1、舍恩伯格的《大数据时代》；2、巴拉巴西的《爆发》；3、涂子沛的《大数据》；4、吴军《智能时代》；5、《大数据架构商业之路：从业务需求到技术方案》工具技能1、hadoop：常用于离线的复杂的大数据处理
小迪和夫人·2022-04-22 07:03

5、数据仓库抽象ODS/DW/DWS

我们可以知道所谓的大数据实际上就是系统在运行过程中产生的各种日志的汇总集合，那么为了更进一步使数据能高复用，产生了数据仓库的概念，本章就是笔者结合自己的工作经历梳理数据仓库中的抽象层级，以便于加深对大数据架构的理解
朗如行玉山_5b30·2022-04-11 15:26

产品经理|产品设计理念

互联网的产品设计：互联网的产品设计原则：二、产品设计理论方法(以用户为中心的产品设计)产品实战的套路&招式人性法人性法分析步骤：映射法映射法分析步骤：参考法参考法分析步骤：三、产品设计的流程产品设计的流程就是上面的项目流程么
Lubang_Future·2022-03-30 09:20

Unity3D游戏制作之 UI框架设计(一)：架构设计理论篇

只是做了简单修改，添加了其他功能，为了体现使用了框架后的可拓展性本篇就基于Unity游戏引擎UGUI为基础，对UI界面游戏架构做一些有益探索与研究。首先我们来研究一下大型游戏项目中，没有UI框架容易导致与出现的问题：以ARPG为例，多个场景会反复出现相同的“UI窗体”，造成多个场景中反复加载相同的UI窗体。解决思路：“UI框架”需要缓存项目（例游戏项目）中常用的“UI窗体"。开发商业复杂项目时，各
木苏栀槿·2022-03-19 09:15

视频教程-大白话学懂Docker核心技术视频教程-Java

拥有丰富的企业应用软件开发经验、深厚的软件架构设计理论基础及实践能力。
weixin_32935279·2022-03-02 17:21

体验了一把当架构师的感觉

最近公司数据方面的需求变得更多元化了，导致原有的大数据架构满足不了公司现有的需求。
·2022-02-27 21:52
上一页 6 7 8 9 10 11 12 13 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他