大数据架构设计理论

Hulu大数据架构与应用经验

内容来源：2017年8月12日，Hulu大数据架构部门负责人董西成在“网易博学实践日：大数据与人工智能技术大会”进行《Hulu大数据架构与应用经验》演讲分享。
IT大咖说·2023-06-13 17:28

基于 Flink CDC 的实时同步系统

摘要：本文整理自科杰科技大数据架构师张军，在FFA数据集成专场的分享。
·2023-06-13 16:08

数据库系统基础教程(原书第三版)课后答案汇总

数据库系统基础教程(原书第三版)课后答案下面的链接均来自百度文库,仅作汇总.答案虽然都是英文,但是不影响阅读.第2章关系数据模型第3章关系数据库设计理论第4章高级数据库模型第5章代数和逻辑查询语言第6章数据库语言
guuzaa·2023-06-12 22:21

互联网企业大数据架构

携程机票image.png去哪玩乐2014年image.pngimage.pngimage.png京东image.png
数据智能谷·2023-06-11 22:16

一篇文章搞懂数据仓库：数据仓库架构-Lambda和Kappa对比

我们先回顾一下数据仓库的发展历程：传送门-数据仓库发展历程写在前面咳，随着数据量的暴增和数据实时性要求越来越高，以及大数据技术的发展驱动企业不断升级迭代，数据仓库架构方面也在不断演进，分别经历了以下过程：早期经典数仓架构>离线大数据架构
张家的鱼摆摆·2023-06-09 21:32

深入理解大数据架构之——Lambda架构

目录传统系统的问题Lambda架构简介Lambda架构关键特性数据系统的本质Lambda的三层架构Lambda架构组件选型总结原文链接：https://jiang-hao.com/articles/2019/big-data-lambda-architecture.html传统系统的问题“我们正在从IT时代走向DT时代(数据时代)。IT和DT之间，不仅仅是技术的变革，更是思想意识的变革，IT主要是
m0_37595954·2023-06-09 21:58

大数据架构之--Kappa架构

一、什么是Kappa架构Kappa架构是由LinkedIn的前首席工程师杰伊·克雷普斯（JayKreps）提出的一种架构思想。克雷普斯是几个著名开源项目（包括ApacheKafka和ApacheSamza这样的流处理系统）的作者之一。Kreps提出了一个改进Lambda架构的观点：通过改进Lambda架构中的SpeedLayer，使它既能够进行实时数据处理，同时也有能力在业务逻辑更新的情况下重新处
lwqhp·2023-06-09 21:54

百度用户产品流批一体的实时数仓实践

文章整体包含4个部分，首先会介绍下大数据架构演进，从经典架构到Lambda架构再到Kappa架构；然后会介绍下我们做流批一体实时数仓的背景，旧架构面临的主要问题；第三会介绍下我们流批一体实时数仓的技术方案
百度Geek说·2023-06-09 10:09

火山引擎云原生大数据在金融行业的实践

大数据架构向云原生演进是行业的重要趋势，火山引擎协助关键金融客户在大数据云原生方向进行了深度实践，形成了整体解决方案，本文将分享火山引擎云原生大数据在金融行业的实践。
字节跳动云原生计算·2023-06-09 07:52

大数据架构系列：如何理解湖仓一体？

转载：如有侵权，告知即删除引言这十多年大数据技术蓬勃发展，从市场的表现来看基于大数据的数据存储和计算是非常有价值的，其中以云数据仓库为主打业务的公司Snowflake市值最高（截止当前449亿美元），另一家以湖仓一体为方向公司Databricks估值或达380亿美元；各大伺机而动的云厂商也纷纷推出自己的数据湖、云数据仓库、湖仓一体产品。大数据领域概念（术语）还是非常多的，大多数时候都是先射箭再画靶
dkjhl·2023-06-08 18:58

大数据架构

1.1如何构建大数据平台？1.1.1数据库与ER建模1.1.1.1数据库（DataBase）1.1.1.2数据库三范式1.1.1.3ER实体关系模型1.1.1.4ER实体关系模型案例1.1.2数据仓库构建与分层1.1.2.1为什么构建数据仓库1.1.2.2什么是数据仓库1.1.2.3数据仓库发展历史1.1.2.4数据仓库维度建模1.1.2.5维度建模案例1.1.2.6数据仓库分层设计1.1.2.7
添柴少年yyds·2023-06-08 18:55

《数据智能知识地图》——数据湖篇

现在的大数据架构是可扩展的，并且可以为用户提供越来越多的实时分析。在商业智能（BI）和数据仓库还没有被淘汰的今天，大数据分析和大数据湖正在向更多类型的实时智能服务发展，这些实时的智能服务可以支持实时的
大数据食铁兽·2023-06-08 18:36

3. 排序检索数据

排序检索数据排序数据关系数据库设计理论认为，若不规定排序顺序，则不应该假定检索出的数据的顺序有任何意义SELECTcolumn_nameFROMtable_nameORDERBYcolumn_name;
柄志·2023-06-08 04:14

浅谈数据治理

随着大数据平台和工业互联网兴起，数据治理平台主要采用数据中台技术和微服务架构初步替代传统架构，面向大数据架构下，为数据资源中心与外部数据系统提供数据服务。那么，数据治理到底治什么？
产品经理自我修养·2023-06-07 15:37

大数据架构师的岗位工作职责及应具备的能力

技术研发类岗位包括大数据架构师、数据仓库架构师、大数据开发工程师、数据采集工程师、数据仓库开发工程师、系统开发工程师、算法开发工程师。本文主要介绍大数据架构师的岗位工作职责及应具备的能力。如下图所示
皮皮杂谈·2023-06-07 07:18

再有谁说还不会数据库基础知识点！就把这个直接甩过去

死磕数据库系列（二）：数据库系统核心知识点详解死磕数据库系列（三）：关系型数据库设计理论与流程详解SQL语法基础基础模式定义了数据如何存储、存储什么样的数据以及数据如何分解等信息，数据库和表都有模式。
·2023-04-21 14:29

设计理论整理知识点

一、680设计理论不要极端想问题，现在当下的基础去思考和解决问题，动态思维和静态理论概念的领过运用（深度思考和理论逻辑输出的能力：即为现在需要的学习能力）1.基础必备理论知识：设计，技术，交互，人文思想
ChangeWfafa·2023-04-20 23:00

一文看懂阿里、京东、滴滴大数据架构变迁

上一篇：39岁阿里P9失业了，总资产1.5亿……01大数据技术变迁概述大数据的概念从上世纪90年代被提出，03-06年Google的3篇经典论文（GFS、MapReduce、Bigtable）作为奠基，Hadoop等优秀系统的出现使之繁荣，经历了十余年的时间。从GartnerHypeCycle这一行业技术发展的趋势图看，大数据从2011年进入该图谱，2014年被标记为进入衰退期，2015年开始不再
互联网架构·2023-04-20 14:39

12年经验的大数据架构师，想和你谈谈…

就在本周，又有一位资深大数据架构师加入菜鸟窝的大数据讲师团队，基于他长达6页的工作履历，小姐姐马上对这位大咖做一个快速访谈，感兴趣的小伙伴们，我们很快就能在公开课上和Dennis老师实时交流了！
菜鸟窝·2023-04-20 10:42

领域驱动设计理论实践

战略设计战略设计是将“混沌”解构成“清晰”的过程，在该过程从开始到结束的历程之中，我们会划分出领域、界定通用语言范围、确定出系统限界上下文以及上下文之间的映射方式。领域划分战略设计在领域驱动设计中起着关键作用，因为其决定了前进的方向是否正确；而领域划分又是在战略设计中最关键的一点，它决定了系统最终架构的合理性。领域划分要做的事情是识别出核心域和子域。核心域是系统的内核，是系统建设的重点方向，是资源
lazycece·2023-04-19 00:03

【产品|悦读】PM必读《设计心理学1-日常的设计》

虽然设计心理学系列书籍很早就出版了，但是其中的设计理论原则放到现在看也不过时，对于产品经理来说，仍然值得一读。
小糊涂涂涂·2023-04-18 03:47

独家 | 设计考研书籍导读系列——《艺术设计概论》

《艺术设计概论》是学习艺术设计理论的基础教材，它试图从哲学的高度，全方位描述和阐释艺术设计的一系列理论问题，涉及艺术设计的概念、范畴、方法、程序、哲学、美学等众多方面，不仅具有普遍性，而且有一定的深刻性
哈性特·2023-04-18 01:49

视频教程-大型网站从单一架构到微服务分布式架构实战第1季-Java

拥有丰富的企业应用软件开发经验、深厚的软件架构设计理论基础及实践能力。项目开发历程：基于大数据技术推荐系统，医疗保险大数据分析与统计推断，H5跨平台APP，携程酒店APP，Go语言实现Storm和ZK
weixin_34263863·2023-04-17 22:46

HFSS/CST：电磁场数值仿真技术及天线设计与应用

文章来源：公众号科研讨论圈会议安排会议内容第一天上午电磁场理论及天线设计理论基础；天线电磁仿真概述1基础理论回顾——了解电磁仿真方法的理论基础1.1经典电磁理论经典麦克斯韦方程组电磁波在媒质中的传输特性
Hbaixue·2023-04-16 19:41

电磁场数值仿真技术及天线设计与应用

电磁场数值仿真技术及天线设计与应用第一天上午电磁场理论及天线设计理论基础；天线电磁仿真概述1基础理论回顾——了解电磁仿真方法的理论基础1.1经典电磁理论Ø经典麦克斯韦方程组Ø电磁波在媒质中的传输特性Ø传输线特性分析
A.刘女士·2023-04-16 19:10

如何做好系统设计

本文分享了一些系统设计理论与方法，也是这两年多在工作中对系统设计的一些思考与总结。一、善用UML工具用例图用于需求分析阶段，从用户角度描述系统功能。
诺亚方舟LOVE·2023-04-16 10:13

学学吧 | 这20种平面设计理论你知道吗？

图书封面设计是一项非常有学问的工作，希望下面提供的20种设计理论能为封面设计者带来一些新的视角。1.面部理论研究显示，人们在一生中会花费48.6%的时间在对面部表情进行解码上。
93091cdf8ebb·2023-04-16 06:45

【译】Cloudera Manager（CDH）入门系列之二 （架构）

请输入图片描述扫码关注微信公众号"Kooola大数据"扫码关注微信公众号号"Kooola大数据"，一起聊聊大数据架构（Architecture）如下图所示，ClouderaManager的核心是ClouderaManagerServer
Kooola大数据·2023-04-15 22:47

现代运动设计

3.至20世纪初，便有了去繁化简的设计理论的提出。密斯凡德罗的“少即是多”法国的勒柯布西耶描绘房
小琼安·2023-04-14 08:42

大数据架构模式lambda和kappa的对比

一.lambda架构如图所示，将收集到的数据通过kafka和flume等传递到计算层；数据存储在hdfs或者redis等组件中；计算部分分为两种，实时计算和离线计算；实时计算有storm,flink,stormstreaming和flinkstream；离线部分包括hive和sparksql等数据计算完之后，存储到组件中;其它业务可以从这里拉取计算结果优势（1）经过多年发展，比较稳定，也有比较多的
w970069059·2023-04-13 18:47

新视域:当前中小学教学设计与实施的六大新变化

[红顺视点]:新视域:当前中小学教学设计与实施的六大新变化面对双减政策强力推进、落地，面对新课标修订即将颁布，当前中小学教学设计理论研究有了新晋阶，实践有了新突破，为此，结合自己阅读与思考，归纳、提炼、
王红顺·2023-04-12 18:47

基于MATLAB GUI的数字图像处理系统

基于MATLABGUI的数字图像处理系统摘要：基于数字信号处理原理，在数字滤波器设计理论和Matlab编程技术及其GUI图形用户界面设计的基础上，开发了具有交互式特点的数字图像处理GUI软件，界面操作简单方便
话外仙子·2023-04-12 16:16

大数据架构师：日访问百亿级

日志数据是最常见的一种海量数据，以拥有大量用户群体的电商平台为例，双11大促活动期间，它们可能每小时的日志数量达到百亿规模，海量的日志数据暴增，随之给技术团队带来严峻的挑战。本文将从海量日志系统在优化、部署、监控方向如何更适应业务的需求入手，重点从多种日志系统的架构设计对比；后续调优过程：横向扩展与纵向扩展，分集群，数据分治，重写数据链路等实际现象与问题展开。我自己是一个从事了6年的Java全栈工
编程小世界·2023-04-11 20:25

大数据架构流程图

大数据管理数据处理过程图大数据(bigdata),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察力。大数据处理的主要流程包括数据收集、数据存储、数据处理、数据应用等主要环节。随着业务的增长,大量和流程、规则相关的非结构化数据也爆发式增长。平台数据架构流程图标准大数据平台架构,标准大数据平台架构,大数据平台架构,数据仓库,数据集市,大数
ixiaoyang8·2023-04-10 21:12

现代化培训绕不开的理论——建构主义教学

这正是两种教育思想、教学观念最根本的分歧点，由此而发展出两种对立的学习理论、教学理论和教学设计理论。建构主义最早提出者可追溯至瑞士的皮亚杰。
星明鉴培训·2023-04-10 07:25

Nginx实战应用-负载均衡，大数据架构设计方案

2.Nginx配置upstream块upstreamname{…}upstreamgupao{server192.168.12.1:8081;server192.168.12.1:《一线大厂Java面试题解析+后端开发学习笔记+最新架构讲解视频+实战项目源码讲义》【docs.qq.com/doc/DSmxTbFJ1cmN1R2dB】完整内容开源分享8082;server192.168.12.1:8
m0_64867152·2023-04-10 01:54

视频教程-热更新框架设计之Xlua基础视频课程-Unity3D

具备深厚编程语言经验，在国内上市企业做项目经理、研发经理，熟悉企业大型软件运作管理过程、软件架构设计理论。
weixin_33962207·2023-04-09 15:12

【大数据是什么】

大数据运维工程师数据仓库开发工程师ETL工程师大数据开发工程师BI工程师算法工程师大数据平台开发工程师大数据架构师讲述一下自己的大数据学习之路大数据是做什么的？
BigDataTuTu·2023-04-07 16:11

五个顶级的大数据架构

自从像AWS这样的公共云产品开辟了大数据分析功能以来，小企业通过挖掘大量的数据做到只有大企业才能做到的事情，至今大约有10年时间。这些事情其中包括网络日志、客户购买记录等，并通过按使需付费的方式提供低成本的商品集群。在这十年中，这些产品蓬勃发展，涵盖了从实时(亚秒级延迟)流媒体式分析到用于分析批量模式工作的企业数据仓库，而企业数据仓库则可能需要数天或数周才能完成。以下将介绍用于大数据堆栈的五个最有
大数据Arry·2023-04-07 16:07

大数据架构

目前大数据主要的结构如下：从最下面一层往上依次为：一、接入层1、DataXa)dataX是一个ETL工具，阿里出品b)采用Framework+plugin架构构建，幸运的是自带了常用的插件，比如MysqlReader、HdfsWriter等c)Standalone，无中心，每个实例之间无关联d)性能强劲、相对于sqoop，配置更简单e)稳定高效，我们引入DataX以来，从来没有在数据传输上出过问题
zhaoyang10·2023-04-06 16:47

大数据导论（二：大数据的架构）

3、云计算的特点4、云计算的服务方式5、大数据架构大数据架构是
SupAor·2023-04-06 16:40

大数据架构师须知—基础知识点

大数据架构师须知—基础知识点结合BI,Reporting,Ad-hoc,ETL数仓分析等场景，从体系化的角度来分析OLAP系统的核心技术点，分为谈存储，谈计算，谈优化器，谈趋势4个章节。
kalvin_y_liu·2023-04-06 03:38

激励相容是激活专利制度、盘活创新资源的牛鼻子——兼论现阶段企业专利问题的两大症结

一、理论来源激励相容（Incentivecompatibility）是“机制设计理论”中的一个核心概念。
应刚·2023-04-06 02:17

视频教程-SpringBootIDEA版SpringBoot视频教程（上）核心技术篇-Java

拥有丰富的企业应用软件开发经验、深厚的软件架构设计理论基础及实践能力。项目开发历程：基于大数据技术推荐系统，医疗保险大数据分析与统计推断，H5跨平台APP，携程酒店APP，
weixin_32387319·2023-04-05 19:05

万字详解大数据架构新概念

来源：五分钟学大数据随着近几年数据湖概念的兴起，业界对于数据仓库和数据湖的对比甚至争论就一直不断。有人说数据湖是下一代大数据平台，各大云厂商也在纷纷的提出自己的数据湖解决方案，一些云数仓产品也增加了和数据湖联动的特性。但是数据仓库和数据湖的区别到底是什么，是技术路线之争？是数据管理方式之争？二者是水火不容还是其实可以和谐共存，甚至互为补充？本文作者来自阿里巴巴计算平台部门，深度参与阿里巴巴大数据/
开源Linux·2023-04-05 17:20

平面设计基础课程练习（游戏与情感设计）

《课程：平面设计基础》课程初步学习了情感设计理论和视觉传达设计方法，以游戏内容为创作对象，最终完成了以下图形创作和页面设计作品，欢迎指导。
阿西莫得钱·2023-04-05 06:03

拉钩教育高薪训练营学习笔记——分布式理论与分布式架构设计理论

1.分布式架构介绍分布式系统是一个硬件或软件组件分布在不同的网络计算机上，彼此之间仅仅通过消息传递进行通信和协调的系统。通俗的理解，所谓分布式系统，就是一个业务拆分成多个子业务，分布在不同的服务器节点，共同构成的系统称为分布式系统，同一个分布式系统中的服务器节点在空间部署上是可以随意分布的，这些服务器可能放在不同的机柜中，也可能在不同的机房中，甚至分布在不同的城市。1.1分布式与集群的区别集群:多
weixin_44615693·2023-04-05 06:44

分布式及架构设计理论

目录第一节分布式架构介绍1.1什么是分布式系统1.2分布式与集群的区别1.3分布式系统特性1.4分布式系统面临的问题第二节分布式理论2.1数据一致性2.1.1什么是分布式数据一致性2.1.2副本一致性2.1.3一致性分类2.2CAP定理2.2.1CAP定理介绍2.2.2CAP三者不可能同时满足论证2.2.3CAP三者如何权衡2.3BASE理论第三节分布式一致性协议3.1两阶段提交协议(2PC)3.
杜莱·2023-04-05 06:16

分布式理论与分布式架构设计理论

上一章-RPC1分布式架构介绍分布式系统是一个硬件或软件组件分布在不同的网络计算机上，彼此之间仅仅通过消息传递进行通信和协调的系统。通俗的理解，所谓分布式系统，就是一个业务拆分成多个子业务，分布在不同的服务器节点，共同构成的系统称为分布式系统，同一个分布式系统中的服务器节点在空间部署上是可以随意分布的，这些服务器可能放在不同的机柜中，也可能在不同的机房中，甚至分布在不同的城市。1.1分布式与集群的
GJOED·2023-04-05 06:44

REST API 设计

RESTfulAPI是目前比较成熟的一套互联网应用程序的API设计理论。今天，我简单介绍RESTfulAPI的设计细节，共同探讨如何设计一套合理、好用的API。当不理解REST时可以先尝试去使
新月丶夜幕中的独行者·2023-04-05 05:43
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他