大数据架构设计理论

一篇文章搞懂数据仓库：数据仓库架构-Lambda和Kappa对比

我们先回顾一下数据仓库的发展历程：传送门-数据仓库发展历程写在前面咳，随着数据量的暴增和数据实时性要求越来越高，以及大数据技术的发展驱动企业不断升级迭代，数据仓库架构方面也在不断演进，分别经历了以下过程：早期经典数仓架构>离线大数据架构
明月十四桥·2020-12-07 02:44

python爬虫的用途_Python爬虫的作用与地位（附python3教程+爬虫技术路线图）

在大数据架构中，数据收集与数据存储占据了极为重要的地位，可以说是大数据的核心基础。而爬虫技术在这两大核心技术层次中占有了很大的比例。为何有此一说？我们不妨通过一个实际应
weixin_39552179·2020-11-25 06:38

大数据架构师必读：常见的七种Hadoop和Spark项目案例

如果您的Hadoop项目将有新的突破，那么它必定与下边介绍的七种常见项目很相像。有一句古老的格言是这样说的，如果你向某人提供你的全部支持和金融支持去做一些不同的和创新的事情，他们最终却会做别人正在做的事情。如比较火爆的Hadoop、Spark和Storm，每个人都认为他们正在做一些与这些新的大数据技术相关的事情，但它不需要很长的时间遇到相同的模式。具体的实施可能有所不同，但根据我的经验，它们是最常
大数据首席数据师·2020-10-11 08:32

数据湖架构，为什么需要“湖加速”？

基于这一范式，大数据架构师需要考虑三件事情：第一，选
阿里云云栖号·2020-10-09 13:34

阿里云搭建Hadoop集群

从下图中可以对整个大数据架构有了大体的了解。Hadoop主要有HDFS（分布式
大数据超哥·2020-10-09 13:46

为什么写《大数据架构详解》这本书

花了差不多一年半时间，牺牲了每个周末，费了九牛二虎之力，终于完成个人人生的第一本书《大数据架构详解：从数据获取到深度学习》。整个过程其实挺痛苦的，时常想放弃，幸好坚持下来了。
jiezhu2007·2020-09-17 04:41

未来商业智能是个大方向，有哪些职业路线可供选择？

现在企业应用大数据和商业智能有这么几种情况：大型互联网企业采用hadoop一类的大数据架构——数据仓库——自己研发的报表、OLAP分析等。或者前端选用成熟的商业智能报表和BI分析软件。
人工智能和大数据时代·2020-09-17 04:23

【大数据架构】大数据数据仓库与数据中台架构

名词解释数据仓库（DataWarehouse，DW）数据分层：ods层：存储原始数据dwd层：清洗数据，去除空值、脏数据，超过极限范围的数据，数据脱敏，得到干净的数据dws层：轻度汇总，形成数据宽表（有数据冗余，但查询性能得到了提高，查询更方便，而join的结果容易产生数据倾斜）ads层：最终结果flume配置文件有三个重要组件：source：数据源ExecSource：实时搜集一个文件中新增的数
魏晓蕾·2020-09-17 03:37

PCB设计布线中的3种特殊走线技巧

PCB设计布线（Layout）的好坏将直接影响到整个系统的性能，大多数高速的设计理论也要最终经过Layout得以实现并验证，由此可见，布线在高速PCB设计中是至关重要的。
Y_Hanxiao·2020-09-17 03:21

系统分析与设计理论题

期末考试客观题（答案为标红的字体）1单选(2分)以下关于信息和数据的说法错误的是A.数据具有客观性，信息存在主观性B.数据具有相对性，信息具有绝对性C.信息是对接收者的决策或行为有现实或潜在的价值D.信息是经过加工后的数据2单选(2分)下述关于企业信息系统的层次结构和信息处理的描述正确的是（）A.企业信息系统最上层是战略层，是为了管理和控制B.企业信息系统最下层是作业层，所处理的问题结构性差C.企
笔落惊风雨。。。·2020-09-16 22:20

游戏策划入门书

《卓越游戏的诞生—游戏设计内幕》《游戏设计理论》《游戏设计—原理与实践》《网络游戏开发》《大型多人在线游戏开发》《游戏关卡设计》《游戏开发与制作》《游戏开发核心技术—剧本和角色创造》《剑与电——角色扮演游戏设计艺术
weixin_41947488·2020-09-16 16:10

数据湖架构，为什么需要“湖加速”？

基于这一范式，大数据架构师需要考虑三件事情：第一，选
阿里云开发者·2020-09-16 08:15

视频教程-CDH5.16.1全网最细的企业级离线部署-大数据

CDH5.16.1全网最细的企业级离线部署大数据架构师，负责海量日志数据处理等方面的技术研究与管理工作。
学院导师-余思隽·2020-09-16 06:35

好设计该具备这10项基本原则

转自：折腾先生英文：vitsoe译者：Feeng在工业设计成为消费类电子产品（特别是手机产品）的重要竞争力的当下，厂商除了需要加强ID（工业设计）团队的设计能力之外，更应该加强团队的设计理论能力。
Adir·2020-09-16 06:08

Officine Gullo百年定制x5大奢华空间：超越时间的艺术！

如果说其他国家有一种设计理论，意大利则有独特的设计思想体系。OfficineGulloExhibitionHallDelfino
designwire设计腕儿·2020-09-16 00:00

大数据领域专家力作，专注大数据

大数据丛书大数据日知录：架构与算法（大数据领域专家力作，专注大数据架构和算法，全面梳理大数据相关技术）张俊林著ISBN978-7-121-24153-62014年9月出版定价：69.00元404页16开编辑推荐这是一本心血之作
iteye_15786·2020-09-15 05:54

视频教程-(基于Token的)区块链投票系统（含配套资料）-区块链

拥有丰富的企业应用软件开发经验、深厚的软件架构设计理论基础及实践能力。项目开发历程：基于大数据技术推荐系统，医疗保险大数据分析与统计推断，H5跨平台APP，携程酒店APP，Go语言实现Storm和Z
weixin_33842492·2020-09-15 03:52

大数据架构师之路如何养成？

根据各招聘网站权威数据显示，资深大数据架构师平均年薪达到60-80万，经验丰富者甚至可以突破100万。随着国家政府重视大数据，大数据在企业中遍地开花。
58沈剑·2020-09-14 23:15

hive整体架构优化解决策略

友情提示：更多有关大数据、人工智能方面技术文章请关注博主个人微信公众号：高级大数据架构师！hive可以从几个方面进行优化，从系统角度看：整体架构、MR阶段、JOB以及平台都可以进行优化。
大数据爱好者社区·2020-09-14 23:07

大数据架构流程

数据处理分为三大类：第一类是从业务的角度，细分为查询检索、数据挖掘、统计分析、深度分析，其中深度分析分为机器学习和神经网络。第二类是从技术的角度，细分为Batch、SQL、流式处理、machinelearning、Deeplearning。第三类是编程模型，细分为离线编程模型、内存编程模型、实时编程模型。结合前文讲述的数据源特点、分类、采集方式、存储选型、数据分析、数据处理，我在这里给出一个总体的
yypiao·2020-09-14 12:11

数据库设计理论

关系数据库设计理论数据库规范化理论正是用来改造关系模式，通过分解关系模式来消除其中不合适的数据依赖，以解决插入异常、删除异常、更新异常和数据冗余问题。
ChuckLin·2020-09-13 23:13

Spark是否能替代Hive

在实际生产环境中已经形成了离线以Hive为主，Spark为辅,实时处理用Flink的大数据架构体系及Impala,Es，Kylin等应用查询引擎但是有很多学习Spark的程序员普遍认为Spark必然会替代
ysjh0014·2020-09-13 20:27

视频教程-Unity快速入门系列课程(第2部)-Unity3D

具备深厚编程语言经验，在国内上市企业做项目经理、研发经理，熟悉企业大型软件运作管理过程、软件架构设计理论。
weixin_28261285·2020-09-13 16:18

交互设计理论之格式塔理论与四大法则

早在20世纪早期，一个由德国心理学家组成的研究小组试图解释人类视觉的工作原理。他们观察了许多重要的视觉现象并编订了目录。格式塔理论明确地提出：眼脑作用是一个不断组织、简化、统一的过程，正是通过这一过程，才产生出易于理解、协调的整体。我们的视觉系统自动对视觉输入构建结构，并且在神经系统层面上感知形状，图形和物体，而不是只看到互不相连的边,线和区域。“形状”和“图形”在德语是“Gestalt”，因此这
有态度的大大稳·2020-09-13 08:06

大数据架构及行业大数据应用

今天要和大家分享一些南大通用CTO武新所总结的底层数据处理技术的发展趋势和正在经历的巨大变革。这个领域过去5年发展很快、热度很高，目前还在起步阶段。1.数据价值的发现与使用先不说什么是大数据，这个争议很多，我也说不清楚。不过我个人认为在大数据的4个V中，最显著的特征应该是Value（价值），其他几个V都很模糊。也就是说，不管数据多大，是什么结构，来源如何，能给使用者带来价值的数据是最重要的数据
mousever·2020-09-13 07:39

Flink 完美搭档：数据存储层上的 Pravega

作者|滕昱DellEMC研发总监整理|赵海凯DellEMC实习生本文将从大数据架构变迁历史，Pravega简介，Pravega进阶特性以及车联网使用场景这四个方面介绍Pravega，重点介绍DellEMC
Applied Sciences·2020-09-12 22:05

airflow部署和使用示例

主讲内容：docker/kubernetes云原生技术，大数据架构，分布式微服务，自动化测试、运维。
数据架构师·2020-09-12 13:32

阿里大数据架构师教你ZooKeeper安装配置！看了的都转发和关注了！

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。ZooKeeper包含一个简单的原语集，
首席数据师·2020-09-12 12:50

字节跳动在Spark SQL上的核心优化实践

字节跳动在SparkSQL上的核心优化实践大数据架构今天以下文章来源于字节跳动技术团队，作者郭俊字节跳动技术团队字节跳动的技术实践分享10月26日，字节跳动技术沙龙|大数据架构专场在上海字节跳动总部圆满结束
Hero.Lin·2020-09-11 17:10

刘博宇：Druid在滴滴应用实践及平台化建设

讲师简介：刘博宇，滴滴出行高级软件开发工程师，就职于滴滴基础平台大数据架构部。负责Druid集群维护与研发工作。
coqonmdrr954803650·2020-09-11 14:52

一篇了解大数据架构及Hadoop生态圈

阅读建议，有一定基础的阅读顺序为1,2,3,4节，没有基础的阅读顺序为2,3,4,1节。第一节集群规划大数据集群规划（以CDH集群为例），参考链接：https://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_host_allocations.htmlhttps://blog.csdn.net/xuefenxi/arti
小神龙q·2020-09-11 09:51

自考总结——数据库原理第三章

一：看宏观导图导图思路：整个第三章讲的关系模式设计理论，是设计好数据库的关键，通过模式规范化来解决数据的冗余度和一致性问题。
独孤文彬·2020-08-25 16:57

你是一个室内设计师吗？

年创建了我国第一个“工业设计系”是我国工业设计学术带头人和理论家71岁高龄目前还在清华大学美术学院任教其“生活方式说”、“共生美学观”、“事理学”等理论方法在国内乃至国际设计界都产生了导向性影响形成了中国自己的设计理论体系放下浮华
栀芯·2020-08-25 06:11

圣诞的礼物赠100G干货，Java入门精通视频，Python初级进阶资料，还有大数据架构师！

干货在下面，请花费1分钟时间看看图片发自App做一个实力派，不走弯路，便是捷径免费赠《Java入门到精通,Python初级进阶视频教程》图片发自App第一python很有前途，但你是实力派吗？实力决定一切图片发自App不要问小编python有没有前途，因为在python这个行业里，工资年薪几十万几百万的多的是，是一个根本不需要考虑前途就很有前途的行业，但是你有和前途配套的实力吗？而前途只属于有实力
Java工程诗·2020-08-24 16:35

大数据架构简述（二）：数据获取

1.数据分类按数据形态，我们把数据分为结构化数据和非结构化数据两种。结构化数据如传统的DataWarehouse数据，字段有固定的长度和语义，计算机程序可以直接处理非结构化数据有文本数据、图像数据、自然语言数据等，计算机程序无法直接进行处理，需要进行格式转换或信息提取。2.数据获取组件常见的信息获取组件包括电信特有的探针技术，为获取网页数据常用的爬虫，采集日志数据的组件Flume，以及用于消息转发
郭大侠写leetcode·2020-08-24 12:23

快速开发框架推荐使用 jeecg-boot

但随着技术不断进步，各种微服务，分布式突飞猛进，尤其在大数据架构和大并发进来，发现之前架构和写代码的地方有很多不足之处。于是去网上研究各大家的开源框架，对比之下，推荐使用jeecg
徐小笑·2020-08-23 11:21

大数据可以从事哪些职位，大数据就业方向有哪些？

大数据领域分为二个方向：一是大数据维护、研发、架构工程师方向；所涉及的职业岗位为：大数据工程师、大数据维护工程师、大数据研发工程师、大数据架构师等；二是大数据挖掘、分析方向；所
大数据在说话·2020-08-23 03:34

Kafka解耦原理浅析

一、高度耦合大数据架构1.每一个数据源都会有四个不同流向2.每一个数据接收者都可能有四个不同来源3.系统高度耦合，系统复杂度4*4=164.不利于程序开发、维护、升级二、Kafka解耦之后架构1.所有source
海若[MATRIX]·2020-08-23 02:18

[云框架]SMACK大数据架构

Github地址：https://github.com/cloudframe...SMACK是一种数据处理的技术组合，S代表Spark（引擎）、M代表Mesos（容器）、A代表Akka（模型）、C代表Cassandra（存储）、K代表Kafka（消息队列）。面对数据源数量急剧增加、数据样本获取难度升高、数据分析时效性差、数据分析投资回报率低等一系列挑战，SMACK可以解决Hadoop等熟知技术无法
weixin_33843409·2020-08-22 14:23

公理设计-由奇怪海战引发的软件设计思考

公理设计理论将设计建立在科学公理、定理和推论的基础上，由麻省理工学院教授Nam.P.Suh领导的研究小组于1978年提出，适用于各种类别的设计活动。
remcarpediem·2020-08-22 13:41

如何建设高吞吐量的日志平台



7月24日晚上8点，七牛云高级大数据架构师王珂在飞马网进行了题为《如何快速搭建智能化的统一日志管理系统》的音频直播，和大家探讨了日志平台建设中需要考虑的要点，并分享了七牛云在提高日志平台吞吐量上的实践经验
七牛云·2020-08-22 10:36

如何实现多维智能监控？--AI运维的实践探索【一】

SNG的哈勃多维监控平台在完成大数据架构改造后，尝试引入AI能力，多维根因分析是其中一试点，用于摸索AI的应用经验。本分分享探索过程和经验，希望可给后续AI应用提供参考。
腾讯织云·2020-08-22 10:56

18/70+小控班092+工业设计概论

需求分类产品环境视觉发展萌芽十八世纪早期工艺美术运动水晶莫里斯现代设计之父红屋新艺术植物装饰1890.1910.欧洲包豪斯1919现代设计理论艺术技术目的是人自然客观法则精神功能反装饰标准化国际现代主义体系形成二战后后现代波普形式主义高科技巴黎蓬皮杜艺术中心
092wiy·2020-08-22 04:38

考研复试数据库原理面试题（四）—关系数据库设计与设计理论

写作目的：为了应对考研复试中的面试，我整理了导师可能提问的地方，力求用口语化的语言描述出来。这只是一部分，陆续还有数据库原理的其它章节，还会推出数据结构、计算机网络复试题整理。数据库原理我的参考书是《数据库原理及应用第二版（雷景生）》，因为一些机缘巧合选择了这本书。不过没关系，网上有很多关于数据库原理的面试题，而且答案也很容易搜到。思维导图在我的processon。如果对你有帮助就打赏一下吧。ht
春季觉醒·2020-08-22 02:50

产品设计眼中的运营

虽然早期的业务设计理论上来说，如果真的是UCD的理念指导出
原文链接·2020-08-22 02:45

大数据架构和模式（五）对大数据问题应用解决方案模式并选择实现它的产品

简介本系列的第3部分描述了针对最常见的、经常发生的大数据问题及其解决方案的原子模式和复合模式。本文将推荐可以用于架构大数据解决方案的三个解决方案模式。每个解决方案模式都使用了一个复合模式，该模式由逻辑组件构成（参见第3部分的介绍）。在本文末尾处，列出了产品和工具清单，它们可映射到每一个解决方案模式的组件。解决方案模式以下各节将介绍可以用于架构大数据解决方案的三个解决方案模式。为了说明这些模式，我们
DeveloperWorks·2020-08-22 01:27

大数据架构和模式（四）了解用于大数据解决方案的原子模式和复合模式

简介本系列的第3部分介绍了大数据解决方案的逻辑层。这些层定义了各种组件，并对它们进行分类，这些组件必须处理某个给定业务用例的功能性和非功能性需求。本文基于层和组件的概念，介绍了解决方案中所用的典型原子模式和复合模式。通过将所提出的解决方案映射到此处提供的模式，让用户了解需要如何设计组件，以及从功能角度考虑，应该将它们放置在何处。模式有助于定义大数据解决方案的架构。利用原子模式和复合模式可以帮助进一
DeveloperWorks·2020-08-22 01:26

大数据架构和模式（三）理解大数据解决方案的架构层

概述这个“大数据架构和模式”系列的第2部分介绍了一种评估大数据解决方案可行性的基于维度的方法。
DeveloperWorks·2020-08-22 01:55

大数据架构和模式（二）如何知道一个大数据解决方案是否适合您的组织

简介在确定投资大数据解决方案之前，评估可用于分析的数据；通过分析这些数据而获得的洞察；以及可用于定义、设计、创建和部署大数据平台的资源。询问正确的问题是一个不错的起点。使用本文中的问题将指导您完成调查。答案将揭示该数据和您尝试解决的问题的更多特征。尽管组织一般情况对需要分析的数据类型有一些模糊的理解，但具体的细节很可能并不清晰。毕竟，数据可能具有之前未发现的模式的关键，一旦识别了一种模式，对额外分
DeveloperWorks·2020-08-22 01:54

大数据架构和模式（一）大数据分类和架构简介

相关文章：大数据架构和模式（二）——如何知道一个大数据解决方案是否适合您的组织大数据架构和模式（三）——理解大数据解决方案的架构层大数据架构和模式（四）——了解用于大数据解决方案的原子模式和复合模式大数据架构和模式
DeveloperWorks·2020-08-22 01:54
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他