大数据架构

治理企业“数据悬河”，阿里云DataWorks全链路数据治理新品发布

简介：10月19日，在2021年云栖大会上，阿里云重磅发布DataWorks全链路数据治理产品体系，基于数据仓库，数据湖、湖仓一体等多种大数据架构，DataWorks帮助企业治理内部不断上涨的“数据悬河
阿里云开发者·2021-11-05 11:38

数说长津湖，惨烈到无法想象！

编辑：彭文华来源：大数据架构师（ID：bigdata_arch）国庆七天，我哪儿也没去，就在家里写书，组织彭友们学习数据管理知识体系。媳妇嫌我太宅了，就带我和娃去看了一场《长津湖》。
大数据架构师Evan·2021-10-08 19:20

云原生大数据架构中实时计算维表和结果表的选型实践

简介：随着互联网技术的日渐发展、数据规模的扩大与复杂的需求场景的产生，传统的大数据架构无法承载。
·2021-09-16 11:30

【kafka冷知识】0.10之后的kafka版本有哪些有意思的feature

作为一个优秀的分布式消息系统，Kafka已经被许多企业采用并成为其大数据架构中不可或缺的一部分。Kafka也已经不再只是分布式消息队列，而是想做集成了分发、存储和计算的“流式数据平台”。
大数据技术事务所·2021-09-05 11:02

Snowflake如日中天是否代表Hadoop已死？大数据体系到底是什么？

本文试从系统架构的角度，就大数据架构热点，每条技术线的发展脉络，以及技术趋势和未解问题等方面做一概述。
·2021-08-04 12:45

当大数据架构遇上 TiDB

前言一年前，知乎的大数据架构与TiDB首次相遇，那时我们将HiveMetaStore的元数据库迁移到了TiDB，得到了超过单机数据库一个量级的性能提升。
·2021-07-30 14:53

Smartbi：大数据平台架构设计系统

根据大数据从来源到应用，实现传输的流程，可以将大数据架构设计分为数据收集层、数据存储层、数据处理层、数据治理与建模层、数据应用层。
·2021-06-25 15:47

大数据架构

大数据架构.png一、平台架构数据平台架构图.png1.1接入层1.1.1设备采集（IoT）数据采集(DAQ)，是指从传感器和其它待测设备等模拟和数字被测单元中自动采集非电量或者电量信号,送到上位机中进行分析
玄鸟西·2021-06-22 07:23

【全集】大数据Linux基础

课程介绍本课程是由猎豹移动大数据架构师，根据公司大数据平台的运维情况，精心设计和打磨的大数据必备Linux课程。
大数据研习社·2021-06-12 10:45

一线大数据专家，用一文详解大数据架构，从数据获取到深度学习

前言本文将从大数据的本质：大数据现状及挑战，驱动因素，未来趋势，Spark原理及应用，探针，爬虫，日志采集，Flink，深度学习，数据分发中间件进行整体的介绍与概述，下图将全面详解大数据架构。
Javachichi·2021-06-11 15:56

【案例分享】企业智能决策平台

——马云宝原科技大数据部的CDO曾和小编谈起：“自马云提出从移动互联网时代进入大数据时代后，各大主流企业纷纷建设内部的大数据部门或者企业数据中心，大数据架构师、数据分析师、大数据挖掘工程师等职位在近些年炙手可热
YUMIKOJUN·2021-06-06 01:08

大数据架构技术地图-学习大纲

架构地图大数据架构技术路线图序序叨叨最新梳理了2021年以大数据为中心的技术架构地图，一些重点的技术已经用粗体标出。计划对照地图逐一打卡，查漏补缺。
朝朝Mumu·2021-05-18 16:45

第一篇一机器学习前奏之“统计学”

早些时间也给自己立下今年的学习目标大数据架构师，为了这一目标也买了不少书籍，下了不少电子书，甚至有报班的想法，后来在修行的道路上有幸遇到居士，且果断的加入到了居士的学习小组，希望借此机会夯实下自己的基础知识
麦子星星·2021-04-25 03:51

网鱼网咖通过大数据架构 极致洞察会员偏好

云栖号案例库：【点击查看更多上云案例】不知道怎么上云？看云栖号案例库，了解不同行业不同发展阶段的上云方案，助力你上云决策！公司简介我们网鱼网咖成立于1998年，致力于打造多人游戏空间，为顾客提供极致的游戏上网体验。我们公司的业务范围覆盖连锁上网服务门店、电脑及周边产品、游戏社交软件等，为加盟伙伴提供一体化的解决方案。我们公司旗下拥有网鱼网咖、风蝶网咖、网鱼电竞、虎猫电竞、诺诺茶、YVR六大连锁品牌
阿里云云栖号·2021-04-15 05:27

银行有没有必要建立数据中台？看看这些架构师和技术总监怎么说

这个问题，需要解决，我咨询了行业内的大数据架构师，应该能给你一点答案。1、@Derek20股份制银行大数据架构师：数据中台建设必要性的论证是每家机构必做的功课，目前没有一个成熟且可量化的论证方案
大数据的那些事·2021-04-12 19:34

Apache Iceberg 数据湖从入门到放弃(0) —— 初步入门三部曲

但是随着实时计算引擎的不断发展以及业务对于实时报表的产出需求不断膨胀，业界最近几年就一直聚焦并探索于两个相关的热点问题：实时数仓建设和大数据架构的批流一体建设。
黄瓜炖啤酒鸭·2021-04-08 09:11

实时数据仓库的发展、架构和趋势

但是随着实时计算引擎的不断发展以及业务对于实时报表的产出需求不断膨胀，业界最近几年就一直聚焦并探索于两个相关的热点问题：实时数仓建设和大数据架构的批流一体建设。
NetEaseResearch·2021-04-02 09:25

TiDB 在实时分析应用场景下的探索

本文不涉及对大数据场景的介绍，适合正在或者考虑进行大数据架构探索的对象，将根据不同的角色需求、成本以及技术选型方面做介绍，并提供一种可供选择的HTAP技术产品——TiDB，在进行TP业务的同时，满
·2021-03-10 21:50

TiDB 在实时分析应用场景下的探索

本文不涉及对大数据场景的介绍，适合正在或者考虑进行大数据架构探索的对象，将根据不同的角色需求、成本以及技术选型方面做介绍，并提供一种可供选择的HTAP技术产品——TiDB，在进行TP业务的同时，满
·2021-03-10 04:23

TiDB 在实时分析应用场景下的探索

本文不涉及对大数据场景的介绍，适合正在或者考虑进行大数据架构探索的对象，将根据不同的角色需求、成本以及技术选型方面做介绍，并提供一种可供选择的HTAP技术产品——TiDB，在进行TP业务的同时，满
TiDB_PingCAP·2021-03-09 14:57

一文掌握大数据架构师需要具备的能力和格局

大数据架构师是一个综合学科，除了平台编码，架构设计，更需要了解行业领域、以及具备产品和运维的思维能力。本文梳理了作为一个架构师应该具备哪些能力，文章比较长，干货满满，看完绝对有不同的感悟。
Dark_King_·2021-03-04 14:28

Apache Flink 在快手的过去、现在和未来

本文由快手大数据架构团队负责人赵健博分享，主要介绍ApacheFlink在快手的过去、现在和未来。
·2021-02-22 11:01

大厂如何搭建大数据平台&架构

大厂的大数据架构淘宝淘宝大数据平台承担了数据采集、加工处理、数据应用的职责。
·2021-02-06 13:27

大厂如何搭建大数据平台&架构

大厂的大数据架构淘宝淘宝大数据平台承担了数据采集、加工处理、数据应用的职责。
·2021-02-06 12:45

Apache Flink 在快手的过去、现在和未来

本文由快手大数据架构团队负责人赵健博分享，主要介绍ApacheFlink在快手的过去、现在和未来。
·2021-02-05 16:16

Apache Flink 在快手的过去、现在和未来

摘要：本文由快手大数据架构团队负责人赵健博分享，主要介绍ApacheFlink在快手的过去、现在和未来。
Ververica·2021-02-04 21:00

【大数据架构综述】计算引擎篇之Spark概述

【大数据架构综述】计算引擎篇之Spark概述1.引言ApacheSpark是专为大规模数据处理而设计的快速通用的计算引擎。
LanternTeam·2021-01-17 22:11

【大数据架构综述】数据存储篇之Hbase

typora-root-url:imgHbase一、Hbase是什么Hbase是一个开源的Nosql数据库，参考google的BigTable建模，使用Java语言实现，运行在HDFS文件系统上，为Hadoop提供类似BigTable的服务。ApacheHbase最初是Powerset公司为了处理自然语言搜索产生的海量数据而开展的项目。它可以存储海量稀疏的数据，并且具备一定的容错性、高可靠性及伸缩
LanternTeam·2021-01-15 17:29

【大数据架构综述】计算引擎篇之MapReduce

MapReduce1.MapReduce简介MapReduce是一种简化、并行计算编程模型，它最早出现在2004年Google公司JeffreyDean和SanjayGhemawat的论文“MapReduce:SimplifiedDataProcessingonLargeClusters”（面向大型集群的简化数据处理）中，是Google公司开源的一项重要技术。MapReduce用于进行大数据量的计
LanternTeam·2021-01-15 00:19

【大数据架构综述】文件系统篇之HDFS概述

HDFS一、HDFS是什么HDFS(HadoopDistributeFileSystem)是基于流数据访问模式（“一次写入，多次读取”）的分布式文件系统，支持海量数据的存储。HDFS就是GFS思想的开源实现。GFS是Google公司在2003年发布的GoogleFileSystem论文，是GFS思想的开源实现。HDFS的高容错性，高吞吐量，高扩展性等特点，可以很好地解决海量数据的存储问题。HDFS
LanternTeam·2021-01-13 22:41

终于学完了阿里云大数据架构师推荐的Flink入门与实战文档，真的强！

Flink项目是大数据计算领域冉冉升起的一颗新星。大数据计算引擎的发展经历了几个过程，从第1代的MapReduce，到第2代基于有向无环图的Tez，第3代基于内存计算的Spark，再到第4代的Flink。因为Flink可以基于Hadoop进行开发和使用，所以Flink并不会取代Hadoop，而是和Hadoop紧密结合。Flink主要包括DataStreamAPI、DataSetAPI、TableA
互联网全栈工程师·2020-12-25 21:35

hive中groupby优化_HIVE 优化浅谈

作者：邓力，entobit技术总监，八年大数据从业经历，由一代HADOOP入坑，深耕云计算应用领域，由从事亚马逊EMR和阿里云EMR应用开发逐步转入大数据架构领域，对大数据生态及框架应用有深刻理解。
weixin_39589693·2020-12-20 03:13

大数据架构流程图

大数据管理数据处理过程图大数据(bigdata),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察力。大数据处理的主要流程包括数据收集、数据存储、数据处理、数据应用等主要环节。随着业务的增长,大量和流程、规则相关的非结构化数据也爆发式增长。平台数据架构流程图标准大数据平台架构,标准大数据平台架构,大数据平台架构,数据仓库,数据集市,大数
摘下满天星·2020-12-12 20:45

大数据架构流程图

大数据管理数据处理过程图大数据(bigdata),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察力。大数据处理的主要流程包括数据收集、数据存储、数据处理、数据应用等主要环节。随着业务的增长,大量和流程、规则相关的非结构化数据也爆发式增长。平台数据架构流程图标准大数据平台架构,标准大数据平台架构,大数据平台架构,数据仓库,数据集市,大数
摘下满天星·2020-12-12 19:54

一篇文章搞懂数据仓库：数据仓库架构-Lambda和Kappa对比

我们先回顾一下数据仓库的发展历程：传送门-数据仓库发展历程写在前面咳，随着数据量的暴增和数据实时性要求越来越高，以及大数据技术的发展驱动企业不断升级迭代，数据仓库架构方面也在不断演进，分别经历了以下过程：早期经典数仓架构>离线大数据架构
明月十四桥·2020-12-07 02:44

python爬虫的用途_Python爬虫的作用与地位（附python3教程+爬虫技术路线图）

在大数据架构中，数据收集与数据存储占据了极为重要的地位，可以说是大数据的核心基础。而爬虫技术在这两大核心技术层次中占有了很大的比例。为何有此一说？我们不妨通过一个实际应
weixin_39552179·2020-11-25 06:38

大数据架构师必读：常见的七种Hadoop和Spark项目案例

如果您的Hadoop项目将有新的突破，那么它必定与下边介绍的七种常见项目很相像。有一句古老的格言是这样说的，如果你向某人提供你的全部支持和金融支持去做一些不同的和创新的事情，他们最终却会做别人正在做的事情。如比较火爆的Hadoop、Spark和Storm，每个人都认为他们正在做一些与这些新的大数据技术相关的事情，但它不需要很长的时间遇到相同的模式。具体的实施可能有所不同，但根据我的经验，它们是最常
大数据首席数据师·2020-10-11 08:32

数据湖架构，为什么需要“湖加速”？

基于这一范式，大数据架构师需要考虑三件事情：第一，选
阿里云云栖号·2020-10-09 13:34

阿里云搭建Hadoop集群

从下图中可以对整个大数据架构有了大体的了解。Hadoop主要有HDFS（分布式
大数据超哥·2020-10-09 13:46

为什么写《大数据架构详解》这本书

花了差不多一年半时间，牺牲了每个周末，费了九牛二虎之力，终于完成个人人生的第一本书《大数据架构详解：从数据获取到深度学习》。整个过程其实挺痛苦的，时常想放弃，幸好坚持下来了。
jiezhu2007·2020-09-17 04:41

未来商业智能是个大方向，有哪些职业路线可供选择？

现在企业应用大数据和商业智能有这么几种情况：大型互联网企业采用hadoop一类的大数据架构——数据仓库——自己研发的报表、OLAP分析等。或者前端选用成熟的商业智能报表和BI分析软件。
人工智能和大数据时代·2020-09-17 04:23

【大数据架构】大数据数据仓库与数据中台架构

名词解释数据仓库（DataWarehouse，DW）数据分层：ods层：存储原始数据dwd层：清洗数据，去除空值、脏数据，超过极限范围的数据，数据脱敏，得到干净的数据dws层：轻度汇总，形成数据宽表（有数据冗余，但查询性能得到了提高，查询更方便，而join的结果容易产生数据倾斜）ads层：最终结果flume配置文件有三个重要组件：source：数据源ExecSource：实时搜集一个文件中新增的数
魏晓蕾·2020-09-17 03:37

数据湖架构，为什么需要“湖加速”？

基于这一范式，大数据架构师需要考虑三件事情：第一，选
阿里云开发者·2020-09-16 08:15

视频教程-CDH5.16.1全网最细的企业级离线部署-大数据

CDH5.16.1全网最细的企业级离线部署大数据架构师，负责海量日志数据处理等方面的技术研究与管理工作。
学院导师-余思隽·2020-09-16 06:35

大数据领域专家力作，专注大数据

大数据丛书大数据日知录：架构与算法（大数据领域专家力作，专注大数据架构和算法，全面梳理大数据相关技术）张俊林著ISBN978-7-121-24153-62014年9月出版定价：69.00元404页16开编辑推荐这是一本心血之作
iteye_15786·2020-09-15 05:54

大数据架构师之路如何养成？

根据各招聘网站权威数据显示，资深大数据架构师平均年薪达到60-80万，经验丰富者甚至可以突破100万。随着国家政府重视大数据，大数据在企业中遍地开花。
58沈剑·2020-09-14 23:15

hive整体架构优化解决策略

友情提示：更多有关大数据、人工智能方面技术文章请关注博主个人微信公众号：高级大数据架构师！hive可以从几个方面进行优化，从系统角度看：整体架构、MR阶段、JOB以及平台都可以进行优化。
大数据爱好者社区·2020-09-14 23:07

大数据架构流程

数据处理分为三大类：第一类是从业务的角度，细分为查询检索、数据挖掘、统计分析、深度分析，其中深度分析分为机器学习和神经网络。第二类是从技术的角度，细分为Batch、SQL、流式处理、machinelearning、Deeplearning。第三类是编程模型，细分为离线编程模型、内存编程模型、实时编程模型。结合前文讲述的数据源特点、分类、采集方式、存储选型、数据分析、数据处理，我在这里给出一个总体的
yypiao·2020-09-14 12:11

Spark是否能替代Hive

在实际生产环境中已经形成了离线以Hive为主，Spark为辅,实时处理用Flink的大数据架构体系及Impala,Es，Kylin等应用查询引擎但是有很多学习Spark的程序员普遍认为Spark必然会替代
ysjh0014·2020-09-13 20:27

大数据架构及行业大数据应用

今天要和大家分享一些南大通用CTO武新所总结的底层数据处理技术的发展趋势和正在经历的巨大变革。这个领域过去5年发展很快、热度很高，目前还在起步阶段。1.数据价值的发现与使用先不说什么是大数据，这个争议很多，我也说不清楚。不过我个人认为在大数据的4个V中，最显著的特征应该是Value（价值），其他几个V都很模糊。也就是说，不管数据多大，是什么结构，来源如何，能给使用者带来价值的数据是最重要的数据
mousever·2020-09-13 07:39
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他