大数据架构

大数据知识体系

潇洒劫个妞-大数据体系笔记教程https://www.cnblogs.com/xsjgn/tag/it18%E6%8E%8C/、想成为一名合格的大数据架构师你必须要掌握这些内容https://cloud.tencent.com
提莫_·2022-08-18 01:37

SQL on Hadoop在快手大数据平台的实践与优化 | 分享实录

快手大数据架构工程师钟靓本文是根据快手大数据架构工程师钟靓于5月18-19日在A2M人工智能与机器学习创新峰会《SQLonHadoop在快手大数据平台的实践与优化》演讲中的分享内容整理而成。
msup789·2022-08-13 12:57

透过数字化转型再谈数据中台（三）：一文遍历大数据架构变迁史

编者按：《透过数字化转型再谈数据中台》系列连载6-8篇左右，作者结合自己在数据中台领域多年实践经验，总结了数据架构知识、BI知识，以及分享给大家一些产业互联网实施经验。本文是系列文章中的第三篇。在前面两篇“关于数字化转型的几个见解”、“唯一性定理中的数据中台”提到了数据中台发展问题。比如概念发展太快，信息量过载，以及存在广义、狭义的数据中台定义的差别等，涉及到的这些知识都离不开数据架构的范畴，所以
松子无核·2022-08-11 10:42

百度用户产品流批一体的实时数仓实践

文章整体包含4个部分，首先会介绍下大数据架构演进，从经典架构到Lambda架构再到Kappa架构；然后会介绍下我们做流批一体实时数仓的背景，旧架构面临的主要问题；第三会介绍下我们流批一体实时数仓的技术方案
·2022-08-10 12:42

首席数据官：从哪里来？到哪里去？

编辑：孙宁来源：大数据架构师（ID：bigdata_arch）数字经济是继农业经济、工业经济之后的主要经济形态。
大数据架构师Evan·2022-08-05 13:56

酷开科技 × StarRocks：统一 OLAP 分析引擎，全面打造数字化的 OTT 模式

作者：周桂民，大数据架构师和负责人，主要负责大数据平台基础建设工作酷开科技，全称深圳市酷开网络科技股份有限公司，成立于2006年，自主研发了智能电视操作系统——酷开系统。
·2022-08-03 17:55

Hadoop HDFS数据仓库技术

作为大数据领域的始祖，开源项目Hadoop已经诞生了近15年了，虽然今天大数据技术已经层出不穷，市场上涌现出了很多优秀的大数据架构和产品，但是Hadoop中的很多技术实现仍然有借鉴意义，本篇我们就来看下
Java云海.·2022-08-02 09:30

大数据开发写sql写烦了，要不要转？

瞅瞅方向：如数据分析师、大数据开发工程师、大数据分析师、数据开发工程师、大数据架构师、大数据运维工程师、ELT工程师、数据仓库工程师、大数据BI工程师等。丰富自己的能力，到处都机会。
embelfe_segge·2022-08-01 13:29

大数据开发写sql写烦了，要不要转？

瞅瞅方向：如数据分析师、大数据开发工程师、大数据分析师、数据开发工程师、大数据架构师、大数据运维工程师、ELT工程师、数据仓库工程师、大数据BI工程师等。丰富自己的能力，到处都机会。
m0_67403188·2022-07-31 10:38

小海豚“变身”全新智能调度引擎，深入浅出在DDS的实践开发应用

这次在7月Meetup为大家带来的是基于DolphinScheduler的智能调度引擎在DDS的应用，这场演讲主要会跟大家介绍宇动源-DDS（自研的图形化数据开发工作室）、大数据架构、DDS产品和使用中遇到的问题
·2022-07-22 16:29

大数据架构之Hadoop生态圈

第一章：集群规划测试开发集群（逻辑划分）：1台管理节点理解点+1台工具节点/1台边缘节点——N太工作节点可在ClouderaManager界面查看，端口号：71801台机器上部署管理节点，通常包括以下叫角色：NN：NameNode（HDFS）；SHS：SparkHistoryServer（Spark）；RM：ReduceManager（YARN）；JHS：jobHistoryServerZK：Zo
TT15751097576·2022-07-18 13:06

实时BI（四）低成本的数据准实时处理思路

系列话题的最后一篇文章，所以简单回顾一下前面的几次分享：第一篇文章讲解了BI对数据T+1同步机制的原因和过程；第二篇文章讲解了如果要实现实时或者准实时，对传统数据仓库分层的ETL架构要做出哪些调整；第三篇文章讲解了大数据架构下的
派可数据BI可视化·2022-07-17 22:35

数字化转型考古：最早的数字化转型是哪年开始的？

编辑：彭文华来源：大数据架构师彭友们好，我是老彭啊。这两年“数字化转型”这个词太热了！有些人还没踏上数字化的路，同样也有些人却已经为数字化转型挠破了头。历史总是惊人的相似。
大数据架构师Evan·2022-07-16 14:52

什么是IceBerg

实时数据仓库的发展、架构和趋势这篇文章从实时数仓开始讲到批流一体，谈了谈对大数据架构体系发展趋势的看法。
阳呀么阳阳阳·2022-07-13 08:15

大数据开发写sql写烦了，要不要转？

瞅瞅方向：如数据分析师、大数据开发工程师、大数据分析师、数据开发工程师、大数据架构师、大数据运维工程师、ELT工程师、数据仓库工程师、大数据BI工程师等。丰富自己的能力，到处都机会。
测试小扎·2022-07-12 12:47

大数据架构师——音乐数据中心平台离线数仓综合项目（一）

文章目录音乐数据中心平台离线数仓综合项目数据库与ER建模数据库数据库三范式第一范式(1NF)：原子性，字段不可分第二范式(2NF)：唯一性，一个表只能说明一个事物，有主键，非主键字段依赖主键第三范式(3NF)：非主键字段不能相互依赖，不存在传递依赖反范式ER实体模型ER实体关系模型案例数据仓库与维度建模数据仓库意义什么是数据仓库？数据仓库发展历程1.萌芽阶段(1978~1988年)2.探索阶段3.
yangwei_sir·2022-07-08 11:05

我选有钱有话语权的大数据架构师！

前段时间，朋友出去面试，还没聊几句面试官就开始直奔主题：“目前的我们的开发遇到了一些困难：过去是烟囱式的开发模式，各个项目组之间的数据资源不互通，也分散了很多小的数仓，可能面临开发规范不一致，数据来源不一致，计算逻辑不一致等问题，如果你来了，准备如何解决？”朋友自信满满地回答：“集中所有数据，重新进行采集、计算、存储、加工，并统一标准和口径，形成标准数据，再进行存储。必要的话可以上数据中台。”没想
全栈开发者社区·2022-07-08 11:04

实时工业大数据产品实践——上汽集团数据湖

讲师简介：侯松，上汽集团资深大数据架构师、OracleACE、PMP、北美寿险管理师，《高并发Oracle数据库系统的架构与设计》作者，ACOUG社区、PG社区核心成员。
coqonmdrr954803650·2022-07-08 11:00

大数据架构师——数据湖技术（一）

文章目录数据湖技术概述什么是数据湖？大数据为什么需要数据湖？数据湖技术之IcebergIceberg概念及特点Iceberg数据存储格式1.Iceberg术语2.表格式Iceberg特点详述1.Iceberg分区与隐藏分区(HiddenPartition)2.Iceberg表演化(TableEvolution)3.模式演化(SchemaEvolution)4.分区演化(PartitionEvolu
yangwei_sir·2022-07-08 11:29

ZooKeeper与CAP是什么关系？适用于哪些场景？

典型大数据架构有哪些？我该怎么选择？2、要有亲自动手的意识，并积极主动接触和学习新技术。PS：最好能有一个自己的测试环境（有大量朋友因为环境而止步！）3、学到的知识，多在合适的业务场景进行试用和验证。
arno_wzk·2022-07-05 10:34

数据仓库架构

大数据架构演变（数仓架构演变）传统离线大数据架构21世纪初随着互联网时代的到来，数据量暴增，大数据时代到来。
Keven He·2022-07-04 12:53

17-ETL工具、大数据架构、Flume介绍、Flume组件介绍

9.8ETL9.8.1概念描述ETL理解ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据设计分为3部分数据抽取数据的清洗转换数据的加载对3部分的理解在设计ETL的时候我们也是从这三部分出发。数据的抽取是从各个不同的数据源抽取到ODS(OperationalDataStore，操作型数据存储)中——这
大数据下的画像人·2022-07-02 09:20

高考作文：如何下好“数据治理”这盘大棋？

编辑：彭文华来源：大数据架构师彭友们好，我是老彭。今天是众多考生的大日子，全国高考。我没在彭友圈里给考生加油，因为他们根本看不到。所以，我准备用自己的方式重温高考——写一篇高考作文，请各位彭友品鉴。
大数据架构师Evan·2022-06-13 11:22

技术趋势-大数据架构

细数一下，大数据架构目前比较热的词包括：*数据湖、湖仓一体*批流合一、实时计算*存算分离、存储虚拟化*交易和分析融合，OLAP、HTAP、HSAP等等，基本上还是围绕大数据平台的存储和计算的两大主题。
舟行·2022-06-01 04:25

大数据架构设计阶段之——Zookeeper

zookeeper从入门到实战（简介）本文是对架构设计阶段的zookeeper进行总结1.入门1.1概述：1.zookeeper是一个开源分布式的，为分布式应用提供协调服务的·Apache项目。2.zookeeper=文件系统+通知机制zookeeper的工作机制：是一个基于观察者模式设计的分布式服务管理框架，他负责存储和管理大家都关心的数据，，然后接受观察者的注册，一旦这些数据的状态发生了变化，
D奋斗的小菜鸟！·2022-05-28 02:38

大数据架构师进阶之路-技术学习路线

大数据架构师进阶之路自大学毕业从事IT行业已有两年有余，虽在这两年一直没有停止学习的脚步，但总是感觉，不成体系，再就是学过的技术长时间不用，也忘记了，写篇博客的目的，是想在工作之余，一是充实自己，将学习的痕迹记录下来
俺是刘铁柱·2022-04-27 08:20

2019年大数据从入门到精通应该具备的知识体系

入门知识推荐书籍1、舍恩伯格的《大数据时代》；2、巴拉巴西的《爆发》；3、涂子沛的《大数据》；4、吴军《智能时代》；5、《大数据架构商业之路：从业务需求到技术方案》工具技能1、hadoop：常用于离线的复杂的大数据处理
小迪和夫人·2022-04-22 07:03

5、数据仓库抽象ODS/DW/DWS

我们可以知道所谓的大数据实际上就是系统在运行过程中产生的各种日志的汇总集合，那么为了更进一步使数据能高复用，产生了数据仓库的概念，本章就是笔者结合自己的工作经历梳理数据仓库中的抽象层级，以便于加深对大数据架构的理解
朗如行玉山_5b30·2022-04-11 15:26

体验了一把当架构师的感觉

最近公司数据方面的需求变得更多元化了，导致原有的大数据架构满足不了公司现有的需求。
·2022-02-27 21:52

Snowflake如日中天是否代表Hadoop已死？大数据体系到底是什么？

本文试从系统架构的角度，就大数据架构热点，每条技术线的发展脉络，以及技术趋势和未解问题等方面做一概述。
阿里云云栖号·2022-02-25 15:43

全面解析湖仓一体与大数据演进历程｜内含技术工具选型策略

大数据架构的演进历程对于大部分人来说，大数据架构所涉及的概念及术语繁多且复杂。如何将这些混乱的词汇转化
·2022-02-25 11:17

Java开发者职业生涯要看的200+本书

目录：入门书籍基础书籍多线程与并发网络编程数据结构语言基础进阶性能优化响应式编程JVM虚拟机代码&设计优化设计模式框架与中间件数据库缓存与NoSQL消息队列ORM框架Spring家族高并发分布式搜索引擎大数据架构分布式架构微服务架构架构方法论
rommel_c02e·2022-02-18 04:49

从码农到高级工程师：尚学堂1810期大数据全套视频教程全新上线

如今企业对于大数据高端人才的需求度越来越紧迫，在大数据团队主要分三种角色：大数据开发工程师、大数据运维工程师、大数据架构师。
北京尚学堂·2022-02-16 18:21

KUDU 介绍

在阿里、小米、网易等公司的大数据架构中，KUDU都有着不可替代的地位。
两棵橘树·2022-02-13 21:36

大数据平台架构设计探究

第三部分会介绍lambda和kappa架构模式下的一般大数据架构第四部分介绍裸露的数据架构体系下数据端到端难点以及痛点。
GOGOYAO·2022-02-11 09:14

搞懂深度学习到底需要哪些数学知识

【嵌牛鼻子】深度学习，大数据架构。【嵌牛提问】BP神经网络的思想？【嵌牛正文】IT互联网行业有个有趣现象，玩资本的人、玩产品的人、玩技术的人都能很好的在这个行业找到自己的位置并
梦里不知身是客_d549·2022-02-10 15:38

JuiceFS 即将发布 1.0 并调整开源许可

开源一周年JuiceFS开始于2017年，是一款云原生分布式文件系统，旨在帮助企业解决多云、跨云、混合云环境下所面临的诸多挑战：数据安全和保护、大数据架构升级、海量小文件访问、Kubernetes标准存储等
JuiceFS·2022-02-09 16:43

十年资深大数据架构师教你python内置函数！看不看你决定！

Python具有丰富和强大的库。它常被昵称为胶水语言，能够把用其他语言制作的各种模块（尤其是C/C++）很轻松地联结在一起。常见的一种应用情形是，使用Python快速生成程序的原型（有时甚至是程序的最终界面），然后对其中有特别要求的部分，用更合适的语言改写，比如3D游戏中的图形渲染模块，性能要求特别高，就可以用C/C++重写，而后封装为Python可以调用的扩展类库。需要注意的是在您使用扩展类库时
大数据学习01·2022-02-08 13:31

关于Spring boot的最新最全面笔记

马士兵老师亲自认证的关于大数据架构的免费课程，想要的话快来！Springboot[if!supportLists]一、[endif]在STS中实现热部署STS本质上也是基于Eclipse的[if!
大数据客栈yi·2022-02-06 18:29

计算机毕业设计全网首发Python+Spark招聘推荐系统 招聘大数据分析 招聘爬虫 招聘可视化系统 求职职位推荐系统 求职大数据 招聘小程序app 招聘网站

Hadoop、Vue.js、Spark、SpringBoot、echarts、阿里云短信、百度AI、支付宝沙箱支付、Python、MySQL、协同过滤推荐算法(apache-mahout)创新点Spark大数据架构
计算机毕业设计大神·2022-01-18 00:36

JuiceFS 即将发布 1.0 并调整开源许可

开源一周年JuiceFS开始于2017年，是一款云原生分布式文件系统，旨在帮助企业解决多云、跨云、混合云环境下所面临的诸多挑战：数据安全和保护、大数据架构升级、海量小文件访问、Kubernetes标准存储等
·2022-01-11 16:21

极客星球 | 数据治理一体化在MobTech金融风控场景下的实践

MobTech袤博科技受邀参加，大数据架构专家陈远光分享了数据治理一体化在MobTech金融风控场景下的实践和应用案例，带你走进数据应用与治理一体化的世界。
·2021-11-26 17:38

知乎利用 JuiceFS 给 Flink 容器启动加速实践

本文作者胡梦宇，知乎大数据架构开发工程师，主要负责知乎内部大数据组件的二次开发和数据平台建设。背景Flink因为其可靠性和易用性，已经成为当前最流行的流处理框架之一，在流计算领域占据了主导地位。
·2021-11-23 10:51

前沿分享｜阿里云数据库资深技术专家 姚奕玮：AnalyticDB MySQL离在线一体化技术揭秘

一、传统大数据架构面临的问题和挑战二、云原生数据仓库的架构与弹性三、云原生数据仓库诊断和
·2021-11-22 13:25

前沿分享｜阿里云数据库资深技术专家 姚奕玮：AnalyticDB MySQL离在线一体化技术揭秘

一、传统大数据架构面临的问题和挑战二、云原生数据仓库的架构与弹性三、云原生数据仓库诊断和运维一、传统大数据架构面临的问题和挑战传统大数据
·2021-11-18 14:25

什么是好的数据分析？化繁为简的力量

编辑：彭文华来源：大数据架构师（ID：bigdata_arch）彭友们好，我是你的老彭友。今天在群里看到一个表，真的是太棒了！
大数据架构师Evan·2021-11-16 23:17

极客星球 | 数据治理一体化在MobTech金融风控场景下的实践

MobTech袤博科技受邀参加，大数据架构专家陈远光分享了数据治理一体化在MobTech金融风控场景下的实践和应用案例，带你走进数据应用与治理一体化的世界。
·2021-11-11 18:33

大数据开发技术面试注意哪些方面

大数据架构与开发顾名思义大数据是一个以数据为核心的产业。大数据产业从数据的生命周期的传导和演变上可分为这几个部分：数据收集、数据储存、数据建模、数据分析、数据变现。
·2021-11-10 11:43

治理企业“数据悬河”，阿里云DataWorks全链路数据治理新品发布

简介：10月19日，在2021年云栖大会上，阿里云重磅发布DataWorks全链路数据治理产品体系，基于数据仓库，数据湖、湖仓一体等多种大数据架构，DataWorks帮助企业治理内部不断上涨的“数据悬河
·2021-11-05 17:33

治理企业“数据悬河”，阿里云DataWorks全链路数据治理新品发布

简介：10月19日，在2021年云栖大会上，阿里云重磅发布DataWorks全链路数据治理产品体系，基于数据仓库，数据湖、湖仓一体等多种大数据架构，DataWorks帮助企业治理内部不断上涨的“数据悬河
·2021-11-05 11:05
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他