大数据架构第2页

干货 | 携程国际业务动态实时标签处理平台实践

Weiyi，携程资深数据开发，关注大数据相关技术，对大数据实时计算、流批一体等方面有浓厚兴趣；Hzhou，携程资深数据开发，关注大数据相关技术，对系统架构和实时处理等方面有浓厚兴趣；Rongjun，携程大数据架构开发

携程技术·2023-11-10 18:47

什么是大数据架构

大数据架构是用于摄取和处理大量数据（通常称为“大数据”）的总体系统，以便可以出于业务目的对其进行分析。该架构可以被视为基于组织业务需求的大数据解决方案的蓝图。

wouderw·2023-11-09 07:57

2023年下半年架构案例真题及答案

案例的考点：大数据架构Lambda架构和Kappa架构jwt特点数据持久层，Redis数据丢失，数据库读写分离方案Hibernat架构SysML七个关系，填需求图大数据的必选题：某网作为某电视台在互联网上的大型门户入口

数字化信息化智能化解决方案·2023-11-09 07:14

Lambda 架构 vs Kappa 架构

大数据处理架构详解：Lambda架构、Kappa架构、流批一体、Dataflow模型、实时数仓https://www.cnblogs.com/robots2/p/17769376.html大数据架构设计

flying jiang·2023-11-07 12:58

大数据平台架构--学习日记（一）

具体见下图示例，这张图是比较经典的，也是妥协的结果，跟当前网上很多的大数据架构图都可以作一定

slipper520·2023-11-06 21:37

天津重点大数据培训大数据培训的三个重要内容

大数据的行业前景大数据培训所涉及的就业岗位有数据工程师、数据仓库工程师、数据分析师、大数据架构师、机器学习算法工程师等。除这些外，大数据领域中还涉及到其他职位，

qq_38453958·2023-11-03 23:57

生产环境评估机器

学习了kafka的原理知识后，还要学会如何评估生产环境集群，如果是一个大数据架构师，这个是必须要会的，比如kafka集群、Hbase集群、hadoop集群，评估集群的方式差不多，现在以kafka为例。

yx️·2023-11-03 05:32

架构设计之大数据架构（Lambda架构、Kappa架构）

大数据架构一.大数据技术生态二.大数据分层架构三.Lambda架构3.1Lambda架构分解为三层3.2优缺点3.3实际案例四.Kappa架构4.1结构图4.2优缺点4.3实际案例五.Lambda架构与

Elaine猿·2023-11-03 02:30

NoSQL数据库使用场景以及架构介绍

二.NoSQL分类三.NoSQL与关系数据库有什么区别四.NoSQL主要优势和缺点五.NoSQL体系框架其它相关推荐：系统架构之微服务架构系统架构设计之微内核架构鸿蒙操作系统架构架构设计之大数据架构（Lambda

Elaine猿·2023-11-03 02:26

Kafka - 监控工具 Kafka Eagle：实时洞察Kafka集群的利器

文章目录引言KafkaEagle简介KafkaEagle的特点KafkaEagle的优势使用KafkaEagle的步骤结论引言在现代大数据架构中，ApacheKafka已成为一个不可或缺的组件，用于可靠地处理和传输大规模的数据流

小小工匠·2023-11-01 12:21

系统架构设计师-第19章-大数据架构设计理论与实践-软考学习笔记

传统数据处理系统存在的问题传统数据处理系统存在以下问题：1.数据孤岛问题：不同部门或系统之间的数据隔离，数据无法共享和整合。2.数据不一致性问题：由于数据维护分散，同一数据在不同系统或部门中可能存在不同的版本，造成数据不一致。3.数据冗余问题：同一数据在不同系统或部门中存在多份副本，造成资源浪费和数据安全隐患。4.数据安全问题：传统数据处理系统中的数据安全保护措施相对较弱，容易受到恶意攻击或数据泄

小果运维·2023-10-30 09:50

大数据架构设计理论与实践

大数据架构设计理论与实践大数据处理系统概述传统数据处理系统存在的问题大数据处理系统面临的挑战大数据处理系统的属性/特征典型的大数据架构Lambda架构Lambda定义优缺点应用场景Lambda的体系结构

骚戴·2023-10-29 16:20

全网最详细的大数据架构搭建配置及说明文档

版本兼容JDK1.8.0_211ZooKeeper3.4.14Hadoop3.2.1Hive3.1.2HBase2.2.1Scala2.13.1Spark2.4.4MySQL5.7.28基本配置修改ip和主机名主机名IP地址JavaZookeeperHadoopHiveHBaseSparkMySQLhadoop192.168.137.201√√√√√√slave1192.168.137.202√√

骇客567·2023-10-29 10:52

大数据架构：flume-ng+Kafka+Storm+HDFS 实时系统组合

转载至:http://www.aboutyun.com/thread-6855-1-1.html个人观点：大数据我们都知道hadoop，但并不都是hadoop.我们该如何构建大数据库项目。对于离线处理，hadoop还是比较适合的，但是对于实时性比较强的，数据量比较大的，我们可以采用Storm，那么Storm和什么技术搭配，才能够做一个适合自己的项目。下面给大家可以参考。可以带着下面问题来阅读本文章

向往的生活Life·2023-10-26 15:06

25款大数据入门与实战电子书+视频教程（全程干货）

本资源由菜鸟窝大数据教研团队整理的，共有1.3GB学习资源（电子书）含Hadoop大数据与挖掘实战、Hbase实战、Spark大数据处理技术、Spark高级数据分析、大数据存储MongoDB实战、大数据架构师指南

菜鸟窝·2023-10-26 07:50

一张Lambda大数据架构架构图

该系统的大数据架构是基于Lambda架构搭建的大数据平台处理大规模视频网络观看数据。

huaqianzkh·2023-10-25 16:50

【数据仓库-零】数据仓库知识体系 ing

了解到构建数仓的每一步对应使用哪些技术；总之学习数仓为我们提供了构建、管理和优化大数据架构的关键技能和知识。接下来我们了解下数据仓库都有哪些知识点需要我们进行学习：一.数仓基本概念数据仓

roman_日积跬步-终至千里·2023-10-24 16:41

作为程序员，为什么你应该学好数学？

我博士毕业于上海交通大学计算机科学与工程专业，在接下来十余年时间里，我曾经在微软亚洲研究院、IBM研究院、eBay中国研发中心做机器学习方向的研究工作，也负责过大润发飞牛网和1号店这两家互联网公司的核心搜索和推荐项目，还写过一本书《大数据架构商业之路

十年开发程序员·2023-10-22 19:03

架构案例分析重点

（可能考点）表现层框架设计中间层架构设计数据访问层数据访问层工厂模式的设计（一个考点）物联网三层云原生架构面向服务架构(SOA)SOA设计模式嵌入式系统架构鸿蒙操作系统（可能考点）通信系统架构安全架构大数据架构

计算机CV民工·2023-10-22 13:18

数字化转型是新瓶装旧酒吗？

编辑：彭文华来源：大数据架构师（ID：bigdata_arch）彭友萌好，我是你的老彭友。周四受51CTO邀请，给大家做了一个数字化转型的线上分享。

大数据架构师Evan·2023-10-20 05:08

大数据数仓搭建-大数据用户画像推荐系统搭建

一确定需求我把需求主要分为三大类一离线数据报表需求二实时观查数据走向需求三算法需求二确定系统架构根据需求我们目前有几种大数据架构可以供参考流式架构流式架构非常激进，直接拔掉了批处理，数据全程以流的形式处理

老姜的数据江湖·2023-10-18 21:10

大数据架构和模式，第 2 部分

如何知道一个大数据解决方案是否适合您的组织简介在确定投资大数据解决方案之前，评估可用于分析的数据；通过分析这些数据而获得的洞察；以及可用于定义、设计、创建和部署大数据平台的资源。询问正确的问题是一个不错的起点。使用本文中的问题将指导您完成调查。答案将揭示该数据和您尝试解决的问题的更多特征。尽管组织一般情况对需要分析的数据类型有一些模糊的理解，但具体的细节很可能并不清晰。毕竟，数据可能具有之前未发现

断水流大湿兄·2023-10-18 13:54

软考高级架构师下篇-18

目录1.引言2.传统数据处理系统的问题1.传统数据库的数据过载问题2.大数据的特点3.大数据利用过程4.大数据处理系统架构分析3.典型的大数据架构1.Lambda架构2.Kappa架构3.Lambda架构与

拒绝冗余·2023-10-10 21:49

大数据架构设计（四十五）

大数据架构有Lambda架构和Kappa架构。大数据可以解决的问题?处理非结构化和半结构化数据。大数据复杂性、不确定性特征描述和刻画方法以及大数据系统建模。数据易构性与决策易购性的关系。

后端从入门到精通·2023-10-06 10:20

数据仓库架构师的岗位工作职责及应具备的能力

技术研发类岗位包括大数据架构师、数据仓库架构师、大数据开发工程师、数据采集工程师、数据仓库开发工程师、系统开发工程师、算法开发工程师。本文将介绍数据仓库架构师的岗位工作职责及应具备的能力。

皮皮杂谈·2023-10-02 01:14

系统架构设计师-大数据

目录一、大数据1、大数据架构2、大数据技术生态3、Lambda架构4、Kappa架构5、Lambda架构与Kappa架构对比一、大数据1、大数据架构大数据是指其大小或复杂性无法通过现有常用的软件工具，以合理的成本并在可接受的时限内对其进行捕获

张瑞东·2023-09-28 08:57

大数据架构师——音乐数据中心平台离线数仓综合项目（三）

文章目录音乐数据中心平台离线数仓综合项目第二个业务：机器详细信息统计需求模型设计数据处理流程1.将数据导入MySQL业务库2.使用Sqoop工具抽取数据到HiveODS层3.使用SparkSQL对ODS层数据进行ETL清洗使用Azkaban配置任务流1.脚本准备2.编写Azkaban各个Job组成任务流3.清空数据4.提交Azkaban作业使用Superset数据可视化第三个业务：日活跃用户统计需

讲文明的喜羊羊拒绝pua·2023-09-27 23:11

系分 - 案例分析 - 架构设计（Web架构）

服务器分离应用服务器集群负载均衡负载均衡技术静态与动态算法Session共享机制有状态与无状态持久化技术ORM数据库技术CND内容分发网络XML与JSONWeb应用服务器REST响应式Web设计中台云计算边缘计算Web系统分层物联网架构大数据架构典型例题题目描述参考答案案例分析

WorkLee·2023-09-25 13:33

字节跳动大数据容器化构建与落地实践

动手点关注干货不迷路随着字节跳动旗下业务的快速发展，数据急剧膨胀，原有的大数据架构在面临日趋复杂的业务需求时逐渐显现疲态。

字节跳动技术团队·2023-09-24 14:48

【新版】系统架构设计师 - 案例分析 - 架构设计＜Web架构＞

服务器分离应用服务器集群负载均衡负载均衡技术静态与动态算法Session共享机制有状态与无状态持久化技术ORM数据库技术CND内容分发网络XML与JSONWeb应用服务器REST响应式Web设计中台云计算云原生架构边缘计算Web系统分层物联网架构大数据架构架构

WorkLee·2023-09-24 01:18

Spring Boot+Spring mvc+Mybatis的基础框架demo

后续我会陆续更新，微服务架构（SpringBoot、SpringCloud）、分布式架构（Dobbo+Zookeeper）、大数据架构以及源码解析等相关的文章，感兴趣的

゛Smlie。·2023-09-21 12:25

阿里大数据架构师告诉你这些大数据面试题！你不看？

随着云时代的来临，大数据（Bigdata）也吸引了越来越多的关注。分析师团队认为，大数据（Bigdata）通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。在这里相信有许多想要学习大数据的同学，大家可以

大数据学习02·2023-09-18 09:15

Hive和Hbase的区别

先放结论：Hbase和Hive在大数据架构中处在不同位置，Hbase主要解决实时数据查询问题，Hive主要解决数据处理和计算问题，一般是配合使用。

夜空最亮的9星·2023-09-12 15:34

【珍藏版】数仓平台、推荐系统架构选型及解决⽅案

持续输出敬请关注大数据架构湖仓一体化流批一体离线+实时数仓各种大数据解决方案各种大数据新技术实践持续输出敬请关注【好文推荐】【好文推荐】【好文推荐】【好文推荐】【好文推荐】⼤数据平台基础架构及解决⽅案_

大数据研习社·2023-09-12 06:02

数据仓库-主数据管理

本文来源于网络，如有侵权，联系本人删除：tianyachangkong来源：BAT大数据架构导读：企业主数据指企业内一致并共享的业务主体。

zhubeili·2023-09-11 06:39

【新版】系统架构设计师 - 案例分析 - 总览

总览新旧大纲对应旧版新版系统规划软件架构设计设计模式系统设计系统建模分布式系统设计嵌入式系统设计系统的可靠性分析与设计系统的安全性和保密性设计系统计划信息系统架构的设计理论和实践层次式架构的设计理论与实践云原生架构设计理论与实践设计模式面向服务的架构设计理论与实践嵌入式系统概述通信系统架构的设计理论和实践安全架构的设计理论与实践大数据架构设计理

WorkLee·2023-09-11 01:04

构建现代应用：Java中的热门架构概览

文章目录1.三层架构2.Spring框架3.微服务架构4.JavaEE（EnterpriseEdition）5.响应式架构6.大数据架构7.领域驱动设计（Domain-DrivenDesign，DDD）

IT·陈寒·2023-09-03 02:09

【大数据】数据湖：下一代大数据的发展趋势

数据湖：下一代大数据的发展趋势1.数据湖技术产生的背景1.1离线大数据平台（第一代）1.2Lambda架构1.3Lambda架构的痛点1.4Kappa架构1.5Kappa架构的痛点1.6大数据架构痛点总结

G皮T·2023-09-01 16:24

系统架构设计高级技能 · 大数据架构设计理论与实践

系列文章目录系统架构设计高级技能·软件架构概念、架构风格、ABSD、架构复用、DSSA（一）【系统架构设计师】系统架构设计高级技能·系统质量属性与架构评估（二）【系统架构设计师】系统架构设计高级技能·软件可靠性分析与设计（三）【系统架构设计师】现在的一切都是为将来的梦想编织翅膀，让梦想在现实中展翅高飞。Noweverythingisforthefutureofdreamweavingwings,l

Allen.Su·2023-08-27 07:06

《大数据导论》读书笔记——Chapter 7（1）

本章主要深入探究磁盘存储与内存存储在大数据架构中的应用。分别讲解磁盘存储设备和内存存储设备。这一章体量略大，分两篇来写。1.磁盘存储设备磁盘存储方式通常是指用低成本的硬盘进行长期存储。

玉小灵灵七·2023-08-26 14:33

HBase 和 Hive 的差别是什么，各自适用在什么场景中？

https://www.zhihu.com/question/21677041/answer/185664626先放结论：Hbase和Hive在大数据架构中处在不同位置：Hbase主要解决实时数据查询问题

MayerBin·2023-08-24 16:03

大数据架构师之路

1、同时拥有实时和离线处理的架构，既保证低延迟，又保障正确性。这个方法被称作Lambda架构，它通过批量MapReduce作业提供了虽有些延迟但是结果准确的计算，同时通过flink/Storm将最新数据的计算结果初步展示出来。双路生产会存在一些问题，比如加工逻辑double，开发运维也会double，资源同样会变成两个资源链路。因为存在以上问题，所以又演进了一个Kappa架构。Kappa架构从架构

laogooooog·2023-08-23 11:04

后Hadoop时代的大数据架构

背景篇Hadoop:开源的数据分析平台，解决了大数据（大到一台计算机无法进行存储，一台计算机无法在要求的时间内进行处理）的可靠存储和处理。适合处理非结构化数据，包括HDFS，MapReduce基本组件。HDFS：提供了一种跨服务器的弹性数据存储系统。MapReduce：技术提供了感知数据位置的标准化处理流程：读取数据，对数据进行映射（Map），使用某个键值对数据进行重排，然后对数据进行化简（Red

juan188·2023-08-23 05:46

2023 计算机职业规划

目录一、开发二、测试三、运维四、python发展方向五、C#发展方向六、嵌入式（物联网）一、开发前端（网页端）js后端（python、java、golang、php、c#）->架构师（技术架构师、大数据架构师

落雨碎江南 Lucinda·2023-08-22 19:35

数据仓库系列篇之实现架构

@Author:Spinach|GHB@Link:http://blog.csdn.net/bocai8058文章目录前言架构历史演变离线大数据架构实时架构之Lambda架构实时架构之Kappa架构Lambda

小学僧来啦·2023-08-08 13:53

计算机毕业设计全网首发Python+Spark招聘爬虫可视化系统招聘数据分析 Hadoop职位可视化大数据毕业设计 51job数据分析(可选加推荐算法)

开发技术Hadoop、HDFS、Spark、SpringBoot、echarts、PySpark、Python、MySQL创新点大数据架构、爬虫、数据可视化啰里啰嗦适合大数据毕业设计、数据分析、爬虫类计算机毕业设计可二次开发选加推荐算法

计算机毕业设计大神·2023-08-07 19:45

挂载机械硬盘_揭秘Kafka的硬盘设计方案，快速完成PB级数据扩容需求！

腾讯云kafka作为腾讯医疗大数据架构中的关键组件。在面对业务短时间内成倍的数据存储需求的情况下，如何快速响应、快速扩容以支持业务的稳定运行的呢?

weixin_39701735·2023-08-03 22:46

大数据架构师从入门到精通，你get到了吗？

经常有初学者在博客和QQ问我，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高。如果自己很迷茫，为了这些原因想往大数据方向发展，也可以，那么我就想问一下，你的专业是什么，对于计算机/软件，你的兴趣是什么？是计算机专业，对操作系统、硬件、网络、服务器感兴趣？是软件专业，对软件开发、编程、写代码感兴趣？还是数学、统计学专业，对数据和数字特别感兴趣。其实这就是

yoku酱·2023-08-03 01:18

2分钟大白话：什么是大数据架构。人人好懂

问题背景在40岁老架构师尼恩的读者社区(50+)中，尼恩一直指导大家写简历，做面试，最高的拿到年薪近100W。昨天指导一个阿里p6小伙写简历，做面试。在帮他挖掘简历亮点时，发现他项目在Java上没有什么技术亮点，他项目的核心亮点，就在大数据没错，就是大数据。但是小伙伴对大数据有畏惧心理，担心自己驾驭不了。尼恩想说，其实大数据其实很简单，所以，大家不用有畏惧心理。这里尼恩给大家写一篇文章，2分钟大白

40岁资深老架构师尼恩·2023-08-03 00:20

大数据架构图

大数据管理数据处理过程图大数据(bigdata),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察力。大数据处理的主要流程包括数据收集、数据存储、数据处理、数据应用等主要环节。随着业务的增长,大量和流程、规则相关的非结构化数据也爆发式增长。平台数据架构流程图标准大数据平台架构,标准大数据平台架构,大数据平台架构,数据仓库,数据集市,大数

ixiaoyang8·2023-07-31 17:10

推荐频道

大数据架构