大数据架构

Google大数据架构技术栈

数据存储层ColossusColossus作为Google下一代GFS（GoogleFileSystem）。GFS本身存在一些不足单主瓶颈GFS依赖单个主节点进行元数据管理，随着数据量和访问请求的增长，出现了可扩展性瓶颈。想象一下，只有一位图书管理员管理着一个庞大的图书馆——最终，事情变得难以承受。元数据可扩展性有限主节点上的集中元数据存储无法有效扩展，影响了性能并妨碍了PB和EB级数据的管理。实
剑海风云·2024-09-14 10:37

全面解析湖仓一体与大数据演进历程｜内含技术工具选型策略

大数据架构的演进历程对于大部分人来说，大数据架构所涉及的概念及术语繁多且复杂。如何将这些混乱的词汇转化
云智慧AIOps社区·2024-02-20 17:32

大数据架构体系(数据仓库)

1、传统大数据架构优点缺点使用场景简单，易懂，对于BI系统来说，基本思想没有发生变化，变化的仅仅是技术选型，用大数据架构替换掉BI的组件1、没有BI下如此完备的Cube架构，虽然目前有kylin，但是kylin
Shaw_Bigdata·2024-02-19 21:52

Hive和Hbase的各自适用场景

先放结论：Hbase和Hive在大数据架构中处在不同位置，Hbase主要解决实时数据查询问题，Hive主要解决数据处理和计算问题，一般是配合使用。
yoku酱·2024-02-02 17:36

大数据架构简述流处理、批处理、交互式查询

我们将大数据处理按处理时间的跨度要求分为以下几类基于实时数据流的处理，通常的时间跨度在数百毫秒到数秒之间基于历史数据的交互式查询，通常时间跨度在数十秒到数分钟之间复杂的批量数据处理，通常的时间跨度在几分钟到数小时之间1.流处理流是一种数据传送技术，它把客户端数据变成一个稳定的流。正是由于数据传送呈现连续不停的形态，所以流引擎需要连续不断处理数据流处理的主要应用场景：金融领域和电信领域1.1Stom
叫我老村长·2024-02-01 01:09

Python+Web玩爆超炫酷页面

上课日期：7月17日上课时间：15：00-16：30主讲老师：樊老师课程介绍no.1老师简介老师简介：国内知名讲师、大数据架构师、多年来就职于国内一线知名互联网公司担当要职、有多年的开发经验、教学经验、
誉天梦老师·2024-01-30 02:47

系统架构设计师教程（十九）大数据架构设计理论与实践

大数据架构设计理论与实践19.1传统数据处理系统存在的问题19.2大数据处理系统架构分析19.2.1大数据处理系统面临挑战19.2.2大数据处理系统架构特征19.3Lambda架构19.3.1Lambda
赫凯·2024-01-30 00:34

企业级大数据安全架构（六）数据授权和审计管理

作者：楼高本节详细介绍企业级大数据架构中的第六部分，数据授权和审计管理1.Ranger简介ApacheRanger是一款被设计成全面掌管Hadoop生态系统的数据安全管理框架，为Hadoop生态系统众多组件提供一个统一的数据授权和管理界面
云掣YUNCHE·2024-01-27 07:30

五年Java外包转型大数据架构

乔二爷(化名)是我学习群的元老，我们去年就认识，他是五年Java经验的老鸟。去年年底他刚开始学大数据的时候给我打过电话，咨询一些学习路线上的问题，那时刚转型大数据的我给了他几点不太成熟的建议，今年年初就成功转型了，并且从数据开发到现在的架构，实属牛逼。个人介绍我乔二爷，专科，坐标二线城市。14年8月毕业开始从事Java开发，月薪3800，在外地驻场两年多，17年初开始接触大数据，18年底开始系统学
大数据基础入门教程·2024-01-19 16:32

字节跳动大数据架构面经（超详细答案总结）

字节一面1面试官：简单的做个自我介绍吧面试官，您好！我叫xxx,xxxx年x月毕业于xxx学校，xx学历，目前就职于xxx公司xxx部门，职位为：大数据开发工程师，主要从事于xxx组件、平台的开发工作。工作以来，我先后参加了xxx项目、xxx项目以及xxx项目，积累了丰富的项目经验，同时，这x个项目都得到了领导的一致好评。我对Flink组件有着浓厚的兴趣，工作之余经常钻研技术、例如：Flink四大
Python栈机·2024-01-18 12:39

HBase集群写入出现大量毛刺排查

大家好，我是K&D，一名10年以上大数据架构&研发经验从业者，目前主要从事云原生大数据方向设计，擅长云原生技术、数据架构、数据平台构建、大数据组件性能调优问题现象查看监控，业务请求量正常，但是server
KubeData·2024-01-17 02:12

一文了解数据库vs数据仓库vs数据湖

大家好，我是K&D，一名10年以上大数据架构&研发经验从业者，目前主要从事云原生大数据方向设计，擅长云原生技术、数据架构、数据平台构建、大数据组件性能调优以下是本文目录：什么是数据库？
KubeData·2024-01-17 02:11

程序员如何构建自己的「护城河」

大家好，我是K&D，一名10年以上大数据架构&研发经验从业者，目前主要从事云原生大数据方向设计，擅长云原生技术、数据架构、数据平台构建、大数据组件性能调优关注我，持续分享更多技术干货0.何为「护城河」前段时间
KubeData·2024-01-17 02:41

【大数据】深入浅出 Apache Flink：架构、案例和优势

深入浅出ApacheFlink：架构、案例和优势1.现代大数据架构1.1什么是批处理？1.2什么是流处理？
G皮T·2024-01-15 15:11

netty（T-io）详解（包含4种io模型详解）

高并发架构师、大数据架构师或者说java高级工程师现在才能找到一份好工作。
Dark_Code·2024-01-14 19:24

大数据架构师从入门到精通 学习必看宝典

经常有初学者在博客和QQ问我，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高。如果自己很迷茫，为了这些原因想往大数据方向发展，也可以，那么我就想问一下，你的专业是什么，对于计算机/软件，你的兴趣是什么？是计算机专业，对操作系统、硬件、网络、服务器感兴趣？是软件专业，对软件开发、编程、写代码感兴趣？还是数学、统计学专业，对数据和数字特别感兴趣。其实这就是
看看山观观海·2024-01-12 09:39

【大数据架构】OLAP实时分析引擎选型

OLAP引擎面临的挑战常见OLAP引擎对比OLAP分析场景中，一般认为QPS达到1000+就算高并发，而不是像电商、抢红包等业务场景中，10W以上才算高并发，毕竟数据分析场景，数据海量，计算复杂，QPS能够达到1000已经非常不容易原理优势劣势ClickhouseClickhouse用C++实现，具备强劲的查询性能。比较适合内部BI报表型应用。不适合如数十万的广告主报表或者数百万的淘宝店主相关报表
话数Science·2024-01-11 04:33

【大数据架构】日志采集方案对比

整体架构日志采集端FlumeFlume的设计宗旨是向Hadoop集群批量导入基于事件的海量数据。系统中最核心的角色是agent，Flume采集系统就是由一个个agent所连接起来形成。每一个agent相当于一个数据传递员，内部有三个组件：source:采集源，用于跟数据源对接，以获取数据sink：传送数据的目的地，用于往下一级agent或者最终存储系统传递数据channel：agent内部的数据传
话数Science·2024-01-11 04:03

深入理解奥运会大数据架构方案

背景某网作为某电视台在互联网上的大型门户入口，某一年成为某奥运会中国大陆地区的特权转播商，独家全程直播了某奥运会全部的赛事，积累了庞大稳定的用户群，这些用户在使用各类服务过程中产生了大量数据，对这些海量数据进行分析与挖掘，将会对节目的传播及商业模式变现起到重要的作用。该奥运期间需要对增量数据在当日概览和赛事回顾两个层面上进行分析。其中，当日概览模块需要秒级刷新直播在线人数、网站的综合浏览量、页面停
TPEngineer·2024-01-10 01:58

机器学习分布式架构

https://zhuanlan.zhihu.com/p/82116922https://zhuanlan.zhihu.com/p/81784947大数据架构1.批处理MapReduce无法应对实时不确定量的小样本处理
小幸运Q·2024-01-09 17:27

7.大数据架构详解：从数据获取到深度学习 --- 批处理技术

定义：复杂的批量数据处理，通常的时间跨度在几分钟到数小时之间。7.1批处理技术的概念数据批处理，其最主要的应用场景就是传统的ETL过程。如电信领域的KPI,KQI计算。经过探针采集上来后，按照一定的规则转换成原始单据，根据业务需求，按周期(15分钟，60分钟，天)等粒度计算成业务单据。这一过程使用数据库来承担。传统的数据库遇到瓶颈后，就出现了MPP技术。google研究员另辟蹊径，从传统的函数式编
enlyhua·2024-01-05 09:29

HBase 和 Hive 的差别是什么，各自适用在什么场景中？

转载自（爱我的程序人生）Hbase和Hive在大数据架构中处在不同位置，Hbase主要解决实时数据查询问题，Hive主要解决数据处理和计算问题，一般是配合使用。
杰在天涯·2024-01-05 05:23

【漏洞复现】天融信TOPSEC安全管理系统远程命令执行漏洞

文章目录漏洞描述资产测绘漏洞复现漏洞描述`天融信TopSec安全管理系统，是基于大数据架构，采用多种技术手段收集各类探针设备安全数据，围绕资产、漏洞、攻击、威胁等安全要素进行全面分析，提供统一监测告警、
新疆东坡肉·2024-01-02 20:26

天融信TOPSEC安全管理系统存在远程命令执行漏洞

文章目录产品简介漏洞概述指纹识别漏洞利用修复建议产品简介天融信TopSec安全管理系统，是基于大数据架构，采用多种技术手段收集各类探针设备安全数据，围绕资产、漏洞、攻击、威胁等安全要素进行全面分析，提供统一监测告警
3tefanie丶zhou·2024-01-02 20:55

数据仓库架构-Lambda和Kappa

随着数据量的暴增和数据实时性要求越来越高，以及大数据技术的发展驱动企业不断升级迭代，数据仓库架构方面也在不断演进，分别经历了以下过程：早期经典数仓架构>离线大数据架构>Lambda>Kappa>混合架构
产品经理自我修养·2023-12-18 22:04

大数据架构Lambda、kappa、iota架构

1、流式架构传统大数据架构优点：简单，易懂，对于BI系统来说，基本思想没有发生变化，变化的仅仅是技术选型，用大数据架构替换掉BI的组件。
lucklilili·2023-12-18 22:04

大数据技术4：Lambda和Kappa架构区别

此时仅仅是工具的取代，架构上并没有根本的区别，可以把这个架构叫做离线大数据架构。后来随着业务实时性要求的不断提高，人们开始在离
Java架构何哥·2023-12-18 22:33

大数据架构（一）背景和概念

一、背景1.岗位现状大数据在一线互联网已经爆发了好多年，2015年-2020年（国内互联网爆发期）那时候的大数据开发，刚毕业能写HiveSQL配置个离线任务、整个帆软报表都20K+起步。如果做到架构师，50K跑不掉。现在市场回归理性后：普通岗：大数据/数仓开发，实际上除超一线城市之外，尚存很多大型企业转型期信息化、互联网（物联网IOT）还在发展，数据还在爆发式增长，仍大有可为。精英岗/管理岗：大数
野生的狒狒·2023-12-18 02:50

大数据架构（二）大数据发展史

1.背景随着数据量的暴增和数据实时性要求越来越高，以及大数据技术的发展驱动企业不断升级迭代，传统数仓经历了以下发展过程：传统数仓架构->离线大数据架构->Lambda架构->Kappa架构->新一代实时数仓
野生的狒狒·2023-12-18 02:50

6.大数据架构详解：从数据获取到深度学习 --- 交互式分析

6.1交互式分析的概念在数仓领域有个概念"即席查询"(AdhocQuery)，指的是用户在使用系统时，根据自己当时的需求定义查询。在大数据领域，扩展到InteractiveQuery(交互式查询)是最常见的一种，通常用于客户投诉处理，实时数据分析，在线查询等。具有如下特点：1.时延低(在数十秒在数分钟之间)2.查询条件复杂(多个维度)3.查询范围大(通常查询表记录在几十亿级别)4.返回结果小(几十
enlyhua·2023-12-16 02:42

软考架构案例之大数据架构

文章目录前言大数据架构特点Lambda架构Kappa架构Lambda架构与Kappa架构对比写在最后前言前不久参加了11月份的软考系统架构师，下午案例中还是有很多的架构相关的知识点，比如大数据架构和动静分离架构图等等
小沈同学呀·2023-12-15 21:38

大数据技术1：大数据架构设计理论

1、传统数据处理系统存在的问题随着信息时代互联网技术爆炸式的发展，人们对于网络的依赖程度日渐加深，在业务中需要处理的数据量快速增加，逐渐飙升到了一个惊人的数量级。并且数据产生的速度随着采集与处理技术的更新仍在加快。数据量从兆字节(MB)、吉字节(GB)的级别到现在的太字节(TB)、柏字节(PB)级别，数据量的变化促使数据管理系统(DBMS)和数据仓库(DataWarehouse,DW)系统也在悄然
Java架构何哥·2023-12-06 03:16

一个大数据架构师应该掌握的技能

硬能力一：平台建设1.行业平台1）大平台谷歌云亚马逊云阿里云腾讯云网易云华为云2）小平台国云国双青云勤思3）专业工具平台海致BDP永洪易观4）APP分析平台mixpanelgrowingIO神策诸葛IO2.技术选型1）CDH2）HDP+HDF3）MAPR4）Transwarp3.平台架构1）HDPCore(平台核心也是Hadoopcore)HDFS(存储)MapReduce(批处理)Yarn(基础
潘永青·2023-12-05 02:13

玩转大数据5:构建可扩展的大数据架构

大数据架构作为大数据应用的核心组成部分，对于企业的数字化转型和信息化建设至关重要。
沛沛老爹·2023-12-05 02:07

大数据架构师从入门到精通 学习必看宝典

经常有初学者在博客和QQ问我，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高。如果自己很迷茫，为了这些原因想往大数据方向发展，也可以，那么我就想问一下，你的专业是什么，对于计算机/软件，你的兴趣是什么？是计算机专业，对操作系统、硬件、网络、服务器感兴趣？是软件专业，对软件开发、编程、写代码感兴趣？还是数学、统计学专业，对数据和数字特别感兴趣。其实这就是
yoku酱·2023-12-03 04:40

流批一体历史背景及基础介绍

目录一、历史背景1.BI系统2.传统大数据架构3.流式架构4.Lambda架构5.Kappa架构二、流批一体与数据架构的关系数据分析型应用数据管道型应用三、流与批的桥梁Dataflow模型四、Dataflow
jialun0116·2023-12-02 00:47

零基础学习大数据的方向和路线

大数据三大学习方向：大数据开发师、大数据架构师、大数据运维师互联网科技发展蓬勃兴起，人工智能时代来临，抓住下一个
weixin_44386638·2023-11-30 18:50

大数据项目实践过程笔记

开发工具intelijidea2.19.3目前围绕Hadoop体系的大数据架构包括：传统大数据架构数据分析的业务没有发生任何变化，但是因为数据量、性能等问题导致系统无法正常使用，需要进行升级改造，那么此类架构便是为了解决这个问题
提莫_·2023-11-30 15:54

SQL on Hadoop在快手大数据平台的实践与优化 | 分享实录

快手大数据架构工程师钟靓本文是根据快手大数据架构工程师钟靓于5月18-19日在A2M人工智能与机器学习创新峰会《SQLonHadoop在快手大数据平台的实践与优化》演讲中的分享内容整理而成。
weixin_34292959·2023-11-25 19:46

【大数据】Docker部署HMS(Hive Metastore Service)并使用Trino访问Minio

本文参考链接置顶：Presto使用Docker独立运行HiveStandaloneMetastore管理MinIO（S3）_hiveminio_BigDataToAI的博客-CSDN博客一.背景团队要升级大数据架构
秦拿希·2023-11-24 11:35

软考-系统架构设计师-大数据架构设计理论与实践-练习题2

练习题2.Lambda架构分为三层：（1）的核心功能是存储主数据集。（2）的核心功能是处理增量实时数据，生成实时视图，快速执行即席查询。（3）的核心功能是响应用户请求，合并批视图和实时视图中的结果数据集得到最终数据集。（1）A．批处理层B.流处理层C.加速层D.存储层（2）A．批处理层B.服务层C.加速层D.视图层（3）A．视图层B.流处理层C.服务层D.存储层答案ACC关键词-概念Lambda架
shumeizwb·2023-11-23 06:04

软考-系统架构设计师-大数据架构设计理论与实践-练习题3

练习题3.某互联网公司近期为其旗下产品升级架构，架构图如图22.10所示，请指出该架构图采用的是什么架构，并结合架构图说明该架构的层次结构。图22.10解析根据题目给出的架构图可发现，该产品通过Collector收集结构化数据推送给主Kafka。主Kafka再将数据写入HDFS分布式文件系统，而异构数据通过DataX/Sqoop写入HDFS。HDFS中的数据会通过Offline采用Hive、Map
shumeizwb·2023-11-23 06:04

边云协同架构设计

边云协同"的优势其它相关推荐：系统架构之微服务架构系统架构设计之微内核架构鸿蒙操作系统架构架构设计之大数据架构（Lambda架构、Kappa架构）系统架构设计之云原生架构所属专栏：系统架构设计师一."
Elaine猿·2023-11-23 05:55

万字详解大数据架构新概念

▲点击上方“老于的笔记”关注公众号回复1，免费获取B端运营地图正文来了随着近几年数据湖概念的兴起，业界对于数据仓库和数据湖的对比甚至争论就一直不断。有人说数据湖是下一代大数据平台，各大云厂商也在纷纷的提出自己的数据湖解决方案，一些云数仓产品也增加了和数据湖联动的特性。但是数据仓库和数据湖的区别到底是什么，是技术路线之争？是数据管理方式之争？二者是水火不容还是其实可以和谐共存，甚至互为补充？本文作者
于连林_·2023-11-21 22:53

「后红海」时代的大数据体系和技术趋势

这片文章从系统架构的角度，就大数据架构热点，每条技术线的发展脉络，以及技术趋势和未解问题等方面做了概述。特别的，大数据领域仍然处于发展期，部分技术收敛，但新方向和新领域层出不穷。
王知无(import_bigdata)·2023-11-20 18:01

数据采集与大数据架构分享

实现场景要实现亿级数据的长期收集更新，并对采集后的数据进行整理和加工，用于人工智能的训练数据素材集。数据采集java支持的爬虫框架还是有很多的，如：webMagic、Spider、Jsoup等添加链接描述pipeline处理管道数据并发开发与应用AKKAAkka是一个构建在JVM上，基于Actor模型的的并发框架，为构建伸缩性强，有弹性的响应式并发应用提高更好的平台。Actor模型Actor的基础
学习3人组·2023-11-20 07:49

大数据架构

大数据架构https://huaweicloud.csdn.net/633578fed3efff3090b58398.htmlhttps://blog.csdn.net/yuanziok/article
学习3人组·2023-11-20 07:17

大数据和智能数据应用架构系列教程之：大数据架构设计与部署

近年来，随着大数据技术的飞速发展，越来越多的企业采用大数据技术来进行相关的研究、开发和运营，这也促使各个公司纷纷布局大数据架构领域。
禅与计算机程序设计艺术·2023-11-19 19:28

软考-高级-系统架构设计师教程（清华第2版）【第19章 大数据架构设计理论与实践 （P691~716）-思维导图】

软考-高级-系统架构设计师教程（清华第2版）【第19章大数据架构设计理论与实践（P691~716）-思维导图】课本里章节里所有蓝色字体的思维导图
爱的叹息·2023-11-19 16:45

天津市专业大数据培训班，大数据就业岗位的多样性

大数据就业岗位多样大数据培训所涉及的就业岗位有数据工程师、数据仓库工程师、数据分析师、大数据架构师、等。
qq_38453958·2023-11-16 15:24
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他