Hadoop系统架构

系统架构设计师——层次式架构设计理论与实践

层次式体系结构概述层次式体系结构是一种将系统组织成多个层次的设计方法，每个层次为上层提供服务，并作为下层的客户。这种结构有助于实现关注点分离，使得每个组件只负责本层的逻辑，从而提高了系统的可维护性和可扩展性。在层次式体系结构中，每一层最多只影响两层，只要给相邻层提供相同的接口，就可以允许每层用不同的方法实现。这种设计为软件重用提供了强大的支持。同时，由于组件的划分很容易明确组件的角色和职责，因此也
吴代庄·2024-09-11 12:22

系统架构设计师——架构评估（二）

其他质量属性敏感点：敏感点是指那些对特定质量属性影响较大的系统部分。例如，对于性能来说，数据库访问可能是一个敏感点；对于安全性来说，用户认证模块可能是一个敏感点。识别敏感点有助于架构师优先处理可能影响关键质量属性的系统部分，从而在设计过程中进行重点优化和测试。权衡点：权衡点是指在不同质量属性之间需要进行平衡的系统部分。例如，为了提高性能可能需要牺牲一定的可维护性或可扩展性。架构师需要在这些质量属性
吴代庄·2024-09-11 11:48

【架构师之路】四、系统架构

高并发，大流量Google日均PV数35亿，日均IP访问数3亿微信在线用户数10亿天猫双十一活动一天交易额3000亿高可用系统7*24小时不间断服务。大型互联网站的宕机事件通常会成为新闻焦点。海量数据需要存储、管理海量数据。Facebook每周上传的照片数目接近10亿百度收录的网页数目有数百亿Google有近百万台服务器为全球用户提供服务用户分布广泛，网络情况复杂中美光缆的数次故障，也让一些对国外
蜗牛互联网·2024-09-11 10:44

系统架构风格

所有架构风格汇总如下：类别架构风格名常考关键字及实例简介数据流批处理传统编译器，每个阶段产生的结果作为下一阶段的输入，区别在于整体。一个接一个，以整体为单位管道-过滤器一个接一个，前一个输出是后一个输入。调用/返回主/子程序显式调用，主程序直接调用子程序面向对象对象是构件，通过对象调用封装的方法和属性层次结构分层，每层最多影响其上下两层，有调用关系独立构件进程通信进程间独立消息传递，同步异步事件驱
Vincer_DB·2024-09-11 10:42

Hadoop Common 之序列化机制小解

这不过此种序列化虽然跨病态兼容性强，但是因为存储过多的信息，但是传输效率比较低，所以hadoop弃用它。
猫君之上·2024-09-11 08:59

深入理解hadoop(一)----Common的实现----Configuration

一,hadoop的配置管理a,hadoop通过独有的Configuration处理配置信息Configurationconf=newConfiguration();conf.addResource("core-default.xml
maoxiao_jsd·2024-09-11 08:59

【系统架构设计师】十二、系统质量属性与架构评估(开发期质量属性|运行期质量属性|面向架构评估的质量属性|质量属性效用树|质量属性场景)

质量属性场景1.5.1可用性质量属性场景描述1.5.2可修改性质量属性场景描述1.5.3性能质量属性场景描述相关推荐历年真题练习历年真题考情：本章节每年单项选择考8分左右，下午案例、论文也会有涉及，在系统架构设计师中本章节绝对是重点中的重点
帅次·2024-09-11 06:16

《系统架构设计师教程（第2版）》第15章-面向服务架构设计理论与实践-05-SOA设计模式

文章目录1.服务注册表模式1.1服务注册表1.2SOA治理功能1.3注册表中的配置文件2.企业服务总线（ESB）模式3.SynchroESB4.微服务模式4.1概述4.2微服务架构模式方案4.2.1聚合器微服务1）概述2）几种特殊的聚合微服务4.2.2链式微服务4.2.3数据共享微服务4.2.4异步消息传递微服务4.3微服务架构面临的问题与挑战1.服务注册表模式1.1服务注册表服务注册表Servi
玄德公笔记·2024-09-11 05:34

《系统架构设计师教程（第2版）》第15章-面向服务架构设计理论与实践-03-SOA主要协议和规范

文章目录1.UDDI协议2.WSDL规范2.1概述2.2WSDL文档的基本结构3.SOAP协议4.REST规范4.1资源(Resource)4.2表述(Representational)4.3状态转移(StateTransfer)4.4超链接1.UDDI协议概述统一描述、发现和集成协议UniversalDescriptionDiscoveryandIntegration作用：提供一种通用的方式来注
玄德公笔记·2024-09-11 05:33

系统架构的发展历程之模块化与组件化

模块化开发方法模块化开发方法是指把一个待开发的软件分解成若干个小的而且简单的部分，采用对复杂事物分而治之的经典原则。模块化开发方法涉及的主要问题是模块设计的规则，即系统如何分解成模块。而每一模块都可独立开发与测试，最后再组装成一个完整软件。对一个规约进行分解，以得到模块系统结构的方法有数据结构设计法、功能分解法、数据流设计和面向对象的设计等。将系统分解成模块时，应该遵循以下规则：(1)最高模块内聚
万物皆字节·2024-09-11 03:18

淘宝海量数据库OceanBase:系统架构详解

无论从数据量还是访问量，OceanBase不再能够是一个单机系统，即使一台单机能服务高达几个TB的数据、提供几万QPS的服务能力，因此，分布式系统不可避免，然而，内部如何实现拆表(拆库)以及如何实现数据库的事务，成为了一个很大的挑战和十分艰难的抉择：相关文章：淘宝海量数据库之一：来自业务的挑战淘宝海量数据库之二：一致性选择淘宝海量数据库之三：事务的ACID一种选择是当前数据库的常用的水平拆库，淘宝
weixin_34356555·2024-09-10 22:47

千万级规模高性能、高并发的网络架构经验分享

主题：INTO100沙龙时间：2015年11月21日下午地点：梦想加联合办公空间分享人：卫向军（毕业于北京邮电大学，现任微博平台架构师，先后在微软、金山云、新浪微博从事技术研发工作，专注于系统架构设计、
搬砖养女人·2024-09-10 20:35

两阶段事务提交

二阶段提交(Two-phaseCommit)是指，在计算机网络以及数据库领域内，为了使基于分布式系统架构下的所有
码农小伙·2024-09-10 19:59

hadoop 0.22.0 部署笔记

hbase是部署在hadoop平台上的NOSql数据库，因此在部署hbase之前需要先部署hadoop。
weixin_33701564·2024-09-10 17:41

解决Windows环境下hadoop集群的运行_window运行hadoop,unknown hadoop01(4)

org.apache.hadoophadoop-com
2401_84160087·2024-09-10 16:34

解决Windows环境下hadoop集群的运行_window运行hadoop,unknown hadoop01(3)

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！xmlns:xsi="http://www.w3.or
2401_84160087·2024-09-10 16:04

apt 下载指定架构的包及离线安装的方法

#设置系统架构sudodpkg--add-architectureamd64#安装apt-rdependssudoaptinstallapt-rdepends#创建单独的目录mkdir-p/home/apt
错误重复学习记录·2024-09-10 15:57

深入解析HDFS：定义、架构、原理、应用场景及常用命令

引言Hadoop分布式文件系统（HDFS，HadoopDistributedFileSystem）是Hadoop框架的核心组件之一，它提供了高可靠性、高可用性和高吞吐量的大规模数据存储和管理能力。
CloudJourney·2024-09-10 12:39

Hadoop的搭建流程

文章目录一、配置IP二、配置主机名三、配置主机映射四、关闭防火墙五、配置免密六、安装jdk1、第一步：2、第二步：3、第三步：4、第四步：5、第五步：七、安装hadoop1、上传2、解压3、重命名4、开始配置环境变量
lzhlizihang·2024-09-10 07:06

hive搭建 -----内嵌模式和本地模式

文章目录一、内嵌模式（使用较少）1、上传、解压、重命名2、配置环境变量3、配置conf下的hive-env.sh4、修改conf下的hive-site.xml5、启动hadoop集群6、给hdfs创建文件夹
lzhlizihang·2024-09-10 07:06

Hadoop之mapreduce -- WrodCount案例以及各种概念

文章目录一、MapReduce的优缺点二、MapReduce案例--WordCount1、导包2、Mapper方法3、Partitioner方法（自定义分区器）4、reducer方法5、driver（main方法）6、Writable（手机流量统计案例的实体类）三、关于片和块1、什么是片，什么是块？2、mapreduce启动多少个MapTask任务？四、MapReduce的原理五、Shuffle过
lzhlizihang·2024-09-10 07:06

IAAS: IT公司去IOE-Alibaba系统构架解读

从Hadoop到自主研发，技术解读阿里去IOE后的系统架构原地址：......................云计算阿里飞天摘要：从IOE时代，到Hadoop与飞天并行，再到飞天单集群5000节点的实现
wishchin·2024-09-10 04:18

Hadoop HDFS中的NameNode、SecondaryNameNode和DataNode

HadoopHDFS中的NameNode、SecondaryNameNode和DataNode目录1.定义2.主要作用3.官方链接1.定义在HadoopHDFS（Hadoop分布式文件系统）中，有三个关键的组件
BigDataMLApplication·2024-09-10 00:38

【Hadoop|HDFS篇】NameNode和SecondaryNameNode

1.NN和2NN的工作机制思考：NameNode中的元数据是存储在哪里的？首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的Fslmage。这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新FsIm
Vez'nan的幸福生活·2024-09-09 23:00

Yarn介绍 - 大数据框架

YARN的概述YARN是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序YARN是Hadoop2.x
why do not·2024-09-09 23:58

浅析大数据Hadoop之YARN架构

YARN提供了资源管理和资源调度等机制1.1原HadoopMapReduce框架对于业界的大数据存储及分布式处理系统来说，Hadoop是耳熟能详的卓越开源分布式文件存储及处理框架，对于Hadoop框架的介绍在此不再累述
haotian1685·2024-09-09 22:26

Hadoop YARN【一】

YARN概念YARN是一种新的Hadoop资源管理器，它是一个通用的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。内部组件Client:负责提交应用程序。
冷雨夜下的星空·2024-09-09 22:26

大数据知识总结（三）：Hadoop之Yarn重点架构原理

文章目录Hadoop之Yarn重点架构原理一、Yarn介绍二、Yarn架构三、Yarn任务运行流程四、Yarn三种资源调度器特点及使用场景Hadoop之Yarn重点架构原理一、Yarn介绍ApacheHadoopYarn
Lansonli·2024-09-09 22:22

聊聊C/S模式架构的优缺点

C/S模式架构，即客户端-服务器（Client/Server）架构，是一种常见的软件系统架构，以下是C/S模式架构的优缺点分析。
Feng.Lee·2024-09-09 19:33

基于实时深度学习的推荐系统架构设计和技术演进

内容包括实时推荐系统的原理以及什么是实时推荐系统、整体系统的架构及如何在阿里云上面实现，以及关于深度学习的细节介绍本文整理自5月29日阿里云开发者大会，大数据与AI一体化平台分论坛，秦江杰和刘童璇带来的《基于实时深度学习的推荐系统架构设计和技术演进
阿里云云栖号·2024-09-09 19:03

starrocks和clickhouse数据库比较

支持多种数据源的集成，并且可以与其他大数据技术（如Hadoop、Spark）协同工作。C
CodeMaster_37714848·2024-09-09 16:12

高效的嵌入式系统架构设计

高效的嵌入式系统架构设计1.高效的嵌入式系统架构设计2.算法优化1.高效的嵌入式系统架构设计设计高效的嵌入式系统架构是确保系统性能和能效的关键。
迷璃学妹·2024-09-09 15:37

大数据（Hbase简单示例）

importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.HBaseConfiguration;importorg.apache.hadoop.hbase.TableName
BL小二·2024-09-09 13:18

Hbase的简单使用示例

HBase是基于HadoopHDFS构建的分布式、列式存储的NoSQL数据库，适用于存储和检索超大规模的非结构化数据。它支持随机读写，并且能够处理PB级数据。
傲雪凌霜，松柏长青·2024-09-09 11:40

信息系统安全体系设计

本人任职某运营商解决方案架构师职位，因工作需要考取了软考的系统架构师认证，并顺利的通过了考试一点点心得分享如下：选择题（就是刷，刷到你出肌肉记忆，闭眼就知道选项）案例题（就是背，很多简答题的回答都是公式化的比如看到活动图和状态图就知道它俩有啥区别
不戴眼镜的朱学长·2024-09-09 11:38

论分布式系统的设计与实现

本人任职某运营商解决方案架构师职位，因工作需要考取了软考的系统架构师认证，并顺利的通过了考试一点点心得分享如下：选择题（就是刷，刷到你出肌肉记忆，闭眼就知道选项）案例题（就是背，很多简答题的回答都是公式化的比如看到活动图和状态图就知道它俩有啥区别
不戴眼镜的朱学长·2024-09-09 11:38

论基于架构的软件设计方法(ABSD)及应用

#系统架构设计师#软考#论文在分享这片论文之前先小小的打一个广告，本人任职某运营商解决方案架构师职位，因工作需要考取了软考的系统架构师认证，并顺利的通过了考试一点点心得分享如下：选择题（就是刷，刷到你出肌肉记忆
不戴眼镜的朱学长·2024-09-09 10:31

使用PHP和MQTT构建高效的物联网数据转发服务器流程

技术栈关键词PHPMQTTMySQLESP8266/ESP32（单片机）DHT11（温湿度传感器）Linux服务器Apache/Nginx二、系统架构系统架构设计本项目的系统架构主要由
极客小张·2024-09-09 06:32

基于ARM芯片与OpenCV的工业分拣机器人项目设计与实现流程详解

技术栈关键词ARM芯片步进电机控制OpenCV图像识别无线通信模块传感器（如超声波传感器、红外传感器）二、系统架构设计符合项目需求的系统架构本项目的系统架构主要由以下几个部分组成：控制单元：基于ARM芯片的主控板
极客小张·2024-09-09 06:31

【车载智能座舱域控制器】-【测试】

NPU（神经处理单元）2、具体应用示例3、性能指标的重要性二、智能座舱包含哪些功能三、智能座舱测试包括：四、智能座舱HIL测试系统1、智能数字座舱HIL自动化测试系统框图如下：编辑2、智能座舱HIL测试系统架构
@逝水流年轻染尘@·2024-09-09 01:56

Hbase、hive以及ClickHouse的介绍和区别？

一、Hbase介绍：HBase是一个分布式的、面向列的开源数据库，由ApacheSoftwareFoundation开发，是Hadoop生态系统中的一个重要组件。
damokelisijian866·2024-09-08 23:43

Flink - CEP

Hadoop3.2集群新版本的搭建详细讲解过程，从下面第一张官方的图来看，最新版是3.2，所以大猪将使用3.2的版本来演示，过程中遇到的坑留给自己，把路留给你们，IT之路还有大猪。
kikiki1·2024-09-08 21:46

构建可扩展的淘客返利系统架构设计与实现

构建可扩展的淘客返利系统架构设计与实现大家好，我是微赚淘客系统3.0的小编，是个冬天不穿秋裤，天冷也要风度的程序猿！在构建淘客返利系统的架构时，我们需要考虑到系统的可扩展性、高可用性和性能。
wx_tangjinjinwx·2024-09-08 18:14

chapter01 Java语言概述 知识点Note

JavaSEJavaEEJavaME大数据Java基础常用技术栈mysqlJDBCSSMspring+springmvc+mybatisLinuxnacosHadoopFlinkJAVAEE消息队列rabbitMQdocker
月下绯烟·2024-09-08 18:42

Hive和Hbase的区别

Hive和HBase都是Hadoop生态系统中的重要组件，它们都能处理大规模数据，但各自有不同的适用场景和设计理念。
傲雪凌霜，松柏长青·2024-09-08 17:37

HBase

ApacheHBase是一个基于Hadoop分布式文件系统（HDFS）构建的分布式、面向列的NoSQL数据库，主要用于处理大规模、稀疏的表结构数据。
傲雪凌霜，松柏长青·2024-09-08 17:07

Hive的优势与使用场景

Hive的优势Hive作为一个构建在Hadoop上的数据仓库工具，具有许多优势，特别是在处理大规模数据分析任务时。
傲雪凌霜，松柏长青·2024-09-08 17:07

疯壳AI语音及人脸识别3-4AI人脸系统架构

fengke.club/GeekMart/su_fKw7Nb7oC.jsp视频地址：https://fengke.club/GeekMart/su_f9cTSxNsp.jsp官方QQ群：457586268AI人脸系统架构
fengkesz·2024-09-08 16:26

大数据技术之Hadoop（一）

Hadoop概述1.1Hadoop是什么Hadoop是什么1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构。2）主要解决，海量数据的存储和海量数据的分析计算问题。
pauls·2024-09-08 16:30

大数据面试题：说下为什么要使用Hive？Hive的优缺点？Hive的作用是什么？

Hive是Hadoop生态系统中比不可少的一个工具，它提供了一种SQL(结构化查询语言)方言，可以查询存储在Hadoop分布式文件系统（HDFS）中的数据或其他和Hadoop集成的文件系统，如MapR-FS
蓦然_·2024-09-08 15:50
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他