Hadoop系统架构

HDFS操作

文章目录主要内容1.编程实现以下指定功能，并利用Hadoop提供的Shell命令完成相同任务：一.shell命令行实现1.向HDFS中上传任意文本文件，如果指定的文件在HDFS中已经存在，则由用户来指定是追加到原有文件末尾还是覆盖原有的文件
K要努力·2024-01-26 02:43

web系统架构基于springCloud的各技术栈

博主目前开发的web系统架构是基于springCloud的一套微服务架构。
奋力向前123·2024-01-26 01:50

Hbase伪分布式的安装和配置

一、版本信息和环境1、版本信息：jdk1.8.0_112hadoop-2.6.0zookeeper-3.4.6hbase-1.2.6.12、环境hadoop+zookeeper+hbase,hadoop
lukeyan·2024-01-26 00:41

第一章 绪论

系统架构（SystemArchitecture）是系统的一种整体的高层次的结构表示架构设计师（SystemArchitectureDesigner）是负责系统架构的人、团队或组织基础研究阶段→概念体系和核心技术形成阶段
codefan※·2024-01-25 23:29

大数据技术之Spark

1.2SparkandHadoopHadoop的MapReduce是大家广为熟知的计算框架，那为什么咱们还要学习新的计算框架Spark呢，这里简单说一下Spark和Hadoop的关系。
严同学正在努力·2024-01-25 21:38

大数据开发之Spark（完整版）

第1章：Spark概述1.1什么是spark回顾：hadoop主要解决，海量数据的存储和海量数据的分析计算。spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。
Key-Key·2024-01-25 21:05

【正点原子STM32】STM32基础知识（F1F4F7H7 STM32系统框架、寻址范围、存储器映射的存储器功能划分、寄存器映射）

一、STM32系统框架1.1、CortexM内核&芯片1.2、F1系统架构1.3、F4系统架构1.4、F7系统架构1.5、H7系统架构二、STM32的寻址范围？
咖喱年糕·2024-01-25 21:42

Hadoop on Yarn 提交job失败：java.net.ConnectException：Connection refused

报错：INFOorg.apache.hadoop.service.AbstractService:ServiceNodeManagerfailedinstateSTARTED;cause:org.apache.hadoop.yarn.exceptions.YarnRuntimeException
Anthons·2024-01-25 20:58

2019-06-27基于Spring Boot、Spring Cloud、Docker的微服务系统架构实践

由于最近公司业务需要，需要搭建基于SpringCloud的微服务系统。遍访各大搜索引擎，发现国内资料少之又少，也难怪，国内Dubbo正统治着天下。但是，一个技术总有它的瓶颈，Dubbo也有它捉襟见肘的地方。所幸霸主Spring也推出了一整套微服务解决方案，各个子项目也巧妙地解决了分布式系统开发过程中的各种各样的问题。看了很多国内的资料，最早的几份文档也是互相借用，恐怕究竟是什么都说不清楚了。撸主在
Yt_cc·2024-01-25 20:39

sqoop之hive数据仓库和oracle数据库数据转换

sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、oracle)间进行数据的传递，可以将一个关系型数据库（例如：MySQL,Oracle,Postgres
Summer_1981·2024-01-25 20:37

spakr 提交任务

当前集群支持3中集群管理Standalone（spak框架自身拥有能力）ApacheMesosHadoopYARNKubernetes使用/spark-submit脚本提交任务，脚本后面可以接参数.
新鲜氧气·2024-01-25 19:55

毕业设计选题怎么选基于SSM药品商城管理系统

作者主页：计算机毕业设计老哥有问题可以主页问我一、开发介绍1.1开发环境开发语言：Java数据库：MySQL系统架构：B/S后端：SSM(Spring+SpringMVC+Mybatis)前端：Vue工具
计算机程序老哥·2024-01-25 19:06

基于Springboot的二手校园交易平台--67613（免费领源码+数据库）可做计算机毕业设计JAVA、PHP、爬虫、APP、小程序、C#、C++、python、数据可视化、大数据、全套文

二手校园交易平台系统分析2.1可行性分析2.2系统流程分析2.2.1数据流程3.3.2业务流程2.3系统功能分析2.3.1功能性分析2.3.2非功能性分析2.4系统用例分析2.5本章小结3二手校园交易平台总体设计3.1系统架构设计
vx_BS81330·2024-01-25 17:58

银行数据仓库体系实践（7）--数据模型设计及流程

数据仓库作为全行或全公司的数据中心和总线，汇集了全行各系统以及外部数据，通过良好的系统架构可以保证系统稳定性和处理高效性，那如何保障系统数据的完备性、规范性和统一性呢？
南极找南·2024-01-25 17:51

prometheus监控系统架构原理及组件介绍

目录1.prometheus介绍2.官网地址3.时间序列数据4.prometheus主要特征5.prometheus组件介绍6.prometheus原理及架构1.prometheus介绍prometheus是一套开源的监控报警、时间序列数据库的组合，适合监控docker容器，由于kubernetes的流行带动了prometheus的发展prometheus最初在soundcloud上构建的开源系统
devops.·2024-01-25 17:49

hadoop 问题集

1.org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException:TheauxService:mapreduce_shuffledoesnotexistyarn
Pure_Eyes·2024-01-25 17:18

HBase高可用架构涉及常用功能整理

文章目录1.hbase的高可用系统架构和相关组件2.hbase的核心参数2.1常规配置2.2HA配置2.3特殊优化配置3.hbase常用命令3.2常用运维命令4.事务性4.1事务原子性的保证4.2写写并发控制
李姓门徒·2024-01-25 16:01

HDFS高可用架构涉及常用功能整理

HDFS高可用架构涉及常用功能整理1.hdfs的高可用系统架构和相关组件2.hdfs的核心参数2.1常规配置2.2特殊优化配置2.1.1NN优化2.1.2DN优化3.hdfs常用命令3.1常用基础命令3.2
李姓门徒·2024-01-25 16:31

YARN高可用架构涉及常用功能整理

YARN高可用架构涉及常用功能整理1.yarn的高可用系统架构和相关组件2.yarn的核心参数2.1常规配置2.2队列配置3.yarn常用命令3.1常用基础命令3.2常用运维命令4.app任务开发4.1
李姓门徒·2024-01-25 16:31

ZK高可用架构涉及常用功能整理

ZK高可用架构涉及常用功能整理1.zk的高可用系统架构和相关组件1.1Quorum机制1.2ZAB协议2.zk的核心参数2.1常规配置2.2特殊优化配置3.zk常用命令3.1常用基础命令3.2常用运维命令
李姓门徒·2024-01-25 16:26

2023年全国职业院校技能大赛（高职组）“云计算应用”赛项赛卷7

拟将该任务交给工程师A与B，分工协助完成云平台服务部署、云应用开发、云系统运维等任务，系统架构如图1
忘川_ydy·2024-01-25 15:45

2023年全国职业院校技能大赛（高职组）“云计算应用”赛项赛卷6

拟将该任务交给工程师A与B，分工协助完成云平台服务部署、云应用开发、云系统运维等任务，系统架构如图1
忘川_ydy·2024-01-25 15:15

2023年全国职业院校技能大赛（高职组）“云计算应用”赛项赛卷8

拟将该任务交给工程师A与B，分工协助完成云平台服务部署、云应用开发、云系统运维等任务，系统架构如图1
忘川_ydy·2024-01-25 15:41

大数据分析组件Hive-集合数据结构

Hive的数据结构前言一、array数组类型二、map键值对集合类型三、struct结构体类型前言Hive是一个基于Hadoop的数据仓库基础设施，用于处理大规模分布式数据集。
Aimyon_36·2024-01-25 15:15

[AIGC 大数据基础]hive浅谈

Hive作为一个基于Hadoop的数据仓库基础设施，为用户提供了类SQL的查询语言和丰富的功能，使得处理大规模数据变得更加简单和高效。
程序员三木·2024-01-25 14:17

1-Kubernetes基础入门体系架构学习(一)

0x00基础简述Borg系统Kubernetes系统1.发展经历2.简要介绍3.系统架构0x01组件详述1.Kubernetes-Master2.Kubernetes-Node3.Kubernetes-
全栈工程师修炼指南·2024-01-25 12:21

hadoop集群部署

hadoop简介Hadoop是一个由Apache基金会所开发的分布式系统基础架构,是一个存储系统+计算框架的软件框架，主要解决海量数据存储与计算的问题，是大数据技术中的基石。
Cat God 007·2024-01-25 12:45

Hadoop集群的部署，安装和管理（头歌）

示例集群信息以下表格为本教程所用示例集群节点信息：我们准备了三台虚拟服务器，连接方式如下：第一步我们需要在evassh服务器初始化虚拟服务器：cd/optwrapdockerulimit-funlimiteddockerload-iubuntu16-ssh.tardocker-composeup-d注意：请不要在各个虚拟服务器之间进行ssh登录，这种操作会导致无法保存配置数据。正确方法是：在虚拟服
小坏蛋儿&·2024-01-25 12:14

hadoop集群规划部署

一、集群规划三台硬件资源，部署hadoop版本，hadoop-3.3.5，部署后配置文件。Hadoop配置文件分两类：默认配置文件和自定义配置文件。
Snower_2022·2024-01-25 12:43

Hbase集群安装部署

安装好对应版本的hadoop集群，并启动安装好对应版本的zookeeper集群，并启动HBase集群安装部署下载安装包并上传到node01服务器安装包下载地址：http://archive.cloudera.com
我还不够强·2024-01-25 12:02

你知道为什么要前后端分离？它有什么优缺点？

这个步骤是系统架构从猿进
拌拌拌拌死你·2024-01-25 11:26

软考复习之UML设计篇

UML统一建模语言构件图：描述系统的物理结构，它可以用来显示程序代码如何分解成模块部署图：描述系统中硬件和软件的物理结构，它描述构成系统架构的软件构件，处理器和设备用例图：描述系统与外部系统及用户的交互协作图
所幸你是例外·2024-01-25 11:36

系统架构设计师教程（十五）面向服务架构设计理论与实践

面向服务架构设计理论与实15.1SOA的相关概念15.1.1SOA的定义15.1.2业务流程与BPEL15.2SOA的发展历史15.2.1SOA的发展历史15.2.2国内SOA的发展现状与国外对比15.2.3SOA的微服务化发展15.3SOA的参考架构15.4SOA主要协议和规范15.4.1UDDI协议15.4.2WSDL规范15.4.3SOAP协议15.4.4REST规范15.5SOA设计的标准
赫凯·2024-01-25 11:17

详解Linux运维工程师高级篇（大数据安全方向）.

hadoop安全目录：kerberos（已发布）elasticsearch（已发布）http://blog.51cto.com/chenhao6/2113873knoxoozierangerapachesentry
weixin_30588729·2024-01-25 10:14

大数据Hadoop/Hive学习笔记一（基础概念）

大数据Hadoop/Hive学习笔记一（基础概念）一，概念介绍：大数据：大数据一般用来描述一种数量庞大，复杂的数据集，传统数据处理应用程序难以应对。
lucky_myj·2024-01-25 09:46

Hadoop-HDFS写流程（从命令行到完成）

一、简单回顾下HDFS的架构如果不了解HDFS的可以看下我写的一篇博客，这里先贴下官网架构图：二、源码分析源码中写的肯定是最真实的，下面是hadoop官方源码下载地址，我下载的是hadoop-3.2.4
隔着天花板看星星·2024-01-25 09:23

Hadoop-HDFS高可用

原理参考官网介绍：ApacheHadoop3.3.6–HDFSHighAvailabilityUsingtheQuorumJournalManager二、背景在Hadoop2.0.0之前，NameNode
隔着天花板看星星·2024-01-25 09:52

Hadoop-MapReduce使用说明

下面让我们跟着官网来学习下吧ApacheHadoop3.3.6–MapReduceTutorial二、运行流程大致描述1、用户通过jo
隔着天花板看星星·2024-01-25 09:52

Hadoop-YARN概览

一、什么是YARNYetAnotherResourceNegotiator，另一种资源协调者，简称YARN。基本思想是将资源管理和作业调度/监视的功能拆分为单独的守护进程。其想法是拥有一个全局ResourceManager（RM）和每个应用程序的ApplicationMaster（AM）。可以支持单个作业，也可以支持多个作业的DAG。被称为另一种资源协调者，那就证明有一种比YARN更早的资源协调者
隔着天花板看星星·2024-01-25 09:52

Hadoop-HDFS读流程（从输入命令到回显）

一、简单回顾下HDFS的架构如果不了解HDFS的可以看下我写的一篇博客，这里先贴下官网架构图：二、静静的思考一会儿爱因斯坦说过：想象力比知识更重要。想象力推动世界，是知识进化的源泉。我们先不看源码，先通过官方架构图和我们对HDFS的了解来想象下读流程是什么样的。我要读HDFS上的一份文件，首先需要知道它在哪台节点上，HDFS上存储的文件都是以块的形式存放在各个DataNode节点上。因此需要知道这
隔着天花板看星星·2024-01-25 09:52

Hadoop-MapReduce-源码跟读-客户端篇

一、源码下载下面是hadoop官方源码下载地址，我下载的是hadoop-3.2.4，那就一起来看下吧Indexof/dist/hadoop/core二、从WordCount进入源码用idea将源码加载进来后
隔着天花板看星星·2024-01-25 09:52

hadoop 三种运行方式

一、本地运行方式1创建在hadoop-3.3.5文件下面创建一个wcinput文件夹[antares@hadoop1hadoop-3.3.5]$mkdirwcinput[antares@hadoop1hadoop
Snower_2022·2024-01-25 09:51

Hadoop-MapReduce-跟着日志理解整体流程

一、数据准备viinput_01.txtviinput_02.txtviinput_03.txt文本内容如下：-----------------input_01.txt----------------javascalapythonc++javajsgogovbaccc++javascalapythonphpcsshtmljsjavajavascalavbac#.netRRRjava--------
隔着天花板看星星·2024-01-25 09:49

HBase学习五：运维排障之备份与恢复

HBase的所有文件都存储在HDFS上，因此只要使用Hadoop提供的文件复制工具distcp将HBASE目录复制到同一HDFS或者其他HDFS的另一个目录中，就可以完成对源HBase集群的备份工作copyTable
Studying！！！·2024-01-25 09:49

监管大屏系统_国网信息运维综合监管系统及大屏可视化平台建设介绍

通过SG186工程建设，形成了一体化平台、八大类业务系统、六大保障体系，信息系统架构更加复杂；信息系统设备数量成倍增加，使用人员数十倍增多，
weixin_39827905·2024-01-25 09:34

【软件测试】学习笔记-Nginx 在系统架构中的作用

本篇文章你探讨Nginx在应用架构中的作用，并从性能测试角度看如何利用Nginx数据统计用户访问量。Nginx重要的两个概念代理首先要来解释一下什么是代理，正向代理和反向代理是什么意思？各自作用是什么？不少同学经常听到这些名词，但往往分不清楚具体区别是什么。什么是代理？举个例子，比如你很想到某公司去做测试，对方公司的测试主管并不认识你，你也不知道这位测试主管的联系方式，但是你的朋友小王认识，他帮你
码农丁丁·2024-01-25 08:30

怎样设计一个具有良好容灾性的系统架构？

设计一个具有良好容灾性的系统架构当你的系统出现故障时，容灾性设计可以让你的系统保持高效运转，避免数据丢失和业务中断。那么，怎样设计一个具有良好容灾性的系统架构呢？
莱卡云·2024-01-25 07:29

RS485Modbus转Profinet网关在工业现场的应用优势

在工业自动化领域，RS485Modbus转Profinet网关的应用愈发广泛，其优势在于简化系统架构、提高通信效率、降低成本和便于维护。
无锡耐特森·2024-01-25 07:28

2024系统分析师---论软件三层架构设计

在该项目组中我担任系统架构师一职，主要负责系统整体架构设计。
喜欢猪猪·2024-01-25 07:57

2023年第十六届中国系统架构师大会（SACC2023）：核心内容与学习收获（附大会核心PPT下载）

大会以“数字转型架构演进”为主题，聚焦系统架构在数字化转型中的演进和应用。与往届相比，本届大会最大的变化是从原来的大会演讲模式变革为专题研讨会模式。
百家峰会·2024-01-25 07:57
上一页 19 20 21 22 23 24 25 26 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他