Hadoop系统架构

《深入理解Hadoop（原书第2版）》——2.4 Hadoop 2.0

本节书摘来自华章计算机《深入理解Hadoop（原书第2版）》一书中的第2章，第2.4节，作者[美]萨米尔·瓦德卡（SameerWadkar），马杜·西德林埃（MadhuSiddalingaiah），杰森
weixin_34174322·2024-01-08 08:44

Flume基础知识（十）：Flume 聚合实战

1）案例需求：hadoop100上的Flume-1监控文件/opt/module/group.log，hadoop101上的Flume-2监控某一个端口的数据流，Flume-1与Flume-2将数据发送给
依晴无旧·2024-01-08 08:23

分布式系统架构设计之分布式消息队列基础知识

随着微服务、大数据和云计算的普及，分布式系统已经成为现代软件架构的核心。在分布式系统中，各个组件间的通信和数据交换尤其重要，而消息队列正是实现这一目标的关键技术之一。在分布式架构设计过程中，架构师们需要对消息队列有极大的熟悉和关注，主要出于以下考虑：分布式消息队列允许不同的系统组件或者服务之间进行解耦，生产者和消费者可以在不必直接通信的情况下进行交互，从而提高系统的可扩展性和灵活性。此外，消息队列
灸哥漫谈·2024-01-08 07:30

Hadoop精选18道面试题(附回答思路)

1.简述Hadoop1和Hadoop2的架构异同HDFSHA(HighAvailablity)一旦Active节点出现故障，就可以立即切换到Standby节点，避免了单点故障问题。
Byyyi耀·2024-01-08 06:00

Unrecognized option: -v Error: Could not create the Java Virtual Mac

yarn报错Unrecognizedoption:-vError:CouldnotcreatetheJavaVirtualMac这是因为jdk和hadoop或者是其他的在环境变量path中，因为yarn.cmd
꧁“杂货店”꧂·2024-01-08 04:39

togaf 9.2中文版

专栏受众：企业架构师、业务架构师、IT架构师、数据架构师、系统架构师、解决方案架构师和希望初步了解togaf的高级管理者。
回到地面·2024-01-08 02:07

【微服务】SpringCloudAlibaba

1.2微服务架构的常见问题一旦采用微服务系统架构，就势必会遇到这样几个问题：这么多小服务，如何管理他们？(服务治理注册中心[服务注册发现剔除])nacos这么多小服务，他们之间如何通讯？
worn.xiao·2024-01-08 01:38

系统架构设计笔记（45）—— 层次系统架构风格

1二层及三层C/S架构风格C/S架构是基于资源不对等，且为实现共享而提出来的，是20世纪90年代成熟起来的技术，C/S结构将应用一分为二，服务器（后台）负责数据管理，客户机（前台）完成与用户的交互任务。C/S软件架构具有强大的数据操作和事务处理能力，模型思想简单，易于人们理解和接受。但随着企业规模的日益扩大，软件的复杂程度不断提高，传统的二层C/S结构存在以下几个局限：二层C/S结构为单一服务器且
deniro·2024-01-08 00:03

F. linux：帮助命令help、man、info

[root@hadoop01udisk]#ls--help[root@hadoop01udisk]#manls[root@hadoop01udisk]#infols
小猪Harry·2024-01-08 00:40

25、Spark核心编程之RDD持久化详解

不使用RDD持久化的问题首先看一段代码JavaRDDlinesRDD=javaSparkContext.textFile("hdfs://hadoop-100:9000/testdate/1.txt")
ZFH__ZJ·2024-01-07 23:21

什么是REST架构？是不是Web应用都能采取此种架构呢

REST架构风格是全新的针对Web应用的开发风格，是当今世界最成功的互联网超媒体分布式系统架构，它使得人们真正理解了Http协议本来面貌。
JAVA架构师的圈子·2024-01-07 22:23

数据库连接池的设置

理解为什么需要连接池，连接池的实现原理，系统架构和性能目标对于写出正确、高效的程序很有帮助。这些概念可用于系统运行参数的配置，同时对于理解并发和分布式处理也很有帮助。
特航技术·2024-01-07 22:51

Hive元数据迁移及升级方案

Hive的架构和工作原理简介Hive是基于Hadoop之上的数仓，便于用户可以基于SQL（HiveQL）进行数据分析，其架构图如下:从上图可知，Hive主要用来将建立结构化数据库和后端分布式结构化文件的映射
云原生大数据·2024-01-07 22:49

java/php/node.js/python学生实验报告管理系统【2024年毕设】

tomcat7数据库：mysql5.7或8.0数据库工具：Navicat11开发软件：eclipse/myeclipse/ideaMaven包：Maven3.3.9浏览器：建议谷歌浏览器或edge功能模块系统架构图属于系统设计阶段
林科程序设计·2024-01-07 21:50

终于有阿里p9架构师分享出困扰我多年的分布式系统开发实战文档

前言大型网站或者企业级应用往往要求高并发、高性能、高可用，而传统的集中式系统已无法满足需求，系统架构正向着分布式系统不断演进。
程序员阿远·2024-01-07 19:11

微服务架构下的系统集成

微服务架构相比单体架构而言的优点，可以列举出很多：服务个体更小，更内聚，业务职责更清晰，可复用性更强，可以独立部署发布等等；从软件开发的角度，灵活性和效率都会有很大的提升……然而，微服务架构本质上是分布式系统架构
码猿外·2024-01-07 19:47

hadoop调优

hadoop调优1HDFS核心参数1.1NameNode内存生产配置1.1.1NameNode内存计算每个文件块大概占用150byte，如果一台服务器128G，能存储的文件块如下128(G)*1024(
健鑫.·2024-01-07 18:25

hadoop调优(二)

hadoop调优(二)1HDFS故障排除1.1NameNode故障处理NameNode进程挂了并且存储数据丢失了，如何恢复NameNode？
健鑫.·2024-01-07 18:25

GFS论文解读(一)——设计概述

该论文的重要性在于它提出了一种全新的分布式文件系统架构，该架构具有「高可靠性、高扩展性和
健鑫.·2024-01-07 18:53

No Magic—复杂机电产品系统架构开发套件

该软件提供对SysML/UML/UAF语言的完整支持，提供独有的MagicGrid方法论，涵盖：业务和任务分析、利益攸关者需要及需求分析、系统需求定义、系统架构定义、设计方案权衡、系统分析验证及协同设计管理等内容
经纬恒润·2024-01-07 18:46

熟悉HDFS常用操作

1.利用Hadoop提供的Shell命令完成下列任务（1）向HDFS中上传任意文本文件，如果指定的文件在HDFS中已经存在，由用户指定是追加到原有文件末尾还是覆盖原有的文件。#检查文件是否存在.
cwn_·2024-01-07 17:11

熟悉HBase常用操作

1.用Hadoop提供的HBaseShell命令完成以下任务（1）列出HBase所有表的相关信息，如表名、创建时间等。
cwn_·2024-01-07 17:11

惊心动魄的Hadoop-6小时350T数据恢复

Hadoop在调整前，将Hadoop进行关闭.stop-all.sh进行关闭我们在第一步进行关闭的时候这里就出现问题。
胖琪的升级之路·2024-01-07 17:17

Hive入门

一、Hive概述1.1Hive简介Hive是基于Hadoop的一个数据仓库工具，它可以将结构化或半结构化的数据文件转化为一张数据库表，并提供简单的sql查询功能。
爱过java·2024-01-07 17:04

2023年全国职业院校技能大赛（高职组）“云计算应用”赛项赛卷4

拟将该任务交给工程师A与B，分工协助完成云平台服务部署、云应用开发、云系统运维等任务，系统架构如图1
忘川_ydy·2024-01-07 15:14

2023年全国职业院校技能大赛（高职组）“云计算应用”赛项赛卷3

拟将该任务交给工程师A与B，分工协助完成云平台服务部署、云应用开发、云系统运维等任务，系统架构如图1
忘川_ydy·2024-01-07 15:13

2023年全国职业院校技能大赛（高职组）“云计算应用”赛项赛卷2

拟将该任务交给工程师A与B，分工协助完成云平台服务部署、云应用开发、云系统运维等任务，系统架构如图1
忘川_ydy·2024-01-07 15:43

分布式系统架构设计之分布式缓存的数据拆分、数据同步和数据淘汰策略

三、数据拆分和同步策略1、数据拆分数据拆分是计算机科学中的一个概念，主要目的是为了提高数据访问速度或者在受限于存储空间大小时，对被访问的数据进行分块处理的技术，这种技术可以确保数据更高效地存储和访问。在分布式系统中，数据拆分尤为重要。当数据量巨大时，单一服务器节点可能无法高效地处理所有数据，此时，需要将大数据集分割成较小的，更易于管理的部分，每部分可以在不同的服务器或者节点上进行处理。一般常用的划
灸哥漫谈·2024-01-07 13:59

linux下spark的python编辑_如何在Linux下构建Spark Python编程环境

火花编程环境Spark可以独立安装或与Hadoop一起使用.在安装Spark之前linux的python编程环境，首先请确保您的计算机上已安装Java8或更高版本.火花安装访问Spark下载页面，然后选择最新版本的
weixin_39543478·2024-01-07 13:10

linux下spark的python编辑_Linux下搭建Spark 的 Python 编程环境的方法

Spark编程环境Spark可以独立安装使用，也可以和Hadoop一起安装使用。在安装Spark之前，首先确保你的电脑上已经安装了Java8或者更高的版本。
weixin_39752800·2024-01-07 13:10

virtualbox的下载，打开.vdi文件并启动Hadoop系统

目录一、virtualbox的下载二、新建Ubuntu系统1、确定好镜像系统的位置2、新建虚拟系统三、Hadoop系统的启动1、启动Hadoop2、启动hbase3、启动spark4、启动hive5、hadoop
汤汤upup·2024-01-07 13:08

Linux系统下Spark的下载与安装（pyspark运行示例）

最近需要完成数据课程的作业，因此实践了一下如何安装并配置好spark1、版本要求由于我想要将hadoop和spark一起使用，因此必须确定好spark的版本Spark和Hadoop版本对应关系如下：Spark
汤汤upup·2024-01-07 13:06

Spring Cloud微服务运维神器之Consul Template？

在具体介绍ConsulTemplate是个什么东西之前，我们先来整体看一张微服务模式下的系统架构图，如下图所示：在上图中，我们看到在基于SpringCloud的微服务体系中，所有的微服务都会被注册到统一服务注册中心进行服务管理
风平浪静如码·2024-01-07 12:16

【Java处理百万级数据的高效方法了解】

1.2分布式存储考虑使用分布式数据库（如HBase、Cassandra）或存储系统（如HadoopDistri
無飞·2024-01-07 12:21

Hadoop分布式文件系统(二)

目录一、Hadoop1、文件系统1.1、文件系统定义1.2、传统常见的文件系统1.3、文件系统中的重要概念1.4、海量数据存储遇到的问题1.5、分布式存储系统的核心属性及功能含义2、HDFS2.1、HDFS
杀神lwz·2024-01-07 11:19

计算机毕业设计 SSM学术成果管理系统 学术论文平台 科研项目管理系统

作者主页：计算机毕业设计老哥有问题可以主页问我一、开发介绍1.1开发环境开发语言：Java数据库：MySQL系统架构：B/S后端：SpringBoot(Spring+SpringMVC+Mybatis)
计算机程序老哥·2024-01-07 11:11

众量科技发单机器人安全吗拼多多

首先，拼多多发单机器人的安全性取决于技术实施和系统架构。拼多多作为一家知名的电商平台，对于机器人的开发和部署应该会采取严格的安全措施。
高省爱氧惠·2024-01-07 09:19

【软件系统架构设计】电子科技大学2023秋期末考试真题（考后回忆版）

题型分布分析题10分应用题前4题各5分，后6题各10分编程题10分分析题给出一个项目的PERT图，找出关键路径、最短完成时间、可以延误的任务、不能延误的任务应用题给出就诊业务的合作流程图，绘制编排流程图考察服务注册、转发、发现通信模式，写出消息和架构模式名称客户数据访问功能模块为了实现将TXT或Excel文件中的客户信息输入到数据库中，需要进行数据格式转换。在客户数据访问类（CustomerDAO
明月出天山_·2024-01-07 08:35

【软件系统架构设计】期末复习题目汇总：简答+应用

电子科技大学软件系统架构设计2023年秋期末考试复习题目汇总目录系统分析与设计概述面向对象建模语言系统规划系统需求分析系统架构设计软件建模详细设计设计模式用户界面设计系统分析与设计概述信息系统的6种类型
明月出天山_·2024-01-07 08:31

FineBI实战（2）：案例架构说明及数据准备

1系统架构基于MySQL搭建数据仓库基于Kettle进行数据处理帆软FineBI基于MySQL搭建的数据仓库进行数据分析2数据流程图通过Kettle将MySQL业务系统数据库中，将数据抽取出来，然后装载到
不死鸟.亚历山大.狼崽子·2024-01-07 08:25

【大数据进阶第三阶段之Hive学习笔记】Hive基础入门

Hive的优缺点2.1、优点2.2、缺点2.2.1、Hive的HQL表达能力有限2.2.2、Hive的效率比较低3、Hive架构原理3.1、用户接口：Client3.2、元数据：Metastore3.3、Hadoop3.4
伊达·2024-01-07 08:20

Hadoop集群三节点搭建（二）

一、克隆三台主机（hadoop102hadoop103hadoop104）以master为样板机克隆三台出来，克隆前先把master关机按照上面的步骤克隆其他两个就可以了，记得修改ip和hostname
DIY……·2024-01-07 07:35

个人笔记：分布式大数据技术原理（二）构建在 Hadoop 框架之上的 Hive 与 Impala

有了MapReduce，Tez和Spark之后，程序员发现，MapReduce的程序写起来真麻烦。他们希望简化这个过程。这就好比你有了汇编语言，虽然你几乎什么都能干了，但是你还是觉得繁琐。你希望有个更高层更抽象的语言层来描述算法和数据处理流程。于是就有了Pig和Hive。Pig是接近脚本方式去描述MapReduce，Hive则用的是SQL。它们把脚本和SQL语言翻译成MapReduce程序，丢给计
garagong·2024-01-07 07:16

【DataX】windows下本地DataX同步hive到mysql，hive带Kerberos认证

直接同步会报错：java.lang.RuntimeException:java.io.FileNotFoundException:java.io.FileNotFoundException:HADOOP_HOMEandhadoop.home.dirareunset
airyv·2024-01-07 06:44

基于Hadoop的豆瓣电影数据分析

Hadoop是一个开源的分布式计算框架，它提供了处理大规模数据集的能力。在本文中，我们将利用Hadoop框架对豆瓣电影数据进行分析。
数据科学探险导航·2024-01-07 05:07

大数据编程期末大作业

大数据编程期末大作业文章目录大数据编程期末大作业一、Hadoop基础操作二、RDD编程三、SparkSQL编程四、SparkStreaming编程一、Hadoop基础操作在HDFS中创建目录/user/
-北天-·2024-01-07 05:20

Linux计算机基础知识总结

系统架构：Linu
古猫先生·2024-01-07 05:49

阿里巴巴的“双11”高并发秒杀终极版教程！（Java语言设计）

一、秒杀系统架构设计都有哪些关键点？说实话，作为一名程序员，我的技术能力也在公司业务的快速增长过程中得到了历练，并积累了一些大流量高并发网站架构设计和优化的经验，尤其是针对“秒杀”这个场景。
Java爱好者·2024-01-07 03:50

Hive的基本的概述即使用参考

1.Hive的概述√意义：在于大幅度降低工程师学习MapReduce的学习成本，让好用（计算速度快）的MapReduce更方便的使用（使用简单）√基本概念：Hive是基于Hadoop的一个数据仓库工具，
C8H11O2N_4cd4·2024-01-07 02:29

《PySpark大数据分析实战》-23.Pandas介绍DataFrame介绍

对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Data
wux_labs·2024-01-07 00:26
上一页 34 35 36 37 38 39 40 41 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他