hadoop分布式系统

深入解析HDFS：定义、架构、原理、应用场景及常用命令

引言Hadoop分布式文件系统（HDFS，HadoopDistributedFileSystem）是Hadoop框架的核心组件之一，它提供了高可靠性、高可用性和高吞吐量的大规模数据存储和管理能力。
CloudJourney·2024-09-10 12:39

Hadoop的搭建流程

文章目录一、配置IP二、配置主机名三、配置主机映射四、关闭防火墙五、配置免密六、安装jdk1、第一步：2、第二步：3、第三步：4、第四步：5、第五步：七、安装hadoop1、上传2、解压3、重命名4、开始配置环境变量
lzhlizihang·2024-09-10 07:06

hive搭建 -----内嵌模式和本地模式

文章目录一、内嵌模式（使用较少）1、上传、解压、重命名2、配置环境变量3、配置conf下的hive-env.sh4、修改conf下的hive-site.xml5、启动hadoop集群6、给hdfs创建文件夹
lzhlizihang·2024-09-10 07:06

Hadoop之mapreduce -- WrodCount案例以及各种概念

文章目录一、MapReduce的优缺点二、MapReduce案例--WordCount1、导包2、Mapper方法3、Partitioner方法（自定义分区器）4、reducer方法5、driver（main方法）6、Writable（手机流量统计案例的实体类）三、关于片和块1、什么是片，什么是块？2、mapreduce启动多少个MapTask任务？四、MapReduce的原理五、Shuffle过
lzhlizihang·2024-09-10 07:06

IAAS: IT公司去IOE-Alibaba系统构架解读

从Hadoop到自主研发，技术解读阿里去IOE后的系统架构原地址：......................云计算阿里飞天摘要：从IOE时代，到Hadoop与飞天并行，再到飞天单集群5000节点的实现
wishchin·2024-09-10 04:18

Hadoop HDFS中的NameNode、SecondaryNameNode和DataNode

HadoopHDFS中的NameNode、SecondaryNameNode和DataNode目录1.定义2.主要作用3.官方链接1.定义在HadoopHDFS（Hadoop分布式文件系统）中，有三个关键的组件
BigDataMLApplication·2024-09-10 00:38

【Hadoop|HDFS篇】NameNode和SecondaryNameNode

1.NN和2NN的工作机制思考：NameNode中的元数据是存储在哪里的？首先，我们做个假设，如果存储在NameNode节点的磁盘中，因为经常需要进行随机访问，还有响应客户请求，必然是效率过低。因此，元数据需要存放在内存中。但如果只存在内存中，一旦断电，元数据丢失，整个集群就无法工作了。因此产生在磁盘中备份元数据的Fslmage。这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新FsIm
Vez'nan的幸福生活·2024-09-09 23:00

Yarn介绍 - 大数据框架

YARN的概述YARN是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序YARN是Hadoop2.x
why do not·2024-09-09 23:58

浅析大数据Hadoop之YARN架构

YARN提供了资源管理和资源调度等机制1.1原HadoopMapReduce框架对于业界的大数据存储及分布式处理系统来说，Hadoop是耳熟能详的卓越开源分布式文件存储及处理框架，对于Hadoop框架的介绍在此不再累述
haotian1685·2024-09-09 22:26

Hadoop YARN【一】

YARN概念YARN是一种新的Hadoop资源管理器，它是一个通用的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。内部组件Client:负责提交应用程序。
冷雨夜下的星空·2024-09-09 22:26

大数据知识总结（三）：Hadoop之Yarn重点架构原理

文章目录Hadoop之Yarn重点架构原理一、Yarn介绍二、Yarn架构三、Yarn任务运行流程四、Yarn三种资源调度器特点及使用场景Hadoop之Yarn重点架构原理一、Yarn介绍ApacheHadoopYarn
Lansonli·2024-09-09 22:22

starrocks和clickhouse数据库比较

支持多种数据源的集成，并且可以与其他大数据技术（如Hadoop、Spark）协同工作。C
CodeMaster_37714848·2024-09-09 16:12

Spring Cloud全解析：注册中心之Eureka架构介绍

类似多机房部署，保证服务稳定性A:Availability，可用性C:Consistency，一致性对于任意一个系统只能同时满足两个，一个分布式系统不可能同时很好的满足一致性、可用性和分区容错性CA单点集群
拾光师·2024-09-09 14:24

大数据（Hbase简单示例）

importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.HBaseConfiguration;importorg.apache.hadoop.hbase.TableName
BL小二·2024-09-09 13:18

TiDB数据库

它结合了传统关系型数据库（如MySQL）的易用性和分布式系统的扩展能力，属于新一代的分布式SQL数据库。
傲雪凌霜，松柏长青·2024-09-09 12:43

Hbase的简单使用示例

HBase是基于HadoopHDFS构建的分布式、列式存储的NoSQL数据库，适用于存储和检索超大规模的非结构化数据。它支持随机读写，并且能够处理PB级数据。
傲雪凌霜，松柏长青·2024-09-09 11:40

论分布式系统的设计与实现

本人任职某运营商解决方案架构师职位，因工作需要考取了软考的系统架构师认证，并顺利的通过了考试一点点心得分享如下：选择题（就是刷，刷到你出肌肉记忆，闭眼就知道选项）案例题（就是背，很多简答题的回答都是公式化的比如看到活动图和状态图就知道它俩有啥区别，刚开始可能会有点恼火，准备的过程可能就像背面试题一样，很多东西是通的）论文题（最讲究技巧和套路的一门考试，相信很多高项的同学都是挂在论文上了，而架构师的
不戴眼镜的朱学长·2024-09-09 11:38

python之异步任务

Celery是一个简单、灵活且可靠的分布式系统，用于处理大量消息，同时提供操作控制。在Celery中，delay和apply_async是两种常用的方法来调度异步任务。
小鱼爱吃火锅·2024-09-09 10:33

如何在Java中实现高效的分布式系统：从CAP定理到最终一致性

如何在Java中实现高效的分布式系统：从CAP定理到最终一致性大家好，我是微赚淘客系统3.0的小编，是个冬天不穿秋裤，天冷也要风度的程序猿！
省赚客app开发者·2024-09-09 08:17

【Redis】Redis的概念 | 特性 | 应用场景 | 安装 | 客户端

在分布式系统中更有优势。如果是单机环境下，直接通过变量存储数据比用Redis更有优势。
翁佳明·2024-09-09 07:44

【Java】已解决：com.alibaba.dubbo.rpc.RpcException: No provider available from registry

application.properties）五、注意事项已解决：com.alibaba.dubbo.rpc.RpcException:Noprovideravailablefromregistry一、分析问题背景在分布式系统中
屿小夏·2024-09-09 05:59

深入探讨 RabbitMQ 的整体架构：消息传递的核心机制

深入探讨RabbitMQ的整体架构：消息传递的核心机制引言在现代分布式系统中，消息队列（MessageQueue）是实现异步通信和解耦的重要工具。
需要重新演唱·2024-09-09 05:27

Databend Meta-Service 架构概述

Raft协议的主要组成部分包括：分布式日志（Log）状态机（StateMachine）分布式日志日志主要用于记录分布式系统的操作。
Databend·2024-09-09 00:22

Hbase、hive以及ClickHouse的介绍和区别？

一、Hbase介绍：HBase是一个分布式的、面向列的开源数据库，由ApacheSoftwareFoundation开发，是Hadoop生态系统中的一个重要组件。
damokelisijian866·2024-09-08 23:43

Flink - CEP

Hadoop3.2集群新版本的搭建详细讲解过程，从下面第一张官方的图来看，最新版是3.2，所以大猪将使用3.2的版本来演示，过程中遇到的坑留给自己，把路留给你们，IT之路还有大猪。
kikiki1·2024-09-08 21:46

chapter01 Java语言概述 知识点Note

JavaSEJavaEEJavaME大数据Java基础常用技术栈mysqlJDBCSSMspring+springmvc+mybatisLinuxnacosHadoopFlinkJAVAEE消息队列rabbitMQdocker
月下绯烟·2024-09-08 18:42

Hive和Hbase的区别

Hive和HBase都是Hadoop生态系统中的重要组件，它们都能处理大规模数据，但各自有不同的适用场景和设计理念。
傲雪凌霜，松柏长青·2024-09-08 17:37

HBase

ApacheHBase是一个基于Hadoop分布式文件系统（HDFS）构建的分布式、面向列的NoSQL数据库，主要用于处理大规模、稀疏的表结构数据。
傲雪凌霜，松柏长青·2024-09-08 17:07

Hive的优势与使用场景

Hive的优势Hive作为一个构建在Hadoop上的数据仓库工具，具有许多优势，特别是在处理大规模数据分析任务时。
傲雪凌霜，松柏长青·2024-09-08 17:07

大数据技术之Hadoop（一）

Hadoop概述1.1Hadoop是什么Hadoop是什么1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构。2）主要解决，海量数据的存储和海量数据的分析计算问题。
pauls·2024-09-08 16:30

大数据面试题：说下为什么要使用Hive？Hive的优缺点？Hive的作用是什么？

Hive是Hadoop生态系统中比不可少的一个工具，它提供了一种SQL(结构化查询语言)方言，可以查询存储在Hadoop分布式文件系统（HDFS）中的数据或其他和Hadoop集成的文件系统，如MapR-FS
蓦然_·2024-09-08 15:50

ERROR:master启动报错： Attempting to operate on hdfs namenode as root

[root@masterhadoop]#sbin/start-all.shStartingnamenodeson[master]ERROR:AttemptingtooperateonhdfsnamenodeasrootERROR
CourageLee·2024-09-08 07:55

深入剖析 RabbitMQ：架构深度解析、原理细节与关键特性全面掌握

旨在为开发者和架构师提供全面的RabbitMQ知识，以助其在分布式系统中有效利用该技术。
马丁的代码日记·2024-09-08 01:43

python实现rpc例子_【转】Python中实现远程调用（RPC、RMI）简单例子

远程调用是分布式系统的基础。远程调用一般分为两种，远程过程调用(RPC)和远程方法调用(RMI)。
weixin_39781186·2024-09-08 00:41

配置管理 —— SpringCloud Config

概述Config为分布式系统提供统一的配置管理工具，应用程序在使用过程中可以像使用本地配置一样方便地添加、访问、修改配置中心的配置Config支持将配置存储在配置中心的本地服务器或Git仓库，通常将配置文件集中放置在一个
低吟不作语·2024-09-07 19:00

Python大数据：深入探索Hadoop库的使用

在大数据的世界中，Python和Hadoop结合使用，为处理庞大数据集提供了强大的工具。本文将详细探讨如何在Python中使用Hadoop，特别是通过实例来展示这一过程。
t0_54coder·2024-09-07 17:22

Python 操作大数据使用 Hadoop

参考：https://blog.csdn.net/wuShiJingZuo/article/details/135620018fromhdfsimportInsecureClienthdfs_client=InsecureClient("http://localhost:9000",user="xiaokkk")#测试连接print(hdfs_client.status("/")){'access
静听山水·2024-09-07 17:47

flink 问题记录

文章目录1.Causedby:java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSums
Jhon_yh·2024-09-07 15:34

探索Java中的分布式消息队列与事件总线：架构、实现与最佳实践

引言在现代分布式系统中，消息队列和事件总线已经成为实现松耦合、高扩展性和高可用性架构的关键组件。无论是微服务架构、事件驱动架构，还是实时数据处理，消息队列和事件总线都扮演着至关重要的角色。
๑҉ 晴天·2024-09-07 08:14

Spark概念知识笔记

最近总结了个人的各项能力，发现在大数据这方面几乎没有涉及，因此想补充这方面的知识，丰富自己的知识体系，大数据生态主要包含：Hadoop和Spark两个部分，Spark作用相当于MapReduceMapReduce
kuntoria·2024-09-07 05:21

【Hadoop】- MapReduce & YARN 初体验[9]

目录提交MapReduce程序至YARN运行1、提交wordcount示例程序1.1、先准备words.txt文件上传到hdfs，文件内容如下：1.2、在hdfs中创建两个文件夹，分别为/input、/output1.3、将创建好的words.txt文件上传到hdfs中/input1.4、提交MapReduce程序至YARN1.5、可通过node1:8088查看1.6、返回我们的服务器，检查输出文
星星法术嗲人·2024-09-07 04:21

Apache Storm：入门了解

前言Storm是一个开源的分布式实时计算系统，它能够处理无边界的数据流，类似于Hadoop对于批量数据处理的作用，但是Storm更侧重于实时数据流的处理。
布说在见·2024-09-07 03:43

如何做大数据测试

2、测试工具：大数据测试需要使用专门的测试工具和框架，如HadoopUnit、ApacheBigTop、JMeter、LoadRunner等，而普通测试则可以使用通用的测试工具和框架，如JUnit、TestNG
测试界潇潇·2024-09-06 18:47

Git、Gitlab以及分支管理

Github用的就是Git系统来管理它们的网站，Github是一个社区，Git是一个服务系统，Github只支持Git分布式系统，所以故名成为Github。Git的主要功能包
柠檬树723·2024-09-06 17:40

基于Hadoop的学习行为数据云存储平台的设计与实现

基于Hadoop的学习行为数据云存储平台的设计与实现DesignandImplementationofaHadoop-BasedLearningBehavioralDataCloudStoragePlatform
usp1994·2024-09-06 16:03

RPC的实现原理架构

RPC的实现极大地简化了分布式系统中的通信，避免了开发人员直接处理底层网络协议和数据序列化。以下是对RPC实现原理和架构的详细讨论。
Flying_Fish_Xuan·2024-09-06 16:30

【Kafka专栏 11】深入理解Kafka的网络线程模型：是谁在幕后“操纵”数据流？

致力于探索技术的边界，分享前沿的实践和洞见文章专栏：夏之以寒-kafka专栏专栏介绍：本专栏旨在以浅显易懂的方式介绍Kafka的基本概念、核心组件和使用场景，一步步构建起消息队列和流处理的知识体系，无论是对分布式系统感兴趣
夏之以寒·2024-09-06 14:16

分布式系统实战：什么是微服务架构？微服务架构与SOA架构的区别

微服务架构自2014年业界提出“微服务（Microservices）”的概念以来，微服务架构就不断演进，并且日趋火爆。越来越多的企业拥抱微服务，期望通过微服务的架构来解决大型项目的管理与运维。那么什么是微服务？微服务架构与传统的SOA架构有什么区别？何时应该采用微服务架构？如何构建微服务？本章就针对上述提到的问题，来简单介绍下微服务架构。什么是微服务架构微服务架构（MicroservicesArc
程序员小英·2024-09-06 13:07

标题：**从单体到微服务：轻松搭建高效电商平台**

它从最初的SSM单体架构，升级为集成SpringCloud的分布式系统，旨在为你提供一个全面了解从简单到复杂的电商系统演进过程的绝佳实例。
芮伦硕·2024-09-06 11:25

DAG (directed acyclic graph) 作为大数据执行引擎的优点

DR-ConceptuallyDAGmodelisastrictgeneralizationofMapReducemodel.DAG-basedsystemslikeSparkandTezthatareawareofthewholeDAGofoperationscandobetterglobaloptimizationsthansystemslikeHadoopMapReducewhicha
joeywen·2024-09-06 04:43
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他