Hadoop系统架构

基于大数据平台的kylin安装部署手册

目录一.单例Kylin部署1.环境准备1.1软件要求1.2硬件要求1.3Hadoop环境1.4安装前环境检查1.4.1开启时钟同步1.4.2安装net-tools1.4.3检查hbase是否可用1.4.4
猿来孺词·2024-01-29 10:26

MR和Spark的比较

二、hadoop和spark的shuffle相同和差异？三、Spark与Hadoop差异一、Spark为什么比MR快？
猿来孺词·2024-01-29 10:55

Elk运维-Elastic7.6.1集群安装部署

集群安装结果说明实例配置安装软件安装账号hadoop12C4G磁盘：50G云服务器elasticsearchkibanardhadoop22C4G磁盘：50G云服务器elasticsearchrdhadoop32C4G
消逝的bug·2024-01-29 10:11

Hadoop学习之路（七） MapReduce框架Partitioner分区

Partitioner分区的作用是什么？在进行MapReduce计算时，有时候需要把最终输出数据分到不同的文件中，比如按照省份划分的话，需要把同一省份的数据放到一个文件中；按照性别划分的话，需要把同一性别的数据放到一个文件中。我们知道最终的输出数据是来自于Reducer任务。那么如果要得到多个文件，意味着有相同数量的Reducer任务在运行。Reducer任务的数据来自于Mapper任务，也就是M
shine_rainbow·2024-01-29 10:26

想要彻底搞懂大厂是如何实现Redis高可用的？看这篇文章就够了！(1.2W字，建议收藏）

高可用HA（HighAvailability）是分布式系统架构设计中必须考虑的因素之一，它通常是指，通过设计减少系统不能提供服务的时间。假设系统一直能够提供服务，我们说系统的可用性是100%。
跟着Mic学架构·2024-01-29 10:54

HDFS

HDFS入门1.1.HDFS介绍HDFS是HadoopDistributeFileSystem的简称，意为：Hadoop分布式文件系统。是Hadoop核心组件之一，作为最底层的分布式存储服务而存在。
VincentLeon·2024-01-29 08:44

Hadoop, HIve, Spark关系简述

大数据∈数据管理系统的范畴数据管理系统：数据怎么存？数据怎么算？单机数据管理时代下，数据处理的任务：IO密集型；数据存不下？HDFS用于存放多机器的数据并提供相关Api接口。HDFS中引入了一个模块：MapReduce（基于磁盘计算）。MapReduce：提供了一个任务并行的框架，通过它的Api抽象让用户把这个并行程序分成两个阶段，即Map阶段（分工），Reduce阶段（汇总）。Hive：在Had
小白兔奶糖ovo·2024-01-29 07:22

毕业设计基于springboot+mybatis+mysql+layui实现的动漫论坛系统源码+数据库

介绍动漫论坛系统，系统架构：springboot+mybatis+mysql+layui系统截图技术选型技术版本说明SpringBoot2.1.6MVC核心框架SpringSecurityoauth22.1.5
程序员柳·2024-01-29 06:58

记一次Flink自带jar包与第三方jar包依赖冲突解决

flink版本1.14.5hadoop2.6.0为了实现flink读取hive数据写入第三方的数据库，写入数据库需要调用数据库的SDK，当前SDK依赖的protobuf-java-3.11.0.jar，
一枚小刺猬·2024-01-29 06:10

【大数据】Flink 架构（五）：检查点 Checkpoint（看完即懂）

《Flink架构》系列（已完结），共包含以下6篇文章：Flink架构（一）：系统架构Flink架构（二）：数据传输Flink架构（三）：事件时间处理Flink架构（四）：状态管理Flink架构（五）：检查点
G皮T·2024-01-29 06:37

【大数据】Flink 架构（五）：检查点 Checkpoint（看完即懂）

《Flink架构》系列（已完结），共包含以下6篇文章：Flink架构（一）：系统架构Flink架构（二）：数据传输Flink架构（三）：事件时间处理Flink架构（四）：状态管理Flink架构（五）：检查点
G皮T·2024-01-29 06:06

【大数据】Flink 架构（六）：保存点 Savepoint

《Flink架构》系列（已完结），共包含以下6篇文章：Flink架构（一）：系统架构Flink架构（二）：数据传输Flink架构（三）：事件时间处理Flink架构（四）：状态管理Flink架构（五）：检查点
G皮T·2024-01-29 06:06

【大数据】Flink 架构（四）：状态管理

《Flink架构》系列（已完结），共包含以下6篇文章：Flink架构（一）：系统架构Flink架构（二）：数据传输Flink架构（三）：事件时间处理Flink架构（四）：状态管理Flink架构（五）：检查点
G皮T·2024-01-29 06:36

【大数据】Flink 架构（二）：数据传输

《Flink架构》系列（已完结），共包含以下6篇文章：Flink架构（一）：系统架构Flink架构（二）：数据传输Flink架构（三）：事件时间处理Flink架构（四）：状态管理Flink架构（五）：检查点
G皮T·2024-01-29 06:35

【大数据】Flink 架构（三）：事件时间处理

《Flink架构》系列（已完结），共包含以下6篇文章：Flink架构（一）：系统架构Flink架构（二）：数据传输Flink架构（三）：事件时间处理Flink架构（四）：状态管理Flink架构（五）：检查点
G皮T·2024-01-29 06:35

【大数据】Flink 架构（一）：系统架构

《Flink架构》系列（已完结），共包含以下6篇文章：Flink架构（一）：系统架构Flink架构（二）：数据传输Flink架构（三）：事件时间处理Flink架构（四）：状态管理Flink架构（五）：检查点
G皮T·2024-01-29 06:05

【大数据】Flink 架构（六）：保存点 Savepoint

《Flink架构》系列（已完结），共包含以下6篇文章：Flink架构（一）：系统架构Flink架构（二）：数据传输Flink架构（三）：事件时间处理Flink架构（四）：状态管理Flink架构（五）：检查点
G皮T·2024-01-29 06:32

Hadoop面试题及参考答案

目录1、什么是Hadoop及其组件2、Hadoop的守护进程3、Hadoop的YARN/HDFS/MapReduce分别包含哪些组件，每个组件的职能是什么？
zuolixiangfisher·2024-01-29 06:02

hadoop面试题

0.思维导图1.HDFS1.HDFS的架构♥♥  HDFS主要包括三个部分，namenode,datanode以及secondarynamenode。这里主要讲一下他们的作用：namenode主要负责存储数据的元数据信息，不存储实际的数据块，而datanode就是存储实际的数据块，secondarynamenode主要是定期合并FsImage和edits文件（这里可以进行扩展，讲一下为什么有他们的
韩顺平的小迷弟·2024-01-29 06:27

大数据之Hadoop-MapReduce（1）

第1章MapReduce概述1.1MapReduce定义MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。
jackyan163·2024-01-29 04:18

Hive初体验

首先，确保启动了Metastore服务{runjar就是metastore；hadoop要先启动}可以执行：bin/hive进入到HiveShell环境中，可以直接执行SQL的语句；·创建表（hive里面的字符串就是
%HelloWorld%·2024-01-29 03:09

[m1pro ] ssh: connect to host localhost port 22: Connection refused

在学习Hadoop的时候，使用sshlocalhost遇到以下问题原因：本地没有打开远程登录解决办法：打开远程登录成功结果
程序员三木·2024-01-29 03:33

软件系统架构黄金法则：探讨服务导向架构的优势

程序员、软件架构师、CTO、世界顶级技术畅销书作者、计算机图灵奖获得者、计算机领域大师，我们将深入探讨服务导向架构(Service-OrientedArchitecture，SOA)的优势，并揭示软件系统架构黄金法则
OpenChat·2024-01-29 03:15

ETCD高可用架构涉及常用功能整理

ETCD高可用架构涉及常用功能整理1.etcd的高可用系统架构和相关组件1.1Quorum机制1.2Raft协议2.etcd的核心参数2.1常规配置2.2特殊优化配置2.2.1强行拉起新集群--force-new-cluster2.2.2
李姓门徒·2024-01-29 02:20

7天狂揽4.5万Stars，阿里高并发设计实录引爆GitHub，技术圈为之疯狂

晋升：掌握高并发系统设计，是初中级开发迈向高级开发，乃至系统架构师的关键桥梁，这项技
技术琐事·2024-01-29 02:13

spark shuffle

这个就是spark和hadoop的主要区别，基于内存进行运算。
流砂月歌·2024-01-29 01:13

软件系统架构黄金法则：深入解析分布式系统架构

1.背景介绍作为一位世界级人工智能专家、程序员、软件架构师、CTO、世界顶级技术畅销书作者、计算机图灵奖获得者、计算机领域大师，我们将揭开分布式系统架构的神秘面纱，探讨软件系统架构黄金法则的核心概念、联系
OpenChat·2024-01-29 00:53

Spark运行原理

无论是性能，还是方案的统一性，对比传统的Hadoop，优势都非常明显。
hellozhxy·2024-01-28 23:41

数仓治理-小文件治理

希望对大家有所帮助https://mp.weixin.qq.com/s/HDxAGhGIPvXF38wPiXZ7xg[离线计算-Spark|Hive]HDFS小文件处理-腾讯云开发者社区-腾讯云HDFS小文件过多会对hadoop
爱吃辣条byte·2024-01-28 23:40

Rabbitmq消息积压问题如何解决？

一、增加处理能力优化系统架构、增加服务器资源、采用负载均衡等手段，以提高系统的处理能力和并发处理能力。通过增加服务器数量或者优化代码，确保系统能够及时处理所有的消息。
fighting！899·2024-01-28 22:30

2021-08-10 HDFS Web报错Couldn‘t preview the file.

添加配置信息dfs.webhdfs.enabledtrue第二步：配置浏览器所在系统的hosts文件windows：在C:\Windows\System32\drivers\etc\hosts末尾增加内容（Hadoop
学习是一种信仰_zdy·2024-01-28 21:28

HDFS文件系统的根目录和用户主目录解析

HDFS文件系统的根目录是/，用户主目录是/user/[hadoop用户名]根据上面的截图，所有的文件都放在根目录及其子目录下。
问君何能尔？心远地自偏·2024-01-28 21:57

Name node is in safe mode

相信hadoop用户经常为安全模式头痛，但是又是难以避免的。安全模式开启通常是由于hdfs文件系统数据完整性缺失造成。所以核心就是想办法让hdfs文件系统数据变得完整，相对没有损坏。
大数据东哥(Aidon)·2024-01-28 21:27

记一次HDFS Web报错Couldn‘t preview the file. NetworkError: Failed to execute ‘send‘ on ‘XMLHttpRequest‘

tpreviewthefile.NetworkError:Failedtoexecute‘send’on‘XMLHttpRequest’:Failedtoload‘http://slave1:9864/webhdfs/v1/HelloHadoop.txt
一花一世界~·2024-01-28 21:55

Java技术栈 —— Hadoop入门（二）

Java技术栈——Hadoop入门（二）一、用MapReduce对统计单词个数1.1项目流程1.2可能遇到的问题1.3代码勘误1.4总结一、用MapReduce对统计单词个数1.1项目流程(1)上传jar
键盘国治理专家·2024-01-28 21:51

flink架构

它集成了使用所有常见的群集资源管理器，例如HadoopYARN和Kubernetes，但也可以设置为作为独立集群，甚至作为库。
m0_66520412·2024-01-28 20:29

数据湖技术之发展现状篇

首先是随着Hadoop生态相关技术的大量应用，批处理架构应运而生，借助离线计算引擎的能力很好的满足了业务对大规模数据分析处理场景的需求。
风筝Lee·2024-01-28 18:56

阿里资深架构师推荐：阿里高可用架构建设实践经验

采用高可用系统架构支持重要系统、为关键业务提供7x24的不间断服务，已经成为众多企业保障业务稳定、持续运转的主要选择。
天秤座的架构师·2024-01-28 17:11

在你成为“黑客”前，必须得学习的“操作系统架构体系”

我们先做个比喻，计算机就好比一栋具备"智能功能的大楼"，操作系统就是负责这栋"智能大楼"协调、管理和控制的"总控中心"，计算机硬件就是组成这栋大楼的"钢筋、水泥"，应用软件就是大楼里一个个具体的"环境、消防、人员监控系统"。我们先做个比喻，计算机就好比一栋具备"智能功能的大楼"，操作系统就是负责这栋"智能大楼"协调、管理和控制的"总控中心"，计算机硬件就是组成这栋大楼的"钢筋、水泥"，应用软件就是
程序学到昏·2024-01-28 16:42

系统架构设计师教程（十七）通信系统架构设计理论与实践

通信系统架构设计理论与实践17.1通信系统概述17.2通信系统网络架构17.2.1局域网网络架构17.2.2广域网网络架构17.2.3移动通信网网络架构17.2.4存储网络架构17.2.5软件定义网络架构
赫凯·2024-01-28 16:05

基于Java+SpringBoot+Vue+ElementUI的美发店会员管理系统

目录系统背景系统总体设计运行环境技术选型系统架构系统用例系统详细设计系统功能截图首页统计RBAC权限管理商品管理订单管理销量统计售后订单收银系统供应商管理商品采购采购统计会员管理短信管理次卡管理系统核心功能设计
不懂代码的胖子@·2024-01-28 15:52

大数据处理系统的架构

Lambda架构的主要组成部分包括：批处理层（BatchLayer）：存储：使用分布式存储系统（如ApacheHadoopHDFS）
demo123567·2024-01-28 14:58

[SparkSQL] Rdd转化DataFrame 通过StructType为字段添加Schema

1、开发环境spark-2.1.0-bin-hadoop2.62、Rdd转换成DataFrame，为字段添加列信息参数nullable说明：Indicatesifvaluesofthisfieldcanbenullvaluesvalschema
林沐之森·2024-01-28 13:51

软件系统架构黄金法则：多租户架构的设计原则

1.背景介绍在现代软件开发中，多租户架构是一种非常重要的架构模式。它可以让多个租户在同一个系统中共享资源，从而降低成本、提高效率。在这篇文章中，我们将探讨多租户架构的设计原则，并提供一些实用的建议和最佳实践。1.背景介绍多租户架构是一种软件架构模式，它允许多个租户在同一个系统中共享资源。这种架构模式可以让多个租户在同一个系统中共享资源，从而降低成本、提高效率。多租户架构的主要特点是：多租户：多个租
OpenChat·2024-01-28 13:07

【系统架构2】构建和对象的特征

构件的特性是：独立部署单元；作为第三方的组装单元；没有（外部的）可见状态。一个构件可以包含多个类元素，但是一个类元素只能属于一个构件。将一个类拆分进行部署通常没什么意义。对象的特性是：一个实例单元，具有唯一的标志；可能具有状态，此状态外部可见；封装了自己的状态和行为。
七镜·2024-01-28 12:43

【字节跳动】资深后端开发工程师-平台应用服务

A04493职位描述负责商业化基础服务系统能力建设，参与千亿级广告基础数据服务研发和优化，参与广告平台通用组件的设计和实现；负责多样化的商业平台应用服务研发，为客户提供智能、高效的营销能力；负责服务端系统架构设计研发
探小虎·2024-01-28 12:48

Presto源码阅读——如何获取Hive中的Metadata(HMS+HDFS)

Presto源码阅读——如何获取Hive中的Metadata(HMS+HDFS)本文的Metadata定义SQLonHadoop系统在执行一个query时所需要的Metadata主要有两部分Hive中的
stiga-huang·2024-01-28 12:38

Impala元数据简介

Impala元数据简介背景Impala是一个高性能的OLAP查询引擎，与其它SQL-on-Hadoop的ROLAP解决方案如Presto、SparkSQL等不同的是，Impala对元数据（Metadata
stiga-huang·2024-01-28 12:05

Hadoop的基础操作

Hadoop的基础操作HDFS是Hadoop的分布式文件框架，它的实际目标是能够在普通的硬件上运行，并且能够处理大量的数据。
陆卿之·2024-01-28 12:27

浅谈Hive和HBase有哪些区别与联系及适用场景

Hive是运行在Hadoop上的一个工具，准确地讲是一个搜索工具。当对海量数据进行搜索时，Hadoop的计算引擎是MapReduce。但是对Map
尚学先生·2024-01-28 11:19
上一页 16 17 18 19 20 21 22 23 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他