Hadoop系统架构

无依赖单机尝鲜 Nebula Exchange 的 SST 导入

无依赖单机尝鲜NebulaExchange的SST导入本文尝试分享下以最小方式（单机、容器化Spark、Hadoop、NebulaGraph），快速趟一下NebulaExchange中SST写入方式的步骤
NebulaGraph·2024-02-19 23:51

MySQL 基础知识（一）之数据库和 SQL 概述

DBMS）是用来管理数据库的计算机系统，通过使用DBMS，多个用户可以安全、简单地操作大量数据关系数据库通过关系数据库管理系统（RDBMS）进行管理2数据库的结构RDBMS通常使用客户端/服务端这样的系统架构
花落随风轻飘舞·2024-02-19 23:55

php师生荣誉管理系统-计算机毕业设计源码10079

系统流程分析2.2.1数据增加流程2.2.2数据修改流程2.2.3数据删除流程2.3系统功能分析2.3.1功能性分析2.3.2非功能性分析2.4系统用例分析2.5本章小结3师生荣誉管理系统总体设计3.1系统架构设计
FYKJ_2010·2024-02-19 22:56

jsp+servlet+mysql实现的火车票预定管理系统源码+运行教程+参考论文+开题报告

PS：目前该项目已经配套了完整的开发文档（开发文档包含了需求分析、系统架构、流程图、E-R图、用例图、实体图、
yuancodenet·2024-02-19 21:17

组件团队于特性团队对比

组件团队：基本概念：在传统的开发模式下，我们习惯于按照系统的架构模块，或者系统分层组织团队，也有的团队按照系统需求、开发、测试结合系统架构混合组织的方式。
舞蕙·2024-02-19 21:48

mv: 无法获取“/opt/module/hadoop/logs/hadoop-atguigu-nodemanager-hadoop102.out.1“ 的文件状态(stat): 没有那个文件或目录

最近在回顾之前做过的离线数仓项目，在启动hadoop时出现了如下错误：hadoop102:mv:无法获取"/opt/module/hadoop/logs/hadoop-atguigu-nodemanager-hadoop102
时代新人0-0·2024-02-19 21:53

马士兵 day4_Yarn和Map/Reduce配置启动和原理讲解

分布式计算原则：移动计算，而不是移动数据hadoop默认包含了hdfs、yarn、mapReduce三个组件yarn（YetAnotherResourceNegotiater）是资源调度系统，yarn调配的是内存和
PC_Repair·2024-02-19 20:28

Flink-部署实践

1)修改flink/conf/flink-conf.yaml文件:jobmanager.rpc.address:hadoop1132)修改/conf/masters文件:hadoop1133)修改/conf
魔笛Love·2024-02-19 20:52

主流开发语言和开发环境?

Java被广泛应用于企业级应用开发、移动应用（特别是Android应用）、游戏开发、大数据处理（如Hadoop生态系统）、云计算服务端开发等场景。C++简介：C+
dami_king·2024-02-19 20:50

基于Java+SpringBoot+Vue+ElementUI的超市管理系统

目录系统背景系统总体设计运行环境技术选型系统架构系统用例系统详细设计系统功能截图首页统计RBAC权限管理商品管理订单管理销量统计售后订单收银系统商品采购供应商管理采购统计系统核心功能设计RBAC权限设计逻辑删除
不懂代码的胖子@·2024-02-19 19:17

菜鸟的树莓派Raspberry Pi学习之旅（三）——更换软件源

文章目录前言一、为什么要给树莓派更换软件源二、如何给树莓派更换软件源1.检查系统架构、版本2.修改配置文件2.1修改软件包镜像源2.2修改系统软件源2.3同步更新源2.4修改更新软件报包总结前言上一篇文章中
King_Joker97·2024-02-19 19:23

Day-01-02

2.创建基础工程基础工程：xuecheng-plus-base基础工程的职责是提供一些系统架构所需要的基础类库以及一
过尽漉雪千山·2024-02-19 16:07

Quick introduction to Apache Spark

Spark使用Hadoop的客户端库来
Liam_ml·2024-02-19 13:29

Hadoop Shuffle

Whentherearemultiplereducers,themaptaskspartitiontheiroutput,eachcreatingonepartitionforeachreducetask.Therecanbemanykeys(andtheirassociatedvalues)ineachpartition,buttherecordsforeverykeyareallinasing
SharlotteZZZ·2024-02-19 13:22

Flink 细粒度滑动窗口性能优化

大数据技术AIFlink/Spark/Hadoop/数仓，数据分析、面试，源码解读等干货学习资料118篇原创内容公众号1、概述1.1细粒度滑动的影响当使用细粒度的滑动窗口（窗口长度远远大于滑动步长）时，
hyunbar·2024-02-19 13:39

【大数据面试题】006介绍一下Parquet存储格式的优势

同时一般查询使用时不会使用所有列，而是只用到几列，所以查询速度会更快压缩比例高因为是列式存储，所以可以对同一类型的一段做压缩，压缩比例高支持的平台和框架多在Hadoop,Spark,Presto,Python
Jiweilai1·2024-02-19 13:34

Sqoop 入门基础

简介Sqoop（SQLtoHadoop）是一个开源工具，用于在关系型数据库和Hadoop之间传输数据。
香菜的开发日记·2024-02-19 13:17

hadoop硬件配置 高可用 datanode namenode硬件配置

每个分布式文件系统分块在NameNode的内存中大小约为250个字节，此外还要加上文件和目录所需的250字节空间。500字节一个块假设我们有5000个平均大小为20GB的文件并且使用默认的分布式文件系统分块大小（64MB）同时副本因子为3，5000*20GB=102400000M=97T那么NameNode需要保存5千万个分块的信息，这些分块的大小加上文件系统的开销总共需要1.5GB的内存。但是一
xcagy·2024-02-19 13:07

iOS 系统框架学习（1.系统框架的四个层级）

一整体框架iOS的整体系统框架图如下图所示，iOS的系统架构主要由ApplicationLayer（应用层）、CocoaTouchLayer（触摸层）、MediaLayer（媒体层）、CoreServicesLayer
码上飞·2024-02-19 12:31

【大数据】HADOOP-YARN-ContainerExecutor容器启动器详解

在NodeManager中，有三种运行Container的方式，它们分别是:DefaultContainerExecutorLinuxContainerExecutorDockerContainerExecutor从它们的名字中，我们就能看得出来，默认情况下，一定使用的是DefaultContainerExecutor。而一般情况下，DefaultContainerExecutor也确实能够满足我
笑起来贼好看·2024-02-19 11:38

学习篇-Hadoop-YARN-环境搭建

文章目录一、Hadoop-YARN-环境搭建一、Hadoop-YARN-环境搭建官网参考：https://hadoop.apache.org/docs/stable/hadoop-project-dist
东东爱编码·2024-02-19 11:08

【大数据】HADOOP-Yarn集群界面UI指标项详解（建议收藏哦）

目录首页（Cluster）节点信息SchedulerMetrics：集群调度信息节点信息详解（Nodes）应用列表信息（applications）队列详情页（Scheduler）指标详细说明（非常重要）首页（Cluster）集群监控信息指标详解AppsSubmitted：已提交的应用AppsCompleted：已完成的应用AppsRunning：正在运行的应用ContainersRunning：正
笑起来贼好看·2024-02-19 11:08

手写myscrapy（二）

我们看一下scrapy的系统架构设计方法和思路：模块化设计：Scrapy采用模块化设计，将整个系统划分为多个独立的模块，包括引擎（Engine）、调度器（Scheduler）、下载器（Downloader
semicolon_hello·2024-02-19 11:36

智慧图书管理系统架构设计与实现

随着数字化时代的到来，智慧图书管理系统在图书馆和机构中扮演着重要的角色。一个优秀的图书管理系统不仅需要满足基本的借阅管理需求，还需要具备高效的性能、良好的扩展性和稳定的安全性。本文将讨论智慧图书管理系统的架构设计与实现，以满足现代图书管理的多样化需求。1.架构设计智慧图书管理系统的架构设计应该考虑到系统的整体性能、可扩展性和安全性。一种常见的架构设计是采用分层架构，包括展示层、业务逻辑层和数据访问
007php007·2024-02-19 11:03

Hadoop-Yarn-NodeManager都做了什么

一、源码下载下面是hadoop官方源码下载地址，我下载的是hadoop-3.2.4，那就一起来看下吧Indexof/dist/hadoop/core二、上下文在我的博客中已经简要的分析了NodeManager
隔着天花板看星星·2024-02-19 11:00

【2019-04-28】Hadoop分布式文件系统

Hadoop自带HDFS(hadoopdistributefilesystem)。HDFS默认数据块128M。
BigBigFlower·2024-02-19 11:56

Hadoop搭建之 start-yarn.sh 报错

在搭建伪分布式的Hadoop集群环境时，在配置基础环境了并成功开启了HDFS组件后，jps查看已运行的名称节点和数据节点进程，[hadoop@masterhadoop]$jps8994NameNode10396Jps9087DataNode9279SecondaryNameNode
万里长江雪·2024-02-19 11:58

hadoop-2.7.4-nodemanager无法启动问题解决方案

近期新配了hadoop-274版本的集群，发现有一个小问题，DataNode无法顺利启动。
半肉哥·2024-02-19 11:27

hadoop-yarn资源分配介绍-以及推荐常用优化参数

如果有什么不正确的欢迎大家一起交流学习~Yarn前言作为Hadoop2.x的一部分，YARN采用MapReduce中的资源管理功能并对其进行打包，以便新引擎可以使用它们。
Winhole·2024-02-19 11:26

Hadoop-Yarn-NodeManager如何计算Linux系统上的资源信息

NodeResourceMonitorImpl）时只是提了下SysInfoLinux，下面我们展开讲下SysInfoLinux是用于计算Linux系统上的资源信息的插件二、SysInfoLinux源码packageorg.apache.hadoop.util
隔着天花板看星星·2024-02-19 11:48

python心脏病预测数据可视化，毕业设计-附源码86015

系统流程分析2.2.1数据增加流程2.3.2数据修改流程2.3.3数据删除流程2.3系统功能分析2.3.1功能性分析2.3.2非功能性分析2.4系统用例分析2.5本章小结3心脏病预测数据可视化总体设计3.1系统架构设计
yuyuxun1·2024-02-19 11:15

python心脏病预测数据可视化 计算机毕设源码86015

系统流程分析2.2.1数据增加流程2.3.2数据修改流程2.3.3数据删除流程2.3系统功能分析2.3.1功能性分析2.3.2非功能性分析2.4系统用例分析2.5本章小结3心脏病预测数据可视化总体设计3.1系统架构设计
weixin_ZYKJ985·2024-02-19 11:44

node命令yarn --version指向了java

问题描述本地安装了java、hadoop和nodejs，并配置了环境变量，但是hadoop的bin目录下存在yarn命令，所以使用nodejs的yarn命令启动项目会出现找不到类，此时键入yarn-version
码学弟·2024-02-19 11:43

python心脏病预测数据可视化 计算机毕业设计源码86015

系统流程分析2.2.1数据增加流程2.3.2数据修改流程2.3.3数据删除流程2.3系统功能分析2.3.1功能性分析2.3.2非功能性分析2.4系统用例分析2.5本章小结3心脏病预测数据可视化总体设计3.1系统架构设计
weixin1_ZYKJ985·2024-02-19 11:41

企业级大数据安全架构（一）平台安全隐患

1缺乏统一的访问控制机制大数据平台由Hadoop生态体系众多组件组成，而每个组件都会提供相应的WebUI界面和RESTful接口，例如Nam
·2024-02-19 11:48

数据系统架构-10.数仓开发平台

数仓开发平台1.背景数据仓库是存储各种数据的仓库，形同于现实当中存储货物的仓库，不可避免的存在“乱放”、“不方便存取”、“浪费空间”等情况。在数仓开发的过程当中，发现只有规范的存在是不能完全的避免数仓混乱、质量不高等问题。有些情况可能是因为数仓开发人员规范不统一、认知不统一、需求效率与质量平衡等因素影响。那么当前的数据仓库都存在哪些问题呢，大致如下：代码不规范命名不统一代码版本迭代管理混乱重复开发
·2024-02-19 11:45

MapReduce

MapReduce定义mapReduce是一个分布式运算程序的编程框架，是用户开发基于hadoop的数据分析应用的核心框架。
诺冰1314·2024-02-19 10:46

SRE体系01----综述

以前的系统普遍规模不是很大，系统架构简单，并发
·2024-02-19 10:11

Hive入门，Hive是什么？

它是建立在Hadoop生态系统之上的，利用Hadoop的分布式存储和计算能力来处理和分析数据。
JayGboy·2024-02-19 10:31

Hive on Spark配置

pwd=66663、将Spark安装包通过xftp上传到/opt/software安装部署Spark1、解压spark-3.3.1-bin-without-hadoop.tgz进入安装包所在目录cd/opt
在下区区俗物·2024-02-15 10:51

配置hive on spark

hdfsdfs-mkdir/spark-jarshdfsdfs-put/opt/spark/jars/*/spark-jars2、修改hive-site.xml文件，添加如下配置：spark.yarn.jarshdfs://hadoop
空白格2519·2024-02-15 10:51

hive on spark配置经验

常规配置配置完，开启hadoop，开启spark（如果在hdfs上上传了纯净版的spark则不需要开启），开启hive注：当前节点一定要是namenode的active节点，因为hadoop长时间不用namenode
小五冲冲冲·2024-02-15 10:21

（三十八）大数据实战——Atlas元数据管理平台的部署安装

本节内容是关于ApacheAtlas的部署安装，在开始安装Atlas之前我们需要提前安装好Atlas需要集成的组件，如hadoop、zo
厉害哥哥吖·2024-02-15 09:09

【带你了解软件系统架构的演变——详细讲解】

带你了解软件系统架构的演变1.介绍2.传统的单体架构（MonolithicArchitecture）3.分层架构（LayeredArchitecture）4.客户端-服务器架构（Client-ServerArchitecture
程序员不想YY啊·2024-02-15 04:46

Hadoop手把手逐级搭建 第二阶段: Hadoop完全分布式(full)

前置步骤:1).第一阶段：Hadoop单机伪分布(single)0.步骤概述1).克隆4台虚拟机2).为完全分布式配置ssh免密3).将hadoop配置修改为完全分布式4).启动完全分布式集群5).在完全分布式集群上测试
郑大能·2024-02-15 04:07

一面数据： Hadoop 迁移云上架构设计与实践

背景一面数据创立于2014年，是一家领先的数据智能解决方案提供商，通过解读来自电商平台和社交媒体渠道的海量数据，提供实时、全面的数据洞察。长期服务全球快消巨头（宝洁、联合利华、玛氏等），获得行业广泛认可。公司与阿里、京东、字节合作共建多个项目，旗下知乎数据专栏“数据冰山”拥有超30万粉丝。一面所属艾盛集团（Ascential）在伦敦证券交易所上市，在120多个国家为客户提供本地化专业服务。公司在2
JuiceFS·2024-02-15 01:48

（免费领源码）Java#MySql#hadoop高校固定资产管理系统74965-计算机毕业设计项目选题推荐

摘要在信息飞速发展的今天，网络已成为人们重要的信息交流平台。高校部门每天都有大量的信息需要通过网络发布，为此，高校固定资产管理系统开发的必然性，所以本人开发了一个基于Tomcat（服务器）模式的高校固定资产管理系统，该系统以B/S/Java语言、MySql数据库等为开发技术，实现了添加、修改、查看、删除系统数据。本系统采取组件化的方式对系统进行拆分，并对数据库中各个表的增删查改、表与表之间的约束关
2301_3224142804·2024-02-15 00:42

《第一行代码》 第一章：第一行Android代码

1，Android系统架构2，开发的四大组件3，丰富的系统控件Android系统为开发者提供了丰富的系统控件，使得我们可以很轻松地编写出漂亮的界面。
笑道三千·2024-02-14 23:30

大数据集群环境启动总结

hadoop启动与停止单个节点逐一启动在主节点上使用以下命令启动HDFSNameNode：hadoop-daemon.shstartnamenode在每个从节点上使用以下命令启动HDFSDataNode
我还不够强·2024-02-14 23:04

Hadoop-3.0.3 安装

Hadoop-3.0.3安装一下载安装包二配置Hadoop环境变量/etc/profile后面追加exportHADOOP_HOME=/data/hadoop-3.0.3exportPATH=$HADOOP_HOME
火星机遇号·2024-02-14 23:52
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他