Hadoop系统架构

【Hadoop】在spark读取clickhouse中数据

读取clickhouse数据库数据importscala.collection.mutable.ArrayBufferimportjava.util.Propertiesimportorg.apache.spark.sql.SaveModeimportorg.apache.spark.sql.SparkSessiondefgetCKJdbcProperties(batchSize:String="
方大刚233·2024-03-03 06:54

【Hadoop】使用Metorikku框架读取hive数据统计分析写入mysql

一、定义作业文件作业文件该文件将包括输入源、输出目标和要执行的配置文件的位置，具体内容如下metrics:-/user/xrx/qdb.yaml#此位置为hdfs文件系统目录inputs:output:jdbc:connectionUrl:"jdbc:mysql://233.233.233.233:3306/sjjc"user:"root"password:"123456"driver:"com.
方大刚233·2024-03-03 06:23

Spark-sql Adaptive Execution动态调整分区数量，调整输出文件数

看看这个参数如何运用：我们的spark-sql版本：[hadoop@666~]$spark-sql--versionWelcometo______/__
不想起的昵称·2024-03-02 15:03

hadoop里需要的libhadoop.so版本不一致导致问题及解决办法

$HADOOP_HOME/lib/native/Linux-amd64-64(64位操作系统)$HADOOP_HOME/lib/native/Linux-i386-32（32位操作系统）文件夹中的libhadoop.so
weixin_34304013·2024-03-02 09:23

hadoop启动报错处理

1.hadoop启动报错1.1.问题1util.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform...usingbuiltin-javaclasseswhereapplicable
akuibpt23191·2024-03-02 08:51

分布式概念

分布式是一种计算机系统架构，它由多台计算机组成，这些计算机通过网络互相连接并协作工作。在分布式系统中，不同的计算机被称为节点，它们通过消息传递或者远程过程调用等方式进行通信和协作，共同完成任务。
独木人生·2024-03-01 00:38

Spark整合hive（保姆级教程）

准备工作：1、需要安装配置好hive，如果不会安装可以跳转到Linux下编写脚本自动安装hive2、需要安装配置好spark，如果不会安装可以跳转到Spark安装与配置（单机版）3、需要安装配置好Hadoop
万家林·2024-02-29 09:47

《系统架构设计师教程（第2版）》第5章-软件工程基础知识-06-基于构件的软件工程（CBSE）

文章目录1.构件和构件模型1.1特征1.2构件模型1.2.1构件模型概述1.2.2构件模型包含要素1）接口2）使用信息3）部署1.2.3容器理论2.CBSE过程2.1主要活动包括2.2与传统的软件开发过程的不同3.构件组装3.1组装方式1）顺序组装2）层次组装3）叠加组装3.2构件不兼容1）构件不兼容的情况2）解决方法基于构件的软件工程(Component-BasedSoftwareEnginee
玄德公笔记·2024-02-28 19:02

分布式和微服务的联系和区别

1.联系分布式和微服务都是对单体应用功能的拆分2.区别：分布式是将不同的服务部署在不同服务器上微服务可能不是不同服务器此外，分布式是项目部署的层面上的理念，微服务是系统架构上的理念。
Jjjtreasure·2024-02-28 08:18

Hadoop-Yarn-NodeManager是如何监控容器的

一、源码下载下面是hadoop官方源码下载地址，我下载的是hadoop-3.2.4，那就一起来看下吧Indexof/dist/hadoop/core二、上下文在我的博客中的ContainerLaunchprepareForLaunch
隔着天花板看星星·2024-02-28 06:15

日更【系统架构设计师知识总结2】指令系统（结合真题）

【原创精华】结合老师的讲授、耗费三个小时的精华总结对正在备考的你一定有用！！自己一点点手打、总结的脑图，把散落在课本以及老师讲授的知识点合并汇总，反复提炼语言，形成知识框架。希望能给同样在学习的伙伴一点帮助！学习中遇到的问题记录：指令到底由操作数和操作码组成还是由操作码和地址码组成解答：指令的确切组成取决于指令集架构（ISA）的设计。在大多数情况下，一条指令会包含操作码（opcode）和操作数（o
笛子兔·2024-02-28 03:12

物联网节水灌溉系统的设计与应用

二、系统设计系统架构本文设计的物联网节水灌溉系统主要由传感器节点、数据传输模块、控制中心和执行机构组成。传感器节点负责实时监测土壤湿度、气象条
科创工作室li·2024-02-28 03:11

如何获取C语言中int类型的最大值

在C语言中，int类型的大小通常是根据系统架构来决定的。在大多数现代系统上，int通常是32位的，这意味着它可以表示的最大无符号整数值是UINT_MAX，这个值在标准库头文件中定义。
白话Learning·2024-02-26 13:26

Zookeeper实现分布式锁

首先需要确保有hadoop102，hadoop103，hadoop104三台虚拟机并且都安装成功且配置成功了zookeeper。
正在绘制中·2024-02-25 23:35

docker搭建hadoop hdfs完全分布式集群

1制作hadoop镜像参见https://www.cnblogs.com/rmxd/p/12051866.html该博客中只参考制作镜像部分，固定IP及启动集群的部分应该跳过。
shangcunshanfu·2024-02-20 22:08

基于docker安装HDFS

1.docker一键安装见docker一键安装2.拉取镜像sudodockerpullkiwenlau/hadoop:1.03.下载启动脚本gitclonehttps://github.com/kiwenlau
core512·2024-02-20 22:02

hive 的map数和reduce如何确定

的文件大小，集群设置的文件块大小(目前为128M,可在hive中通过setdfs.block.size;命令查看到，该参数不能自定义修改)；2.举例：a)假设input目录下有1个文件a,大小为780M,那么hadoop
Super乐·2024-02-20 20:38

(17)Hive ——MR任务的map与reduce个数由什么决定？

MapTask的数量由以下参数决定文件个数文件大小blocksize一般而言，对于每一个输入的文件会有一个mapsplit，每一个分片会开启一个map任务，很容易导致小文件问题（如果不进行小文件合并，极可能导致Hadoop
爱吃辣条byte·2024-02-20 20:27

Hadoop生态圈

是数据分析数据引擎，也是MapReduce模型，支持SQL4.Pig也是一个数据分析引擎，不支持SQL，有自己的PigLatin数据5.Sqoop是数据采集工具，针对关系数据库6.Flume是针对文件等数据的采集7.Hadoop
陈超Terry的技术屋·2024-02-20 19:47

16.用Hadoop命令向CDH集群提交MR作业

Redhat7.2非Kerberos集群CDH5.13，OS为CentOS6.5前置条件CDH集群运行正常本地开发环境与集群网络互通且端口放通16.2示例这里使用的代码是没有加载CDH集群的xml配置的，因为使用hadoop
大勇任卷舒·2024-02-20 19:27

程序员们的三高：高并发、高性能、高可用！

01高并发1.1简介高并发（HighConcurrency）是互联网分布式系统架构设计中必须考虑的因素之一，它通常是指，通过设计保证系统能够同时并行处理很多请求。
技术灭霸·2024-02-20 19:18

【YARN】【Apache Hadoop YARN】【架构】

ThefundamentalideaofYARNistosplitupthefunctionalitiesofresourcemanagementandjobscheduling/monitoringintoseparatedaemons.TheideaistohaveaglobalResourceManager(RM)andper-applicationApplicationMaster(AM)
资源存储库·2024-02-20 18:48

记一次 Flink 作业启动缓慢

记一次Flink作业启动缓慢背景应用发现，Hadoop集群的hdfs较之前更加缓慢，且离线ELT任务也以前晚半个多小时才能跑完。
卢说·2024-02-20 18:38

软件系统架构演变：从单体应用到微服务

软件系统架构演变：从单体应用到微服务随着互联网的快速发展，软件系统的架构也在不断地演进。
M乔木·2024-02-20 17:08

大数据Map Reduce (Hadoop) 和 MPP数据库 的区别

原理的角度出发,mapreduce其实就是二分查找的一个逆过程,不过因为计算节点有限,所以map和reduce前都预先有一个分区的步骤.二分查找要求数据是排序好的,所以MapReduce之间会有一个shuffle的过程对Map的结果排序.Reduce的输入是排好序的.MR分而治之的策略和数据库行业中另一种数据库MassivelyParallelProcessor即大规模并行处理数据库(典型代表AW
山哥Samuel·2024-02-20 15:05

汽车控制器软件正向开发

需求常见问题：1.系统需求没有分层，没有结构化，依赖关系不明确2.需求中没有验证准则3.对客户需求的追溯缺失，不完整，颗粒度不够4.系统需求没有相应的系统架构，需求没有分解到硬件和软件5.需求变更管控不严格
木子n1·2024-02-20 14:36

Java-eclipse-基本设置

Eclipse和MyEclipse区别：Eclipse免费，MyEclipse收费MyEclipse在web开发提供强大的系统架构平台下载：http://eclipse.org/Eclipse解压就可以直接使用
董铠·2024-02-20 14:34

Hadoop 大数据的入门学习

由于所做的银行项目与大数据有关，所以个人学习下hadoop的知识，希望能对大数据有所了解，不喜勿喷，哪里有不对的希望大神指点Hadoop百度百科：Hadoop是一个由Apache基金会所开发的分布式系统基础架构
heybo_zhang·2024-02-20 14:36

Flink理论—Flink架构设计

它集成了所有常见的集群资源管理器，例如HadoopYARN，但也可以设置作为独立集群甚至库运行,例如Spark的StandaloneMode本节概述了Flink架构，并且描述了其主要组件如何交互以执行应用程序和从故障中恢复
不二人生·2024-02-20 12:59

Kafka核心逻辑介绍 | 京东云技术团队

分布式消息系统（kafka2.8.0版本之后接触了对zk的依赖，使用自己的kRaft做集群管理，新增内部主体@metadata存储元数据信息），它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop
·2024-02-20 11:54

基于边缘计算的智能家居能源管理系统

目录一、项目背景二、项目目标三、系统架构系统由以下几个部分组成：四、技术选型五、代码实现边缘计算设备代码（Python）用户界面代码（这里以简单的Web界面为例，使
GT开发算法工程师·2024-02-20 10:52

大数据 - Spark系列《六》- RDD详解

Spark系列文章：大数据-Spark系列《一》-从Hadoop到Spark：大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客大数据
王哪跑nn·2024-02-20 10:55

大数据 - Spark系列《七》- 分区器详解

Spark系列文章：大数据-Spark系列《一》-从Hadoop到Spark：大数据计算引擎的演进-CSDN博客大数据-Spark系列《二》-关于Spark在Idea中的一些常用配置-CSDN博客大数据
王哪跑nn·2024-02-20 10:55

ActiveMQ高可用架构涉及常用功能整理

ActiveMQ高可用架构涉及常用功能整理1.activemq的集群模式2.镜像模式高可用系统架构和相关组件2.1架构说明2.2相关概念说明2.3消息模型2.3.1点对点2.3.2发布订阅3.activemq
李姓门徒·2024-02-20 09:17

Linux之Shell

第1章Shell概述1）Linux提供的Shell解析器有[zhao@hadoop101~]$cat/etc/shells/bin/sh/bin/bash/usr/bin/sh/usr/bin/bash
efzy·2024-02-20 08:16

测试环境搭建整套大数据系统（三：搭建集群zookeeper，hdfs，mapreduce，yarn，hive）

一：搭建zkhttps://blog.csdn.net/weixin_43446246/article/details/123327143二：搭建hadoop，yarn，mapreduce。
宇智波云·2024-02-20 08:05

Hadoop Streaming原理

Streaming简介•MapReduce和HDFS采用Java实现，默认提供Java编程接口•Streaming框架允许任何程序语言实现的程序在HadoopMapReduce中使用•Streaming
可乐加冰丶丶·2024-02-20 07:18

【Flink】ClassNotFoundException: org.apache.hadoop.conf.Configuration

问题背景在Flink的sql-client客户端中执行连接hive的sql代码时出现如下错误，版本Flink1.13.6FlinkSQL>createcatalogtestwith(>'type'='hive',>'default-database'='default',>'hive-conf-dir'='/opt/hive/conf');[ERROR]CouldnotexecuteSQLstat
一杯咖啡半杯糖·2024-02-20 07:38

生产环境下，应用模式部署flink任务，通过hdfs提交

  通过通过yarn.provided.lib.dirs配置选项指定位置，将flink的依赖上传到hdfs文件管理系统1.实践  （1）生产集群为cdh集群，从cm上下载配置文件，设置环境exportHADOOP_CONF_DIR
但行益事莫问前程·2024-02-20 07:04

以内存为核心的开源分布式存储系统

Tachyon为不同的大数据计算框架（如ApacheSpark，HadoopMapReduce,ApacheFlink等）提供可靠的内存级的数据共享服务。
这次靠你了·2024-02-20 05:26

Zookeeper(1):入门

/bin/bashcase$1in"start"){foriinhadoop100hadoop101hadoop102doecho----------zookeeper$i启动------------ssh
叶惠美zz·2024-02-20 04:33

图书自助借还系统的设计与实现

本文旨在探讨图书自助借还系统的设计与实现，包括系统架构、功能模块、技术实现等方面。二、系统架构图书自助借还系统主要由硬件设备和软件系统两部分组成。
科创工作室li·2024-02-20 02:08

视频直播系统架构的设计与实现

本文将介绍如何设计和实现一个稳定、高性能的直播系统架构，以提供良好的用户体验和可靠的服务。
007php007·2024-02-20 02:24

电商云平台系统的设计与实现

1.系统架构设计电商云平台系统的架构设计主要分为三个部分：展示层：展示层负责用户交互界面的展示和数据呈现。在电商平台中，用户可以通过该界面浏览商品信息、下订单、支付等操作。
007php007·2024-02-20 02:24

HIS系统架构设计与实现的经验总结

在设计与实现HIS系统架构时，需要考虑到系统的稳定性、扩展性、安全性等多个方面因素。以下是本文对HIS系统架构设计与实现的经验总结。
007php007·2024-02-20 02:53

系统架构27 - 软件架构设计（6）

基于架构的软件开发方法基于架构的软件开发方法（ABSD）概述概念与术语开发模型体系结构需求体系结构设计体系结构文档化体系结构复审体系结构实现体系结构的演化基于架构的软件开发方法（ABSD）基于体系结构的软件设计(Architecture-BasedSoftwareDesign，ABSD)是一种软件开发方法。强调在开发过程中首先定义系统的体系结构，然后根据这个体系结构来实现系统。它有助于确保系统的结
银龙丶裁决·2024-02-20 01:31

【Linux】指令 【scp】

scphadoop.tar.gzdatanode:/software这条命令的含义是将本地的hadoop.tar.gz文件复制到远程主机datanode的/software目录下。
giao客·2024-02-20 01:31

Canal解决Redis与mysql缓存一致性问题

缓存一致性2缓存一致性解决方案3Canal介绍3.1Canal应用场景3.2MySQL主从复制原理3.3Canal工作原理3.4Canal配置5同步更新Redis缓存想学习架构师构建流程请跳转：Java架构师系统架构设计
赵广陆·2024-02-20 01:26

SpringBoot+Vue应急物资管理系统 医疗物资管理系统 物资库管理系统Java

作者主页：计算机毕业设计老哥有问题可以主页问我一、开发介绍1.1开发环境开发语言：Java数据库：MySQL系统架构：B/S后端：SpringBoot(Spring+SpringMVC+Mybatis)
计算机程序老哥·2024-02-20 01:03

构建智慧交通平台：架构设计与实现

本文将探讨如何设计和实现智慧交通平台的系统架构，以应对日益增长的城市交通需求，并提高交通管理的智能化水平。
007php007·2024-02-20 01:42
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他