Hadoop系统架构

开源大数据集群部署（四）Freeipa部署（kerberos+ldap）

将它与Hadoop服务进行集成便能够很好地解决安全性不足的问题。除了需要安装MITKerberos之外，我们还需要安装LDAP。
云掣YUNCHE·2024-01-13 14:15

Hive安装部署

安装好对应版本的hadoop集群，并启动hadoop的HDFS以及YARN服务安装了MySQL服务，并启动MySQL的服务Hive的安装部署注意hive就是==一个构建数据仓库的工具==，只需要在==一台服务器上
我还不够强·2024-01-13 13:35

ssm658基于ssm框架的少儿编程在线培训系统+vue

年X月目录目录I1课题背景及研究内容41.1课题背景41.2开发目的和意义42相关技术和应用42.1VUE技术42.2Mysql数据库简介52.3SSM框架简介62.4Eclipse简介62.5B/S系统架构
QQ626162193·2024-01-13 13:05

java基于ssm框架的少儿编程在线培训系统论文

目录目录I1课题背景及研究内容41.1课题背景41.2开发目的和意义42相关技术和应用42.1VUE技术42.2Mysql数据库简介52.3SSM框架简介62.4Eclipse简介62.5B/S系统架构
qq1744828575·2024-01-13 13:03

Realm Management Extension领域管理扩展之系统架构

RME不仅仅是一组处理器功能，为了充分利用RME引入的功能，系统的其余部分需要提供支持。下图显示了一个示例系统以及引入RME后受到影响的组件：主存储器保护RME启用的系统包括内存加密和可能的完整性。基线加密要求支持对外部内存进行加密，使用每个PA空间的单独加密密钥或调整。这种加密还使用地址调整提供空间隔离。本指南使用术语“MemoryProtectionEngine”（MPE）来描述提供外部内存加
卢鸿波·2024-01-13 13:38

2024系统分析师---论软件系统架构风格

在该项目组中我担任系统架构师一职，主要负责系统整体架构设计。本文以该项目为例，先介绍几种常用的软件架构风格及其特点，然后讨论软件架构风格在该项目中的具体应用。
喜欢猪猪·2024-01-13 13:33

Flume命令

它将数据从各种源（例如日志文件、消息队列、网络流等）采集到目标位置（例如Hadoop、HBase、Kafka等）。
思旭�·2024-01-13 13:02

Hive及各组件功能介绍

Hive是一个开源的数据仓库基础设施，是构建在Hadoop之上的。它提供了一种类似于SQL的查询语言，称为HiveQL，用于查询和分析存储在Hadoop中的大规模数据集。
思旭�·2024-01-13 12:32

HDFS及各组件功能介绍

Hadoop分布式文件系统（HadoopDistributedFileSystem，HDFS）是Hadoop生态系统的核心组件之一，它是设计用于存储和处理大规模数据集的分布式文件系统。
思旭�·2024-01-13 12:32

几种垃圾回收算法

拿餐巾纸的例子来说，这种算法的原理大致可以描述为：午餐时，为了把脑子里突然跳出来的设计灵感记下来，我从餐巾纸袋中抽出一张餐巾纸，打算在上面画出系统架构的蓝图。
ysdaniel·2024-01-13 12:47

基于terraform的阿里云基础设施代码化

1.概述早些年，我们的运维的大致过程是：开发人员开发好应用软件，然后提交给运维人员系统架构图，运维根据系统架构图，设计出部署架构图，还需要做好系统所需的前期工作，比如部署服务器、打通网络、调整服务器参数等等工作
一瓶多先生·2024-01-13 12:31

zookeeper未授权访问漏洞修复方式

:https://www.cnblogs.com/linuxbug/p/5023677.html图片中的解决方式都是通过设置认证用户,但是仅仅设置用户和密码的话集群(ApacheActivemq集群，Hadoop
xiexiaoming052·2024-01-13 12:39

Yarn的安装与使用详细介绍

什么是yarnApacheHadoopYARN（YetAnotherResourceNegotiator，另一种资源协调者）是一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度
知数SEO·2024-01-13 11:36

hadoop historyserver启动，无法访问，查看报错等问题

hadoophistoryserver启动，无法访问，查看报错等问题1、historyserver无法启动2、historyserver已启动，可以看到进程，web无法访问url3、historyserver
这都不是事er·2024-01-13 10:07

按照官网步骤sbin/start-yarn.sh失败

按照官网步骤sbin/start-yarn.sh失败环境sbin/start-yarn.sh启动失败sbin/stop-yarn.sh执行失败环境Centos7-1台虚拟机hadoop-3.2.1OpenJDK1.8.0
这都不是事er·2024-01-13 10:06

大数据系列 | CDH6.3.2（Cloudera Distribution Hadoop）部署、原理和使用介绍

大数据系列|CDH6.3.2（ClouderaDistributionHadoop）部署、原理和使用介绍1.大数据技术生态中Hadoop、Hive、Spark的关系介绍2.CDN（ClouderaDistributionHadoop
降世神童·2024-01-13 10:50

Flink CDC 实时抽取 Oracle 数据-排错&调优

使用环境Oracle：11.2.0.4.0（RAC部署）Flink：1.13.1Hadoop：3.2.1问题1、无法连接数据库根据官方文档说明，在FlinkS
Denny辉·2024-01-13 09:48

Spark原理——逻辑执行图

"local[6]").setAppName("wordCount_source")valsc=newSparkContext(conf)valtextRDD=sc.parallelize(Seq("HadoopSpa
我像影子一样·2024-01-13 09:17

Spark原理——运行过程

运行过程逻辑图是什么怎么生成具体怎么生成valtextRDD=sc.parallelize(Seq("HadoopSpark","HadoopFlume","SparkSqoop"))valsplitRDD
我像影子一样·2024-01-13 09:44

2022-02-01大数据学习日志——Hadoop离线阶段——数据仓库、Apache Hive

学习目标理解数仓概念、起源由来理解数仓(OLAP)与数据库(OLTP)区别掌握数仓分层架构思想掌握ApacheHive功能与架构组件理解ApacheHive远程模式部署安装内容大纲#数据仓库基础核心知识1、数据仓库是什么为何而来？为了分析数据而来数据分析的平台2、数据仓库的特性3、数据仓库和数据库的区别OLTP系统OLAP系统注意：这里要解决一个核心的误区：数仓绝不是大型数据库。这么理解就凉凉4、
王络不稳定·2024-01-13 09:28

分布式系统架构设计之分布式消息队列的实际应用场景分析以及未来展望

一、分布式消息队列的实际应用场景随着企业业务的不断发展和数据量的持续增长，分布式消息队列已经成为了许多系统中不可或缺的一部分。它提供了异步通信、流量削峰、数据缓冲等功能，为构建高并发、高可用、可扩展的系统提供了有力的支持。本部分会通过两个经典的案例场景，分析遇到的问题和解决方案，抛砖引玉。1、电商系统中的订单处理01应用场景在电商系统中，用户下单后需要经历一系列的处理流程，包括订单生成、支付、发货
灸哥漫谈·2024-01-13 09:56

分布式系统架构1

一.背景目前比较成熟的分布式架构技术包括:J2EE,CORBA和.NET(本书于2020.05出版),书重点讲述J2EE,一个由Sun公司推出的一项中间件技术(或平台).用于简化和规范多层分布式企业应用系统开发和部署特点:具有分布式的体系:组件与服务器环境无关,无需担心组件和资源的分布问题.具有多层模型:划分不同层,并在每一层定义组件.包括客户层,表示逻辑层,商业逻辑层,企业信息系统层.拥有应用服
howeres·2024-01-13 07:25

使用Sqoop将数据导入Hadoop的详细教程

在大数据处理中，Sqoop是一个强大的工具，它可以将关系型数据库中的数据导入到Hadoop生态系统中，以便进行进一步的分析和处理。
晓之以理的喵~~·2024-01-13 07:43

Sqoop入门指南：安装和配置

Sqoop是一个强大的工具，用于在Hadoop和关系型数据库之间高效传输数据。在本篇文章中，将深入探讨如何安装和配置Sqoop，以及提供详细的示例代码。
晓之以理的喵~~·2024-01-13 07:13

Hadoop分布式集群安装

上一篇大数据文章讲解了在单机上搭建Hadoop-Yarn伪分布式集群的安装方法，方便大家学习，真实环境不可能只有一台机器，肯定是多节点的集群，大单位还会建设很多Hadoop集群，比如各个大部门有自己的集群
鬓戈·2024-01-13 07:28

基于Hadoop的网上购物行为大数据分析及预测系统【flask+echarts+机器学习】前后端交互

有需要本项目或者部署的系统可以私信博主，提供远程部署和讲解本研究基于淘宝用户行为的开源数据展开大数据分析研究，通过Hadoop大数据分析平台对阿里天池公开的开源数据集进行多维度的用户行为分析，为电商销售提供可行性决策
王小王-123·2024-01-13 06:53

使用Sqoop将数据从Hadoop导出到关系型数据库

当将数据从Hadoop导出到关系型数据库时，ApacheSqoop是一个非常有用的工具。
晓之以理的喵~~·2024-01-13 06:23

应用架构演变过程、rpc及Dubbo简介

缺点：单一的系统架构，使得在开发过程中，占用的资源越来越多，而且随着流量的增加越来越难以维护。垂直应用架构当访问量逐渐增大，单一应用增加机器带来的加速度越来越小，垂直
梨涡妈妈·2024-01-13 06:54

NameNode瞬时高并发导致短暂不可用，Hadoop2.7二次开发

版本hadoop2.7分段锁优化Namenode的FSNamesystem类中主要有三块。
邵红晓·2024-01-13 06:24

一文带你盘点国内外自动驾驶OS

自动驾驶操作系统架构关于自动驾驶操作系统架构，笔者认为《车载智能计算基础平台参考架构1.0》已经给出了很好的描述，现已经成为行业共
智能交通技术·2024-01-13 05:15

国内外自动驾驶OS盘点

01.自动驾驶操作系统架构关于自动驾驶操作系统架构，笔者认为《车载智能计算基础平台参考架构1.0》已经给出了很好的描述，现已经成
智能交通技术·2024-01-13 05:15

主流自动驾驶方案的庖丁解牛，商用车和乘用车的本质需求到底有什么异同？...

自动驾驶之心”公众号ADAS巨卷干货，即可获取>>点击进入→自动驾驶之心【全栈算法】技术交流群作者|B站@不优秀博仕Hanker写在前面&笔者的个人总结本文对商用车、乘用车主流自动驾驶技术分传感器配置、系统架构
自动驾驶之心·2024-01-13 05:12

网络干货，无论是运维还是开发都要知道的网络知识系列

付出的精力要很大，而且不一定付出和收获成正比，因此建议学习运维的同学，可以多少学习一点网络知识，但不必要深究网络的具体命令配置和一些协议的原理①学习网络基础知识可以对系统网络部分的知识做一个补充，便于了解系统架构的部署
996小迁·2024-01-13 04:00

实验二 ：HIve数据定义操作实验

二、实验环境要首先自行搭建由3台虚拟机构成的Hadoop环境及Hive环境。
又是被bug折磨的一天·2024-01-13 04:55

【2024系统架构设计】 系统架构设计师第二版-层次式架构设计理论与实践

目录一表现层框架设计二中间层架构设计三数据访问层设计四数据架构规划与设计五物联网层次架构设计六层次式架构案例分析
Jackilina_Stone·2024-01-13 03:15

Hadoop/Spark安装

单机安装Hadoop安装Javasudoapt-getinstalldefault-jdkjava-version2.设置Hadoop用户和组sudoaddgrouphadoopsudoadduser-
周倜吉·2024-01-13 03:40

2022字节跳动【数据仓库工程师】日常实习面经-----一面

都还没学扎实）一，自我介绍二，问答阶段shuffle阶段详细介绍回答环形缓冲区，分区排序，溢写磁盘，reduce再抽取归并等等计算单元和实际block存储单元不在一个机器节点上，这样会带来大量的IO操作，Hadoop
dyson不只是吹风机·2024-01-13 03:34

Flink

GoogleFileSystemBigTableMapReduceHDFSHBaseHadoopHadoop基于硬盘，可以处理海量数据；Spark基于内存，性能提高百倍，微批（500ms）；Flink基于
三半俊秀·2024-01-13 01:53

Android开发基础（二）

Android开发基础（二）上篇主要描述了Android系统架构，代码是通过Java表示的；本篇将从介绍Android组件去理解Android开发，代码将对Java和Kotlin进行对比。
Kevin写代码·2024-01-13 01:11

Android开发基础（一）

Android开发基础（一）本篇主要是从Android系统架构理解Android开发。
Kevin写代码·2024-01-13 01:41

读书笔记--微服务架构

API网关封装了内部系统架构，并针对每个客户端提供一个定制API。它还可用于认证、监控、负载均衡、缓存和静态响应处理。
Artisan_w·2024-01-13 00:45

2023软考 系统架构师

2023年软考系统架构师，震惊到我的一次考试，需要好好记录下。去年因为疫情考试被取消，今年仍然坚持报了考试，还是想把没做完的事做完。9月份开始刷题，看教材。
艾-普-西-隆·2024-01-13 00:03

设置5台SSH互免的虚拟机服务器配置

步骤如下——1、准备五台机器服务器名字服务器IPhadoop1192.168.31.130hadoop2192.168.31.131hadoop3192.168.31.132hadoop4192.168.31.133hadoop5192.168.31.134
朱季谦·2024-01-12 23:24

系统架构设计师教程（十）软件可靠性基础知识

软件可靠性基础知识10.1软件架构演化和定义的关系10.1.1演化的重要性10.1.2演化和定义的关系10.2面向对象软件架构演化过程10.2.1对象演化10.2.2消息演化10.2.3复合片段演化10.2.4约束演化10.3软件架构演化方式的分类10.3.1软件架构演化时期10.3.2软件架构静态演化10.3.3软件架构动态演化10.4软件架构演化原则10.5软件架构演化评估方法10.5.1演化
赫凯·2024-01-12 22:55

hadoop(4)--NameNode元数据管理

这是分享的第四篇文章了，可能有些小伙伴看到标题后，很纳闷，完全是跳跃式的，NameNode是什么呢？NameNode是管理元数据的，这个和大数据有什么关系呢？对了，就爱带着问题去探索，NameNode是HDFS的一个组件，可以说一个进程，HDFS中共有三个组件NameNode,DataNode,SecondNameNode。这三个都是做什么的呢？NameNode:管理元数据的DataNode:保存
ROCK_杰哥·2024-01-12 22:41

预约上门按摩系统的开发流程是怎么样的

2.规划与设计：根据需求分析结果，制定系统规划，包括系统架构、功能模块、数据库设计、订单流程逻辑设计等，并确定开发所需的技术和工具。3.界面设计：根据目标用户群体和市场需求，设计用户友好的界面，
闪站侠小程序开发·2024-01-12 22:04

如何进行大数据系统测试

大数据系统常见的架构形式有如下几种：Hadoop架构：HadoopDistributedFileSystem(HDFS)：这是一种分布式文件系统，设计用于存储海量数据并允许跨多台机器进行高效访问。
Feng.Lee·2024-01-12 21:41

ZooKeeper 安装与部署

1.1认识Zookeeper介绍Zookeeper前，看下面这个图：在这张图片里，我们可以看到Hadoop是一只大象，HIVE是一只蜜蜂，Bigtop是马戏团，Pig是一只猪，HAMA是一只河马…只有Zookeeper
Destiny_-Sky·2024-01-12 18:48

Linux学习笔记——ZooKeeper集群安装部署

5.8、ZooKeeper集群安装部署5.8.1、简介Zookeeper是一个分布式的、开放源码的分布式应用程序协调服务，是Hadoop和HBase的重要组件。
kxttmx·2024-01-12 18:16

Zookeeper安装与部署

由于ZooKeeper便捷的使用方式、卓越的性能和良好的稳定性，被广泛地应用于诸如Hadoop、HBase、Kafka和Dubbo等大型分布式系统中。一个分布式系统最多只能同时满足一致性
HRX98·2024-01-12 18:12
上一页 29 30 31 32 33 34 35 36 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他