Hadoop体系结构

Ranger-Yarn插件安装

登陆hdfs安装的用户，garrison/zdh1234(用户组hadoop),获取安装包解压安装scp/home/backup/ranger/ranger-0.6.0-yarn-plugin.tar.gz.tar–zxvfr
木木与呆呆·2024-02-04 10:22

Hadoop详解

架构设计NameNodeNameNode：文件系统的命名空间(面试题)1.文件名称2.文件目录结构3.文件的属性(权限创建时间副本数)4.文件对应哪些数据块-->数据块对应哪些分布在哪些DN节点上列表不会持久化存储这个映射关系，是通过集群的启动和运行时，DataNode定期发送blockReport给NameNode，以此NameNode在【内存】中动态维护这种映射关系。作用：管理文件系统的命名空
ly稻草·2024-02-04 09:34

mysql高级使用教程

mysql体系结构1.连接层：主要就是做客户端的连接。2.服务层：主要就是缓存，分析器，优化器，执行器。3.引擎层：就是一些存储引擎，包括索引的存储结构。4.存储层：数据存储的磁盘。
秃狼·2024-02-04 09:14

Hadoop3.x基础（3）- Yarn

来源：B站尚硅谷目录Yarn资源调度器Yarn基础架构Yarn工作机制作业提交全过程Yarn调度器和调度算法先进先出调度器（FIFO）容量调度器（CapacityScheduler）公平调度器（FairScheduler）Yarn常用命令yarnapplication查看任务yarnlogs查看日志yarnapplicationattempt查看尝试运行的任务yarncontainer查看容器ya
魅美·2024-02-04 09:36

转载-58同城离线计算平台设计与实践

58同城离线计算平台设计与实践编者荐语：58离线计算平台基于Hadoop生态体系打造，单集群4000+台服务器，数百PB存储，日40万计算任务，面临挑战极大。
无色的叶·2024-02-04 09:14

数据库-计算机三级学习记录-4DBAS功能概要设计

1.软件体系结构与设计过程➢软件体系结构又称软件架构，软件体系结构={构件，连接件，约束}软件体系结构是软件系统中最本质
不笑的鬼·2024-02-04 08:58

计算机网络_1.6.2 计算机网络体系结构分层的必要性

1.6.2计算机网络体系结构分层的必要性一、五层原理体系结构每层各自主要解决什么问题1、物理层2、数据链路层3、网络层4、运输层5、应用层二、总结三、练习笔记来源：B站《深入浅出计算机网络》课程本节主要介绍实现计算机网络需要解决哪些问题
冰岛看极光_92655·2024-02-04 07:54

完结，从零开始学python（十八）想成为一名APP逆向工程师，需要掌握那些技术点？

我们来简单的回顾一下内容1.编程语法语法编程并发编程网络编程多线程/多进程/协程数据库编程MySQLRedisMongoDB2.机器学习3.全栈开发4.数据分析Numpy+pandas+MatplotlibHadoopSpark5
爬完虫变成龙·2024-02-04 07:52

DevOps落地笔记-12|API管理：微服务时代的必备工具

最近几年，软件架构也在不断升级，逐渐采用前后端分离、微服务的体系结构。前后端分离使得前端和后端充分解耦，在高并发情况下，后端可以按需扩展，前端和后端通过API接口定义的契约进行通信。
机智阳·2024-02-04 07:04

Hive 主要内容一览

Hadoop使用HDFS进行存储，使
大数据左右手·2024-02-04 07:13

大数据本地环境搭建03-Spark搭建

需要提前部署好Zookeeper/Hadoop/Hive环境1Local模式1.1上传压缩包下载链接链接：https://pan.baidu.com/s/1rLq39ddxh7np7JKiuRAhDA?
OnePandas·2024-02-04 06:31

【考研408】计算机网络笔记

文章目录计算机网络体系结构计算机网络概述计算机网络的组成计算机网络的功能计算机网络的分类计算机网络的性能指标课后习题计算机网络体系结构与参考模型计算机网络协议、接口、服务的概念ISO/OSI参考模型和TCP
newcih·2024-02-04 06:55

【考研408】操作系统笔记

计算机系统概述操作系统的基本概念操作系统的概念和特征操作系统的目标和功能（**处理器管理、存储器管理、设备管理、文件管理、向用户提供接口、扩充机器**）操作系统的发展与分类操作系统的运行环境操作系统的运行机制操作系统的体系结构大内核和微内核总结进程管理进程与线程进程的概念和特征进程的状态与转换进程控制进程的组织进程的通信
newcih·2024-02-04 06:21

Hadoop大数据实战系列文章之Hive

hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，Hive定义了简单的类SQL查询语言，称为HQL，它允许熟悉SQL的用户查询数据可以将
测试帮日记·2024-02-04 05:45

（赠源码）PHP+Mysql疫情上报管理系统13740-计算机毕业设计项目选题推荐

/S结构2.4PHP脚本语言42.5MySQL数据库2.6Apache简介第3章需求分析63.1需求分析63.2系统可行性分析63.3项目设计目标与原则63.4系统流程分析7第4章架构设计94.1系统体系结构
bysjlw985·2024-02-04 05:12

spark运维问题记录

环境：spark-2.1.0-bin-hadoop2.71.Spark启动警告：neitherspark.yarn.jarsnotspark.yarn.archiveisset，fallingbacktouploadinglibrariesunderSPARK_HOME
lishengping_max·2024-02-04 05:11

解决“Spark context stopped while waiting for backend“ issue

在配置为4C16G的虚拟机上安装hadoop生态全家桶，在安装Spark2，使用了社区版2.3的版本。
江畔独步·2024-02-04 05:10

大数据组件部署下载链接

Hadoop2.7下载连接:https://archive.apache.org/dist/hadoop/core/hadoop-2.7.6/Hive2.3.2下载连接：http://archive.apache.org
运维道上奔跑者·2024-02-04 05:13

【大数据开发运维解决方案】Hadoop+Hive+HBase+Kylin 伪分布式安装指南

Hadoop2.7.6+Mysql5.7+Hive2.3.2+Hbase1.4.9+Kylin2.4单机伪分布式安装文档注意：######################################
运维道上奔跑者·2024-02-04 05:43

Hadoop2.7.6+Mysql5.7+Hive2.3.2+zookeeper3.4.6+kafka2.11+Hbase1.4.9+Sqoop1.4.7+Kylin2.4单机伪分布式安装及官方案例测

#################################################################最新消息：关于spark和Hudi的安装部署文档，本人已经写完，连接：Hadoop2.7.6
运维道上奔跑者·2024-02-04 05:43

嵌入式学习日记

刚刚找到了arm体系结构与编程的一个扫描版的Pdf书籍，又是一个无聊的奋斗的开端，曾经我试着逃避这种寂寞，但是世俗的态度让我接受不了这一切，
weixin_30655569·2024-02-04 04:50

2021-07-02

Hadoop集群构建配主机名vi/etc/sysconfig/networkNETWORKING=yesHOSTNAME=hadoop012.配置IP映射vi/etc/hosts127.0.0.1localhostlocalhost.localdomainlocalhost4localhost4
谢尔比比·2024-02-04 02:40

数据库存储引擎

MySQL体系结构存储引擎简介存储引擎特点InnoDBMyISAMMemory存储引擎选择
Array902·2024-02-04 02:07

Oracle和Mysql数据库

数据库Oracle体系结构与基本概念体系结构基本概念表空间(users)和数据文件段、区、块Oracle数据库的基本元素Oracle数据库启动和关闭Oracle数据库启动Oracle数据库关闭Sqlplussqlplus
Xf3n1an·2024-02-03 23:52

路由器功能及构成——网络层

一、路由器主要功能运行路由算法以得到转发表根据转发表对IP分组进行转发提供多种网络类型接口，完成不同网络的互联二、路由器体系结构路由器一般由以下部分组成（1）输入端口（2）交换结构（3）输出端口（4）路由选路处理器
有人_295·2024-02-03 22:54

hadoop、spark、flink集群修改默认ssh端口号

大数据集群在实际搭建过程中，其默认ssh端口不一定都是22，这时需要根据各自的配置文件进行适配。ssh端口号默认为22，以centos7.x为例，可以在/etc/ssh/sshd_config中进行修改，如下示例将22改为22222：#IfyouwanttochangetheportonaSELinuxsystem,youhavetotell#SELinuxaboutthischange.#sem
0X码上链·2024-02-03 21:12

Zookeeper集群安装

简介ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。
万总有点菜·2024-02-03 21:14

2019-10-08 大数据开发进阶之路

市场需要的水平熟练掌握Linux、SQL与HiveSQL掌握Hadoop生态主流技术，如HDFS/MapRedunce/Yarn/HBase/Flume等掌握Spark生态核心技术，如Spark架构/RDD
红瓦李·2024-02-03 20:39

Hadoop框架下MapReduce中的map个数如何控制

一个job的map阶段并行度由客户端在提交job时决定客户端对map阶段并行度的规划基本逻辑为：一、将待处理的文件进行逻辑切片（根据处理数据文件的大小，划分多个split），然后每一个split分配一个maptask并行处理实例二、具体切片规划是由FileInputFormat实现类的getSplits()方法完成切分规则如下：1.简单地按照文件的内容长度进行切片2.切片大小默认是datanode
piziyang12138·2024-02-03 20:13

《PCI Express体系结构导读》随记 —— 第II篇 第4章 PCIe总线概述（6）

接前一篇文章：《PCIExpress体系结构导读》随记——第II篇第4章PCIe总线概述（5）4.1PCIe总线的基础知识与PCI总线不同，PCIe总线使用端到端的连接方式，在一条PCIe链路的两端只能各连接一个设备
蓝天居士·2024-02-03 19:48

Spring学习笔记（一）-spring概述及下载

Spring学习笔记（一）-spring概述及下载一、概述二、三层架构三、Spring框架的主要优点四、Spring的体系结构五、Spring的下载和配置六、测试Spring一、概述  Spring框架是一个开放源代码的
编程小白_C·2024-02-03 17:58

小白的spring入门笔记

目录前情回顾基础（IOC(控制反转)，DI（依赖注入））Spring框架概述什么是Springspring核心spring优点spring体系结构IOC入门，控制反转构建maven依赖目标类配置文件测试结果
程序员小赵OvO·2024-02-03 17:25

Hadoop MapReduce 各阶段理解

Hadoop的MapReduce是一个很经典的分布式并行计算框架，一直对各个阶段的具体含义有些模糊。花时间看了下stackoverflow上的理解，记录一下。
phusFuNs·2024-02-03 16:10

阿里云服务器2核16G、4核32G、8核64G配置最新收费标准及活动价格

2核16G、8核64G、4核32G配置的云服务器处理器与内存比为1:8，这种配比的云服务器一般适用于数据分析与挖掘，Hadoop、Spark集群和数据库，缓存等内存密集型场景，因此，多为企业级用户选择，
阿里云最新优惠和活动汇总·2024-02-03 15:07

基于SSM的个性化旅游攻略定制系统设计与实现（有报告）。Javaee项目。ssm项目。

项目介绍：采用M（model）V（view）C（controller）三层体系结构，通过Spring+SpringMvc+Mybatis+Jsp+Maven来实现。
气宇轩昂的固执狂·2024-02-03 15:20

基于SSM的健身房会员管理系统(有报告)。Javaee项目。ssm项目。

项目介绍：采用M（model）V（view）C（controller）三层体系结构，通过Spring+SpringMvc+Mybatis+Jsp+Vue+layui+Elementui来实现。
气宇轩昂的固执狂·2024-02-03 15:20

基于SSM的医院管理系统的设计与实现（有报告）。Javaee项目。ssm项目。

项目介绍：采用M（model）V（view）C（controller）三层体系结构，通过Spring+SpringMvc+Mybatis+Jsp+Maven来实现。
气宇轩昂的固执狂·2024-02-03 15:20

基于Springboot的高校心理教育辅导设计与实现(有报告)。Javaee项目，springboot项目。

项目介绍：采用M（model）V（view）C（controller）三层体系结构，通过Spring+SpringBoot+Mybatis+Vue+Maven+Layui+Elementui来实现。
气宇轩昂的固执狂·2024-02-03 15:19

Jmeter体系结构

取样器断言监听器前置处理器配置元件后置处理器控制器定时器线程组testfragment
柱柱007·2024-02-03 15:44

hadoop2.0之环境搭建详细流程

1、在安装hadoop2.0之前，需要准备好以下软件（如下图1）图1：然后将这两个软件共享到centos上（如下图2红箭头指向和图3红箭头指向所示）在vm这上面有个虚拟机，点击虚拟机后有个硬件和选项，点选项
hhf_Engineer·2024-02-03 14:51

集合框架-----list接口、set接口、Map接口

类封装一个个容器，开发者只需要调用即可，不需要手动创建容器类数组：存储一组相同类型数据的数据容器，在内存中分配"连续空间"进行保存集合：是Java中提供的一种容器，可以用来存储多个数据，根据不同存储方式形成的体系结构
冷酷无情小美·2024-02-03 14:45

hadoop使用公平调度器

数据量不大，做离线一个晚上就能轻松调度完，那时候使用的hadoop自带的调度器，容量调度器。但默认配置没有改，就会发生什么！root主leaf下面只有default。
向他一样rap·2024-02-03 13:22

集合框架

集合中存储的是元素对象的地址集合体系结构：CollectionMapCollection:单列集合每个元
neoxyf2005·2024-02-03 11:55

《PCI Express体系结构导读》随记 —— 第II篇 第4章 PCIe总线概述（5）

接前一篇文章：《PCIExpress体系结构导读》随记——第II篇第4章PCIe总线概述（4）4.1.2PCIe总线使用的信号PCIe设备使用两种电源信号供电，分别是Vcc与Vaux，其额定电压为3.3V
蓝天居士·2024-02-03 09:55

ardupilot开发 --- RTSP多媒体数据流(视频流) 篇

RTSP在体系结构上位于RTP和RTCP之上，它使用TCP或UDP完成数据传输。在missionplanner中查看(拉取)RTSP视频流
干了这碗汤·2024-02-03 09:09

【数据开发】pyspark入门与RDD编程

spark与pyspark的关系spark是一种计算引擎，类似于hadoop架构下mapreduce，与mapr
小哈里·2024-02-03 08:58

（四）hive的搭建2

1.元数据服务的方式1.1编辑hive-site.xmlsudovihive-site.xml在文件最后增加以下内容hive.metastore.uristhrift://hadoop-master:90831.2
调试大师·2024-02-03 08:18

（三）hadoop之hive的搭建1

下载访问官方网站https://hive.apache.org/点击downloads点击Downloadareleasenow!点击https://dlcdn.apache.org/hive/选择最新的稳定版复制最新的url在linux执行下载命令wgethttps://dlcdn.apache.org/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz2.
调试大师·2024-02-03 08:48

hadoop 50070 无法访问问题解决汇总

解决办法1：[root@djt002hadoop]#vi/etc/selinux/config改为：SELINUX=disabled解决办法2：查看你的$HADOOP_HOME/etc/hadoop下的
無法複制·2024-02-03 08:13

Hadoop：学习HDFS，看完这篇就够了！

HDFS（HadoopDistributedFileSystem）是ApacheHadoop生态系统中的分布式文件系统，用于存储和处理大规模数据集。
爱写代码的July·2024-02-03 08:09
上一页 10 11 12 13 14 15 16 17 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他