hadoop-1

hadoop-1:Hadoop-HDFS

存储模型：字节文件线性切割-block：偏移量offset（理解为到存储起点的距离）fig.1以上图为例，假设第一个块的起始地址为0，块大小为20，那么第二个块的偏移量为20，除了最后一个块，块的大小是一致的。block分散存储在集群节点中单一文件block大小一致，文件与文件可以不一致block可以设置副本数，副本无需分散在不同节点中（副本数不超过节点数量），但最好分散到不同节点中。副本的作用是
葵恩·2023-08-10 06:28

SpringBoot + Flume + Hadoop搭建日志采集系统(通过Flume输送springboot项目日志到Hdfs文件存储服务器）

LogBack+Flume收集日志到Hdfs文件存储服务器的环境搭建主要软件版本配置说明：SpringBoot-2.1.4（windows10IDEADeBug模式运行）Flume-1.9.0（部署在hadoop
1-只小猴子·2020-09-13 18:47

【大数据面经-Hadoop-1】详细分析hdfs读写流程阐述hadoop读写流程

目录读流程写流程在大数据面试过程中hadoop的namenode读写流程是经常会问到的问题读流程访问namenode，告知要访问的文件hdfs对client做身份信息验证，认证的方式有两种，一种是通过信任的客户端，由其指定用户名；第二种是通过诸如kerboers的强认证机制检查文件的所有者以及其设定的访问权限，如果文件存在，且该用户对其有访问权限此时namenode会告诉hdfs客户端这个文件的第
踩大侠·2020-08-24 14:30

Hadoop完全分布模式配置详解

本文实现完全分布式模式的安装，如下：硬件环境：三台电脑hadoop-1:172.20.213.2
竹林风·2020-08-19 09:31

Oozie 4.3.0 更新日志

Oozie4.3.0更新日志OOZIE-2613hive版本从0.13.1升级到1.2.0OOZIE-2676构建oozie时默认profile从hadoop-1变为hadoop-2OOZIE-1978
情谊风月·2020-07-28 21:54

esxi6.7中手动克隆虚拟机的方法

本文示例在esxi中克隆虚拟机hadoop-1（已存在）,克隆到hadoop-2。
DoubleBin·2020-06-28 16:17

hadoop的安装和配置

hadoop安装在ApacheHadoop主页的下载页面https://hadoop.apache.org/releases.html选择版本进行下载：下载下来的是压缩包：将压缩包使用Xftp上传hadoop
Dcl_Snow·2019-05-07 14:00

SSH设置免密登录

这里的话，我们假设我们有三台Linux设备要实现SSH免密登录，分别是主节点hadoop-1和两个子节点hadoop-2、hadoop-3。
depers·2018-05-06 11:16

[Nutch]Hadoop单机伪分布模式的配置

hadoop在workspace目录使用如下命令下载hadoop1.2.1：wgethttp://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop
Kandy_Ye·2016-05-22 10:00

通过wordCount实战详解Spark RDD创建 -- （视频笔记）

依赖关系图，有向图，无环图）shuffledRDD为宽依赖 在sparkshell的页面上查看具体的job执行情况我们实际操作save 》》》valcache=sc.textFile("hdfs://hadoop
逸新·2015-12-29 15:00

RDD 中action的saveAsTextFile和saveAsObjectFile详解 -- （视频笔记）

sc.textFile("hdfs://hadoop-1:9000/data/test/test.dat").flatMap(_.split("")).map(word=>(word,1)).reduceByKey
逸新·2015-12-29 14:00

动手实战创建RDD的三种方式--（视频笔记）

scala集合（数组，range） valcollection=sc.parallelize(1to10000)2、在hdfs或者hbasevalhdfsData=sc.textFile("hdfs://hadoop
逸新·2015-12-28 19:00

安装spark笔记

centOS  准备三台机器hadoop-1,hadoop-2,hadoop-3提前安装好jdk，python,hostname,ssh 安装scala下载 scalarpm包在/home/${user
逸新·2015-12-22 19:00

【hadoop-1.0】：启动hadoop时，log中出现：java.io.IOException: NameNode is not formatted.

/start-all.sh    starting namenode, logging to /home/ubuntu/hadoop
MrLee23·2014-01-27 03:00

windows配置hadoop-1的伪分布式环境(续)

但是，当我重装系统，再次按照前面一篇文章(http://winseclone.iteye.com/blog/1734737 )安装cygwin和hadoop-1时，发现伪分布式环境使用mapred时，总是报错
winseclone·2013-03-24 01:00

hadoop配置手册

环境：Hadoop-1：10.10.30.1（namehost：ip）Hadoop-2:10.10.30.2（namehost：ip）部署步骤（JDK安装不在描述）1，在每一台服务器上添加hosts记录
·2012-05-14 20:00

hadoop配置手册

环境： Hadoop-1 ： 10.10.30.1  （ namehost ： ip ） Hadoop-2:  10.10.30.2   （ namehost
talktoto·2012-05-14 20:00

HadHoop分布式框架配置(二)

hadoop-1: 192.168.60.41 hadoop-2: 192.168.60.42 没装图形界面， 只能通过 ssh 连入。
xiangxingchina·2011-03-16 21:00

HadHoop分布式框架配置(二)

hadoop-1: 192.168.60.41 hadoop-2: 192.168.60.42 没装图形界面，只能通过 ssh 连入。
baobeituping·2008-12-02 16:00
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他