hadoop2

Hadoop2.4.0-Hbase-098.9-完全分布式安装部署

1准备环境1.1所需软件包a、CentOS-6.5-i386-LiveDVD.iso32位centos系统b、jdk-7u71-linux-i586.rpm32位jdk-Linuxrpm文件c、hadoop-2.2.0.tar.gzhadoop安装包d、zookeeper-3.4.6.tar.gzzookeeper安装包1.2运行环境a、VMware9.0及以上版本虚拟机工具b、创建三个虚拟机节点
skynumone·2023-11-26 19:19

大数据集群高可用组建搭建部署

大数据集群高可用安装部署包有：redis-3.2.10.tar.gzspark-2.2.0-bin-hadoop2.7.tgzhbase-1.2.1-bin.tar.gzhadoop-2.8.1.tar.gzapache-hive
Big-Hadoop·2023-11-26 19:18

HBase+ZooKeeper+Hadoop2.6.0的ResourceManager HA集群高可用配置

问题导读：0、了解常规JDK安装以及Linux系统配置1、了解集群规划以及集群场景2、熟悉HBase的集群搭建3、熟悉ZooKeeper集群搭建4、熟悉Hadoop2.6.0版本HA集群搭建5、验证HBase
jerry_jiang2017·2023-11-26 19:42

1.5.1.2 Spark的部署与安装

安装Spark安装前准备：jdk8，hadoop2.
寒暄_HX·2023-11-26 13:16

基于centos7的hadoop2.7、zookeeper3.5、hbase1.3、spark2.3、scala2.11、kafka2.11、hive3.1、flume1.8、sqoop1.4组件部署

部署前准备修改主机名1、修改主机名（6台机器都要操作,以Master为举例）hostnamectlset-hostnameMaster（永久修改主机名）reboot（重启系统）修改hosts将第一行127.0.0.1xxxx注释掉，加上：195.168.2.127master195.168.2.128slave1195.168.2.129slave2确认网卡信息vi/etc/sysconfig/n
luoz_python·2023-11-25 19:42

问题org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Ljava/lang/String；I)V的解决方案

前提条件：Hadoop集群（hadoop2.7.3）Java编译环境（jdk1.8）操作系统：win7IDE：eclipsehadoop插件下载附件链接：https
一朝风月S·2023-11-25 14:55

Hadoop完全分布式安装（Centos7+Hadoop2.5.0）

Hadoop部署模式Hadoop部署模式有：本地模式、伪分布模式、完全分布式模式、HA完全分布式模式。区分的依据是NameNode、DataNode、ResourceManager、NodeManager等模块运行在几个JVM进程、几个机器。模式名称各个模块占用的JVM进程数各个模块运行在几个机器数上本地模式1个1个伪分布式模式N个1个完全分布式模式N个N个HA完全分布式N个N个本地模式介绍本地模
fang·up·ad·2023-11-25 09:43

HDFS客户端上传下载文件流程

1.3客户端根据配置（dfs.blocksize-块大少、hadoop2.x默认为128M）将文件切成N个block。
_Kafka_·2023-11-25 05:51

搜狗日志查询分析 (MapReduce+Hive+idea综合实验）

前提条件：安装好hadoop2.7.3（Linux系统下）安装好MySQL（Windows或Linux系统下）安装好Hive（Linux系统下）参考：Hive安装配置题目：从搜狗实验室下载搜索数据进行分析下载的数据包含
CrazyHacking望·2023-11-25 04:41

hadoop2.x linux集群部署

hadoop2.x集群部署下载hadoop需要提前准备好jdk1.8和rsync和ssl集群信息解压安装配置环境变量配置site配置文件(/hadoop/etc/hadoop目录下)core-site.xmlhdfs-site.xmlyarn-site.xmlmapred-site.xmlhadoop-env.sh
何浩翔·2023-11-24 18:21

Centos 7下分布式Hadoop2.7.7+Hive2.3.7安装教程

一、基本配置集群包括角色名称简称masterinspur5212m4.it.163.org以下简称m4slaveinspur5212m5.it.163.org以下简称m4slavelenovosr630.it.163.org以下简称sr二、JDK和SSH的配置修改三台机器的/etc/hostssudovim/etc/hosts添加内容：10.220.16.161inspur5212m5.it.16
XH_zhao·2023-11-24 08:45

【Hadoop】安装部署-完全分布式搭建

文章目录前言一、部署需要的软件二、Hadoop配置环境1.配置网络环境关闭防火墙2.安装jdk和hadoop2.1配置jdk环境变量2.2配置Hadoop环境变量三、准备三台虚拟机1.修改主机名与IP映射
db_lmr_2071·2023-11-23 22:05

hadoop搭建全分布式集群-虚拟机

ubuntu16.0464位ip:172.16.29.11slave1：ubuntu16.0464位ip:172.16.29.12slave1：ubuntu16.0464位ip:172.16.29.13jdk9.0.4hadoop2.8.1
皓阳当空·2023-11-23 14:46

Windows安装Hadoop运行环境

1、下载Hadoop2、解压Hadooptarzxvfhadoop-3.1.1.tar.gz3、设置Hadoop环境变量3.1.1、系统环境变量#HADOOP_HOME=D:\software\hadoop
docsz·2023-11-23 13:37

VMware导入ova/ovf虚拟机文件

这个ova文件是基于UbuntuKylin安装了hadoop，spark等，系统包含hadoop和root用户用户：hadoop密码：hadoop超级用户：root密码：root注意（别删除这几个文件）hadoop2.7.7
坤坤不爱吃鱼·2023-11-23 05:33

通过NFS将HDFS映射到本地文件系统

上的文件，可以用javaapi或者hadoopshell等工具，如果想操作hdfs文件系统就像操作本地文件系统一样的便捷，可以将hdfs文件系统挂载到本地的一个目录上，可以通过nfs挂载--apachehadoop2
鹅鹅鹅_·2023-11-23 03:06

Hadoop学习笔记

在Hadoop2.x时代，增加了Yarn。Yarn只负责资源的调度，MapReduce只负责运算Hadoop3.x在组成上没有变化。1.2HDFS架构概述HDF
怕被各位卷死·2023-11-23 03:16

Hadoop常见端口号及配置文件

1Hadoop2.x版本端口号1.1访问HDFS端口号：500701.2NN内部通信端口：90001.3访问MR执行任务情况端口：80881.4Yarn内部通信端口：80321.5访问历史服务器端口：198881.6
曹称象·2023-11-22 09:10

Hadoop常用端口号及配置文件

端口号Hadoop3.xHDFSNameNode内部通常端口号：8020/9000/9820HDFSNameNode对用户的查询端口：9870Yarn查看任务的运行情况：8088历史服务器：90080Hadoop2
LydiaaLi·2023-11-22 09:09

hadoop常用端口号与配置文件

常用端口号hadoop3.xHDFSNameNode内部通常端口：8020/9000/9820HDFSNameNode对用户的查询端口：9870Yarn查看任务运行情况：8088历史服务器：19888hadoop2
UserOrz·2023-11-22 09:39

Hadoop 3.X 和 2.X 的常用端口号和配置文件

XHDFSNameNode内部通信端口：8020/9000/9820HDFSNameNodeHTTPUI：9870HDFSDataNodeHTTPUI：9864Yarn查看任务执行端口：8088历史服务器通信端口：19888Hadoop2
hmyqwe·2023-11-22 09:38

hadoop——常用端口号——常用的配置文件,3.x与2.x区别

常用端口号hadoop3.xHDFSNameNode内部通常端口：8020/9000/9820HDFSNameNode对用户的查询端口：9870Yarn查看任务运行情况：8088历史服务器：19888hadoop2
小魏___·2023-11-22 09:37

hadoop常用端口号/常用配置文件

常用端口号hadoop3.xHDFSNameNode内部通常端口：8020/9000/9820HDFSNameNode对用户的查询端口：9870yarn查看任务允许情况的:8088历史服务器：19888hadoop2
asd623444055·2023-11-22 09:06

Hadoop学习-常用端口和配置文件

常用端口号hadoop3.xHDFSNameNode内部通常端口：8020/9000/9820HDFSNameNode对用户的查询端口：9870Yarn查看任务运行情况：8088历史服务器：19888hadoop2
HaveAGoodDay.·2023-11-22 09:34

hadoop 常用端口号，常用配置文件都有哪些？hadoop3.x端口号 hadoop(十二)

系列常用端口号：类型desc端口hdfsNameNode内部通常端口号8020/9000/9820hdfsNameNode对用户的查询端口9870yarn查看历史任务运行情况8088历史服务器198882.hadoop2
不努力就种地~·2023-11-22 09:34

【生产级实践】Docker部署配置Hadoop3.x + HBase2.x实现真正分布式集群环境

一、安装DockerHadoop3.X分布式集群1、机器环境这里采用三台机器来部署分布式集群环境：192.168.1.101hadoop1（docker管理节点）192.168.1.102hadoop2192.168.1.103hadoop32
麦神-mirson·2023-11-22 04:56

hadoop 配置历史服务器 开启历史服务器查看 hadoop (十)

1.配置了三台服务器，hadoop22,hadoop23,hadoop242.hadoop文件路径:/opt/module/hadoop-3.3.43.hadoop22机器配置历史服务器的配置文件：文件路径
不努力就种地~·2023-11-21 11:43

hadoop 日志聚集功能配置 hadoop(十一)

图更加直观1.首先需要配置历史服务器配置，才可以配置日志聚集功能：hadoop配置历史服务器开启历史服务器查看hadoop(十)-CSDN博客2.配置了三台服务器，hadoop22,hadoop23,hadoop243
不努力就种地~·2023-11-21 11:43

hadoop 编写开启关闭集群脚本， hadoop hdfs，yarn开启关闭脚本。傻瓜式hadoop脚本 hadoop(九)

1.三台机器：hadoop22,hadoop23,hadoop242.hdfs在22机器启动，yarn在hadoop23机器3.脚本需要hadoop用户启动才可以4.脚本必须在hadoop22机器运行。
不努力就种地~·2023-11-21 11:30

win10下编译Apache版本hadoop2.10.0，附资源

今天是三月尾巴了，然后博文还没打卡，今天临时编译了一下hadoop在window上的环境包，至于版本就不要纠结了，比如问为啥不用hadoop2.6或者hadoop3版本而用2.10.0版本。
辅猪之王·2023-11-20 23:19

大数据组件spark hadoop hive简单介绍

spark单机启动spark-shell集群启动/usr/local/spark-2.4.5-bin-hadoop2.7/sbin/start-all.sh提交任务1.打包python环境:whereispython
转身之后才不会·2023-11-19 23:29

CentOS6.5下安装Hive2.0.0详解及其报错解决办法

CentOS6.564位Hive版本：2.0.0JDK版本：1.8.064位Hadoop版本：2.6.21.所需要的环境Hive2.0需要以下运行环境：Java1.7以上（强烈建议使用Java1.8）Hadoop2
fire-ang·2023-11-19 00:45

使用Jupyter Notebook调试PySpark程序错误总结

项目场景：在Ubuntu16.04hadoop2.6.0spark2.3.1环境下简单调试一个PySpark程序，中间遇到的错误总结（发现版对应和基础配置很重要）注意：在前提安装配置好hadoophiveanacondajupyternotebooksparkzookeeper
Keep Doing this·2023-11-18 23:52

大数据之hadoop-hdfs伪分布式环境搭建（详细步骤真实可用）

目录版本1，基础设施2，Hadoop的配置（应用的搭建过程）3，启动4，简单使用5，上传自定义块的大小版本centos7+jdk1.8+hadoop2.6.51，基础设施设置网络：vi/etc/sysconfig
shw12357·2023-11-17 03:56

阿里云服务器搭建hadoop（单机）

前期准备（centOS7的安装环境）一、下载jdk1.8和hadoop（在windows下载）1、下载jdk1.8下载地址：JavaArchiveDownloads-JavaSE82、下载hadoop2.10.2
@小胖~·2023-11-16 21:45

hadoop源码中关于元数据“分段加锁+双缓冲方案”源码demo

Hadoop2.3.0*kafkaZookeeper**/publicclassFSEditLog{privatelongtxid=0L;privateDoubleBuffereditLogBuffer
weixin_44864919·2023-11-16 20:12

Hadoop的概述

：GFS(GoogleFileSystem)、Mapreduce（计算引擎）、Bigtable，随着时间的推移：hadoop1.0与2.0的区别是在2.0的版本中出现了yarn，主要是负责资源的调度,hadoop2.0
新手小农·2023-11-16 08:46

hadoop学习10

128*1024*1024*1024/150Byte≈9.1亿GMBKBByte(2)Hadoop2.x系列,配置NameNode内存NameNode内存默认2000m，如果服务器内存4G，NameNode
StopM·2023-11-15 20:12

HADOOP学习_grep和wordcount的例子

/bin/hdfsdfs-mkdir-p/user/hadoop22/05/0215:43:54WARNutil.NativeCodeLoader:Unabletoload
kkkAloha·2023-11-14 23:16

hadoop 大数据集群环境配置 配置hadoop配置文件 hadoop(七)

（没有用hadoop102,103,104,我改为了hadoop22，hadoop23，hadoop24）2.配置22机器core-site.xmlcd$HADOOP_HOME/
不努力就种地~·2023-11-14 21:42

hadoop 如何关闭集群 hadoop使用脚本关闭集群 hadoop(八)

1.hadoop22,hadoop23,hadoop24三台机器2.namenode所在hadoop22关闭hdfs:#找到/etc/hadoop位置cd/opt/module/hadoop-3.3.4
不努力就种地~·2023-11-14 21:39

Spark读取excle、xlsx数据(Session读取)

读取xlsx版本：IntelliJIDEACommunityEdition2019.2.4apache-maven-3.6.2Spark2.0.2hadoop2.6_Win_x64-master话不多说
阿朱__·2023-11-14 18:51

hadoop 大数据环境配置 ssh免密登录 centos配置免密登录 hadoop(四)

1.找到.ssh文件夹cd~2.生成私钥公钥命令：ssh-keygen-trsa3.发送到需要免密机器：#hadoop23是我做了配置。
不努力就种地~·2023-11-14 10:39

vmware 修改主机名称 hadoop 服务器环境配置(一)

追加映射关系：#关系ip地址名称192.168.164.20hadoop202.保存后，重启reboot即可
不努力就种地~·2023-11-13 16:45

大数据实践（四）MapReduce编程实践（Ubuntu)

大数据实验（四）MapReduce编程实践（Ubuntu)前置工具及环境Ubuntu16.4VirtualBoxHadoop2.7.3jdk1.8一、MapReduce简介MapReduce是Hadoop
cgl_dong·2023-11-13 03:22

Flink部署--入门

Flink安装部署standalone模式在/opt/module/Flink目录下上传flink-1.7.0-bin-hadoop27-scala_2.11.tgz压缩包并解压[root@node01Flink
hykDatabases·2023-11-12 22:32

hive和spark-sql中 日期和时间相关函数 测试对比

测试版本：hive2.3.4spark3.1.1hadoop2.7.71、增加月份add_months(timestampdate,intmonths)add_months(timestampdate,
Data_IT_Farmer·2023-11-12 21:26

【大数据分布并行处理】单元测试（二）

A.MapReduceB.GraphXC.HiveD.Streams正确答案：B每种大数据产品都有特定的应用场景，以下哪个产品是用于查询分析计算的：A.MapReduceB.StormC.GraphXD.Dremel正确答案：D以下对Hadoop的说法错误的是：A.Hadoop2.0
Want595·2023-11-12 10:37

spark python_python spark环境配置

放在D盘添加SPARK_HOME=D:\spark-2.3.0-bin-hadoop2.7。并将%SPARK_HOME%/bin添加至环境变量PATH。然后进入命令行，输入pyspark命令。
weixin_39979948·2023-11-11 20:17

Hadoop实战（6）_搭建Apache Hadoop的Eclipse开发环境

系列目录：Hadoop实战（1）_阿里云搭建Hadoop2.x的伪分布式环境Hadoop实战（2）_虚拟机搭建Hadoop的全分布模式Hadoop实战（3）_虚拟机搭建CDH的全分布模式Hadoop实战
padluo·2023-11-10 20:22
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他