hadoop2

浅析Hadoop完全分布式集群搭建问题

目录一、Hadoop是什么二、Hadoop组成1、Hadoop1.x2、Hadoop2.x三、Hadoop集群搭建所需工具（链接如下，自行下载）四、Hadoop集群配置前期准备五、Hadoop运行环境搭建六
·2021-11-30 17:18

Linux下Hadoop 2.7.3 安装搭建过程

LinuxHadoop2.7.3安装搭建Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。
·2021-11-30 14:37

Linux下Hbase安装配置教程

(可选)配置hbase-site.xml5.启动HbasePhoenix安装和配置1.Hbase安装包下载2.安装3.配置4.运行Linux下Hbase安装配置首先要安装HadoopLinuxHadoop2.7.3
·2021-11-30 14:36

Hadoop 入门笔记—核心组件 YARN

作者：幻好来源：恒生LIGHT云社区基本概述ApacheYARN(YetAnotherResourceNegotiator)是Hadoop中的资源管理和作业调度系统，在Hadoop2.x时才被引入。
·2021-11-22 09:35

hadoop安装及配置【三台】

1.下载需要的hadoop版本--->单击这里下载hadoop2.上传hadoop-2.7.5到master机器节点的目录~/bigdata下(可以用FileZilla等ftp工具上传)需要预先在master
destinyLee·2021-11-17 08:28

Spark的安装及其配置

1.Spark下载https://archive.apache.org/dist/spark/2.上传解压，配置环境变量配置bin目录解压：tar-zxvfspark-2.4.5-bin-hadoop2.7
lmandcc·2021-11-08 21:00

Hadoop：为什么集群默认块大小是128MB

128MB，突然联想到在HDFS中的块大小也是128MBblock块大小的设置:HDFS中的文件在物理上是分块存储（Block），块的大小可以通过配置参数(dfs.blocksize)来规定，默认大小在Hadoop2
小赵呢·2021-10-30 16:48

Hadoop生产调优手册

128*1024*1024*1024/150Byte≈9.1亿GMBKBByte2）Hadoop2.x系列，配置NameNode内存NameNode内存默认2000m，如果服务器内存4G，NameNode
song_quan_·2021-10-27 11:15

【大数据】☀️搞定Hadoop集群☀️概述&环境配置

目录一、什么是Hadoop框架：二、Hadoop三大发行版：1.ApacheHadoop2.ClouderaHadoop3.HortonworksHadoop三、Hadoop的优势：四、Hadoop组成
故里º·2021-10-24 09:00

【填坑之旅-hadoop】centos7安装hadoop2.10.1 hive 1.2.2 / hdfs 文件上传写入流程 / MapReduce Yarn 流程/zookeeper/hive

hadoop的基本概念伪分布式hadoop集群安装hdfsmapreduce演示第二天hdfs的原理和使用操作、编程第三天mapreduce的原理和编程第四天常见mr算法实现和shuffle的机制第五天hadoop2
alwarse·2021-10-22 11:24

搭建Hadoop2.7.2和Hive2.3.3以及Spark3.1.2

Hadoop简介Hadoop是一个用Java编写的Apache开源框架，允许使用简单的编程模型跨计算机集群分布式处理大型数据集。Hadoop框架工作的应用程序在跨计算机集群提供分布式存储和计算的环境中工作。Hadoop旨在从单个服务器扩展到数千个机器，每个都提供本地计算和存储。Hive简介ApacheHive是一个构建于Hadoop顶层的数据仓库，可以将结构化的数据文件映射为一张数据库表，并提供简
·2021-10-20 10:42

基于Centos7的Hadoop2.7应用一

一：JDK1.8的安装(三台主机都执行)1：下载好jdk1.8的安装包，并解压到到一个目录（本人命名为/opt/module/）2：切换root用户，在/ect/profile.d/下面创建一个xxx.sh文件（本人设定为my_env.ssh）,该文件可以用于存放自己配置的环境变量3：切记，最后一定要执行source/etc/profile命令二：Hadoop的安装说明：主机如下hadoop112
天才少年137·2021-10-11 12:32

详细讲解HDFS的高可用机制

目录互斥机制写流程读流程恢复流程在Hadoop2.X之前，Namenode是HDFS集群中可能发生单点故障的节点，每个HDFS集群只有一个namenode，一旦这个节点不可用，则整个HDFS集群将处于不可用状态
·2021-08-23 18:58

带你了解HDFS的Namenode 高可用机制

目录HDFSNameNode高可用HadoopNamenode高可用架构Namenode高可用的实现隔离（Fencing）QJM共享存储HDFSNameNode高可用在Hadoop2.0.0之前，一个集群只有一个
·2021-08-23 16:46

HBase集群环境搭建v2.0

本文档环境基于ubuntu16.04版本，如果最终不使用SuperMap产品，可以不配置geomesa-hbase_2.11-2.2.0-bin.tar.gz相比1.0版本，升级hadoop2.7.3版本
非法小恋·2021-08-10 11:11

Spark集群搭建

版本选择三大主要版本：Spark-0.XSpark-1.X（主要Spark-1.3和Spark-1.6）Spark-2.X（最新Spark-2.4.6）本次选择的版本：spark-2.4.5-bin-hadoop2.7
顾子豪·2021-08-02 23:50

Spark - 分布式高可用集群安装

准备工作下载地址官网下载页面有个Sparkreleasearchives，点击可以查看历史版本我这里选择的是spark-2.4.5，由于我Hadoop选择的是2.7.7版本，所以下载的是spark-2.4.5-bin-hadoop2.7
·2021-07-27 19:01

IDEA 运行 WordCount 程序

环境说明Windows10IDEA2020.2.2CentOS7.6Hadoop2.9.2Maven3.6.3JDK1.82.IDEA准备Hadoop环境安装插件JetBrains提供了连接Hadoop
·2021-07-27 19:13

Spark安装,伪分布式环境的搭建与样例程序的测试

的安装包上传到服务器,解压,配置环境安装包地址:链接：https://pan.baidu.com/s/1IyGq3uYU2Yyp5KEfhaHKbw提取码：6zt9解压:tar-zxcfspark-2.1.0-bin-hadoop2.7
初之寒夏_末之凉秋·2021-06-27 20:46

Spark安装及Spark Python Api第一个WordCountApp应用

Hadoop和Spark，首先是安装Spark，我们去Spark官网，点击Download，由于我的Ubuntu16.04没有装Hadoop平台，所以选择2.2.0，pre-builtforApacheHadoop2.7andlater
可是那然后呢·2021-06-26 12:28

Mac编译Hadoop源码

版本声明源码：ApacheHadoop2.6.0系统：m
猴子007·2021-06-25 13:24

hbase的javaapi

pom.xml里添加依赖添加依赖org.apache.hbasehbase-server0.98.6-hadoop2org.apache.hbasehbase-client0.98.6-hadoop2复制
一花一叶异世界·2021-06-25 06:33

【hadoop-部署】Hadoop2.x HA集群搭建

一、安装环境准备操作系统：centos7三台主机hdc-data4：192.168.163.54hdc-data5：192.168.163.55hdc-data6：192.168.163.56【安装环境准备每台集群机器一样的操作，或者使用scp远程拷贝】0、创建新的虚拟机【可选】根据安装向导创建一台虚拟机主机(其他主机使用克隆)。然后配置静态ip和主机名。重启网络服务。step1:配置IPvi/e
粮忆雨·2021-06-24 20:19

oozie 5.1.0编译安装

3、安装hadoop2.7.6过程略。
Bryan03·2021-06-24 06:16

hadoop运行java程序(jar包)并运行时动态指定参数

1）首先启动hadoop2个进程，进入hadoop/sbin目录下，依次启动如下命令[root@node02sbin]#pwd/usr/server/hadoop/hadoop-2.7.0/sbinshstart-dfs.shshstart-yarn.shjps2
·2021-06-23 18:13

玩儿数据 - Hadoop集群环境搭建

Hadoop安装部署指南author:yupengupdate_date:2017-04-1708:40:04version:1.0软件级分布式框架1.系统环境要求本安装说明针对Hadoop2.x.y版本有效
怒放的葱花·2021-06-23 12:15

Hadoop2.8.5伪分布运行wordcount

/start-all.shjps查看Java进程如下Jps进程查看注意，确实某个Java进程很可能运行失败，查一下自己Hadoop配的是否正确可以参照我的Hadoop2.8.5伪分布安装步骤创建file
菠菜本菠·2021-06-23 09:08

Hadoop - YARN

YARN-资源管理Hadoop-MapReduceHadoop-HDFS导读一.Hadoop1.x介绍二.Hadoop2.x介绍-重点三.yarn的产生四.YARN各个组件的作用五.YARN的工作原理六
smart_Xu·2021-06-23 07:26

Hadoop2.8.5伪分布安装步骤

Hadoop伪分布安装步骤安装的是2.8.5release版本，略微涉及到了原理，不适合完全Linux小白。（假设已经安装了Java环境，否则的话先安装Java，且已经配置了SSH免密，如果没做的话可以搜一下别的教程）在命令行中进入Downloads目录，再用wget下载hadoop-2.8.5.tar.gzcd~/Downloadswgethttp://mirrors.hust.edu.cn/a
菠菜本菠·2021-06-23 03:50

windows环境下使用开发工具进行远程连接测试HDFS，报could not locate executable null\bin\winutils.exe in hadoop binaries，

这个原因是因为：这是本地没有安装hadoop调试环境工具（1）下载工具hadoop2.2版本可以在这里下载https://github.com/srccodes/hadoop-common-2.2.0-
PunkP·2021-06-22 05:01

cdh6.3.2安装部署

--------|--------|-----------|-----|-----||hadoop1|172.31.66.128172.31.182.223||parcel|6.3.1|6.3.2||hadoop2
爱学习的ren·2021-06-22 00:33

hadoop-2.7.3源码编译

前置及环境准备下载hadoop2.7.3源码:https://archive.apache.org/dist/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz
Kigo·2021-06-21 18:04

Yarn

5.1Hadoop1.x和Hadoop2.x架构区别在Hadoop1.x时代，Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度，耦合性较大。在Hadoop2.x时代，增加了Yarn。
码农GG·2021-06-21 12:15

hadoop(十六)—zookerper

在hadoop2.0中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。ActiveNameNode对外提供服务，而StandbyNameN
文子轩·2021-06-20 01:08

【hive-整合】hbase添加phoenix jar导致hive启动异常分析

软件环境：hbase1.1.1hive2.2.3hadoop2.7.2硬件环境：centos7问题描述：HBASE添加phoenix支持需要在hbase的lib目录添加phoenix的jar。
粮忆雨·2021-06-19 17:01

Ant 编译Hadoop-eclipse-plugin插件

前期配置1.jdk环境配置2.ant环境配置ANT_HOMEANT_HOME.pngPathPath.png3.下载https://github.com/winghc/hadoop2x-eclipse-plugin
2010jing·2021-06-19 14:52

Flink集群安装

1）下载安装包2）上传安装包到/root下3）解压cd/roottar-zxvfflink-1.6.2-bin-hadoop28-scala_2.11.tgz-Chd4）修改配置文件viflink-conf.yaml
一个人一匹马·2021-06-19 09:54

HBase基础概述

安装下载cdh版本的http://archive.cloudera.com/cdh5/cdh/5/hadoop安装的Hadoop2.6.0-cdh5.7.0,因此hbase安装的也需要是cdh5.7.0
_羊羽_·2021-06-19 02:56

IDEA 运行 WordCount 程序

环境说明Windows10IDEA2020.2.2CentOS7.6Hadoop2.9.2Maven3.6.3JDK1.82.IDEA准备Hadoop环境安装插件JetBrains提供了连接Hadoop
·2021-06-18 21:11

Hadoop的高可用（HA）

Hadoop2.x：HDFS的NameNode和YARN的ResourceManger的单点问题可以解决。
小小少年Boy·2021-06-18 21:24

hive测试&&生产环境搭建

测试环境搭建安装https://hive.apache.org/downloads.html因为需要使用PhoenixStorageHandler,所以选择支持hadoop2.x.y的1.2+版本,hive1.2.2
TTTing听·2021-06-15 00:38

Hadoop集群环境搭建

本文的思路是：以安装部署ApacheHadoop2.x版本为主线，来介绍Hadoop2.x的架构组成、各模块协同工作原理、技术细节。安装不是目的，通过安装认识Hadoop才是目
数据萌新·2021-06-14 02:22

win10 spark+scala+eclipse+sbt 安装配置

jdk1.8以上,建议全部的安装路径不要有空格2、安装spark2.1下载下载地址：http://spark.apache.org/downloads.html，我下载的是spark-2.2.1-bin-hadoop2.7
董可伦·2021-06-14 00:21

yarn资源优化

yarn概念yarn是hadoop2.X分离出的资源调度平台，将任务的资源分配单独抽离，以适应在此平台上的其他类型任务的扩展。
丁钰铭·2021-06-13 13:54

【Mac大数据开发】第七篇-HDFS的开发环境和JavaAPI

1.开发环境配置添加Hadoop环境变量#hadoop安装目录exportHADOOP_HOME="/opt/hadoop2.8.4"#配置PATHexportPATH=$PATH:$HADOOP_HOME
irving_yuan·2021-06-10 18:56

Hadoop2.6+Zookper3.4+Hbase1.0部署安装

继hadoop完全分布式安装后，再结合zookper+hbase安全。在之前环境配置下继续进行。一、zookper安装1.1下载并解压软件cd/softwarewget-chttp://apache.fayea.com/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gztar-zxfzookeeper-3.4.10.tar.gz-C/usr/loc
kaliarch·2021-06-09 15:42

presto操作kafka和hive，mysql

注意如下事项：connectors.to.add：{'hive':['connector.name=hive-hadoop2','hive.metastore.uri=thrift://knowyou-hdp
会飞的蜗牛66666·2021-06-08 20:40

Hbase跨集群数据迁移-快照方式

说明：原集群为散装集群，hbase版本为1.1.1，hadoop2.7.2；目标集群通过CDH5搭建，hbase版本为1.2.0，hadoop2.6.0。
粮忆雨·2021-06-08 04:33

hadoop日志

2.Hadoop2.x版本Hadoop2.x中YARN系统的服务日志包括ResourceManager日志和各个NodeManager日志，他们的日志位置如下：ResourceManager日志存放位置是
sleepySnail·2021-06-07 19:41

ubuntu16.04 给hadoop2.7.7 配置yarn

1.安装hadoop2.配置yarncd/usr/share/hadoop/hadoop-2.7.7/etc/hadoop配置yarn-site.xmlsudovimyarn-site.xmlyarn.nodemanager.aux-servicesmapreduce_shuffleyarn.nodemanager.aux-services.mapreduce.shuffle.classorg.a
WJXZ·2021-06-07 12:19
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他