Hadoop2

带你了解HDFS的Namenode 高可用机制

目录HDFSNameNode高可用HadoopNamenode高可用架构Namenode高可用的实现隔离（Fencing）QJM共享存储HDFSNameNode高可用在Hadoop2.0.0之前，一个集群只有一个
·2021-08-23 16:46

HBase集群环境搭建v2.0

本文档环境基于ubuntu16.04版本，如果最终不使用SuperMap产品，可以不配置geomesa-hbase_2.11-2.2.0-bin.tar.gz相比1.0版本，升级hadoop2.7.3版本
非法小恋·2021-08-10 11:11

Spark集群搭建

版本选择三大主要版本：Spark-0.XSpark-1.X（主要Spark-1.3和Spark-1.6）Spark-2.X（最新Spark-2.4.6）本次选择的版本：spark-2.4.5-bin-hadoop2.7
顾子豪·2021-08-02 23:50

Spark - 分布式高可用集群安装

准备工作下载地址官网下载页面有个Sparkreleasearchives，点击可以查看历史版本我这里选择的是spark-2.4.5，由于我Hadoop选择的是2.7.7版本，所以下载的是spark-2.4.5-bin-hadoop2.7
·2021-07-27 19:01

IDEA 运行 WordCount 程序

环境说明Windows10IDEA2020.2.2CentOS7.6Hadoop2.9.2Maven3.6.3JDK1.82.IDEA准备Hadoop环境安装插件JetBrains提供了连接Hadoop
·2021-07-27 19:13

Spark安装,伪分布式环境的搭建与样例程序的测试

的安装包上传到服务器,解压,配置环境安装包地址:链接：https://pan.baidu.com/s/1IyGq3uYU2Yyp5KEfhaHKbw提取码：6zt9解压:tar-zxcfspark-2.1.0-bin-hadoop2.7
初之寒夏_末之凉秋·2021-06-27 20:46

Spark安装及Spark Python Api第一个WordCountApp应用

Hadoop和Spark，首先是安装Spark，我们去Spark官网，点击Download，由于我的Ubuntu16.04没有装Hadoop平台，所以选择2.2.0，pre-builtforApacheHadoop2.7andlater
可是那然后呢·2021-06-26 12:28

Mac编译Hadoop源码

版本声明源码：ApacheHadoop2.6.0系统：m
猴子007·2021-06-25 13:24

hbase的javaapi

pom.xml里添加依赖添加依赖org.apache.hbasehbase-server0.98.6-hadoop2org.apache.hbasehbase-client0.98.6-hadoop2复制
一花一叶异世界·2021-06-25 06:33

【hadoop-部署】Hadoop2.x HA集群搭建

一、安装环境准备操作系统：centos7三台主机hdc-data4：192.168.163.54hdc-data5：192.168.163.55hdc-data6：192.168.163.56【安装环境准备每台集群机器一样的操作，或者使用scp远程拷贝】0、创建新的虚拟机【可选】根据安装向导创建一台虚拟机主机(其他主机使用克隆)。然后配置静态ip和主机名。重启网络服务。step1:配置IPvi/e
粮忆雨·2021-06-24 20:19

oozie 5.1.0编译安装

3、安装hadoop2.7.6过程略。
Bryan03·2021-06-24 06:16

hadoop运行java程序(jar包)并运行时动态指定参数

1）首先启动hadoop2个进程，进入hadoop/sbin目录下，依次启动如下命令[root@node02sbin]#pwd/usr/server/hadoop/hadoop-2.7.0/sbinshstart-dfs.shshstart-yarn.shjps2
·2021-06-23 18:13

玩儿数据 - Hadoop集群环境搭建

Hadoop安装部署指南author:yupengupdate_date:2017-04-1708:40:04version:1.0软件级分布式框架1.系统环境要求本安装说明针对Hadoop2.x.y版本有效
怒放的葱花·2021-06-23 12:15

Hadoop2.8.5伪分布运行wordcount

/start-all.shjps查看Java进程如下Jps进程查看注意，确实某个Java进程很可能运行失败，查一下自己Hadoop配的是否正确可以参照我的Hadoop2.8.5伪分布安装步骤创建file
菠菜本菠·2021-06-23 09:08

Hadoop - YARN

YARN-资源管理Hadoop-MapReduceHadoop-HDFS导读一.Hadoop1.x介绍二.Hadoop2.x介绍-重点三.yarn的产生四.YARN各个组件的作用五.YARN的工作原理六
smart_Xu·2021-06-23 07:26

Hadoop2.8.5伪分布安装步骤

Hadoop伪分布安装步骤安装的是2.8.5release版本，略微涉及到了原理，不适合完全Linux小白。（假设已经安装了Java环境，否则的话先安装Java，且已经配置了SSH免密，如果没做的话可以搜一下别的教程）在命令行中进入Downloads目录，再用wget下载hadoop-2.8.5.tar.gzcd~/Downloadswgethttp://mirrors.hust.edu.cn/a
菠菜本菠·2021-06-23 03:50

windows环境下使用开发工具进行远程连接测试HDFS，报could not locate executable null\bin\winutils.exe in hadoop binaries，

这个原因是因为：这是本地没有安装hadoop调试环境工具（1）下载工具hadoop2.2版本可以在这里下载https://github.com/srccodes/hadoop-common-2.2.0-
PunkP·2021-06-22 05:01

cdh6.3.2安装部署

--------|--------|-----------|-----|-----||hadoop1|172.31.66.128172.31.182.223||parcel|6.3.1|6.3.2||hadoop2
爱学习的ren·2021-06-22 00:33

hadoop-2.7.3源码编译

前置及环境准备下载hadoop2.7.3源码:https://archive.apache.org/dist/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz
Kigo·2021-06-21 18:04

Yarn

5.1Hadoop1.x和Hadoop2.x架构区别在Hadoop1.x时代，Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度，耦合性较大。在Hadoop2.x时代，增加了Yarn。
码农GG·2021-06-21 12:15

hadoop(十六)—zookerper

在hadoop2.0中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。ActiveNameNode对外提供服务，而StandbyNameN
文子轩·2021-06-20 01:08

【hive-整合】hbase添加phoenix jar导致hive启动异常分析

软件环境：hbase1.1.1hive2.2.3hadoop2.7.2硬件环境：centos7问题描述：HBASE添加phoenix支持需要在hbase的lib目录添加phoenix的jar。
粮忆雨·2021-06-19 17:01

Ant 编译Hadoop-eclipse-plugin插件

前期配置1.jdk环境配置2.ant环境配置ANT_HOMEANT_HOME.pngPathPath.png3.下载https://github.com/winghc/hadoop2x-eclipse-plugin
2010jing·2021-06-19 14:52

Flink集群安装

1）下载安装包2）上传安装包到/root下3）解压cd/roottar-zxvfflink-1.6.2-bin-hadoop28-scala_2.11.tgz-Chd4）修改配置文件viflink-conf.yaml
一个人一匹马·2021-06-19 09:54

HBase基础概述

安装下载cdh版本的http://archive.cloudera.com/cdh5/cdh/5/hadoop安装的Hadoop2.6.0-cdh5.7.0,因此hbase安装的也需要是cdh5.7.0
_羊羽_·2021-06-19 02:56

IDEA 运行 WordCount 程序

环境说明Windows10IDEA2020.2.2CentOS7.6Hadoop2.9.2Maven3.6.3JDK1.82.IDEA准备Hadoop环境安装插件JetBrains提供了连接Hadoop
·2021-06-18 21:11

Hadoop的高可用（HA）

Hadoop2.x：HDFS的NameNode和YARN的ResourceManger的单点问题可以解决。
小小少年Boy·2021-06-18 21:24

hive测试&&生产环境搭建

测试环境搭建安装https://hive.apache.org/downloads.html因为需要使用PhoenixStorageHandler,所以选择支持hadoop2.x.y的1.2+版本,hive1.2.2
TTTing听·2021-06-15 00:38

Hadoop集群环境搭建

本文的思路是：以安装部署ApacheHadoop2.x版本为主线，来介绍Hadoop2.x的架构组成、各模块协同工作原理、技术细节。安装不是目的，通过安装认识Hadoop才是目
数据萌新·2021-06-14 02:22

win10 spark+scala+eclipse+sbt 安装配置

jdk1.8以上,建议全部的安装路径不要有空格2、安装spark2.1下载下载地址：http://spark.apache.org/downloads.html，我下载的是spark-2.2.1-bin-hadoop2.7
董可伦·2021-06-14 00:21

yarn资源优化

yarn概念yarn是hadoop2.X分离出的资源调度平台，将任务的资源分配单独抽离，以适应在此平台上的其他类型任务的扩展。
丁钰铭·2021-06-13 13:54

【Mac大数据开发】第七篇-HDFS的开发环境和JavaAPI

1.开发环境配置添加Hadoop环境变量#hadoop安装目录exportHADOOP_HOME="/opt/hadoop2.8.4"#配置PATHexportPATH=$PATH:$HADOOP_HOME
irving_yuan·2021-06-10 18:56

Hadoop2.6+Zookper3.4+Hbase1.0部署安装

继hadoop完全分布式安装后，再结合zookper+hbase安全。在之前环境配置下继续进行。一、zookper安装1.1下载并解压软件cd/softwarewget-chttp://apache.fayea.com/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gztar-zxfzookeeper-3.4.10.tar.gz-C/usr/loc
kaliarch·2021-06-09 15:42

presto操作kafka和hive，mysql

注意如下事项：connectors.to.add：{'hive':['connector.name=hive-hadoop2','hive.metastore.uri=thrift://knowyou-hdp
会飞的蜗牛66666·2021-06-08 20:40

Hbase跨集群数据迁移-快照方式

说明：原集群为散装集群，hbase版本为1.1.1，hadoop2.7.2；目标集群通过CDH5搭建，hbase版本为1.2.0，hadoop2.6.0。
粮忆雨·2021-06-08 04:33

hadoop日志

2.Hadoop2.x版本Hadoop2.x中YARN系统的服务日志包括ResourceManager日志和各个NodeManager日志，他们的日志位置如下：ResourceManager日志存放位置是
sleepySnail·2021-06-07 19:41

ubuntu16.04 给hadoop2.7.7 配置yarn

1.安装hadoop2.配置yarncd/usr/share/hadoop/hadoop-2.7.7/etc/hadoop配置yarn-site.xmlsudovimyarn-site.xmlyarn.nodemanager.aux-servicesmapreduce_shuffleyarn.nodemanager.aux-services.mapreduce.shuffle.classorg.a
WJXZ·2021-06-07 12:19

在centos7中部署hadoop2.8分布式集群并安装hbase

本文详细记录了centos7中安装hadoop2.8分布式集群,之后在hadoop中部署hbase，并简单演示了使用。
郭江伟·2021-06-06 23:20

Win10的pycharm上通过pyspark访问服务器上的SPARK和HBASE

前提：hadoop集群已部署完成Hadoop集群：Hadoop2.6.5spark-2.3.0*.*.*.1hadoop1*.*.*.2hadoop2*.*.*.3hadoop3*.*.*.4hadoop4hbase-env.xmlhbase.zookeeper.quorumhadoop1
木目范·2021-06-06 22:50

hadoop2.x单节点安装

https://my.oschina.net/jackieyeah/blog/657032正在运行的任务hadoopjob-list杀掉任务hadoopjob-killjob_1528518736003_0011给文件加权限hadoopfs-chmod-R755/*.datajava-versionbashrcexportJAVA_HOME=/usr/local/src/jdk1.7.0_79ex
楼剑波_1654·2021-06-06 17:23

(03)Spark学习知识储备

1）、JaveSE基础，Scala语言2）、Hadoop2.x有所认识，有一定的基础，会一些基本东西3）、英语的要求
KyleHai·2021-06-06 04:24

hadoop集群安装

环境：Centos7.0，JDK1.8设置主机名hostnamehadoop1hadoop2hadoop3hosts/etc/hosts192.168.31.17hadoop1192.168.31.210hadoop2192.168.31.65hadoop3
madfrog_hc·2021-06-05 06:11

通过hive shell操作phoenix下的hbase表

环境配置hive-2.3.2hbase-1.4.2phoenix-4.14.0-HBase-1.4spark-2.3.0-bin-hadoop2.7想通过phoenix来统一hbase表的操作，所以首先在
soycici·2021-06-05 02:11

Centos7 最小系统安装hadoop——大数据实验

文章目录1.安装JDK1.1下载JDK1.81.2安装JDK1.82.安装hadoop2.1新建用户并进行相关配置2.2正式安装2.3Hadoop单机配置（非分布式）2.4Hadoop分布式配置参考文章特别注意
PenGoFox·2021-05-26 15:22

hadoop单机及完全分布式集群的安装

1.hadoop我Hadoop的安装目录为/usr/local/workspace/hadoop2.hdfs2.1单机模式单机模式即不使用分布式模式，无需启动namenode和datanode，自动使用
巴中第一皇子·2021-05-23 18:16

hadoop-spark

1.下载spark:spark-2.0.0-bin-hadoop2.7.tgz2.解压至D:\bigdata\spark-2.0.0-bin-hadoop2.73.配置环境变量HADOOP_HOME:D
mpro·2021-05-19 06:04

搭hadoop+hbase（mac单机）

摘要单机搭hadoop+hbase流程记录引用学习：1、hadoop2.7.4单机版安装2、HBase环境搭建安装程序准备：hadoop-2.7.7:https://mirrors.tuna.tsinghua.edu.cn
死鱼姐姐·2021-05-18 02:43

pycharm利用pyspark远程连接spark集群的实现

1方法1.1软件配置spark2.3.3,hadoop2.6,python31.2spark配置Spark集群的每个节点的Python版本必须保持一致。在每个节点的$S
·2021-05-17 17:26

Hadoop集群节点之间ssh免密登录

回到根目录，查看目录下有没有.ssh文件，如果没有，可以先用命令：sshHadoop2，登录之后就会出现.ssh：cd.ssh/生成密钥ssh-keygen-trsa需要输入口令，直接回车即可，三次回车就行了此时会产生两个文件将密钥拷贝到其他节点
"Hello World".·2021-05-17 09:29

在centos7虚拟机上搭建伪分布式hadoop

版本选择：hadoop2.9.0，jdk：1.8网上有很多centos系统安装jdk的方法，这里我选择最简单的yum安装安装之前先检查一下系统有没有自带open-jdk命令：rpm-qa|grepjavarpm-qa
风逐叶·2021-05-17 04:38
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他