hadoop2.2.0)

重新编译spark 增加spark-sql适配CDH

参考资料让clouderamanager装的spark支持hqlApacheSpark学习：将Spark部署到Hadoop2.2.0上CDH内嵌spark版本不支持spark-sql,可能是因为cloudera
Dino系我·2020-07-09 05:12

hadoop2.0 yarn 总结 基于hadoop2.2.0

java高级交流群：37341439欢迎所有学习hadoop2.2.0的朋友加入讨论交流，分享实战经验！我们群无下限哦~~为什么使用hadoop？
zhoushuai3066·2020-07-07 11:35

Hadoop2.2.0 HA高可用分布式集群搭建(hbase,hive,sqoop,spark)

1需要软件Hadoop-2.2.0Hbase-0.96.2（这里就用这个版本，跟Hadoop-2.2.0是配套的，不用覆盖jar包什么的）Hive-0.13.1Zookeepr-3.4.6（建议使用Zookeepr-3.4.5，这样就不用替换storm和hive里面的zookeepr-3.4.5.jar了）Sqoop1.4.5Scala-2.10.4Spark-1.0.2-bin-hadoop2J
edentyin·2020-07-04 15:50

1-2 集群Kerberos安全配置

在集群hadoop2.2.0(无HA)+zookeeper-3.3.5+hbase-0.96.0-hadoop2正常运行的情况下，添加kerberos认证。
sealhunter·2020-06-29 19:36

sqoop1.99.4的安装和使用

一.环境介绍：sqoop版本:1.99.4-hadoop200hadoop版本:hadoop2.2.0安装路径是/usr/local/sqoop二.sqoop1.99.4安装1.解压安装文件到/usr/
语旅·2020-06-27 10:29

Hadoop2.2.0 部署spark 1.0

Hadoop2.2.0部署spark1.02014年7月目录介绍...11集群网络环境介绍及快速部署...22SSH无密码验证配置...62.1配置所有节点之间SSH无密码验证...63JDK安装和Java
liema2000·2020-06-24 04:36

YARN资源调度策略

以hadoop2.2.0为准。
iie_libi·2020-06-23 17:32

hadoop2.2.0集群搭建 centos6.4 32位

centos6.432位hadoop2.2.0搭建参考传智播客hadoop1.0的视频以及《Hadoop技术内幕深入解析YARN架构设计与实现原理》中的配置和网友帖子环境：VMware10，jdk:jdk
chen820655096·2020-06-22 21:24

Hadoop小兵笔记【四】hadoop2.2.0伪分布式环境搭建问题-ssh登录失败

本文记录了基于Hadoop2.2.0搭建伪分布式环境过程中遇见的疑难问题，并给出解决方案，详记于此，以为后观。
网埠头·2020-06-22 19:50

基于hadoop2.2.0分布式搭建

部分信息显示不全，可参照附件文件**********1.集群主机ip192.168.1.190master192.168.1.191slave12.centos系统准备工作*安装ssh:$sudoyuminstallssh*安装rsync:$sudoyuminstallrsync//linux实现远程同步的软件*ip配置3.服务器SSH无验证双向登陆打通配置3.1.配置服务器ip（此处省略）3.2
驼铃岁月·2020-04-01 18:00

Spark 集群搭建

.安装好Hadoopspark集群搭建步骤1.安装Scala==============================================到官网下载Hadoop对应版本的Scala我的是Hadoop2.2.0
起个什么呢称呢·2020-03-04 06:26

Sqoop部署、使用以及排错

1、Sqoop部署Sqoop1.4.4在Hadoop2.2.0集群上的安装sqoop安装部署(笔记)2、Sqoop的使用①相关链接使用sqoop将MySQL数据库中的数据导入HbaseSqoop1.4.4
司小幽·2020-02-28 22:21

分享一份关于Hadoop2.2.0集群环境搭建文档

目录一，准备环境三，克隆VM四，搭建集群五，Hadoop启动与测试六，安装过程中遇到的问题及其解决方案一，准备环境PC基本配置如下：处理器：Intel(R)Core(TM)[email protected]安装内存（RAM）:12.0GB系统类型：64位操作系统初始化四台Ubuntu-14.04_x64虚拟机，配置如下：内存：2GB处理器：1硬盘：40G网络适配器：NAT系统：Li
天堂的鸽子·2019-11-14 21:00

hadoop yarn中常见问题以及解决方案

本文汇总了几个hadoopyarn中常见问题以及解决方案，注意，本文介绍解决方案适用于hadoop2.2.0以及以上版本。
黑马程序员广州·2019-11-14 16:39

Hadoop2.2.0集群安装

目录一、Hadoop2.2.0完全分布式集群平台安装设置：HDFSHA架构：前提条件：1、先设定电脑的IP为静态地址：2、设置各个主机的hostname3、在所有电脑的/etc/hosts添加以下配置：
xiuxiupana·2019-04-08 08:49

Presto技术源码解析总结-一个SQL的奇幻之旅

Presto技术总结1.环境准备Hadoop环境，Hive环境，mysql环境，ssh环境，presto本机debug环境推荐hadoop2.2.0、hive1.2.1、mysql5.7、openssh-server
LiuWu_Moving_Bricks·2019-04-03 00:11

通过命令来查看HDFS集群NameNode的状态

1.概述hadoop2.2.0（HA）中HDFS的高可靠指的是可以同时启动2个NameNode。其中一个处于工作状态，另一个处于随时待命状态。
李京京·2019-02-27 11:59

Hadoop2.x新特性：HA、Federation、快照

解决方案NameNodeFederation（1）存在多个NameNode，每个NameNode分管一部分目录（2）NameNode共用DataNode一、HDFS的新特性HA(一)HDFS的HA机制Hadoop2.2.0
菜鸟cxy·2018-06-17 09:48

CentOS系统中出现错误--SSH：connect to host centos-py port 22: Connection refused

错误提示如下：我在第一次搭建自己的hadoop2.2.0单节点的伪分布集成环境时遇到了此错误，通过思考问题和查找解决方案最终搞定了这个问题，其错误原因主要有以下几种：1）SSH服务安装此时，采用在线安装的方式就行下载安装
努力的凹凸曼·2018-03-26 10:56

HDFS2的新特性：HA和Federation

一、HDFS的新特性HA(一)HDFS的HA机制Hadoop2.2.0版本之前，NameNode是HDFS集群的单点故障点，每一个集群只有一个NameNode，如果这个机器或者进程不可用，整个集群就无法使用
converoscar·2017-08-29 09:02

hadoop分布式搭建（+zookeeper，6台机器）

前期准备（这里使用的centOS6，hadoop2.2.0【这是64位的hadoop2.2.0的安装包和源码包下载地址：http://download.csdn.net/detail/vinsuan1993
-Heres-·2017-04-13 11:37

Java程序中不通过hadoop jar的方式访问hdfs

一般情况下，我们使用Java访问hadoopdistributedfilesystem(hdfs)使用hadoop的相应api，添加以下的pom.xml依赖（这里以hadoop2.2.0版本为例）：org.apache.hadoophadoop-common2.2.0org.apache.hadoophadoop-mapreduce-client-core2.2.0
clamaa·2017-04-11 09:06

构建Hadoop+Hbase+ZooKeeper分布式存储

今天我们来实际搭建一下Hadoop2.2.0版，实战环境为目前主流服务器操作系统CentOS6
吴光科·2017-02-21 13:18

Hadoop相关文章索引（1）

新特性Mapreduce中Combiner的使用及误区MapReduce:详解Shuffle过程算法架构DAG算法在hadoop中的应用环境部署为你的Hadoop集群选择合适的硬件Debug【甘道夫】Hadoop2.2.0
BlackEnn·2017-01-27 17:00

Alluxio编译

Alluxio的二进制发布包，是依赖于具体的hadoop版本的，截至本文撰写时，直接下载的alluxio二进制安装包是对应于hadoop2.2.0的，如果你的hadoop基础环境不是这个版本，那就需要根据实际情况
火星人Martin·2017-01-16 20:24

《Sqoop部署、使用以及排错》

1、Sqoop部署Sqoop1.4.4在Hadoop2.2.0集群上的安装sqoop安装部署(笔记)2、Sqoop使用①相关链接使用sqoop将MySQL数据库中的数据导入HbaseSqoop1.4.4
BlackEnn·2016-08-19 10:00

hadoop2.2.0安装spark1.1.0（maven编译）

1.环境配置hadoop-2.2.0spark-1.1.0maven-3.3.92.spark安装问题hadoop2.2.x版本支持spark1.1.0版本以及更低。而在目前spark官网上已经下载不到spark1.1.0版本（目前已经发布了spark2.0版本）。为了在机器上使用spark，选择了csdn上下载了spark1.1.0的源码，自己尝试编译。编译的方法有两种：sbt以maven。在使
TurboBoost·2016-08-16 12:30

Hadoop安全认证（1）

前言在2014年初，我们将线上使用的Hadoop1.0集群切换到Hadoop2.2.0稳定版，与此同时部署了Hadoop的安全认证。
若水三千你是一千·2016-08-02 10:31

hadoop2.2.0集群的HA高可靠的最简单配置

简介 hadoop中的NameNode好比是人的心脏，非常重要，绝对不可以停止工作。在hadoop1时代，只有一个NameNode。如果该NameNode数据丢失或者不能工作，那么整个集群就不能恢复了。这是hadoop1中的单点问题，也是hadoop1不可靠的表现，如图1所示。hadoop2就解决了这个问题。                            图1hadoop2.2.0中HDF
nengyu·2016-05-31 07:00

Hadoop2.2.0伪分布式之MapReduce简介

一概念、mapReduce是分布式计算模型。注：在hadoop2.x中MapReduce运行在yarn上，yarn支持多种运算模型。storm、spark等等，任何运行在JVM上的程序都可以运行在yarn上.MR有两个阶段组成，Map和Reduce，用户只需要实现Map()和reduce()两个函数（且这两个函数的输入和输出均是key-value的形式）即可实现分布式计算。代码示例略。MapRed
u012802702·2016-05-26 15:00

Hadoop2.2.0伪分布式中HDFS简述

一、元数据概念：matdata：元数据信息，放在内存中。元数据信息就是数据的记录信息。即一条元数据中保存的当前文件名（例如：/test/a.log）该文件被保存副本的数量（默认为3），该文件被分为几份；每份保存在哪个节点；二、关于NameNode作用:1）、是系统的管理节点，维护者整个文件系统的文件目录树，2）、维护文件/目录的数据信息和每个文件对应的数据块列表，3）、接收用户客户端的操作请求（上
u012802702·2016-05-26 13:00

Hadoop2.2.0伪分布式搭建简述

简述了自己搭建Hadoop伪分布式的过程，方便以后查看参考。环境：Vmware10+RedHat6.3+hadoop2.2.0+JDK1.7Hadoop模式：本地模式：只能其一个reduce和一个map，用于调试伪分布式模式：通过一台机器模拟分布式，在学习时使用。验证逻辑是否正确集群模式：工作的模式，有几百上千台机器。linux环境配关闭防火墙若是对外网提供的服务是绝对不能关闭防火墙的。而Hado
u012802702·2016-05-25 19:00

Hadoop之——hadoop2.2.0集群搭建

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/513530631.修改Linux主机名2.修改IP3.修改主机名和IP的映射关系######注意######如果你们公司是租用的服务器或是使用的云主机（如华为云主机、阿里云主机等）/etc/hosts里面要配置的是内网IP地址和主机名的映射关系4.关闭防火墙5.ssh免登陆6.安装J
冰 河·2016-05-09 15:39

Hadoop之——hadoop2.2.0集群搭建

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/513530631.修改Linux主机名2.修改IP3.修改主机名和IP的映射关系   ######注意######如果你们公司是租用的服务器或是使用的云主机（如华为云主机、阿里云主机等）   /etc/hosts里面要配置的是内网IP地址和主机名的映射关系   4.关闭防火墙5.ss
l1028386804·2016-05-09 15:00

Hadoop之——hadoop2.2.0伪分布式搭建

转载请注明出处:http://blog.csdn.net/l1028386804/article/details/513139171.准备Linux环境1.0配置VMware   点击VMware快捷方式，右键打开文件所在位置->双击vmnetcfg.exe->VMnet1host-only->修改subnetip设置网段：192.168.1.0子网掩码：255.255.255.0->apply-
l1028386804·2016-05-04 12:00

最详细的hadoop2.2.0集群的HA高可靠的最简单配置

原文http://www.open-open.com/lib/view/open1390717631132.html简介 hadoop中的NameNode好比是人的心脏，非常重要，绝对不可以停止工作。在hadoop1时代，只有一个NameNode。如果该NameNode数据丢失或者不能工作，那么整个集群就不能恢复了。这是hadoop1中的单点问题，也是hadoop1不可靠的表现，如图1所示。had
shushugood·2016-04-18 19:00

[置顶] spark集群安装与配置

本例是在Hadoop2.2.0平台搭建。
u013468917·2016-03-25 14:00

HBase 6、用Phoenix Java api操作HBase

开发环境准备：eclipse3.5、jdk1.7、window8、hadoop2.2.0、hbase0.98.0.2、phoenix4.3.01、从集群拷贝以下文件：core-site.xml、hbase-site.xml
拉斐尔[Raphael]·2016-03-11 21:00

hadoop集群安装和配置

准备工作:    Jdk1.7.0_71    Hadoop2.2.0    虚拟机vmware    Centos6.3安装就是直接解压就行，jdk的安装自己上网查，主要是配置，目前是一主一从，主：192.168.100.128
Panshuyang·2016-02-23 13:00

hadoop2.2.0 关于hdfs的梳理

1、关于对HDFS的管理可以通过命令进行分析bin/hadoopdfsadmin2、关于secondaryNameNode、CheckpointNode、BackupNode的介绍详见http://blog.csdn.net/desertfish/article/details/8862159另外做一些补充说明secondaryNamenode的逻辑CheckpointNode（替换Seconda
_牧童·2016-02-18 18:41

Hadoop2.0的HA介绍

前一篇文章介绍了Hadoop2.0（hadoop2.0架构，具体版本是hadoop2.2.0）的安装和最基本的配置（见http://www.linuxidc.com/Linux/2014-05/101173
J7A4V5A2W2E8B9e4e6·2016-02-14 16:00

单机安装（Hadoop2.2.0测试用）

需要关闭SELINX，执行：/usr/sbin/setenforce0    注意：最好是手动关闭。还有：要把各个服务器的防火墙给关闭了，不然，后面运行时会报错。 Linux关闭防火墙命令：1）永久性生效，重启后不会复原 开启：chkconfigiptableson  关闭：chkconfigiptablesoff  2）即时生效，重启后复原   开启：serviceiptablesstart  
qq_16365849·2016-02-07 11:00

hadoop的部署总共有3种类型

基于yarn平台的Hadoop2.2.0在前几天已经发布稳定版本了 新版本解决了1.x中的NameNode，JobTracker单点故障问题，使用yarn统一了分布式开发的集群平台，给集群的资源管理及部署大大提供了便利
weitao1026·2016-01-22 14:00

Hbase存储数据，由于现在的hadoop

Hbase存储数据，由于现在的hadoop的集群是基于hadoop2.2.0的，本次搭建Hbase集群，是基于底层依赖Hadoop2.2.0的，具体的情况描述如下：序号机器IP角色1192.168.46.32Master2192.168.46.11Slave13192.168.46.10Slave2
weitao1026·2016-01-20 16:00

【2-4】用Java接口操作HDFS

因此我们要使用Java接口的方式来操作HDFS我们new一个project叫hadoop0106，然后再创建一个文件夹（new一个folder）叫lib，把jar包导入进去在hadoop2.2.0/share
tianbwin2995·2016-01-20 11:00

hadoop2.2.0伪分布下安装hive

1.环境及软件介绍：CentOS-6.4-x86_64-bin-DVD1.iso hadoop-2.2.0 hive-0.12.0 mysql(为CentOS6.4自带版本为MySQL5.1.66).2.MySQL的安装和卸载使用rpm–qa|grepmysql查看已安装的数据库软件卸载MySQL    yumremovemysqlmysql-server重新安装 yum–yinstallmysq
u014432433·2016-01-19 18:00

安装的Hive

安装的Hive是Hive最新版本中的稳定版本，是基于Hadoop2.2.0，以前有写过，如何在hadoop1.x下面安装Hive0.8，本次Hive的版本是Hive0.13，可以直接在Hive官网上下载二进制包
weitao1026·2016-01-17 02:00

安装Hadoop，启动hadoop（每次都用）,设置免密码登陆

安装hadoop2.2.0     1、上传一个Hadoop包     2、解压Hadoop包        mkdir/itcast根目录下创建一个文件，以后Hadoop统一放入其中        tar-zxvfhadoop
sherri_du·2016-01-04 15:00

Hadoop 1.x 与 2.x 中 fsimage 和 edits 合并实现

本文部分转自Hadoop1.x中fsimage和edits合并实现本文部分转自Hadoop2.x中fsimage和edits合并实现本文部分转自hadoop2.2.0关于fsimage&editlog的相关配置一
u011414200·2016-01-01 11:00

hadoop2.2.0 集群安装配置

    本集群由6台虚拟机组成，全部安装centos6.4的32位系统。一、前期工作1、修改Linux主机名2、修改IP3、修改主机名和IP的映射关系4、关闭防火墙5、ssh免登陆 6、安装JDK，配置环境变量等二、集群规划主机名ip安装的软件运行的进程hadoop01192.168.8.201jdk、hadoop、hbase、sqoopNameNode、DFSZKFailoverControll
taikongrenhb·2015-12-29 23:22
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他