Hadoop2 第49页

centos7下的 impala安装及与hive集成

1.环境：1.首先得先装好的环境：centos7,hadoop2.7，jdk1.8，hive,mysql；2.三台机子名称映射为：127.0.0.1localhostlocalhost.localdomainlocalhost4localhost4

panrhenry·2020-07-08 01:42

Hadoop2.8.5集群完整配置

先配一个单个的hadoop集群（虚拟机有namenode、datanode）一、先安装一台干净的虚拟机（Centos6.10）1、先解决各种网络配置2、主机名与IP映射3、安装jdk4、免密设置（具体的去我博客里面找一下）1）安装jre或jdkrpm-ivhjdk-8u131-linux-x64.rpm2）安装hadoop·(1)tar-zxvfhadoop-2.8.5.tar.gz-C/usr/

努力的阳光蓝孩·2020-07-08 01:35

大数据学习系列（十）Hadoop2.X搭建HA（高可用）分布式集群

番茄滚蛋·2020-07-08 01:53

大数据学习系列（九）Hadoop1.X痛点分析及Hadoop2.X提出的解决方案

一、Hadoop1.X痛点分析上篇博客搭建了hadoop1.x的全分布式集群项目，角色及角色之间的关系如下图：搭建完成后会发现有明显的问题，该集群只有一台服务器位namenode角色，而在整个hadoop系统中，namenode的作用和责任又如此之大，如果namenode节点挂掉了，那么就意味着整个hadoop系统挂掉，因为所有的文件上传及管理操作及计算操作都是通过client(客户端)去请求na

番茄滚蛋·2020-07-08 01:53

Hadoop-YARN

集群资源管理器——YARN一、hadoopyarn简介ApacheYARN(YetAnotherResourceNegotiator)是hadoop2.0引入的集群资源管理系统。

CSDN_小路·2020-07-08 00:00

集群搭建--linux下安装flink集群

modules/二、配置conf/flink-conf.yaml文件jobmanager.rpc.address:192.168.56.128三、配置conf/slavesvimslaveshadoop1hadoop2hadoop3

studyhardatEnglish·2020-07-07 23:15

Spark on yran配置以及开启历史记录服务

#指定yran的配置文件目录exportYARN_CONF_DIR=/home/hadoop/apps/hadoop-2.7.7/etc/hadoop2.spark-defa

lwlha·2020-07-07 23:16

spark-shell连接异常问题

[root@node00sbin]#/apps/spark-2.2.0-bin-hadoop2.7/bin/spark-shell--masterspark://node00:7077UsingSpark'sdefaultlog4jprofile

哈尔科夫扫地僧·2020-07-07 23:11

安装Spark集群(简述)

前提:已经安装好hadoop集群和zookeeper,功能正常1.上传安装包(所有节点)(略)2.解压(略)3.修改配置文件cd/apps/spark-2.2.0-bin-hadoop2.7/conf/

哈尔科夫扫地僧·2020-07-07 23:11

HDFS文件读写机制思考及图解

HadoopDistributedFileSystem）作为GFS思想的开源实现，支持数据流读取和处理超大规模文件，并能够运行在由廉价服务器组成的集群上；HDFS将硬件出错视为一种常态，而不是异常，故而HDFS采用了多种机制来保证存储文件的完整性；如在hadoop2

.破晓.·2020-07-07 22:30

详解-Centos7搭建hive集群

这是我虚拟机的拓扑结构：这里我搭建的版本是hadoop2.7.1hive2.3.6这两个可以兼容首先，确保node1上的mysql安装成功，且可以远程登录，并设置好密码用xftp将下载的hive上传并解压下载地址

Ryan_Tang️·2020-07-07 22:06

详解分布式应用程序协调服务Zookeeper

主从结构：HDFS、Yarn、HBase、storm、spark、zookeeper都存在单点故障问题hadoop1.x没有解决方案hadoop2.x利用zookeeper实现HAzookeeper是开源的分布式应用程序协调服务

予你心安、·2020-07-07 21:32

黑猴子的家：初次启动 Hive Error解决

1、异常重现[victor@hadoop102hive]$bin/hiveshellls:cannotaccess/home/hadoop/spark-2.2.0-bin-hadoop2.6/lib/spark-assembly

黑猴子的家·2020-07-07 20:21

HDFS客户端上传文件流程

1.3客户端根据配置（dfs.blocksize-块大少、hadoop2.x默认为128M）将文件切成N个block。

qq_26369213·2020-07-07 20:40

mapreduce 全排序和二次排序及mapreduce过程讲解

本篇也讲解了mapreduce的过程版本：hadoop2.7.x需求：对如下的文本进行排序，文本已经放在了hdfs上[root@XXX]#hdfsdfs-cat/XXX/input/sortdataSLF4J

qq_21159963·2020-07-07 20:33

Flink HA高可用集群搭建（Standalone Cluster）

下载地址https://flink.apache.org/downloads.html2.安装解压Flink到/home/kfs目录下（Master举例）tar-zxvfflink-1.7.2-bin-hadoop27

Mr Cao·2020-07-07 19:41

hadoop2.4后的滚动升级

1.介绍HDFS的滚动升级可以只升级独立的守护进程，比如可以独立升级datanode、namenode、journalnode，这些进程都可以不相互依赖来升级；hadoop2.x开始支持HDFS的HA，

自由盼盼·2020-07-07 19:38

Cube build时出现FileNotFoundException

环境依赖Hadoop2.7.3HBase1.2.3Hive2.1.1Kylin1.6.0-HBase1.x问题描述配置好各种环境变量后，kylin正常启动；随后配置好model和cube，开始进行数据的

liujianhuiouc·2020-07-07 19:36

15.apache-hadoop之spark安装

1.从spark官网下载spark安装程序spark-2.2.1-bin-hadoop2.6.tgz2.解压tarzxvfspark-2.2.1-bin-hadoop2.6.tgzln-sspark-2.2.1

经纶先生·2020-07-07 18:02

hadoop集群搭建

说明：环境cenots7.5jdk8hadoop2.7.2集群节点说明：（此处为公网ip）39.100.131.85hadoop1NameNode、DataNode、NodeManager（对应内网ip

段段小胖砸·2020-07-07 18:28

cloudera CDH5.13.1 Hadoop2.6.0 测试运行wordcount大数据统计作业

cloudea大数据实验平台安装好了，做点什么呢？还是从helloworld开始吧1.查看hadoop版本root@cdh01:~#hadoopversion如果能如上正常显示，说明可以使用hadoop测试程序了2.查看有哪些测试程序可用root@cdh01:~#hadoopjar/opt/cloudera/parcels/CDH/jars/hadoop-examples.jar运行该程序会介绍有

领尚·2020-07-07 18:18

HDFS文件块大小（重点）

HDFS中的文件在物理上是分块存储（Block），块的大小可以通过配置参数(dfs.blocksize）来规定，默认大小在Hadoop2.x版本中是128M，老版本中是64M。

孙晨c·2020-07-07 17:00

Spark上提交运行简单WordCount程序---Spark学习笔记(1)

目前使用的spark版本是:spark-1.6.2-bin-hadoop2.6运行Spark简单程序的思路是现在IDE上导入sparkAPI包并写好scala程序，然后像写HadoopMapReduce

miaote·2020-07-07 17:41

Centos6.5源码编译安装Hadoop2.5.1

[plain]viewplaincopyCentos6.5(64bit)jdk7ant1.9.4maven3.1.1findbugs3.0.0protobuf2.5.0hadoop2.5.1源代码文件二

程序员成长史·2020-07-07 13:09

Hadoop2.7.3+Hbase-1.2.6完全分布式安装部署

Hadoop安装部署基本步骤：其他HBASE配置说明请看：https://www.cnblogs.com/judylucky/p/5692147.html需要把配置好的hbase复制到其他节点的相同目录下1、安装jdk，配置环境变量。jdk可以去网上自行下载，环境变量如下：编辑vim/etc/profile文件，添加如下内容：exportJAVA_HOME=/opt/java_environmen

lhyxcxy·2020-07-07 13:33

Windows平台Hadoop出现 Exception message: CreateSymbolicLink error (1314): ???????????

hadoop2.7.1windows2008serverR2问题描述：在使用kettel执行ELT任务到hive时hadoop出现Exceptionmessage:CreateSymbolicLinkerror

lhyxcxy·2020-07-07 13:32

hadoop2.0集群版本在线升级方法

hadoop2.0集群版本在线升级方法HDFSRollingUpgrade介绍HDFS滚动升级允许单个的hdfs节点（守护进程）进行升级。

立喆·2020-07-07 13:11

资源调度框架YARN

到了Hadoop2.0以后，MapReduce1.0中的资源管理调度功能，被单独分离出来形成了YARN，它是一个纯粹的资源管理调度框架，而不是一个计算框架。

jmx_bigdata·2020-07-07 11:00

Yarn源代码分析之旅---总体架构---概述与总体架构

欢迎转载，转载请注明出处Haddoop1.0的不足与Hadoop2.0的产生学习和研究过Hadoop1.0的人都应该知道，在Hadoop1.0中，使用了Master\Slave的架构模式，jobTracker

JJZHK·2020-07-07 11:15

hadoop2.0 yarn 总结基于hadoop2.2.0

java高级交流群：37341439欢迎所有学习hadoop2.2.0的朋友加入讨论交流，分享实战经验！我们群无下限哦~~为什么使用hadoop？

zhoushuai3066·2020-07-07 11:35

windows下 pycharm开发spark

1.2Spark环境变量配置去http://spark.apache.org/downloads.html网站下载相应hadoop对应的版本，我下载的是spark-1.6.0-bin-hadoop2.6

春夏秋冬又一年·2020-07-07 10:39

Hadoop2.7.1——NFS部署

Hadoop2.7.1——NFS部署第一步：关闭本机的NFS与RPCBIND服务（centos6），若是CentOS5（关闭NFS与portmap服务）命令：(centos6)ØservicenfsstopØservicerpcbindstop

hanxindere·2020-07-07 09:09

Hadoop2.7.1---hdfs-over-ftp

Hadoop2.7.1---hdfs-over-ftp软件下载地址：http://yunpan.cn/cHaQvV4UdLxX3访问密码f09f第一步：安装Maven和Java，并配置相应环境变量。

hanxindere·2020-07-07 09:09

高可用集群搭建系列文章之四：HBase集群搭建

本篇文章主要介绍HBase的搭建1、下载安装包，并解压下载地址解压命令如下：tar-zxvfhbase-0.98.10-hadoop2-bin.tar.gz2、配置/etc/profileexportHBASE_HOME

thinkhui·2020-07-07 07:44

spark-2.2.2-bin-hadoop2.7 安装

1.上传spark-2.2.2-bin-hadoop2.7.tgz2.解压文件tar-zxvfspark-2.2.2-bin-hadoop2.7.tgz-C/usr/local/3.进入conf/下把spark-env.sh.template

drl_blogs·2020-07-07 07:27

Hadoop基础教程-第5章 YARN：资源调度平台（5.1 YARN介绍）（草稿）

从ApacheHadoop2.0开始，Hadoop包含YARN。

程裕强·2020-07-07 05:05

Hadoop安装教程_单机/伪分布式配置_Hadoop2.7.3/Ubuntu16.04

本教程适合于原生Hadoop2，包括Hadoop2.6.0,Hadoop2.7.1等版本，主要参考了官方安

不二IT小伙·2020-07-07 05:22

在 win7 64 上编译 hadoop 2.7.3的经历

在win764上编译hadoop2.7.3的经历---bySpringPu主要参考链接：https://wiki.apache.org/hadoop/Hadoop2OnWindows；http://hadoop.apache.org

我还听说过石壁岭的小河湾·2020-07-07 04:47

hadoop 升级

需要备份的数据主要包括配置文件：${hadoop_home}/conf目录下的所有配置文件元数据文件：配置文件hdfs-site.xml中的属性“dfs.name.dir”指定的目录下的文件3.下载最新稳定版的hadoop2.4.1

bitcarmanlee·2020-07-07 04:57

Hadoop HA

1、省略部分jdk、ssh互信、ntpd、hadoop2.7.6下载、zookeeper部署2、修改文件hadoop-env.shmapred-env.shyarn-env.sh中添加java_homecore-site.xmlfs.defaultFShdfs

bingoabin·2020-07-07 04:48

大数据新手必看！一文详尽Spark机器学习库的安装与入门

目录1.SparkMLlib基础1.1Spark的安装1.1.1Spark的安装（1）Hadoop的安装（2）安装Java环境（3）安装Hadoop2（4）安装Spark1.1.2使用Spark编写简单的应用程序

zaiwuhan2014·2020-07-07 03:34

YARN架构和资源管理

YA架构Hadoop1和Hadoop2区别yarn架构图resourcemanager全剧的资源管理器，整个集群只有一个，负责集群整个资源的统一管理和调度分配功能：处理客户端请求启动/监控ApplicationMaster

he_321·2020-07-07 03:54

大数据工具--Sqoop简介及使用

本文环境hadoop2.7.7，sqoop1.4.7Sqoop是一个在结构化数据和Hadoop之间进行批量数据迁移的工具，此篇博客没有深入的介绍sqoop的底层，只是简单介绍其功能，重点记录sqoop的使用命令

Victor_Monkey·2020-07-07 01:44

用Spark对人类信息进行综合分析，并得到聚类

AdultBase-Truedick23主要做了如下分析：婚姻状况学历婚姻状况与学历的关系（博士学位获得者的婚姻状况）代表数据的获得（K-Means聚类分析）配置Spark版本：spark-2.3.1-bin-hadoop2.7

JosephDing23·2020-07-07 00:33

Mapreduce工作流程与简介

Hadoop2.0即第二代Hadoop系统，其框架

SqrsCbrOnly1·2020-07-07 00:24

ubuntu安装hadoop详细步骤

这里介绍的方法是用一台机器虚拟多个节点，这个方法已在如下环境中测试通过：OS:Ubuntu13.10Hadoop:2.2.0(2.x.x)个人认为在其他版本上安装Hadoop2.x.x的方法基本相同，因此如果严格按照我给的步骤

米二·2020-07-06 23:40

Hadoop生态系统主要架构

Hadoop生态系统主要架构图汇总1hadoop1.0时期架构hadoop1.0时期架构2hadoop2.0时期架构hadoop2.0时期架构3hdfs架构hdfs架构【ActiveNamenode】：

Leonardo_KY·2020-07-06 23:09

Hadoop2.x 资源调度框架Yarn

1.MapReduce1.0的架构图在MapReduce1.0中主要由JobTracker和TaskTracker组成，JobTracke负责资源监控和作业调度，TaskTracker是Hadoop集群中运行于各个节点上的服务。负责任务的执行和汇报心跳。从上图中可以看到JobTracker在整个集群中只有一个，如果JobTracker运行时发生故障或挂掉，则整个集群的作业将无法提交或运行。还有就是

harveybd·2020-07-06 22:53

分布式资源调度--YARN框架

YARN产生背景YARN是Hadoop2.x才有的，所以在介绍YARN之前，我们先看一下MapReduce1.x时所存在的问题：单点故障节点压力大不易扩展MapReduce1.x时的架构如下：可以看到，

weixin_33882443·2020-07-06 19:49

Hadoop2.7.3-HA 集群搭建（传智播客）

前期准备1修改Linux主机名2修改IP3修改主机名和IP的映射关系/etc/hosts4关闭防火墙5ssh免登陆6安装JDK，配置环境变量等集群规划主机名IP安装的软件运行的进程mini01192.168.175.141jdk、hadoopNameNode、DFSZKFailoverController(zkfc)mini02192.168.175.142jdk、hadoopNameNode、D

zz657114506·2020-07-06 14:40

推荐频道

Hadoop2