Hadoop2

HDFS HA切换后missing block问题分析

我们Hadoop平台也从Hadoop1.2.1升级到了Hadoop2.4.0版本，当然HDFSHA也配置到集群中。
笛香幽谷（ouyangshourui）·2020-06-27 00:47

Hadoop： 主节点9000端口拒绝访问Call From hadoop3/192.168.91.132 to hadoop1:9000 failed on connection exception

注：master：hadoop1；slaves：hadoop2,hadoop3CallFromhadoop3/192.168.91.132tohadoop1:9000failedonconnectionexception
机智的小蔡·2020-06-27 00:29

Spark集群安装部署

1.安装包下载scala-2.10.5.tgzspark-1.3.0-bin-hadoop2.42.安装Scala(Master节点)2.1解压文件tar-zxvfscala-2.10.5.tgz2.2
20130622·2020-06-27 00:28

Hadoop 2.6 MapReduce运行原理详解

Hadoop2.6MapReduce运行原理详解市面上的hadoop权威指南一类的都是老版本的书籍了，索性学习并翻译了下最新版的Hadoop:TheDefinitiveGuide,4thEdition与大家共同学习
技术蚂蚁·2020-06-27 00:50

【甘道夫】HBase基本数据操作详解【完整版，绝对精品】

所有代码均基于“hbase0.96.2-hadoop2”版本编写，均实测通过。
Gandalf_lee·2020-06-26 23:07

scala 操作远程hbase

环境声明：idea14，jdk7，hadoop2.6，hbase1.0，window8.1，scala2.11提示：本人在最初用scala连接hbase的时候遇到了各种错误，很是纳闷，而且那些错误在网上很少见到
行走江湖的文艺猿·2020-06-26 23:16

hadoop2.x序列化机制及实例

序列化1>什么是序列化？将结构化对象转换成字节流以便于进行网络传输或写入持久存储的过程。2>什么是反序列化？将字节流转换为一系列结构化对象的过程。3>序列化用途？1，一种作为持久化格式2，一种作为通信的数据格式3，作为一种数据拷贝，克隆机制。Java的序列化和反序列化1，创建一个对象实现了Serializable2，序列化：ObjectOutputStream.writeObject(序列化对象)
先生_吕·2020-06-26 23:38

Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0

Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0重要问题记录：伪分布式想要部署成功：1在/etc/hostnema仅仅保留HOSTNAME=Master；2在/etc
peter_zhang40036·2020-06-26 23:14

Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/CentOS

Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/CentOS2014-08-09(updated:2016-09-26)125333217本教程讲述如何配置Hadoop集群，默认读者已经掌握了
peter_zhang40036·2020-06-26 23:14

Hadoop集群搭建

环境安装环境环境配置LinuxCentos6.5JavaJDK1.8HadoopHadoop2.7.3节点配置创建用户组groupaddhadoopuseraddhadoop-ghadoopJDK安装需要提前安装好
零度沸腾_yjz·2020-06-26 23:29

Flink的local和standalone HA安装部署

文章目录1、local模式2、standalonecluster部署3、standaloneclusterHA部署版本介绍：centos7.7jdk1.8.152hadoop2.7.1zookeeper3.4.10flink1.9.11
Aidon-东哥博客·2020-06-26 23:35

Error: Cannot find configuration directory: /etc/hadoop

在安装Hadoop2.7.2部署伪分布式集群时，使用命令start-all.sh或者start-dfs.sh启动时，出现Error:Cannotfindconfigurationdirectory:/etc
深度思索·2020-06-26 23:09

Cloudera Manager5.12、Java1.8、Centos7集群部署（1）--------持续更新

1.1下载地址：http://mirrors.aliyun.com/centos/7/isos/x86_64/1.2VMware创建3台虚拟机hadoop1192.168.184.138内存8GCPU4核hadoop2192.168.184.134
我只想·2020-06-26 23:55

hadoop-2.7 在windows环境下安装

下面把这几步细化贴出来，以hadoop2.7.2为例1、下载hado
wister136·2020-06-26 22:33

Hive集成Tez让大象飞起来

iteye.com/upload/attachment/0114/5700/de4b9062-7d61-3ea5-995d-5ae35deb61c0.jpg[/img][size=medium]基础环境ApacheHadoop2.7.1Centos6.5ApacheHadoop2.7.1ApacheHbase0.98.12ApacheHive1.2.1ApacheT
三劫散仙·2020-06-26 22:53

Hadoop2.7.2之集群搭建（高可用）

原文地址：http://blog.csdn.net/uq_jin/article/details/51487439如果你还没有虚拟机，请参考：http://blog.csdn.net/uq_jin/article/details/51355124如果你还没有试过单机模式，请参考：http://blog.csdn.net/uq_jin/article/details/51451995如果你还没有试过
_阿坤·2020-06-26 22:10

hadoop系列文档3-配置Hdfs高可用HA

背景早在Hadoop2.0.0之前，在一个HDFS集群中，只有一个NameNode,如何这个NameNode因为某种原因挂掉了（SPOF），那么整个集群将不可用。
u010237107·2020-06-26 21:21

Hadoop的JVM重用

Hadoop中有个参数是mapred.job.reuse.jvm.num.tasks(hadoop2为：mapreduce.job.jvm.numtasks)，默认是1，表示一个JVM上最多可以顺序执行的
tttjjjlll·2020-06-26 20:17

Spark-SQL从MySQL中加载数据以及将数据写入到mysql中（Spark Shell方式，Spark SQL程序）

1.1．从MySQL中加载数据（SparkShell方式）1.启动SparkShell，必须指定mysql连接驱动jar包[[email protected]hadoop2.7]#
to.to·2020-06-26 20:06

Azkaban2.5.0与Hadoop2.5.1的集成

本文主要介绍Azkaban与Hadoop2.5.1、Hive0.13.1的集成安装部署。
tambac·2020-06-26 19:15

解决：nice: ‘$HADOOP_HOME/bin/hdfs’: No such file or directory

环境：ubuntuserver16.04+jdk1.8+hadoop2.7.6初学者，总会遇到问题。
tiankong_12345·2020-06-26 19:09

SPARK 源码分析技术分享(带bilibili视频)

SPARK源码分析技术分享(带bilibili视频)【本站点正在持续更新中…2018-12-05…】SPARK1.6.0-cdh5.15.0Hadoop2.6.0-cdh5.15.0spark-scala-maven
thinktothings·2020-06-26 18:18

1.2.5 大数据2.x 集群安装系列-- hadoop2.x集群-时间同步ntp

安装[kfk@bigdata-pro01~]$sudorpm-qa|grepntpfontpackages-filesystem-1.41-1.1.el6.noarchntpdate-4.2.4p8-3.el6.centos.x86_64ntp-4.2.4p8-3.el6.centos.x86_64服务[kfk@bigdata-pro01~]$sudorpm-qa|grepntpfontpacka
txidol-Fly·2020-06-26 18:50

Hadoop2.6（新版本）----MapReduce工作原理

最近在研究Hadoop,发现网上的一些关于Hadoop的资料都是以前的1.X版本的,包括MapReduce的工作原理,都是以前的一些过时了的东西,所以自己重新整理了一些新2.X版本的MapReduce的工作原理下面我画了一张图,便于理解MapReduce得整个工作原理下面对上面出现的一些名词进行介绍ResourceManager：是YARN资源控制框架的中心模块，负责集群中所有的资源的统一管理和分
汤高·2020-06-26 17:44

kylin问题记录

1，版本选型hbase-0.98.23Hive1.2.1Hadoop2.7.1apache-kylin-1.6.0切记hbase版本不能选用1.x，否则build时hdfs解析成localfile导致失败
小辣椒lllll·2020-06-26 17:34

MapReduce Input Split（输入分/切片）详解

Hadoop2.x默认
liuzx32·2020-06-26 16:09

阿里云服务器上单机部署大数据开发环境（hadoop2.6-cdh5.8.0系列）

概述之前在阿里云买的学生版服务器，闲着也是浪费，为了平常学习使用，决定在一台服务器上搭建一个伪分布式的开发环境。之前用三台虚拟机部署过集群，时间长了怕忘，现在升级各个版本重新部署，记下来方便以后查看。难免出现错误，欢迎指出，共同学习交流。一、准备好需要用到的软件1.ssh软件：xshell5xftp2.使用cloudreacdh5.8.0系列，下载地址hadoop-2.6.0-cdh5.8.0.t
strugglm·2020-06-26 15:39

Hadoop Yarn 框架原理及运作机制

1.1YARN基本架构YARN是Hadoop2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序特有的
安全防护技术·2020-06-26 13:27

大数据-HADOOP高可用、联邦机制- 学习笔记 -BH4

HADOOP高可用、联邦机制正式引入HA机制是从hadoop2.0开始，之前的版本中没有HA机制HA的运作机制hadoop-HA集群运作机制介绍所谓HA，即高可用（7*24小时不中断服务）,实现高可用最关键的是消除单点故障
SoFeelLove·2020-06-26 13:53

第112讲：为什么会有第一代大数据技术Hadoop和第二代大数据技术Spark？学习笔记

学习笔记本讲开始hadoop深入浅出实战经典部分本讲内容：1.第一代大数据技术Hadoop2.第二代大数据技术Sparkhadoop开启了人们大规模普及化使用大数据的历史阶段。
梦飞天·2020-06-26 13:46

大数据(八) --MapReduce运行架构, Yarn资源调度流程

MapReduce运行架构前言Hadoop1.x版本Hadoop2.x版本Yarn资源调度流程:前言  某天,某研究机构设计了一款私人飞机图纸,之后某公司根据该图纸制作出一架私人飞机.然后某位有钱人士觉得这架飞机非常好
Apache-Qibao·2020-06-26 12:22

Spark MLlib架构解析（含分类算法、回归算法、聚类算法和协同过滤）

回归、聚类和协同过滤MLlib在Spark整个生态系统中的位置如图下图所示SparkMLlib库MLlib算法库的核心内容实验的数据直接使用官方提供的数据:测试文件路径：spark-1.6.1-bin-hadoop2.6
小学生ing·2020-06-26 11:08

hadoop集群搭建步骤全

hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFSHA、YARN等。
shiyanshi805·2020-06-26 09:53

【Hadoop入门学习系列之一】Ubuntu下安装Hadoop（单机模式+伪分布模式）

一.安装须知Hadoop版本问题：Hadoop有两个主要版本，Hadoop1.x.y和Hadoop2.x.y系列，比较老的教材上用的可能是0.20这样的版本。
数据圈·2020-06-26 09:54

Hadoop之HDFS（一）

Hadoop之HDFS（一）1、Hadoop2、HDFS2.1HDFS特点2.1.1优点2.1.2缺点2.2HDFS简单操作2.3数据块block2.4HDFS架构2.4.1NameNode2.4.2DataNode2.4.3SecondaryNameNode2.4.4
Yangschun·2020-06-26 08:11

centos7 搭建ha(高可用)hadoop2.7.3集群

ha(高可用)hadoop2.7.3集群,主要是为了消除spof(单点故障)，解决方案有很
seal__jing·2020-06-26 07:39

spark1.6升级到spark2.4的常见问题

查看hadoop版本hadoop2.7可支持最新的spark2.4.0版本，下载地址为http://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.4.0
savorTheFlavor·2020-06-26 07:06

呼之欲出！比Spark快10倍的Hadoop3.0有哪些实用新特性？

1.Hadoop3.0简介Hadoop2.0是基于JDK1.7开发的，而JDK1.7在2015年4
inlcude_cx·2020-06-26 06:54

Hadoop 2.8 在 windows 平台上的搭建(单节点)

Hadoop2.0及以后的版本可以直接在windows上跑,不用cygwin了,凡是讲cygwin的攻略都可以忽略.关于环境变量:我实验下来要加的唯一一个环境变量是系统变量里的Path,往里加上Hadoop
爱知菜·2020-06-26 05:19

CentOS6.8_Spark单机部署

首先需要JDK下载安装JDK下载sparkwgethttps://d3kbcqa49mib13.cloudfront.net/spark-1.6.3-bin-hadoop2.6.tgz创建安装目录mkdir
Albert陈凯·2020-06-26 05:53

flume官方案例：监控端口数据

监控本机44444端口，然后通过telnet工具向本机44444端口发送消息，最后Flume将监听的数据实时显示在控制台1.安装telnet工具安装链接2.判断44444端口是否被占用[hadoop@hadoop202flume
番石榴飘香·2020-06-26 01:25

hadoop 学习笔记（3）-- YARN 简介

Yarn是在hadoop2中引入的资源管理系统。用户代码并不会与其直接交互，但是许多分布式计算框架都是作为一个Yarn应用来运行的。
millions_chan·2020-06-26 00:41

kerberos服务器搭建

Kerberos服务器二.安装Kerberos客户端一.安装Kerberos服务器1.准备工作确认添加主机名解析到/etc/hosts文件中：192.168.56.100hadoop1192.168.56.101hadoop2
迷你加菲·2020-06-26 00:16

Hive1.2.2（一）

一、安装一、课前准备1.安装好hadoop2.X版本的三节点集群，并配置好JAVA_HOME和HADOOP_HOME两个环境变量。
起始的地方·2020-06-25 23:00

Hadoop2.8.5编译源码详细步骤

一、前期准备1.jar包准备（hadoop源码、JDK8、maven、ant、protobuf）（1）hadoop-2.8.5-src.tar.gz下载地址（2）jdk-8u181-linux-x64.tar.gz（3）apache-ant-1.9.14-bin.tar.gz下载地址（4）apache-maven-3.6.1-bin.tar.gz下载地址（5）protobuf-2.5.0.tar下
毕竟远侦探·2020-06-25 23:16

在CentOS6.4下使用Eclipse编译运行MapReduce程序Hadoop2.6.5

本文是本人按照厦门大学林子雨老师的教程然后自己在使用Eclipse编译运行MapReduce程序的时候所做的一个博客教程，意在帮助更多的人。厦门大学林子雨老师的教程地址:http://dblab.xmu.edu.cn/blog/hadoop-build-project-using-eclipse/安装Eclipse在CentOS中安装Eclipse，需要下载安装程序，我们选择EclipseIDEf
阳光盐巴~·2020-06-25 22:14

springboot-集成spark

1.pom.xmlorg.springframework.dataspring-data-hadoop2.5.0.RELEASEorg.apache.hbasehbase-client1.3.2org.slf4jslf4j-log4j12org.mortbay.jettyservlet-api
子龙修仙·2020-06-25 21:20

springboot-集成hbase

修改pom.xml添加依赖org.springframework.dataspring-data-hadoop2.5.0.RELEASEorg.apache.hbasehbase-client1.3.2org.slf4jslf4j-log4j12org.mortbay.jettyservlet-api
子龙修仙·2020-06-25 21:48

《Pyflink》Flink集群安装，Python+Flink调研

Flink集群安装，Python+Flink调研Flink集群部署下载对应版本安装包：https://flink.apache.org/downloads.html实验环境为hadoop2.7，scala2.11
ihoge·2020-06-25 20:41

Mac环境下Hadoop2.7.3源码编译

本机环境系统版本:macOSSierra10.12.2JDK版本:javaversion"1.8.0_121"Hadoop源码:Hadoop-2.7.3一,编译前所需软件1,HomebrewHomebrew是MacOSX上的软件包管理工具，能在Mac中方便的安装软件或者卸载软件.安装:/usr/bin/ruby-e"$(curl-fsSLhttps://raw.githubusercontent.
evil_ice·2020-06-25 19:56
上一页 52 53 54 55 56 57 58 59 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他