Hadoop2

国内首家！主导Apache Hadoop新版本发布的，是腾讯云这位小哥哥

\\\近日，腾讯主导的ApacheHadoop2.8.4最新版本发布，为国内科技公司在国际开源领域的探索迈出重要一步。
cpongo4'"\?;@·2020-08-21 12:39

二.hbase在window环境下安装

3.hadoop依赖如果没有装hadoop，则需要下载hadoop-common-2.2.0-bin-masterhadoop-common-2.2.0-bin-master(包含windows端开发Hadoop2
华哥来了你走开·2020-08-21 07:06

HDFS HA原理与理解

我们了解HDFS的HA和Federation是从Hadoop1.0和Hadoop2.0的区别开始的。那么HA是代表什么？
张晓天a·2020-08-21 07:12

Hadoop HA 是什么？架构？

hadoop2版本中可以有多个namenode结点，一个是活跃（active）状态，一个是准备（standby）状态。
IT小白虫·2020-08-21 06:52

HDFS、YARN、Mapreduce简介

一、HDFS介绍：Hadoop2介绍HDFS概述HDFS读写流程1.Hadoop2介绍Hadoop是Apache软件基金会旗下的一个分布式系统基础架构。
weixin_34417814·2020-08-21 06:05

资源管理与调度系统-YARN的基本架构与原理

为了能够对集群中的资源进行统一管理和调度，Hadoop2.0引入了数据操作系统YARN。YARN的引入大大提高了集群的资源利用率，并降低了集群管理成本。
weixin_34295316·2020-08-21 06:23

yarn 集群部署，遇到的问题小结

版本号信息：hadoop2.3.0hive0.11.01.ApplicationMaster无法訪问点击applicationmater链接，出现http500错误，java.lang.Connect.exception
weixin_34268753·2020-08-21 06:51

Kafka：ZK+Kafka+Spark Streaming集群环境搭建（九）安装kafka_2.11-1.1.0

如何安装hadoop2.9.0请参考《Kafka：ZK+Kafka+SparkStreaming集群环境搭建（二）安装hadoop2.9.0》如何配置hadoop2.9.0HA请参考《Kafka：ZK+
weixin_33859665·2020-08-21 06:46

SLF4J-jar包多绑定冲突解决

出现如下提示：SLF4J:ClasspathcontainsmultipleSLF4Jbindings.SLF4J:Foundbindingin[jar:file:/itcast/hbase-0.98.18-hadoop2
时光漫步2015·2020-08-21 06:17

Ubuntu16.04安装hadoop2.7.2分布式集群

Ubuntu16.04安装hadoop2.7.2分布式集群1.整个集群的规划节点hostname节点IP角色master/salveadminserver192.168.202.34NameNode、SecondaryNameNodeResourceManager
晓之木初·2020-08-21 05:13

ubuntu16.04LTS下Spark完全分布式搭建

本文章spark是在Hadoop2.7完全分布式环境下搭建的，相关配置如下：1、ubuntu16.04LTS2、jdk1.8._1113、Hadoop2.7.3一工具准备1.spark-2.1.0-bin-hadoop2.7
lpty·2020-08-21 05:16

hadoop hive执行count(*)提示OutOfMemoryError: Java heap space

昨天在把hive部署到hadoop2.0HAMR1集群中的时候，hive执行count(*)出错，日志为：java.lang.Exception:java.lang.OutOfMemoryError:Javaheapspaceatorg.apache.hadoop.mapred.LocalJobRunner
sanms·2020-08-21 05:19

Hadoop 2.0 HA安装时碰到的问题

安装hadoop2.0HA碰到的问题1.zookeeper集群无法从$HOME/zookeeper/bin下启动，后来从/opt/home/freeware/zookeeper-3.4.5-cdh4.2.1
sanms·2020-08-21 05:19

Hbase错误（二）：ServerNotRunningYetException: Server is not running yet

前言：我用的是hbase2.1.0；Hadoop2.7.4；zookeeper3.4.10；分别对以上三个工具进行了容器化。
Miss_Bueno·2020-08-21 05:38

[Flink]Flink三种运行模式安装部署以及实现WordCount

成功部署后分别用Scala和Java实现wordcount环境版本：Flink1.6.2集群环境：Hadoop2.6开发工具:IntelliJIDEA一.Local模式解压：tar-zxvfflink-
香山上的麻雀1008·2020-08-21 04:50

MRv2下作业成功完成后，jobhistory server拒绝链接，解决方案

操作系统：linux14.04hadoop：hadoop2.2.0问题描述：最近利用MRv2.0（YARN）进行数据挖掘，作业成功完成后，提示jobhistoryserver拒绝链接，如下所示：2015
liubei_whut·2020-08-21 04:00

Flink on Yarn部署

2.6.0Flink版本：1.1.2快速部署FlinkonYarn环境：比如启动一个有4个TaskManager（每个节点都有4GB堆内存）的Yarn会话：1.下载Flink的软件包，如flink-1.1.2-bin-hadoop26
DataFlow范式·2020-08-21 04:34

Apache-Zookeeper3.4.9集群搭建

一、环境准备1、本次使用机器为Apache-Hadoop2.7.3分布式集群搭建中的WASlave2、WASlave3、WASlave4节点；也可自行再准备三台linux主机或虚拟机(需要java环境)
坏蛋呆呆·2020-08-21 03:56

YARN与MapReduce1 相比。

有时用“MapReduce1”来指代Hadoop初始版本（版本1及更早期版本）中的MapReduce分布式执行框架，以区别于使用了YARN（Hadoop2及以后的版本）的MapReduce2。
孤芳不自賞·2020-08-21 03:19

概述Hadoop2.0中Yarn

什么是YarnApacheHadoopYARN（YetAnotherResourceNegotiator，另一种资源协调者）是一种新的Hadoop资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。为什么要使用YarnHadoop经历主要经历了两个版本。在Hadoopv2.0的版本中，YARN被引入，YAR
码中小白鼠·2020-08-21 02:51

flink安装以及运行自带wordcount示例（单机版，无hadoop环境）

1、下载安装包到/opt目录2、解压安装包tarzxfflink-1.6.1-bin-hadoop26-scala_2.11.tgz 3、启动flinkcd/opt/flink-1.6.1/bin[root
汀桦坞·2020-08-21 02:43

Linux下Hadoop2.6的安装

linux：安装流程：1、安装JDK，要求是jdk1.6及其以上的版本：以jdk-8u40-linux-x64.gz为例，在你的java下载目录下sudotar-zxvfjdk-8u40-linux-x64.gzsudomvhadoop-2.6.0/usr/local/jdk1.8.0_40然后sudogedit/etc/profile在最后面添加exportJAVA_HOME=/usr/loca
mm_bit·2020-08-21 00:01

Spark之wordcount

1、软件准备Linux:Ubuntu14.04JDK:jdk-7u79-linux-x64.tar.gzScalaSDK:scala-2.11.0.tgzHadoopHA集群：基于Hadoop2.2.0
蚂蚁冲锋队·2020-08-20 23:56

PY => Ubuntu-Hadoop-YARN-HDFS-Hive-Spark安装配置

环境条件Java8Python3.7Scala2.12.10Spark2.4.4hadoop2.7.7hive2.3.6mysql5.7mysql-connector-java-5.1.48.jarR3.1
Cython_lin·2020-08-20 22:35

hadoop - hadoop2.6 伪分布式 - eclipse 中 配置 和 示例 wordcount

1.配置eclipse1.1下载linux版的eclipse百度云-大数据资料专辑1.2解压可以手动提取，也可以命令提取：yuan@LABELNET:~/JAVA$sudotar-zxvfeclipse.tar.gz~/JAVA/1.3运行yuan@LABELNET:~/Java/eclipse$./eclipse1.4图标我的是deepin15-linux操作系统，创建图标很简单（1）必须在ho
LABLENET·2020-08-20 22:44

windows下安装并启动hadoop2.6.1

下面把这几步细化贴出来，以hadoop2.6.1为例1、下载hadoop安装包就不细说了：https://archive.apache.org/di
trista0929·2020-08-20 22:43

HBase的三种操作方式

在《Hadoop2.2.0和HBase0.98.11伪分布式》中已经安装好了伪分布式的HBase，而且可以启动起来了。
liuyuan185442111·2020-08-20 21:16

hadoop2.6在window上搭建测试环境

org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z等一系列问题，ljavalangstring一．简介Windows下的Eclipse上调试Hadoop2
iteye_18039·2020-08-20 21:01

Hadoop数据操作系统YARN全解析

  为了能够对集群中的资源进行统一管理和调度，Hadoop2.0引入了数据操作系统YARN。YARN的引入，大大提高了集群的资源利用率，并降低了集群管理成本。
CoXie·2020-08-20 21:24

Hadoop数据操作系统YARN全解析

  为了能够对集群中的资源进行统一管理和调度，Hadoop2.0引入了数据操作系统YARN。YARN的引入，大大提高了集群的资源利用率，并降低了集群管理成本。
CoXie·2020-08-20 21:23

Hadoop上搭建Zookeeper、HBase

环境ubuntu14.04hadoop2.7.1搭建过程，请参考我的上几篇文章master192.168.31.131slave1192.168.31.132slave2192.168.31.133HBase
米兔by·2020-08-20 21:02

hadoop1.0和hadoop2.0的区别

1.Hadoop1.0中的资源管理方案Hadoop1.0指的是版本为ApacheHadoop0.20.x、1.x或者CDH3系列的Hadoop，内核主要由HDFS和MapReduce两个系统组成，其中，MapReduce是一个离线处理框架，由编程模型（新旧API）、运行时环境（JobTracker和TaskTracker）和数据处理引擎（MapTask和ReduceTask）三部分组成。Hadoo
zhangxiong0301·2020-08-20 20:39

win10 spark+scala+eclipse+sbt 安装配置

jdk1.8以上,建议全部的安装路径不要有空格2、安装spark2.1下载下载地址：http://spark.apache.org/downloads.html，我下载的是spark-2.2.1-bin-hadoop2.7
董可伦·2020-08-20 20:02

win10 spark+scala+eclipse+sbt 安装配置

jdk1.8以上,建议全部的安装路径不要有空格2、安装spark2.1下载下载地址：http://spark.apache.org/downloads.html，我下载的是spark-2.2.1-bin-hadoop2.7
董可伦·2020-08-20 20:01

CDH之后搭建flink

这篇是讲解CDH集群搭建之后，自己搭建flink去集成tar-xzvfflink-1.7.2-bin-hadoop28-scala_2.11.tgzvim./.bash_profileexportFLINK_HOME
weixing_2006·2020-08-20 20:47

hadoop2.5.2 安装部署

0x00平台环境OS:CentOS-6.5-x86_64JDK:jdk-8u111-linux-x64Hadoop:hadoop-2.6.50x01操作系统基本设置1.1网络配置1.1.1修改主机名//查看当前主机名#hostname//修改当前主机名#vim/etc/sysconfig/networkNETWORKING是否利用网络GATEWAY默认网关IPGATEWAYDEV默认网关的接口名H
ningwang·2020-08-20 20:25

hadoop2.5.2 安装部署

0x00平台环境OS:CentOS-6.5-x86_64JDK:jdk-8u111-linux-x64Hadoop:hadoop-2.6.50x01操作系统基本设置1.1网络配置1.1.1修改主机名//查看当前主机名#hostname//修改当前主机名#vim/etc/sysconfig/networkNETWORKING是否利用网络GATEWAY默认网关IPGATEWAYDEV默认网关的接口名H
ningwang·2020-08-20 20:25

zookeeper、hadoop、hbase单节点伪分布式集群一键部署shell脚本

ardh.1.0安装说明注：脚本tgz包后续上传，欢迎留言与我交流讨论一、使用说明1、脚本内默认安装三款软件：zookeeper-3.4.13、hadoop2.7.3、hbase-1.2.62、脚本经centos6.5
王若蠢·2020-08-20 19:12

oozie 安装过程总结

环境说明CentOSrelease6.6(Final)hadoop2.6.0oozie4.1.0jdk1.7.0_40maven3.2.3我这
jiacai2050·2020-08-20 19:49

oozie 安装过程总结

环境说明CentOSrelease6.6(Final)hadoop2.6.0oozie4.1.0jdk1.7.0_40maven3.2.3我这
jiacai2050·2020-08-20 19:48

第一个hadoop程序（java程序访问hadoop的hdfs文件系统中的文件）

1：hadoop2.7.3环境2：阿里云服务器centos6.5，ip是：47.88.14.1903：hadoop在伪分布式下运行的。
mkl34367803·2020-08-20 18:29

使用hadoop接口的java程序示例

使用hadoop接口的java程序示例实验环境ubuntu18.0.4,hadoop2,eclipse再进行实验前，需要启动hadoop2，并且把相关jar包导入eclipse的项目下，具体操作参考https
GreenSpareTire·2020-08-20 18:00

spark-shell on yarn 出错（arn application already ended,might be killed or not able to launch applic）解决

今天想要将spark-shell在yarn-client的状态下结果出错：[[email protected]hadoop2]$bin/spark-shell--masteryarn-clientSparkassemblyhasbeenbuiltwithHive
JokerCao·2020-08-20 18:07

HDFS中JavaAPI对文件的上传、查询

Ubuntu+Hadoop2.7.3集群搭建：https://blog.csdn.net/qq_38038143/article/details/83050840Ubuntu配置Eclipse+Hadoop
GYT0313·2020-08-20 17:26

mac安装单机版hadoop2.8.5

1、网上下载hadoop，下载hadoop-2.8.5.tar.gz，最好使用迅雷下载，否则下载过程非常缓慢点我下载hadoop使用迅雷下载地址：http://www.apache.org/dist/hadoop/core/hadoop-2.8.5/hadoop-2.8.5.tar.gz2、下载完毕将hadoop上传至指定文件夹（这是欲安装目录），我这里上传至/etc/hadoop下3、解压：ta
雪夜独酌·2020-08-20 17:50

Windows 下运行 Hadoop 并部署到 AWS（qbit）

本文环境Windows10JDK8IntelliJIDEA2019.3.4(CommunityEdition)Hadoop2.8.5AWSEMR5.3.0单机程序新建Maven工程修改pom.xml配置
qbit·2020-08-20 17:09

Windows 下运行 Hadoop 并部署到 AWS（qbit）

本文环境Windows10JDK8IntelliJIDEA2019.3.4(CommunityEdition)Hadoop2.8.5AWSEMR5.3.0单机程序新建Maven工程修改pom.xml配置
qbit·2020-08-20 17:08

基于Hadoop不同版本搭建hive集群（附配置文件）

本教程采用了两种方案一种是hive-1.21版本,hadoop版本为hadoop2.6.5还有一种是主要讲基于hadoop3.xhive的搭建关注公众号：Java架构师联盟，每日更新技术好文先来第一种一
马小邱·2020-08-20 17:22

基于Hadoop不同版本搭建hive集群（附配置文件）

本教程采用了两种方案一种是hive-1.21版本,hadoop版本为hadoop2.6.5还有一种是主要讲基于hadoop3.xhive的搭建关注公众号：Java架构师联盟，每日更新技术好文先来第一种一
马小邱·2020-08-20 17:21

PY => Ubuntu-Hadoop-YARN-HDFS-Hive-Spark安装配置

环境条件Java8Python3.7Scala2.12.10Spark2.4.4hadoop2.7.7hive2.3.6mysql5.7mysql-connector-java-5.1.48.jarR3.1
Cython_lin·2020-08-20 16:00
上一页 23 24 25 26 27 28 29 30 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他