Hadoop2

宙斯 安装部署

2.拷贝hadoop2.5.2jar到工程lib下面（hadoop-core在2x版本已
仲景武·2020-09-15 12:00

《大数据： Hadoop（HDFS） 完全分布式集群二》

N个辅助NN工作YARN:有一个RM（resoureManager）和N个NM（nodemanager）避免单点故障，NN和RM建议分散到多台机器,我们现在有3台机器，我们可以这样分配:Hadoop1Hadoop2Hadoop3DNDND
HarkerYX·2020-09-15 12:19

windows下python3.6+pycharm+spark2.3+jdk1.8+hadoop2.7环境搭建

最近要做日志分析所以想搭建spark环境但是又觉得双系统有点麻烦而且文件量不大所以就用了windows系统。在网上看了很多博客有篇博客介绍说spark不支持python3.6但是我发现搭建以后测试程序也成功运行了所以写出来跟大家分享一下。把错误写在前头：我一开始用的jdk1.7，在控制台输入pyspark的时候一直报版本不匹配的错误，后来我换成了jdk1.8就好了。下载jdk1.8的时候，官网上一
口天吴1114·2020-09-15 11:09

ntp 配置 实现虚拟机时间同步

各个节点实现时间同步有三台虚拟机,tt-hadoop1为主,tt-hadoop2和tt-hadoop3为从要实现从节点的date永远和主节点的date保持一致1>在tt-hadoop1检查ntp包是否安装命令
Jane_T·2020-09-15 09:35

【sqoop】sqoop1和sqoop2环境安装

details/52192770https://blog.csdn.net/gamer_gyt/article/details/55225700安装步骤解压软件包tar-zxvfsqoop-1.99.6-bin-hadoop200
yang63515074·2020-09-15 09:15

【学习总结】VM12+CentOS6.8+hadoop2.7+jdk1.8搭建hadoop完全分布式集群超详细步骤【上篇】

当前环境：在vm12中，一个刚安装上的centOS，在虚拟机上只装vmtools，并创建了一个mr的普通用户。方法概括：克隆出三台机器，然后修改对应的ip地址等，安装jdk和hadoop（上篇），进行ssh免密设置，再进行集群的核心配置，群起集群，运行（下篇）。目标集群规划：hadoop101hadoop102hadoop103HDFSNameNodeDataNodeDataNodeSeconda
黛眉倾城々花月蓉·2020-09-15 08:55

【学习总结】VM12+CentOS6.8+hadoop2.7+jdk1.8搭建hadoop完全分布式集群超详细步骤【下篇】

上篇详细介绍了虚拟机环境配置，在每一台虚拟机上安装好hadoop，创建好集群分发脚本sxync。下篇将进行ssh无密登录配置，以及集群的真正搭建。目标集群规划：hadoop101hadoop102hadoop103HDFSNameNodeDataNodeDataNodeSecondaryNameNodeDataNodeYARNNodeManagerResourceManagerNodeManage
黛眉倾城々花月蓉·2020-09-15 08:55

VM12+CentOS6.5+hadoop2.7.3 搭建hadoop完全分布式集群

参考：http://blog.csdn.net/gamer_gyt/article/details/51991893一：安装VM12.x下载地址：链接：http://pan.baidu.com/s/1c2KA3gW密码：3r67二：安装CentOS6.5+每台机器都要做的事这里采用3台机器，其对应的IP和主机分别如下（他们的用户名都是master）主机名ip对应的角色master1192.168.
zhangzeguang88·2020-09-15 07:28

Ubuntu12.04配置Hadoop1.1.2集群

对应的机器主机名为：master,backup,hadoop1,hadoop2建立Hadoop用户Hadoop最
sourceFour·2020-09-15 06:28

ERROR 2997: Unable to recreate exception from backed error

当我们在Hadoop2中使用第三方Jar包来跑MR（使用Pig）时，会抛出以下异常：ERROR2997:Unabletorecreateexceptionfrombackederror:Error:com.google.common.collect.Range.closed
sourceFour·2020-09-15 06:56

Hadoop二：hadoop hbase与最新版本兼容性

总：HBase2.0+最低需要Java8和Hadoop2.6，需要ZooKeeper3.4.x。
Miss_Bueno·2020-09-15 06:24

Hadoop 集中式的缓存管理demo

www.infoq.com/cn/articles/hdfs-centralized-cachehttps://blog.csdn.net/javastart/article/details/50586743从Hadoop2.3.0
orisonchan·2020-09-15 06:17

Hadoop2.10.0集群安装HBase(使用自带zookeeper)

1.下载HBase并解压缩（1）到官网下载HBase，HBase官网。（2）解压缩HBasetar-zxvfhbase-1.4.6-bin.tar.gz#解压缩sudochmod-R0777hbase-1.4.6#赋权限如图所示：2.配置HBase环境(master节点执行)（1）设置系统环境变量：vim.bashrc添加如下内容：exportHBASE_HOME=/home/gege/Downl
大梦余生丶·2020-09-15 06:40

hadoop2.10.0-hive2.3.7-hbase2.2.4环境搭建

像平常版本的支持，网上也有很多文章指明，但是基于Hadoop2.10.0的可能较为少见，于是作一整理：资源地址（hive，hadoop，zookeep
迅铭科技·2020-09-15 06:01

Kafka 常见命令行 Version 2.1.0

/kafka-consumer-groups.sh--bootstrap-serverhadoop1:59092,hadoop2:59092,hadoop3:59092--listtrajectoryGroupmyGroup
to.to·2020-09-15 05:18

基于CENTOS7.0的LINUX系统安装HADOOP2.7遇到一些“坑”

注意事项：文件数打开，防火墙关闭，SELINUX关闭，主要是配置无密钥登录，以及HADOOP的内存大小调整等对应的原因。先设置防火墙以及系统环境参数：DEVICE=eth0HWADDR=00:25:90:EC:4A:3CTYPE=EthernetUUID=40839d74-3d20-4333-ae22-0149d6834566ONBOOT=yesIPV4_FAILURE=yesNM_CONTROL
chen5131421·2020-09-15 04:22

idea生成jar包上传服务器 运行MapReduce程序和idea本地运行MapReduce程序

0.生成jar包1.添加sftp连接2.上传第0步生成的jar包3.linux上运行jar包yarnjarhadoop222-1.0-SNAPSHOT.jarcom.mr.PatentCount-Din
shadow123666·2020-09-15 03:57

Spark修炼之道（高级篇）——Spark源码阅读：第一节 Spark应用程序提交流程

会将spark应用程序打包后使用spark-submit脚本提交到Spark中运行，执行提交命令如下：root@sparkmaster:/hadoopLearning/spark-1.5.0-bin-hadoop2.4
weixin_34113237·2020-09-15 03:29

6.命令行编译打包运行五个MapReduce程序

Hadoop2.
weixin_30648587·2020-09-15 03:10

搭建hadoop环境，CentOS6.5安装Hadoop2.7.3完整流程

1、环境，3台CentOS6.5，64位，Hadoop2.7.3需要64位Linux，操作系统十几分钟就可以安装完成，Maste
序猿小弟·2020-09-15 03:46

Hadoop之wordcount性能测试

概述：利用wordcount做hadoop性能测试，依据count的数据规模增长进行性能分析评测版本：bin/hadoopversionHadoop2.3.0-cdh5.0.0测试步骤：1.利用randomtextwriter
小网客·2020-09-15 03:38

window7使用eclipse提交Hadoop作业到Hadoop集群运行方法

Hadoop集群：Hadoop2.6.0，系统：windows7，开发环境：eclipseEclipse调用Hadoop运行MapReduce程序其实就是普通的java程序可以提交MR任务到集群执行而已
cz-神算子·2020-09-15 03:58

如何让你的Oracle SQL/SP运行在Hive上？hplsql执行Oracle存储过程

的配置安装请见：https://blog.csdn.net/qq_34901049/article/details/107582460基本环境：已有基础集群环境（三个节点）：CentOS6.8Java8hadoop2.7.2hive1.2.1
.破晓.·2020-09-15 02:30

如何配置hive支持行级数据更新操作？

基本环境：Hive1.2.1hadoop2.7.2修改HIVE_HOME/conf/hive-site.xml，添加如下配置hive.support.concurrencytruehive.e
.破晓.·2020-09-15 02:30

Class org.apache.hadoop.hdfs.DistributedFileSystem not found

由hadoop2.7.1切换到hadoop3.1.1之后，加载jar包不全导致编译出现问题原因是：Classorg.apache.hadoop.hdfs.DistributedFileSystem由原本的
pre_tender·2020-09-15 02:33

Spark修炼之道（高级篇）——Spark源码阅读：第一节 Spark应用程序提交流程

会将spark应用程序打包后使用spark-submit脚本提交到Spark中运行，执行提交命令如下：root@sparkmaster:/hadoopLearning/spark-1.5.0-bin-hadoop2.4
五柳-先生·2020-09-15 02:27

Maven构建Hadoop Web项目

HDFS文件夹内容及其子文件/夹；运行WordCountMR任务；项目下载地址：Maven构建HadoopWeb项目系统软件版本Spring4.1.3Hibernate4.3.1Struts2.3.1hadoop2.6pure0.6
fansy1990·2020-09-15 02:11

Hadoop学习笔记十二 YARN基础知识

本文学习内容来自《精通HadoopMasteringHadoop》中国工信出版集团、人民邮电出版社一、简介YARN(YetAnotherResourceNegotiator)是Hadoop2.0为集群引入的一个资源管理层
谢厂节_编程圈·2020-09-15 02:25

剑指数据仓库-Hadoop一

一、上次课程回顾二、初识Hadoop2.1、Hadoop软件2.2、Hadoop的伪分布式部署2.3、Hadoop部署之密钥文件解析2.4、Hadoop三进程都以hostname进行启动2.5、Hadoop
Spark on yarn·2020-09-15 02:41

hadoop2.2.0在64位readhat编译实战

前阵子升级hadoop到2.2.0，官方32位的本地库和系统不兼容，亲自编译了一次。网上不少写如何编译hadoop的资料，照着做了几次，终于成功了，踩了几个坑，希望看到这篇文章的人不要再踩同样的坑。参考这些博文：http://chwshuang.iteye.com/blog/2017636redhat版http://mrlee23.iteye.com/blog/2010018http://blog
dongjinyong·2020-09-14 18:25

[整理]Centos6.5 + hadoop2.6.4环境搭建

搭建Hadoop集群环境（3台机器）1准备环境1.1安装系统，并配置网络使3台机器互联互通，且SSH可直连（无需密码、保存私钥）1.1.1安装系统安装Centos6.5系统安装过程略1.1.2配置网络设置三台机器的iP分别为IP主机名称10.132.41.116Hadoop.slave210.132.41.117Hadoop.slave110.132.41.118Hadoop.master修改计算
wen_hai·2020-09-14 16:32

Win7+Eclipse+Hadoop2.6.4开发环境搭建

Hadoop开发环境搭建感谢参考网站：http://www.cnblogs.com/huligong1234/p/4137133.html一、软件准备JDK：jdk-7u80-windows-x64.exehttp://www.oracle.com/technetwork/java/javase/archive-139210.htmlEclipse：eclipse-jee-mars-2-win32
wen_hai·2020-09-14 16:59

spark_note01_spark-shell

jps1954QuorumPeerMain6388Jps2981NameNode4424SparkSubmit3273SecondaryNameNode3865Master3116DataNode[[email protected]hadoop2.7
in_·2020-09-14 16:17

hadoop入门--使用MapReduce统计每个航班班次

案例基于hadoop2.73，伪分布式集群一，创建一个MapReduce应用MapReduce应用结构如图：1、引入maven依赖4.0.0com.hadoopbeginner1.0-SNAPSHOTjarbeginnerhttp
中原猿人·2020-09-14 15:36

sqoop2 使用实例

启动Client/usr/hadoop/sqoop-1.99.5-cdh5.5.1-bin-hadoop200/bin/sqoop.shclient为客户端配置服务器：setserver--hostnode3
iteye_17645·2020-09-14 14:36

Spark on yarn Intellij ide 安装，编译，打包，集群运行 详解

一intellij安装centos65系统步骤一步骤二步骤三本地运行打包集群yarn运行说明：已经安装好hadoop2.2.0完全分布，scala，spark已安装好，环境配置完毕；主机为hadoop-master
just-天之蓝·2020-09-14 13:03

hadoop集群启动的一些小错误

② 格式化多次把hadoop260下的dfs和logs删除后重新格式化
藏兔·2020-09-14 12:53

hadoop伪分布式搭建

Hadoop伪分布模式HDFS+YARN另外补充下:hadoop2.0之后不包含MapReduce;环境搭建准备:1,VMware安装如果你使用的事VirtualBox必须将电脑虚拟化。
xiangyunxue·2020-09-14 12:58

Hadoop2.8.1伪分布式搭建

准备工作CentOS-6.5hadoop官网下载(http://hadoop.apache.org/releases.html)Hadoop2.8.1的安装包。选择binary。
lantazy·2020-09-14 10:49

Yarn平台工作原理

一、基本架构YARN是Hadoop2.0中的资源管理系统，它的设计思想是将MRv1中的JobTracker拆分成了两个独立的服务：一个全局的资源管理器Scheduler和每个应用程序特有的ApplicationMaster
Michaelia_·2020-09-14 10:41

hadoop2.x 伪分布式环境搭建 | 适用于hadoop伪分布式集群环境搭建

转载请注明出处：http://blog.csdn.net/coder__cs/article/details/78372646本文出自【elon33的博客】通过详细介绍Hadoop2.4版本的伪分布环境搭建
gamedev˚·2020-09-14 10:11

Hadoop+Spark 大数据集群日常1 （There are 0 datanode(s) running报错 处理）

本人主页：http://35.234.31.208问题描述Hadoop2.7.7，搭建了一个生产环境，集群内有一台master机，一台slave机。使用一个脚本来启动集群#!/bin/bash
VisionsofShiva·2020-09-14 09:20

CDH版本的Maven依赖

文章源自：http://www.th7.cn/Program/java/201411/316694.shtml之前一直结合Maven开发Hadoop2.2.0的程序，环境换成CDH5.2后报错，发现是Maven
alphabeta12345·2020-09-14 09:49

HAOOP完全分布式

一、Hadoop介绍**HDFS:分布式存储文件//用来存数据角色：NameNode和DataNode**YARN：分布式资源调度框架（Hadoop2.x以上才引用）//调用计算机资源来进行操作角色：ResourceManager
浪里小菜鸟·2020-09-14 08:33

windows下spark开发环境配置

前提是你已经安装了eclipse、maven、jdk等软件spark支持jdk版本建议是1.8及以上，如果开发spark建议将jdk编译版本设置为1.8我选择的spark是spark-1.4.0-bin-hadoop2.6
蜗牛不爱海绵宝宝·2020-09-14 08:22

【Spark笔记】Windows10 本地搭建单机版Spark开发环境

0x00环境及软件1、系统环境OS：Windows10_x64专业版2、所需软件或工具JDK1.8.0_131spark-2.3.0-bin-hadoop2.7.tgzhadoop-2.8.3.tar.gzscala
weixin_30415801·2020-09-14 07:50

如何解决Yarn管理页面的ApplicationHistory / History无法跳转到指定页面的问题

虚拟出了三台集群机器,分别是master-->ip:192.168.153.10,slave1-->ip:192.168.153.11,slave2-->190.168.153.12；在这三台机器上我分别搭建了Hadoop2
Andy-ZHA·2020-09-14 07:58

Windows下搭建spark环境

spark环境【有问题或错误，请私信我将及时改正；借鉴文章标明出处，谢谢】参考文章：Spark在Windows环境是如何搭建的运行环境：Win1064位Jdk1.8.0_171Scala2.11.12Hadoop2.7.3Winutils.exe
fy_1852003327·2020-09-14 06:14

windows 安装 配置 hadoop2.7.2 spark2.2.3 初学入门

Hadoop1.下载安装包，不赘述了。我解压路径为：E:\soft\hadoop-2.7.22.修改etc文件夹下的文件：core-site.xml：fs.defaultFShdfs://localhost:9000hadoop.tmp.dir/E:/soft/hadoop-2.7.2/workplace/tmphadoop-env.cmd：setJAVA_HOME=C:\PROGRA~1\Jav
csdn_dengfan·2020-09-14 06:03

hadoop2.x 如何解决NameNode单节点故障问题？

在Hadoop2.x中有两个NameNode,一个是activenamenode状态是active，另一个是standynamenode状态是standy两者是进行切换的，但是有且只有一个active！
suibianshen2012·2020-09-14 05:57
上一页 17 18 19 20 21 22 23 24 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他