E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hadoop2.6.0
MapReduce实现线性回归
1.软件版本:
Hadoop2.6.0
(IDEA中源码编译使用CDH5.7.3,对应
Hadoop2.6.0
),集群使用原生Hadoop2.6.4,JDK1.8,IntellijIDEA14。
fansy1990
·
2016-10-29 11:00
requestedMemory=-1
软件版本:
Hadoop2.6.0
(源码使用CDH5.7.0,对应
hadoop2.6.0
),集群使用Hadoop2.6.4(原生,JDK1.8),Intellijidea14(JDK1.8);问题描述:使用
fansy1990
·
2016-10-26 23:00
Windows下使用eclipse编译打包运行自己的MapReduce程序
Hadoop2.6.0
一、相关文件准备1.javaJDKforWindows2.hadoop-2.6.4.tar.gz就是安装hadoop时使用的文件3.EclipseJEE版本二、环境准备1.安装java并配置环境Ubuntu下安装JDK与配置环境变量2.解压hadoop-2.6.4.tar.gz源文件Hadoop源文件在整个开发过程中都会用到,因为很多依赖包都出自里面,用户可按自己的喜好选择位置,但路径层次最好不要
跟着大数据和AI去旅行
·
2016-10-23 11:26
Big
Data
Hadoop2.6.0
启动脚本分析
Start-all.sh启动原理Step1:start-all.sh先看sbin目录下的start-all.sh脚本。抛出注释,内容很少:#Startallhadoopdaemons.Runthisonmasternode.这个脚本在hadoop-2.6.0被建议不要使用。推荐使用的是分别启动start-dfs.sh和start-yarn.sh.其内容步骤:1.找到bin文件夹的路径,并设置HAD
sooner高
·
2016-10-17 12:34
Linux
Hadoop
Hbase 1.0.1单机版安装
摘要:Hbase1.0.1单机版安装,首先说一下环境,目前用的
hadoop2.6.0
版本,系统为suselinux64位1.首先从官网上下载http://mirror.bit.edu.cn/apache
丝丝雨凉
·
2016-10-11 22:21
第6讲:精通Spark集群和测试
Spark上流行的存储框架:Hadoop的HDFS和S3云存储未来三至五年黄金组合框架:Spark+Tachyon+HDFSTachyon:基于内存的分布式文件系统,不同来源的数据,使用
Hadoop2.6.0
Diamonds_ys
·
2016-08-23 10:48
Spark学习
centos7下安装编译并搭建
hadoop2.6.0
单节点伪分布式集群
cd/etc/yum.repos.d/cpCentOS-Base.repoCentOS-Base.repo.bak(备份后,以免修改错误还可以进行还原)vimCentOS-Base.repo1安装的主要环境OS:Centos764-bitHadoopversion:2.6.0Java:Jdk1.7.0_79所有这些下载好的文件都放在/home/helloway/Downloads文件夹下,其对应的
sunshine_hlw
·
2016-07-29 21:31
windows 32位eclipse远程hadoop开发环境搭建
本文假设hadoop环境在远程机器(如linux服务器上),hadoop版本为2.5.2注:本文eclipse/intellijidea远程调试
hadoop2.6.0
主要参考了并在其基础上有所调整由于我喜欢在
lele5000
·
2016-07-14 09:59
Hadoop集群搭建详细步骤(2.6.0)
本文记录在3台物理机上搭建
Hadoop2.6.0
的详细步骤及碰到的问题解决。默认使用root账号操作,实际中建议使用专用的hadoop用户账号。
Lust-Ring
·
2016-07-12 22:05
hadoop
Hadoop
Hadoop2.6.0
Snappy 压缩安装与配置
先说点题外话,我们集群主要使用hive,Impala,sparksql等来处理数据,介于hdfs里面的数据没有压缩占用空间太大所以我们要对其进行压缩snappy比较适中snappy原生被hive等支持首先看一下你的集群是否支持/安装了snappyhadoopchecknative-a6/07/0814:20:48INFObzip2.Bzip2Factory:Successfullyloaded&i
立喆
·
2016-07-08 14:19
hadoop
Hadoop2.6.0
完全分布式搭建-入门向 新手向 详细流程
前言 昨天发了第一篇博客,今天如约来更新啦.在这里,我们将从0开始一步一步搭建Hadoop完全分布式环境并在eclipse上运行hadoop的"helloword"程序:worldcount 这一篇先说说完全分布式的环境搭建. 转载请注明出处!本文地址:http://www.cnblogs.com/XianChenBlog/p/5648636.html0,一些准备工作
疯狂的橙子
·
2016-07-07 02:00
ubuntu14.04下
hadoop2.6.0
安装
1.下载ubuntu14.04i386地址:http://old-releases.ubuntu.com/releases/14.04.1/2. 安装JDK地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html2.1.解压安装我们把JDK安装到这个路径:/jdk 或/usr/lib
baidu_21578557
·
2016-07-05 20:00
hadoop
ubuntu
博客版权问题
大家好,由于版权问题,现将“基于
hadoop2.6.0
搭建5个节点的分布式集群”等博客删除,感谢大家支持
ljc520313
·
2016-06-23 17:00
基于HBase0.98.13搭建HBase HA分布式集群
在
hadoop2.6.0
分布式集群上搭建hbaseha分布式集群。搭建
hadoop2.6.0
分布式集群,请参考“基于
hadoop2.6.0
搭建5个节点的分布式集群”。
ljc520313
·
2016-06-19 23:00
hbase
hbase
HA
HBase0.98.13
HA分布式集群
Hadoop安装教程_单机/伪分布式配置
Hadoop安装教程_单机/伪分布式配置参考资料:给力星博客、StackOverFlow系统环境:Ubunut14.0464位虚拟机Hadoop版本:
Hadoop2.6.0
创建Hadoop用户如果你安装
coderbean
·
2016-06-07 20:48
云计算
Hadoop2.6.0
完全分布式的安装与配置(Centos)
1.Linux安装前的配置1.1.关闭防火墙本站文档是假定「服务器在防火墙以内」的前提下编纂的,在这个前提下,服务器本身在内部网络是不需要防火墙的(在需要抵御内部安全威胁的情况下,您也可以用您在iptables方面的相关知识,根据实情设置防火前,并保证服务器端防火墙启动的状态)。另外,在一般情况下,我们不需要SELinux复杂的保护,所以也将其设置为无效的状态。serviceiptablessto
lao男孩
·
2016-05-31 15:11
Hadoop中FileInputFormat源码解析
基于
Hadoop2.6.0
//生成文件list,放进filesplits publicListgetSplits(JobContextjob)throwsIOException{ Stopwatchsw
u010143774
·
2016-05-22 23:00
基于
hadoop2.6.0
搭建5个节点的分布式集群
1、前言 我们使用
hadoop2.6.0
版本配置Hadoop集群,同时配置NameNode+HA、ResourceManager+HA,并使用zookeeper来管理Hadoop集群2、规划 1、主机规划
ljc520313
·
2016-05-20 16:00
hadoop完全分布式
zookeeper集群
NameNode+HA
Hadoop中Map端shuffle过程及源码解析
分析的源码是基于
Hadoop2.6.0
。官网上面的MapReduce过程Map端shuffle的过程:在执行每个maptask时,无论map方法中执行什么逻辑,最终都是要把输出写到磁盘上。
u010143774
·
2016-05-20 13:00
源码
hadoop
shuffle
HBase1.1.2 row lock
版本:HBase:1.1.2;
Hadoop2.6.0
;Eclipse:Mars.1Release(4.5.1);应用场景:HBase中有一个表,里面有一条记录,如下:现在需要根据value的值,比如当其为
fansy1990
·
2016-05-19 10:00
hbase
Lock
row
Hadoop2.6.0
运行mapreduce之推断(speculative)执行(下)
前言在《
Hadoop2.6.0
运行mapreduce之推断(speculative)执行(上)》一文中对推断执行技术的背景进行了介绍,并且在Hadoop集群上做了一些测试以验证mapreduce框架的推断执行
beliefer
·
2016-05-19 10:00
Hadoop2.6.0
运行mapreduce之推断(speculative)执行(一)
前言当一个应用向YARN集群提交作业后,此作业的多个任务由于负载不均衡、资源分布不均等原因都会导致各个任务运行完成的时间不一致,甚至会出现一个任务明显慢于同一作业的其它任务的情况。如果对这种情况不加优化,最慢的任务最终会拖慢整个作业的整体执行进度。好在mapreduce框架提供了任务推断执行机制,当有必要时就启动一个备份任务。最终会采用备份任务和原任务中率先执行完的结果作为最终结果。由于具体分析推
beliefer
·
2016-05-12 14:00
java
mapreduce
hadoop
推断
speculative
Ubuntu14上安装配置
Hadoop2.6.0
Hadoop是使用java编写的,所以在进行Hadoop开发之前,需要安装配置java环境: JAVA安装和配置jdk下载地址(我下载的是jdk1.8.0_92):http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html使用一下命令解压:sudo-xvfjdk1.8.0_92.tar.gz
tianmaxingkong_
·
2016-05-11 17:00
基于
Hadoop2.6.0
的Spark1.3.1大数据处理平台的搭建
基于
Hadoop2.6.0
的Spark大数据处理平台的搭建目 录 一、虚拟化软件、实验虚拟机准备4(一)VMwareWorkstation114(二)模版机安装4(三)安装VMwaretools4
u012429555
·
2016-05-08 16:00
搭建
hadoop2.6.0
Spark1.3.1
Hadoop2.6.0
运行mapreduce之Uber模式验证
前言在有些情况下,运行于Hadoop集群上的一些mapreduce作业本身的数据量并不是很大,如果此时的任务分片很多,那么为每个map任务或者reduce任务频繁创建Container,势必会增加Hadoop集群的资源消耗,并且因为创建分配Container本身的开销,还会增加这些任务的运行时延。如果能将这些小任务都放入少量的Container中执行,将会解决这些问题。好在Hadoop本身已经提供
beliefer
·
2016-05-05 14:00
java
mapreduce
源码
hadoop
uber
Hadoop安装教程_单机/伪分布式配置_CentOS6.4/
Hadoop2.6.0
本教程适合于在CentOS6.x系统中安装原生Hadoop2,适用于Hadoop2.7.1,
Hadoop2.6.0
等版本,主要参考了官方安装教程,步骤详细,辅以适当说明,相信按照步骤来,都能顺利在CentOS
qjc_501165091
·
2016-05-04 23:00
hadoop
数据库
分布式
Hadoop2.6.0
子项目hadoop-mapreduce-examples的简单介绍
引文学习Hadoop的同学们,一定知道如果运行Hadoop自带的各种例子,以大名鼎鼎的wordcount为例,你会输入以下命令:hadooporg.apache.hadoop.examples.WordCount-Dmapreduce.input.fileinputformat.split.maxsize=1/wordcount/input/wordcount/output/result1当然,有
泰山不老生
·
2016-04-29 13:00
Hadoop2.6.0
中YARN底层状态机实现分析
前言Hadoop2.x.x版本的底层实现中作了很多优化:用状态机对各种对象生命周期和状态转移进行管理;采用事件机制避免线程同步与阻塞;采用ProtocolBuffers优化RPC性能;采用ApacheAvro优化日志等。本文主要针对YARN中状态机的实现进行分析,在这个过程中,会捎带一些事件的内容。事件YARN中的很多组件之间进行通信,主要借助于事件。为了可读性、可维护性及可扩展性,YARN中的事
beliefer
·
2016-04-29 08:00
hadoop
大数据
yarn
状态机
过渡
Hadoop2.6.0
的事件分类与实现
前言说实在的,在阅读HadoopYARN的源码之前,我对于java枚举的使用相形见绌。YARN中实现的事件在可读性、可维护性、可扩展性方面的工作都值得借鉴。概念在具体分析源码之前,我们先看看YARN是如何定义一个事件的。比如作业启动的事件,很多人可能会用常量将它定义到一个class文件中,就像下面这样:classConstants{ publicstaticfinalStringJOB_START
beliefer
·
2016-04-26 10:00
java
hadoop
泛型
事件
yarn
使用sqoop做桥梁实现oracle和hdfs之前数据互导(问题和心得)
首先:版本号sqoop1.99.6(也就是sqoop2)
hadoop2.6.0
。。。。之前说过了hadoop的安装和配置。在这就不多说了。sqoop的安装和配置我也是照的文档一步步来的。。。。
大饼Ora
·
2016-04-21 16:56
Hadoop
使用sqoop做桥梁实现oracle和hdfs之前数据互导(问题和心得)
首先:版本号sqoop1.99.6(也就是sqoop2)
hadoop2.6.0
。。。。之前说过了hadoop的安装和配置。在这就不多说了。sqoop的安装和配置我也是照的文档一步步来的。。。。
q12344567789
·
2016-04-21 16:00
Hadoop2.6.0
配置参数查看小工具
前言使用Hadoop进行离线分析或者数据挖掘的工程师,经常会需要对Hadoop集群或者mapreduce作业进行性能调优。也许你知道通过浏览器访问http://master:18088/conf来查看配置信息,如下图所示:但是当Linux工程师们只面对命令行时,如何查看呢?而且如果运维工程师根据集群状况及运行历史使用shell、Python、ruby等脚本写些运维代码,甚至动态调整集群参数时,该怎
beliefer
·
2016-04-21 15:00
hadoop
性能
配置
大数据
hdfs
Hadoop安装教程_单机/伪分布式配置_
Hadoop2.6.0
/Ubuntu14.04
原文地址:http://www.powerxing.com/install-hadoop/当开始着手实践Hadoop时,安装Hadoop往往会成为新手的一道门槛。尽管安装其实很简单,书上有写到,官方网站也有Hadoop安装配置教程,但由于对Linux环境不熟悉,书上跟官网上简略的安装步骤新手往往Hold不住。加上网上不少教程也甚是坑,导致新手折腾老几天愣是没装好,很是打击学习热情。本教程由厦门大学
jiabiao1602
·
2016-04-20 12:17
Hadoop
Hadoop2.6.0
版本MapReudce示例之WordCount(二)
继《
Hadoop2.6.0
版本MapReudce示例之WordCount(一)》之后,我们继续看MapReduce的WordCount示例,看看如何监控作业运行或查看历史记录,以及作业运行时的文件目录及列表
lipeng_bigdata
·
2016-04-19 21:00
Hadoop2.6.0
版本MapReudce示例之WordCount
一、准备测试数据 1、在本地Linux系统/var/lib/hadoop-hdfs/file/路径下准备两个文件file1.txt和file2.txt,文件列表及各自内容如下图所示: 2、在hdfs中,准备/input路径,并上传两个文件file1.txt和file2.txt,如下图所示: 二、编写代码,封装Jar包并上传至linux 将代码封装成TestMapRe
lipeng_bigdata
·
2016-04-18 16:00
Hadoop2.6.0
子项目hadoop-mapreduce-examples的简单介绍
引文学习Hadoop的同学们,一定知道如果运行Hadoop自带的各种例子,以大名鼎鼎的wordcount为例,你会输入以下命令:hadooporg.apache.hadoop.examples.WordCount-Dmapreduce.input.fileinputformat.split.maxsize=1/wordcount/input/wordcount/output/result1当然,有
beliefer
·
2016-04-18 11:00
java
mapreduce
源码
hadoop
大数据
[置顶] hadoop平台搭建(3)--hadoop安装、环境配置、单机运行
环境说明:文章延续hadoop平台搭建(2)中的步骤,搭建Apache原生态
hadoop2.6.0
,采用Ubuntu15.10操作系统,Ubuntu其他版本操作系统的操作类似。
u010255818
·
2016-04-16 22:00
hadoop
ubuntu
Ubuntu14.04安装配置
Hadoop2.6.0
(完全分布式)与 wordcount实例运行
转自:http://www.linuxidc.com/Linux/2015-01/112029p2.htm 原文 [Mr.Snail建议第一次安装的同学完全按照下文来-这种搭建环境的事情实在没有必要浪费一丁点时间啊]我的环境是:Ubuntu14.04+Hadoop2.6.0+JDK1.8.0_25官网2.6.0的安装教程:http://hadoop.apache.org/docs/r2.6.0/
PENGYUCHENG32109
·
2016-04-15 11:00
安装配置
Hadoop2.6.0
(完全分布式)
我的环境是:Ubuntu14.04+Hadoop2.6.0+JDK1.8.0_25官网2.6.0的安装教程:http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCluster.html为了方面配置,我在每台机器上都使用了hadoop用户来操作,这样做的确够方便。结点信息:(分布式集群架构:mast
野木香
·
2016-04-14 21:16
大数据
Windows中Eclipse中
Hadoop2.6.0
配置
Windows10(64位)中EclipseLunaServiceRelease2(4.4.264位)中
Hadoop2.6.0
配置1系统配置 Windows10(64位) EclipseLunaServiceRelease2
闵开慧
·
2016-04-14 14:00
service
luna
2
release
(4.4.2
Hadoop2.6.0
配置过程
Hadoop2.6.0
安装目录下的etc/hadoop目录下是一系列的配置文件1、配置core-site.xmlfs.defaultFShdfs://master:9000Thenameofthedefaultfilesystemhadoop.tmp.dir
_Hong_
·
2016-04-14 14:13
Hadoop
Hadoop2.6.0
的FileInputFormat的任务切分原理分析(即如何控制FileInputFormat的map任务数量)
前言首先确保已经搭建好Hadoop集群环境,可以参考《Linux下Hadoop集群环境的搭建》一文的内容。我在测试mapreduce任务时,发现相比于使用Job.setNumReduceTasks(int)控制reduce任务数量而言,控制map任务数量一直是一个困扰我的问题。好在经过很多摸索与实验,终于梳理出来,希望对在工作中进行Hadoop进行性能调优的新人们有个借鉴。本文只针对FileInp
beliefer
·
2016-04-12 13:00
mapreduce
hadoop
大数据
性能优化
HADOOP集群
Linux下
Hadoop2.6.0
集群环境的搭建
本文旨在提供最基本的,可以用于在生产环境进行Hadoop、HDFS分布式环境的搭建,对自己是个总结和整理,也能方便新人学习使用。基础环境JDK的安装与配置现在直接到Oracle官网(http://www.oracle.com/)寻找JDK7的安装包不太容易,因为现在官方推荐JDK8。找了半天才找到JDK下载列表页的地址(http://www.oracle.com/technetwork/java/
beliefer
·
2016-04-11 11:00
hadoop
linux
大数据
hdfs
HADOOP集群
伪分布式安装Hadoop
本文以ubuntu14.04和
hadoop2.6.0
为例介绍hadoop的伪分布式安装过程。首先安装ssh和jdk。下载
hadoop2.6.0
。安装hadoop。
CrazyH2
·
2016-04-10 19:07
个人Hadoop学习笔记
Hadoop2.6.0
官方MapReduce文档翻译 之 二
十、作业执行及环境: MRAppMaster 执行Mapper、Reducer作业时,会将task作为它的子进程,运行在独立的jvm中。child-task 继承MRAppMaster的运行环境。用户可以通过 mapreduce.{map|reduce}.java.opts 给 child-jvm 指定额外的设置项和在Job中设置参数(如:运行时连接器(run-timelinker )
Veechange
·
2016-04-10 18:00
mapreduce
hadoop
Hadoop2.6.0
官方MapReduce文档翻译 之 一
一、前提条件: 1、已经安装了Hadoop,并且正确配置了运行环境,Hadoop已经正常运行中;二、概述: HadoopMapReduce是一套软件框架,可以轻松编写程序处理大数据集(几千兆的数据集)的合计问题, 程序能并行在可靠的,可容错的大集群(成千个节点)商用硬件上。 "MapReduce工作"(MapReducejob)通过许多完全并行的“map任务”(maptask),将输
Veechange
·
2016-04-10 18:00
mapreduce
hadoop
hadoop2.6.0
伪分布式单机全安装
1.在root账户下修改主机名/etc/sysconfig/networkHOSTNAME=localhost(自己取名)/etc/hosts127.0.0.1 localhostlocalhost.localdomain localhost4localhost4.localdomain4::1 localhostlocalhost.localdomain localhost6localho
bingzige
·
2016-04-05 12:00
小白在win7虚拟机下搭建
Hadoop2.6.0
伪分布式环境
阅读更多看了很多博客,发现了一个最适合新手的,而且本人已经验证安装成功,链接如下:http://www.powerxing.com/install-hadoop/对安装过程中遇到的一些问题的补充1.将文件放入虚拟机中不能直接将jdk安装包复制粘贴到虚拟机中,要先安装了vmwaretools才可以,步骤如下1.1点击工具栏中的虚拟机(M),在弹出的下拉框中再点击设置(s)1.2,在设置中选择选项面板
永夜-极光
·
2016-04-02 17:00
Hadoop
linux
伪分布式
开发环境
小白在win7虚拟机下搭建
Hadoop2.6.0
伪分布式环境
阅读更多看了很多博客,发现了一个最适合新手的,而且本人已经验证安装成功,链接如下:http://www.powerxing.com/install-hadoop/对安装过程中遇到的一些问题的补充1.将文件放入虚拟机中不能直接将jdk安装包复制粘贴到虚拟机中,要先安装了vmwaretools才可以,步骤如下1.1点击工具栏中的虚拟机(M),在弹出的下拉框中再点击设置(s)1.2,在设置中选择选项面板
永夜-极光
·
2016-04-02 17:00
Hadoop
linux
伪分布式
开发环境
hadoop2.6.0
HA集群搭建
Hadoop2相比较于Hadoop1.x来说,HDFS的架构与MapReduce的都有较大的变化,且速度上和可用性上都有了很大的提高,Hadoop2中有两个重要的变更: 1、HDFS的NameNode可以以集群的方式布署,增强了NameNode的水平扩展能力和可用性; 2、MapReduce将JobTracker中的资源管理及任务生命周期管理(包括定时触发及监控),拆分成两个独
usure_liunian
·
2016-03-31 16:00
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他