E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Hadoop相关
Hadoop学习资源
记录一些
Hadoop相关
的学习资源,以备忘。
·
2015-10-31 19:12
hadoop
hadoop相关
的学习
http://www.kuqin.com/system-analysis/20111221/316517.html hadoop的分布式管理工具 http://www.tbdata.org/archives/1470 淘宝关于hadoop的性能调优  
·
2015-10-31 10:30
hadoop
详解Hadoop Slots的含义
然而在
Hadoop相关
论文,slots的阐述难以理解。
·
2015-10-30 14:00
hadoop
参加Hive和Pig(两个hadoop数据查询、处理工具)培训的一些体会
最困难的是
hadoop相关
的公开的学习资料太少。官网上的教程经常有小错误走不下去。 后来看到Cloudera公司授
·
2015-10-30 13:34
hadoop
Hadoop相关
基础知识
1、Hive 1)Hive是一个构建在Hadoop上的数据仓库框架。它把数据组织成表,通过这种方式为存储在HDFS的数据赋予结构。我们可以通过外壳环境与Hive进行交互,向它发送HiveQL(SQL的一种方言)命令。Hive把HiveQL转换为一系列在Hadoop集群上运行的MR作业。 应用:腾讯分布式数据仓库(TDW)便是基于Hive构建的。详见https://code.csdn
·
2015-10-28 08:56
hadoop
可用于Hadoop下的ETL工具——Kettle
看大家分享了好多
hadoop相关
的一些内容,我为大家介绍一款ETL工具——Kettle。
·
2015-10-26 15:25
hadoop
zookeeper 分布式锁服务
zookeeper是hadoop下面的一个子项目, 用来协调跟
hadoop相关
的一些分布式的框架, 如hadoop, hive, pig等, 其实他们都是
·
2015-10-21 10:42
zookeeper
Maven搭建hadoop环境报Missing artifact jdk.tools:jdk.tools:jar:1.7
项目中用了HBase,也有
Hadoop相关
的jar配置。
FansUnion
·
2015-10-16 09:00
jdk
maven
hadoop
hbase
jdk.tools.jar
hadoop中slot简介(map slot 和 reduce slot)
然而在
Hadoop相关
论文,slots的阐述难以理解。
jethai
·
2015-09-22 22:46
slot
Hadoop/CDH
hadoop中slot简介(map slot 和 reduce slot)
然而在
Hadoop相关
论文,slots的阐述难以理解。
jethai
·
2015-09-22 22:46
SLOT
hadoop中slot简介(map slot 和 reduce slot)
然而在
Hadoop相关
论文,slots的阐述难以理解。
suibianshen2012
·
2015-09-07 20:00
hadoop
map
reduce
SLOT
Hadoop RPC
终于完成
Hadoop相关
信息的系统性学习,最近正在正对Hadoop不同功能点的学习。由于之前对于分布式网络通信接触比较少,在看到RPC的时候,充满了困惑。借这篇文章来记录下我的学习方式。
ziye520
·
2015-09-01 20:00
java
动态代理
对比Oracle和Mysql在锁机制上的类似和差异点
在进一步分析
Hadoop相关
的分布式事务和锁的机制前,有必要先整理和对比分析一下RDBMS领域最红的两大领军人物Oracle
z69183787
·
2015-08-31 20:00
Hadoop相关
日常操作
1.Hive相关脚本导数据,并设置运行队列bin/beeline-u'url'--outputformat=tsv-e"setmapreduce.job.queuename=queue_1"-e"select*fromsearch_logwheredate=20150523">test.txt 将毫秒转换为日期selectfrom_unixtime(cast(createTime/1000asb
春文秋武
·
2015-08-28 16:00
hadoop相关
教程_简介
1、 开本专题的背景意义 面试体会:应用层面过浅、对平台框架理解不到位 求职倾向:不要讲hadoop开发工程师,因为它仅是个简单的工具而已2、 Hadoop历史发展 Nutch: Lucene: NDFS:nutchdistributedfilesystem MapReduce: Hadoop:GFSàHDFS,MapReduceàMa
erliang20088
·
2015-08-11 21:00
java
hadoop
互联网
大数据
云计算
VisualVM远程监控spark
hadoop相关
JVM情况配置
首先在${JAVA_HOME}/bin下建立文件jstatd.all.policy,键入如下内容:(注意要修改成你本机的java路径)grantcodebase"file:/opt/jdk1.7/lib/tools.jar"{permissionjava.security.AllPermission; };2.接下来通过jstatd来启动RMI服务:nohupjstatd-J-Djava.secu
wzq294328238
·
2015-08-11 16:00
jvm
开源日志系统比较
本博客微信公共账号:hadoop123(微信号为:hadoop-123),分享hadoop技术内幕,hadoop最新技术进展,发布
hadoop相关
职位和求职信息,hadoop技术交流聚会、讲座以及会议等
ShiZhixin
·
2015-07-14 15:00
eclipse连hadoop2.x运行wordcount
一、新建java工程,并且导入
hadoop相关
jar包 4.1.2新建java工程(需要手动导入hadoop相应jar包),具体如下图所示: 4.1.2.1新建java工程完成后,
cjun1990
·
2015-07-07 11:00
hadoop编程初步介绍
近来工作当中用到hadoop之mapreduce、hive、hbase等做大数据的离线数据分析与挖掘颇多,在进一步巩固了自身对于
hadoop相关
研发的理论与实战水平,在空闲之余会写一系列相关的编程博文。
erliang20088
·
2015-05-17 17:00
java
hadoop
大数据
分布式文件系统
云计算之hadoop生态圈简介
有幸在今年春节之前的1个月的时间,做了hadoop、hbase相结合的简单开发,对
hadoop相关
有更深的理解,特在此补上年前未写的文章。
周天亮
·
2015-05-17 17:32
hadoop
java
nutch
云计算
程序员
云计算之hadoop生态圈简介
有幸在今年春节之前的1个月的时间,做了hadoop、hbase相结合的简单开发,对
hadoop相关
有更深的理解,特在此补上年前未写的文章。
erliang20088
·
2015-05-17 17:00
java
hadoop
程序员
Nutch
云计算
Hadoop web页面的授权设定
一、相关概念在默认情况下,
Hadoop相关
的WEB页面(JobTracker,NameNode,TaskTrackersandDataNodes)是不需要什么权限验证就可以直接进入的,谁都可以查看到当前集群上有哪些作业在运行
u010022051
·
2015-04-20 11:00
centos6下安装ambari 1.7.0
apache ambari是一款大数据管理平台, 可以管理hadoop, hive, hbase, storm等
hadoop相关
软件.
highill
·
2015-04-12 17:00
centos
ambari
centos6下安装ambari 1.7.0
阅读更多apacheambari是一款大数据管理平台,可以管理hadoop,hive,hbase,storm等
hadoop相关
软件.编译安装有点麻烦,使用yum安装1.7.0,貌似2.0.0暂时不在yum
highill
·
2015-04-12 17:00
centos
ambari
HDFS读书笔记-总体介绍(一)
一直以来对
hadoop相关
系列的学习都是较为零散的,不成体系。没有经过自己总结和沉淀的资料也很难长久的消化和在工作中实际运用。故而也希望通过这样系列的方式对所学习,所了解的资料进行总结。
liuxiao723846
·
2015-04-12 17:00
hadoop
HDFS架构
Hadoop web页面的授权设定
http://www.iteblog.com/)本文链接地址: 《Hadoopweb页面的授权设定》(http://www.iteblog.com/archives/988)一、相关概念在默认情况下,
Hadoop
逸云丫丫
·
2015-03-20 15:00
【Hbase】Java调用Hbase接口实现数据库操作
继上一篇文章我们首先来替换下hbase的lib目录下
hadoop相关
的jar包,换成2.6的在eclipse的javaproject中,直接引入hbase的lib下的所有jar省的到时候这个类找不到,那个类找不到的
chiweitree
·
2015-03-04 10:52
hbase
【Hbase】Java调用Hbase接口实现数据库操作
继上一篇文章我们首先来替换下hbase的lib目录下
hadoop相关
的jar包,换成2.6的在eclipse的javaproject中,直接引入hbase的lib下的所有jar省的到时候这个类找不到,那个类找不到的
chiweitree
·
2015-03-04 10:00
Hadoop面试葵花宝典
在此,非常感谢大家对超人学院工作的鼎力支持与配合,本次共收集了将近500道
hadoop相关
的面试题。
超人学院
·
2015-01-27 10:00
hadoop
面试
shell case语法
在阅读
hadoop相关
的脚本文件时,遇到case语句,好久不写shell,忘了不少,复习下shell的case语句: 运行结果: case的语法:
·
2015-01-20 15:00
shell
(转载)你为什么学习Hadoop
转载自:http://chuansongme.com/n/1062752记得11年的时候在百度知道搜
Hadoop相关
的问题每天只有零星几个,那会我基本每天都要去看看有没我能回答的问题。
·
2015-01-12 09:00
HDFS配置Kerberos认证
HDFS配置Kerberos认证2014.11.04本文主要记录CDHHadoop集群上配置HDFS集成Kerberos的过程,包括Kerberos的安装和
Hadoop相关
配置修改说明。
wulantian
·
2014-12-26 16:00
【Hadoop四】Centos7_x86_64部署Hadoop集群之部署Hadoop集群
虚机环境配置目前只有一台虚拟机,设置IP为192.168.26.131,对这台虚拟机进行环境和
Hadoop相关
的配置后,关闭它然后克隆两个相同的虚拟机,然后针对每台虚拟机做虚拟机独有的设置设置主机名设置
bit1129
·
2014-12-09 16:00
centos
【Hadoop四】Centos7_x86_64部署Hadoop集群之部署Hadoop集群
虚机环境配置目前只有一台虚拟机,设置IP为192.168.26.131,对这台虚拟机进行环境和
Hadoop相关
的配置后,关闭它然后克隆两个相同的虚拟机,然后针对每台虚拟机做虚拟机独有的设置设置主机名设置
bit1129
·
2014-12-09 16:00
centos
【Hadoop四】Centos7_x86_64部署Hadoop集群之部署Hadoop集群
虚机环境配置目前只有一台虚拟机,设置IP为192.168.26.131,对这台虚拟机进行环境和
Hadoop相关
的配置后,关闭它然后克隆两个相同的虚拟机,然后针对每台虚拟机做虚拟机独有的设置设置主机名设置
bit1129
·
2014-12-09 16:00
centos
用ganglia监控hadoop
就算运行起来了,还是和现有
hadoop相关
产品很多指标不一致,所以不适合使用。ganglia则在hadoop中原生支持。
czp11210
·
2014-12-08 11:00
盘点SQL on Hadoop中用到的主要技术
自hive出现之后,经过几年的发展,SQLon
Hadoop相关
的系统已经百花齐放,速度越来越快,功能也越来越齐全。
·
2014-11-15 14:00
data
system
hive
impala
sql
on
hadoop
盘点SQL on Hadoop中用到的主要技术
自hive出现之后,经过几年的发展,SQLon
Hadoop相关
的系统已经百花齐放,速度越来越快,功能也越来越齐全。
·
2014-11-15 06:00
sql
hadoop
hive
impala
on
System
Data
如何把
hadoop相关
源码关联到eclipse工程中
在eclipse中阅读源码非常方便,利于我们平时的学习,如下就供述如何把hadoop源码导入到eclpse的java工程中的一;解压源码首先,我们在windows下使用winrar把hadoop-1.1.2.tar.gz解压,如图1所示我们关注文件夹src,浏览该文件夹,如图2所示我们需要这三个文件夹,一会我们会把这三个文件夹复制到eclipse中。二;创建java工程在eclipse中通过菜单栏
蓝宫卫
·
2014-11-03 00:50
Eclipse
jar
Hapdoop
Hadoop
如何把
hadoop相关
源码关联到eclipse工程中
在eclipse中阅读源码非常方便,利于我们平时的学习,如下就供述如何把hadoop源码导入到eclpse的java工程中的一;解压源码首先,我们在windows下使用winrar把hadoop-1.1.2.tar.gz解压,如图1所示我们关注文件夹src,浏览该文件夹,如图2所示我们需要这三个文件夹,一会我们会把这三个文件夹复制到eclipse中。二;创建java工程在eclipse中通过菜单栏
蓝宫卫
·
2014-11-03 00:50
eclipse
jar
Hapdoop
hadoop2.0 namenode ha配置
从2010年开始接触hadoop,到2012年的这段时间内一直从事
hadoop相关
项目的研发,2012年后,由于一些原因,在技术上的积累慢慢淡忘。
_hadooper
·
2014-10-23 23:00
hadoop相关
知识总结
在部署hadoop及运行过程中遇到的问题记录下来,毕免大家少走弯路。 1.提交map-reduce作业时,如果待提交的jar包中已指定含有main方法的主类(即查看MANIFEST.MF清单文件中是否包含main-class主类),则执行hadoop-jar时不用指定主类的路径,否则需要指定。 在不指定时执行如下语句。 则报下面的错误:
beck5859509
·
2014-10-22 11:00
hadoop
使用hadoop实现关联商品统计
转载请注明出处:http://blog.csdn.net/xiaojimanman/article/details/40184581最近几天一直在看
hadoop相关
的书籍,目前稍微有点感觉,自己就仿照着
xiaojimanman
·
2014-10-17 14:00
java
mapreduce
hadoop
分布式计算
大数据之Hadoop平台(四)Centos6.5(64bit)Hadoop2.5.1、Zookeeper3.4.6、Hbase0.98.6.1安装使用过程中错误及解决方法
一、
Hadoop相关
1.运行wordcount例子错误信息:Containerkilledonrequest.Exitcodeis143 Containerexitedwithanon-zeroexitcode143
PicassoLoveCoding
·
2014-10-17 11:00
mapreduce
linux运维
yarn
hadoop2.5.1
hbase0.98.6.1
HBASE松散数据存储设计初识
引最近关注Hadoop,因此也顺便关注了一下
Hadoop相关
的项目。HBASE就是基于Hadoop的一个开源项目,也是对Google的BigTable的一种实现。 BigTable是什么?
猪刚烈
·
2014-10-15 15:00
hadoop
数据库
server
cache
hbase
存储
Hadoop mapreduce
MapReduce工作原理图文详解前言:前段时间我们云计算团队一起学习了
hadoop相关
的知识,大家都积极地做了、学了很多东西
唐美好
·
2014-10-08 14:00
mapreduce
Hadoop mapreduce
阅读更多MapReduce工作原理图文详解前言:前段时间我们云计算团队一起学习了
hadoop相关
的知识,大家都积极地做了、学了很多东西,收获颇丰。
唐美好
·
2014-10-08 14:00
CentOS的网络配置(终端环境)
在虚拟机中安装了Server版的CentOS,用于做
Hadoop相关
的实验。Server版的CentOS默认是没有桌面环境的,eth0的网络默认也没有开启,需要我们手动启动网络。
·
2014-09-27 23:00
centos
--
Hadoop相关
零散知识点
Hadoop学习笔记:1、Hadoop三种安装模式本地模式:本地模式是Hadoop默认的模式,只有Hadoop被配置成以非分布式模式运行的一个独立Java进程。默认模式下所有3个XML文件均为空,此时,Hadoop会完全运行在本地。它只负责存储,没有计算功能。伪分布式模式:伪分布式模式是在一台机器上模拟分布式部署,方便学习和调试。使用多个守护线程模拟分布的伪分布运行模式,此时每个Hadoop守护进
hiqj
·
2014-08-30 18:00
hadoop编程小技巧(8)---Unit Testing (单元测试)
所需环境:
Hadoop相关
jar包(下载官网发行版即可);下载junit包(最新为好);下载mockito包;下载mrunit包;下载powermock-mockito包;相关包截图如下(相关下载参考:
fansy1990
·
2014-07-29 13:16
hadoop
mapreduce
MR单元测试
hadoop
编程
hadoop
编程
上一页
4
5
6
7
8
9
10
11
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他