E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hadoop+hive
Hadoop+hive
集群安装部署 (一)
环境准备:Centos5.5x64 (3台)10.129.8.52 (master)======>>NameNode,SecondaryNameNode,JobTracker10.129.8.76 (slave01)======>>DataNode,TaskTracker10.129.8.33 (slave02)======>>DataNode,TaskTracker单台机器的本地host文件
死里逃生
·
2013-07-05 17:10
集群安装部署
Hadoop+hive
集群安装部署 (一)
环境准备:Centos5.5x64(3台)10.129.8.52(master)======>>NameNode,SecondaryNameNode,JobTracker10.129.8.76(slave01)======>>DataNode,TaskTracker10.129.8.33(slave02)======>>DataNode,TaskTracker单台机器的本地host文件如下:10.
死里逃生
·
2013-07-05 17:10
集群安装部署
Linux高级服务配置
hadoop+hive
使用中遇到的问题汇总
[size=medium]问题排查方式[/size][list][*]一般的错误,查看错误输出,按照关键字google[*]异常错误(如namenode、datanode莫名其妙挂了):查看hadoop($HADOOP_HOME/logs)或hive日志[/list][size=large]hadoop错误[/size][size=medium]1.datanode无法正常启动[/size]添加d
godlovedog
·
2013-07-02 19:18
hadoop
hadoop+hive
使用中遇到的问题汇总
问题排查方式 一般的错误,查看错误输出,按照关键字google 异常错误(如namenode、datanode莫名其妙挂了):查看hadoop($HADOOP_HOME/logs)或hive日志 hadoop错误 1.datanode无法正常启动 添加datanode后,datanode无法正常启动,进程一会莫名其妙挂掉,查看namenode日志显示如下:
godlovesdog
·
2013-07-02 19:00
hadoop
hadoop
hive
ubantu下安装
hadoop+hive
全解
ubanto-hadoop环境搭建安装 vm下载:去官网下 VMware-player-5.0.1-894247.zip安装和配置ubanto下载:去官网下 ubuntu-12.10-desktop-i386.iso打开vm,载入ubanto iso文件,进行安装更新进入ubanto,如果是第一个进入,则需要设置root的密码> sudo passwd root创建用户#sudo useradd
huangfengxiao
·
2013-03-28 17:00
LINUX下单机安装
HADOOP+HIVE
手册
HADOOP篇HADOOP安装1.tar-zvxfhadoop-0.19.2.tar.gz2.HADOOP的安装路径添加到环境文件/etc/profile中:exportHADOOP_HOME=/home/hadoop/setup/hadoop-0.19.2exportPATH=$HADOOP_HOME/bin:$PATHHADOOP配置1.在$HADOOP/conf/hadoop-env.sh中
zenoh
·
2013-02-17 14:00
hadoop
Hadoop Hive与Hbase整合
用hbase做数据库,但由于hbase没有类sql查询方式,所以操作和计算数据非常不方便,于是整合hive,让hive支撑在hbase数据库层面的hql查询.hive也即做数据仓库1.基于
Hadoop+
iquicksandi
·
2013-02-05 21:44
Hive
Hadoop Hive与Hbase整合
用hbase做数据库,但由于hbase没有类sql查询方式,所以操作和计算数据非常不方便,于是整合hive,让hive支撑在hbase数据库层面的hql查询.hive也即做数据仓库1.基于
Hadoop+
IQuicksandI
·
2013-02-05 21:00
Hadoop Hive与Hbase整合
基于
Hadoop+Hive
架构对海量数据进行查询:http://blog.csdn.net/kunshan_shenbin/article/details/7105319 2. HBase 0.
k_lb
·
2013-02-05 21:00
hadoop
通过程序查询linux环境上的hive上的表数据
前提:linux环境ip:192.168.9.228已经在linux环境上部署好了
hadoop+hive
环境,具体介绍上一篇文章有相关介绍,可以参考下,此篇主要介绍如果在本机windows环境下通过eclipse
kun20031029
·
2013-01-18 11:06
hive 整合 hbase
用hbase做数据库,但由于hbase没有类sql查询方式,所以操作和计算数据非常不方便,于是整合hive,让hive支撑在hbase数据库层面的hql查询.hive也即做数据仓库1.基于
Hadoop+
kky2010_110
·
2012-12-19 16:00
几篇关于
Hadoop+Hive
数据仓库的入门文章
Hadoop计算平台和Hadoop数据仓库的区别http://datasearch.ruc.edu.cn/~boliangfeng/blog/?tag=%E6%95%B0%E6%8D%AE%E4%BB%93%E5%BA%93Hive随谈(三)–Hive和数据库的异同http://www.tbdata.org/archives/551HadoopEcosystem解决方案---数据仓库http://
miyatang
·
2012-11-12 09:00
Big Data系统架构
FaceBook目前采用了
Hadoop+Hive
的架构,Sina也是Linkedin采用了Hadoop,Kafka(messagebus)等技术淘宝:云梯解剖Twitter:Twitter系统架构设计分析
zhxue123
·
2012-09-14 18:00
两个Hive无法启动问题的解决
最近在一台旧linux服务器上部署
hadoop+hive
的测试环境。Hadoop版本:0.20.2Hive版本:0.6.0 问题一,Bash版本不对Hadoop使用假分布式启动,很容易的就跑起来了。
ningguixin
·
2012-08-04 21:00
hadoop
linux
服务器
command
bash
regex
hadoop+hive
多用户访问支持
在我们
hadoop+hive
的使用场景中,一般都是将hive部署在hadoop用户下。而如果多人需要访问的时候,只能通过hive启动server的方式来处理。而不能通过客户端的方式来处理。
anyoneking
·
2012-06-25 17:31
Hadoop
hadoop+hive
多用户访问支持
在我们
hadoop+hive
的使用场景中,一般都是将hive部署在hadoop用户下。而如果多人需要访问的时候,只能通过hive启动server的方式来处理。而不能通过客户端的方式来处理。
anyoneking
·
2012-06-25 17:00
LINUX下单机安装
HADOOP+HIVE
手册
HADOOP篇 HADOOP安装 1.tar -zvxf hadoop-0.19.2.tar.gz 2.HADOOP的安装路径添加到环境文件/etc/profile中: export HADOOP_HOME=/home/hadoop/setup/hadoop-0.19.2 export PATH=$HADOOP_HOME/bin:$PATH H
hugh.wangp
·
2012-05-31 15:00
hadoop
linux
hive
Hadoop Hive与Hbase整合
用hbase做数据库,但由于hbase没有类sql查询方式,所以操作和计算数据非常不方便,于是整合hive,让hive支撑在hbase数据库层面的hql查询.hive也即做数据仓库1.基于
Hadoop+
zhb_mccoy
·
2012-04-16 09:16
hadoop学习1——job执行过程
接触hadoop半年多了,主要使用
hadoop+hive
做数据分析。
goon
·
2012-02-09 11:00
hadoop
hive+hbase整合
基于
Hadoop+Hive
架构对海量数据进行查询:http://blog.csdn.net/kunshan_shenbin/article/details/7105319 2. HBase 0.
黎明lm
·
2012-02-03 16:00
hadoop
hive
hbase
让Hadoop 1.0.0 + HBase 0.90.5 + Hive 0.8.0整合起来
1.基于
Hadoop+Hive
架构对海量数据进行查询:http://blog.csdn.net/kunshan_shenbin/article/details/71053192.HBase0.90.5+
kunshan_shenbin
·
2012-01-19 14:00
java
hadoop
String
hbase
table
compression
hadoop+hive
配置
首先根据http://cp1985chenpeng.iteye.com/blog/1328541中配置好hadoop分布式。 然后在master上下载hive 安装hive很简单,首先解压缩。 然后配置环境变量以ubuntu为例 $sudo vim /etc/environment 添加 JAVA_HOME="/usr/lib/jvm/java
cp1985chenpeng
·
2011-12-28 17:00
hadoop
hive
基于
Hadoop+Hive
架构对海量数据进行查询
参考资料:https://cwiki.apache.org/confluence/display/Hive/GettingStarted1.安装Hadoop并启动。参考资源:single-node:http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/multi-node:h
昆山人在上海
·
2011-12-27 12:34
hadoop
table
path
hbase
string
通讯
Linux平台
云计算云存储
No-SQL
基于
Hadoop+Hive
架构对海量数据进行查询
参考资料:https://cwiki.apache.org/confluence/display/Hive/GettingStarted1.安装Hadoop并启动。参考资源: single-node:http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/ multi-
kunshan_shenbin
·
2011-12-27 12:00
hadoop
String
hbase
table
Path
通讯
hadoop+hive
做数据仓库 & 一些测试
转载标明:www.bagbaby.cnhttp://hi.baidu.com/dd_shop背景需求和现状目前的日志系统还称不上系统,只是在几台服务器上存着所有的日志,依靠NFS共享数据,并运算,带来的问题诸多:a)数据存放凌乱,缺乏系统的目录管理;b)存储空间有限,并且扩展非常麻烦;c)CV/PV等日志分散存放,合并不方便;d)媒体服务日志数据集中存放,数据庞大而难以做到轻量级备份;e)丢失数据
dy_252
·
2011-11-10 19:00
mapreduce
sql
hadoop
table
数据仓库
2010
hadoop+hive
做数据仓库 & 一些测试
转载标明:www.bagbaby.cnhttp://hi.baidu.com/dd_shop背景需求和现状目前的日志系统还称不上系统,只是在几台服务器上存着所有的日志,依靠NFS共享数据,并运算,带来的问题诸多:a)数据存放凌乱,缺乏系统的目录管理;b)存储空间有限,并且扩展非常麻烦;c)CV/PV等日志分散存放,合并不方便;d)媒体服务日志数据集中存放,数据庞大而难以做到轻量级备份;e)丢失数据
dy_252
·
2011-11-10 19:00
Hadoop
Hadoop+hive
安装
以下IP为1.1.1.1请替换为自己机器的ip。所有ip的配置尽量使用域名。配置/etc/hosts来使用。下载hadoop安装包,解压缩进入conf目录:修改conf/core-site.xmlhadoop.tmp.dir/home/songwei/hadoop/tmpfs.default.namehdfs://1.1.1.1:9000这个主要是配置我们的文件系统。其中,fs.default.n
anyoneking
·
2011-10-26 09:10
Hadoop
Hadoop+hive
安装
以下IP为1.1.1.1请替换为自己机器的ip。所有ip的配置尽量使用域名。配置/etc/hosts来使用。下载hadoop安装包,解压缩进入conf目录:修改conf/core-site.xml hadoop.tmp.dir /home/songwei/hadoop/tmp fs.default.name hdfs://1
anyoneking
·
2011-10-26 09:00
Lucene 搜索 简化开发 感想
最近在做
hadoop+hive
相关的项目时,中间好几次被搜索项目那边叫去 写附加搜索功能(添加其他搜索规则,用Lucene实现),总是觉得那边需求一变或增加,就要投入精力去重新添加代码(其实很多都是类似
落叶
·
2011-08-26 14:00
Lucene
hadoop+hive
做数据仓库 & 一些测试
由于是一个项目的一部分,去掉了项目名称,和大家一起交流, msn: sdtvATmsn.com 转载标明 : www.bagbaby.cn http://hi.baidu.com/dd_shop 背景需求和现状目前的日志系统还称不上系统,只是在几台服务器上存着所有的日志,依靠NFS共享数据,并运算,带来的问题
landyer
·
2011-06-05 15:00
数据结构
sql
hadoop
数据挖掘
软件测试
几篇关于
Hadoop+Hive
数据仓库的入门文章
Hadoop计算平台和Hadoop数据仓库的区别http://datasearch.ruc.edu.cn/~boliangfeng/blog/?tag=%E6%95%B0%E6%8D%AE%E4%BB%93%E5%BA%93Hive 随谈(三)– Hive 和数据库的异同http://www.tbdata.org/archives/551Hadoop Ecosystem解决方案---数据仓库htt
landyer
·
2011-06-05 15:00
hadoop
.net
框架
Blog
咨询
几篇关于
Hadoop+Hive
数据仓库的入门文章
Hadoop计算平台和Hadoop数据仓库的区别http://datasearch.ruc.edu.cn/~boliangfeng/blog/?tag=%E6%95%B0%E6%8D%AE%E4%BB%93%E5%BA%93Hive随谈(三)–Hive和数据库的异同http://www.tbdata.org/archives/551HadoopEcosystem解决方案---数据仓库http://
liuzhoulong
·
2011-05-12 11:00
hadoop
数据库
测试
分布式计算
数据仓库
平台
mongodb从安装到应用《一》
hadoop+hive
对处理海量数据是很不错的搭配,mongodb+morphia发布信息也是不错的搭配。玩过hadoop,casssandra,hbase
yangfuchao418
·
2010-12-21 12:00
MongoDB
应用服务器
HBase
NoSQL
Hadoop
mongodb从安装到应用《一》
hadoop+hive
对处理海量数据是很不错的搭配,mongodb+morphia发布信息也是不错的搭配。玩过hadoop,casssandra,hbase,就是没
yangfuchao418
·
2010-12-21 12:00
mongodb
应用服务器
hadoop
NoSQL
hbase
上一页
1
2
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他