E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
HadoopHDFS
大数据学习--之--HBASE理论基础
HBase是GoogleBigtable的开源实现,类似GoogleBigtable利用GFS作为文件存储系统,HBase利用
HadoopHDFS
作为其文件存储系统;Google运行MapReduce
DonsenChen
·
2018-07-05 11:41
大数据
大数据学习--之--HBASE理论基础
HBase是GoogleBigtable的开源实现,类似GoogleBigtable利用GFS作为文件存储系统,HBase利用
HadoopHDFS
作为其文件存储系统;Google运行MapReduce
weixin_30898109
·
2018-07-05 11:00
大数据
数据库
人工智能
大数据学习之Hive入门
Hive是基于
HadoopHDFS
之上的数据仓库**数据仓库:本质上就是一个数据库。
EnjoyCode12138
·
2018-06-27 18:26
分布式系列:什么是分布式系统1
比如
hadoophdfs
(分布式存储系统)、hadoopmapred
一只阿木木
·
2018-06-04 18:00
Hadoop综合大作业
启动
hadoopHdfs
上创建文件夹data为名字上传文件至hdfs启动Hive创建原始文档表导入文件内容到表docs并查看导入查看用HQL进行词频统计,结果放在表word_count里查看统计结果结果有
196-陈文豪
·
2018-05-25 19:00
Hadoop综合大作业
启动
hadoopHdfs
上创建文件夹并查看上传nover.txt文件至hdfs启动Hivehive创建原始文档表createtablenovels(linestring);导入文件内容到表novels并查看
193杨晓玲
·
2018-05-25 11:00
Hadoop综合大作业
选一篇小说写启动
hadoopHdfs
上创建文件夹上传文件至hdfs启动Hive创建原始文档表导入文件内容到表nodacs并查看用HQL进行词频统计,结果放在表words里查看统计结果2.用Hive对爬虫大作业产生的
249伍思敏
·
2018-05-24 20:00
Apache Hadoop 入门教程第二章
ApacheHadoop单节点上的安装配置下面将演示快速完成在单节点上的Hadoop安装与配置,以便你对
HadoopHDFS
和MapReduce框架有所体会。
哈斗篷
·
2018-05-10 14:28
大数据
hadoop
HBase读写详细流程
HBase是GoogleBigtable的开源实现,与GoogleBigtable利用GFS作为其文件存储系统类似,HBase利用
HadoopHDFS
作为其文件存储系统;Google运行MapReduce
菜鸟级的IT之路
·
2018-04-05 20:49
大数据~HBase
hadoopHDFS
-2(hdfs NFS 网关)
完全分布式Hadoop最大的优势就是分布式集群计算,所以在生产环境下都是搭建的最后一种模式:完全分布模式技术准备系统规划搭建测试上线使用HDFS端口8020namenodeRPC交互端口core-site.xml50070NameNodeweb管理端口hdfs-site.xml50010datanode控制端口hdfs-site.xml50020datanode的RPC服务器地址和端口hdfs-s
月月鸟飞
·
2018-03-06 16:46
hadoopHDFS
学习笔记
Opertion
hadoopHDFS
-1
HDFS分布式文件系统NamenodeSecondarynodeDatanodeMapReduce分布式计算框架JobTrackerTaskTrackerMapTaskReducerTaskYarn集群资源管理系统ResourcemanagerNodemanagerApplicationMasterContainerClienthadoop安装(单机模式)禁用selinux和iptables配置/
月月鸟飞
·
2018-03-06 15:13
hadoop
HDFS
笔记
Opertion
java操作hadoop hdfs,实现文件上传下载demo
本文主要参考了
HadoopHDFS
文件系统通过javaFileSystem实现上传下载等,并实际的做了一下验证。代码与引用的文章差别不大,现列出来作为备忘。importjava.io.
lhever_
·
2018-01-10 17:56
BigData
详解HBase架构原理
HBase是GoogleBigtable的开源实现,与GoogleBigtable利用GFS作为其文件存储系统类似,HBase利用
HadoopHDFS
作为其文件存储系统;Google运行MapReduce
johnmay--Blog
·
2017-12-26 14:05
habse
hbase
hadoop
hadoopHDFS
:分布式文件系统,存储海量的数据MapReduce:并行处理框架,实现任务的分解与调度HIVE:将SQL语句转换为Hadoop任务HBASE:存储结构化数据的分布式数据库(放弃事物特性
qc_mountain
·
2017-12-07 07:21
什么是Hive
一什么是Hive1、Hive是构建于
HadoopHDFS
之上的一个数据仓库基础架构。2、Hive可以用来进行数据提取转化加载(ETL)。
cakincqm
·
2017-11-22 12:30
Hive
Hadoop HDFS: the directory item limit is exceed: limit=1048576问题的解决
问题描述:1.文件无法写入
hadoophdfs
文件系统;2.hadoopnamenode日志记录the directory item limit is exceed: limit=10485763.hadoop
YU文武貝
·
2017-11-17 18:41
hadoop
hdfs
hadoop
【云星数据---Apache Flink实战系列(精品版)】:Apache Flink实战基础0012--flink分布式部署007
接上文6.验证重启成功6.1zookeeper客户端验证ls/ ls/flink ls/flink/flink0016.2
hadoophdfs
上验证http://192.168.0.12:50070/explorer.html
云星数据-大数据团队
·
2017-11-14 19:10
bigdata
cloudcomputing
flink
hadoop生态圈各产品基本概念梳理
HadoopHDFS
为他们提供了高可靠性的底层存储支持。==hive==:是一个数
kse_music
·
2017-10-28 12:25
framework
Hive基本概念
阅读更多一什么是HiveHive是构建于
HadoopHDFS
之上的一个数据仓库,它本身就是一个数据库。
cakin24
·
2017-10-20 20:00
Hive
Hadoop 2.6 使用MapReduce实现基于用户的推荐系统
基于物品的推荐系统基于物品的推荐系统基于物品的推荐系统(点击打开)一、基于用户的推荐系统1、余弦相似度(见基础)2、基于用户的推荐系统:思想:给用户推荐和他兴趣相似的其他用户喜欢的商品步骤:二、输入将useraction2.txt文件上传到
HadoopHDFS
土豆拍死马铃薯
·
2017-10-12 08:59
大数据
Hive学习笔记 1 Hive体系结构
Hive是基于
HadoopHDFS
之上的数据仓库,本质上就是一个数据库。什么是数据仓库?
土豆拍死马铃薯
·
2017-10-08 14:53
大数据
查看Hadoop HDFS 中的一个文件对应block信息
本文地址:http://blog.csdn.net/chengyuqiang/article/details/78163091如果需要查看
HadoopHDFS
中的一个文件对应block信息,比如block
程裕强
·
2017-10-05 21:11
Hadoop基础教程
Hadoop基础教程
CentOS 7下Hbase1.3.1分布式环境搭建
:Java1.8.0_144、Hadoop2.7.4、Zookeeper3.4.9简介:HBase–HadoopDatabase,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,HBase利用
HadoopHDFS
烟波人
·
2017-08-21 23:19
【bigdatas】
Hbase安装与使用
Hbase入门官方地址:http://hbase.apache.org/1.概述HBase–HadoopDatabase,是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库,利用
HadoopHDFS
没事的一天
·
2017-08-15 14:29
hbase
走向云计算之HBase的shell命令和JavaAPI详解
一、HBase的启动由上一篇可知,HBase是建立在
HadoopHDFS
之上的,因此在启动HBase之前要确保已经启动了Hadoop,启动Hadoop的命令是:start-all.sh。
xiaokang123456kao
·
2017-06-16 15:00
hadoop
hbase
云计算
centos6.8单机安装HBase
hadoop生态系统HBase简介–HBase–HadoopDatabase,是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库–利用
HadoopHDFS
作为其文件存储系统,利用HadoopMapReduce
飞侠119
·
2017-05-23 09:36
hbase
大数据
一篇漫画理解HDFS读写工作原理
一篇漫画让你了解
HadoopHDFS
!
Andone1cc
·
2017-05-16 16:57
hbase基础小结
如上图所示,它是GoogleBigTable的开源实现,利用
HadoopHDFS
作为它文件存储,利用HadoopMapReduce处理海量数据,使
welcomezhang
·
2017-04-10 22:00
hbase
nosql
hbase基础小结
如上图所示,它是GoogleBigTable的开源实现,利用
HadoopHDFS
作为它文件存储,利用HadoopMapReduce处理海量数据,使
welcomezhang
·
2017-04-10 22:00
hbase
nosql
hbase基础小结
如上图所示,它是GoogleBigTable的开源实现,利用
HadoopHDFS
作为它文件存储,利用HadoopMapReduce处理海量数据,使
welcomezhang
·
2017-04-10 22:00
hbase
nosql
Hbase建表操作--shell语句
HBase是GoogleBigtable的开源实现,它利用
HadoopHDFS
作为其文件存储系统,利用HadoopMapReduce来处理HBase中的海量数据,利用Zookeeper作为协同服务。
盛装吾步
·
2017-03-09 15:58
hbase
Kafka到Hdfs的数据Pipeline整理
作者:Syn良子出处:http://www.cnblogs.com/cssdongl转载请注明出处找时间总结整理了下数据从Kafka到Hdfs的一些pipeline,如下1>Kafka->Flume–>
HadoopHdfs
两榜进士
·
2017-03-06 16:36
大数据-Kafka
Hive,Hbase,HDFS等之间的关系
HadoopHDFS
为他们提供了高可靠
金锁锁
·
2017-03-04 11:40
hadoop hdfs常用命令
hadoophdfs
常用命令hadoop常用命令:hadoopfs查看
HadoopHDFS
支持的所有命令hadoopfs–ls列出目录及文件信息hadoopfs–lsr循环列出目录、子目录及文件信息hadoopfs–puttest.txt
骑士武忠仁
·
2017-01-06 09:55
hadoop
HBase技术介绍
HBase是GoogleBigtable的开源实现,类似GoogleBigtable利用GFS作为其文件存储系统,HBase利用
HadoopHDFS
作为其文件存储系统;Google运行MapR
昊天
·
2016-12-30 11:00
Hbase葱岭探秘--JavaApi实践
HBase是GoogleBigtable的开源实现,类似GoogleBigtable利用GFS作为其文件存储系统,HBase利用
HadoopHDFS
作为其文件存储系统;Google运行MapReduce
wangyang1354
·
2016-12-14 13:00
hbase
分布式存储
存储系统
zookeeper在HBase中的应用
HBase部署相对是一个较大的动作,其依赖于zookeepercluster,
hadoopHDFS
。
丝丝雨凉
·
2016-10-11 22:08
从HDFS复制一个文件夹到HDFS
publicclassFileHandle{/***设置
hadoopHDFS
初始化配置方法*@throwsIOException*/publicstaticFileSysteminit(){Configurationconfig
小牛学堂2019
·
2016-09-28 20:18
大数据
Spark on YARN的部署
SparkonYARN的原理就是依靠yarn来调度Spark,比默认的Spark运行模式性能要好的多,前提是首先部署好
hadoopHDFS
并且运行在yarn上,然后就可以开始部署sparkonyarn了
自由的web
·
2016-09-23 09:00
Hadoop之生态系统
狭义的Hadoop核心只包括HadoopCommon、
HadoopHDFS
和HadoopMapReduce三个子项目,但是和Hadoop核心密切相关的还包括Avro、Zookeeper、Hive、Pig
wangwei4078
·
2016-08-18 12:32
常用工具
工作流
生态
Hadoop
Hbase源码解析和开发实战笔记
1)HBase简介2)HBase特点3)HBase数据模型4)HBase体系结构5)HBase存储模型6)HBase应用简介1)HBase是一个分布式的、多版本的、面向列的开源数据库2)HBase利用
HadoopHDFS
china_demon
·
2016-06-25 22:00
hbase基本概念和hbase shell常用命令用法
HBase是GoogleBigtable的开源实现,它利用
HadoopHDFS
作为其文件存储系统,利用HadoopMapReduce来处理HBase中的海量数据,利用Zookeeper作为协同服务。
konglongaa
·
2016-05-13 17:00
使用MapReduce将Hadoop HDFS中的日志文件导入HBase中(二)
最近准备面试,所以上次写完《使用JAVA将
HadoopHDFS
中的日志文件导入HBase中(一)》后去研究了下HBase原理及架构,所以一直没有进行下一步的记录,今天来记录一下由HDFS高效率导入HBase
Meyaoo
·
2016-05-13 09:49
HBase
Hadoop重启,Hbase出现Master exiting的错误:org.apache.hadoop.hbase.master.HMasterCommandLine: Master exiting
hadoophdfs
重新启动或者重新格式话,可能会出现一些数据丢失,报错hbase的。我的是试验环境,所以需要重新清理这些数据。
ubuntu_yanglei
·
2016-05-11 10:00
Hbase安装详解
HBase利用
HadoopHDFS
作为其文件存储系统,利用HadoopMapReduce来处理HBase中的海量数据,利用Zookeeper作为协调工具。
yuzhuzhong
·
2016-05-08 17:00
hadoop
分布式
云计算
ubuntu上运行eclipse出现 Call From master to localhost:9000 failed on connection exception
解决办法:1、如果是测试环境,可以取消
hadoophdfs
的用户权限检查。打开conf/hdfs-site.xml,找到dfs.permissions属性修改为false(默认为true)OK了。
u014470581
·
2016-05-04 14:00
hadoop
ubuntu
详解HBase架构原理及安装部署步骤
HBase是GoogleBigtable的开源实现,与GoogleBigtable利用GFS作为其文件存储系统类似,HBase利用
HadoopHDFS
作为其文件存储系统;Google运行MapReduce
u010330043
·
2016-05-02 10:00
hbase
逻辑存储结构
HBase架构
安装部署步骤
初识hbase
HBase利用
HadoopHDFS
作为其文件存储系统,利用HadoopMapReduce来处理HBase中的
hsl_1990_08_15
·
2016-04-17 18:00
数据库
hbase
HBase简介
HBase:是建立的hdfs之上,提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统,位于结构化存储层,
HadoopHDFS
为HBase提供了高可靠性的底层存储支持,HadoopMapReduce
wang_ying_198
·
2016-04-13 15:00
数据库
zookeeper
hbase
hdfs
存储
HBase表及其数据存储的理解
HBase是GoogleBigtable的开源实现,它利用
HadoopHDFS
作为其文件存储系统,利用HadoopMapReduce来处理HBase中的海量数据,利用Zookeeper作为协同服务。
BabyFish13
·
2016-04-05 11:00
hadoop
数据库
hbase
分布式存储
bigtable
上一页
4
5
6
7
8
9
10
11
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他