HadoopHDFS

profile文件的错误加载与基本命令间的映射

早些时候，需要在centos6.4系统中配置单机版和集群版单节点的hadoopHDFS，由于那时候一边跟老师学hadoop一边自学Linux。
王者★孤傲·2019-10-04 21:00

profile文件的错误加载与基本命令间的映射

早些时候，需要在centos6.4系统中配置单机版和集群版单节点的hadoopHDFS，由于那时候一边跟老师学hadoop一边自学Linux。
王者★孤傲·2019-10-04 21:00

Springcloud集成hadoop HDFS，使用Feign-form实现文件上传、下载

构建基于SpringCloud分布式，使用hadoopHDFS实现文件的上传下载功能最近做springcloud项目开发，需要使用文件服务器HDFS进行文件的上传下载，所以将实现的方法步骤做个记录，分享出来
明天不在·2019-09-26 17:58

分布式系统面试连环炮

他们有共同的一个问题，就是都没怎么搞过分布式系统，现在互联网公司，一般都是做分布式的系统，大家都不是做底层的分布式系统、分布式存储系统hadoophdfs、分布式计算系统hadoopmapreduce/
Bertha然·2019-09-20 16:00

BigBrother的大数据之旅Day 12 Hbase(1)

HBASE(HadoopDatabase)是个高可用,高性能,面向列可伸缩、实时读写的分布式数据库HadoopHDFS作为其文件存储系统,利用HadoopMapReduce来处理HBase中的海量数据,
BigBrother@@U·2019-08-16 16:56

集群开发相关知识点

1、HadoopHDFS;HIVE;MapReduce;YARN2、SparkSparkSQL;SparkStreaming;MLib;GraphXSpark和Hadoop的区别和比较https://blog.csdn.net
_ToDream·2019-07-09 15:04

Hadoop（三）HBase原理解析

HBase是GoogleBigtable的开源实现，与GoogleBigtable利用GFS作为其文件存储系统类似，HBase利用HadoopHDFS作为其文件存储系统；Google运行MapReduce
苏启豪·2019-06-30 22:17

Hadoop MapReduce wordcount 实例简单介绍

本篇介绍MapReducewordcount简单实例，在此之前请搭建好hadoopha高可用环境和myeclipse上hadoopapi环境配置，如果没有请参考hadoopha高可用搭建和hadoophdfs
ACanswer·2019-06-27 12:20

FusionInsight大数据开发--HBase应用开发

利用HadoopHDFS作为其文件存储系统，提供实时的读写的数据库系统。利用ZooKeeper作为协同服务。
菜鸟-传奇·2019-06-12 16:00

flume+hadoop+hive 大数据采集处理

介绍：整个离线分析的总体架构就是使用Flume从FTP服务器上采集日志文件，并存储在HadoopHDFS文件系统上，再接着用Hadoop的mapreduce清洗日志文件，最后使用HIVE构建数据仓库做离线分析
镜ㅤ·2019-06-12 09:31

面对十亿数据量的技术挑战，如何对系统进行性能优化？

首先一起来画个图，回顾一下HadoopHDFS中的超大数据文件上传的原理。说出来也很简单，比如有个十亿数据量级的超大数据文件，可能达到TB级了，这个文件实在是太大了。
CSDN 程序人生·2019-05-29 00:00

Hadoop3+zookeeper3 HA高可用集群搭建

文章目录安装软件包java环境配置Linux系统环境设置Hadoop完全分布式(full)HadoopHDFS高可用集群搭建（NameNodeHAWithQJM）HadoopYARN高可用集群搭建（ResourceManagerHA
醉殇无痕·2019-05-24 09:26

HBase架构原理

HBase是GoogleBigTable的开源实现，与GoogleBigTable利用GFS作为其文件存储系统类似，HBase利用HadoopHDFS作为其文件存储系统；Google运行MapReduce
叫我不矜持·2019-05-17 08:31

大数据学习

现如今，正式为了应对大数据的这几个特点，开源的大数据框架越来越多，越来越强，先列举一些常见的：文件存储：HadoopHDFS、Tac
iimpact·2019-05-13 15:11

杂项

HadoopHDFS的运行原理https://www.cnblogs.com/laov/p/3434917.htmlzookeeper的安装https://blog.csdn.net/LongJi007
丨双枪小帅·2019-05-12 11:39

hbase shell基础和常用命令详解

HBase是GoogleBigtable的开源实现，它利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。
程序猿余辉·2019-05-11 00:00

HDFS数据In-place Upgrade到Ozone的原型方案

HDFSUpgrade到Ozone的目标Upgrade难点：HDFS到Ozone的元数据的映射HDFS和Ozone的元数据构造HDFSblock到Ozoneblock的映射Ozone的数据重构建引用前言熟悉了解并使用过HadoopHDFS
Android路上的人·2019-04-16 23:40

hadoop HDFS 的HA集群部署,使用ZK实现自动容灾

完全0开始部署hadoopHDFS的HA集群，使用zk实现自动容灾1.停掉hadoop的所有进程stop-all.sh2.删除所有节点的日志和本地数据.
一只小菜鸟(*￣︶￣)·2019-04-13 11:09

Java面试题--大数据

Hadoop组成1)HadoopHDFS:一个高可靠、高吞吐量的分布式文件系统。2)HadoopMapReduce:一个分布式的离线并行计算框架。
青春季风暴·2019-04-07 12:55

HBase Shell命令大全

利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。二
vbirdbest·2019-03-18 20:18

Hadoop HDFS笔记

HadoopHDFS笔记参考资料：初步掌握HDFS的架构及原理HDFS知识点总结深入理解HDFS：Hadoop分布式文件系统Hdfs详解深刻理解HDFS工作机制HDFS总结思维导图一、简介HDFS（HadoopDistributedFileSystem
Fighting_No1·2019-03-18 17:54

分布式系统面试 - 常见问题

他们有共同的一个问题，就是都没怎么搞过分布式系统，现在互联网公司，一般都是做分布式的系统，大家都不是做底层的分布式系统、分布式存储系统hadoophdfs、分布式计算系统hadoopmapreduce/
YumWisdom·2019-03-03 21:37

【华为网络技术大赛】大数据

HTML是半结构化数据HadoopHDFS(HadoopDistributedFileSystem)高容错、高吞吐量、大文件存储、流式数据访问不适合大量小文件处理、随机写入、低延迟读写MapReduce
Mjolnir1107·2019-02-28 16:13

hadoop源码研究 编译错误记录

文章目录hadoop-common编译失败编译错误如下关注点解决办法hadoop-hdfs编译失败错误解析错误处理错误详情hadoophdfs-client-native编译失败报错排查解决办法完成后再重新编译
plifemao·2019-01-31 10:25

Hadoop生态之Hive知识点总结

一、简介Hive是建立在HadoopHDFS上的数据仓库基础架构；Hive可以用来进行数据提取转化加载（ETL）；Hive定义了简单的类似SQL查询语言，称之为HQL它允许熟悉SQL的用户查询数据；Hive
Evan_CaoM·2019-01-17 10:35

hive安装出现的问题 Cannot create directory /tmp/hive. Name node is in safe mode

Cannotcreatedirectory/tmp/hive.Namenodeisinsafemode出现这个问题的原因是你的hadoophdfs是在安全模式下启动的，关闭安全模式即可。
XiaoqiangNan·2019-01-14 15:40

hadoop框架详解

Hadoop框架详解Hadoop项目主要包括以下四个模块◆HadoopCommon:为其他Hadoop模块提供基础设施◆HadoopHDFS:一个高可靠、高吞吐量的分布式文件系统◆HadoopMapReduce
MobiusStrip·2019-01-09 10:24

Hadoop3 HA高可用集群搭建

文章目录1.linuxssh免密登陆配置2.java环境配置3.Hadoop完全分布式(full)4.HadoopHDFS高可用集群搭建（HA）4.1安装配置zookeeper4.2安装配置hadoopHA4.3HadoopHDFSHA
等等等等等再等·2018-12-20 15:23

Hadoop集群搭建高可用HBase

HadoopDatabase，是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库利用HadoopHDFS作为其文件存储系统,利用HadoopMapReduce来处理HBase中的海量数据利用
geekAppke·2018-12-18 22:28

从 RAID 到 Hadoop Hdfs 『大数据存储的进化史』

我们都知道现在大数据存储用的基本都是HadoopHdfs，但在Hadoop诞生之前，我们都是如何存储大量数据的呢？这次我们不聊技术架构什么的，而是从技术演化的角度来看看HadoopHdfs。
zzzzMing·2018-12-18 21:00

大数据学习笔记之一分布式文件系统HDFS

dblab.xmu.edu.cn/blog/285/Eclipse安装https://jingyan.baidu.com/article/ac6a9a5e2f1a7a2b653eac3f.html1.2HadoopHDFS
Hao973·2018-12-12 15:42

Hadoop 集群搭建详细介绍

文章目录Hadoop集群搭建教程一.Hadoop部署方式本地模式伪分布模式集群模式二.Linux上伪分布式集群配置1.常用命令2.主机名修改3.关闭防火墙4.网络设置5.安装JDK6.免密钥登陆配置三.HadoopHDFS
D-lyw·2018-12-01 13:48

【Big Data】大数据组件学习

hadoopHDFS常用文件操作命令https://segmentfault.com/a/1190000002672666#articleHeader10Spark基础知识学习分享-推酷https://
Jiweilai1·2018-11-21 15:48

Mac 使用Vmware Fusion+CentOS安装 Hadoop 的HDSF 集群

mac使用VmwareFusionCentOS安装HadoopHDFS集群这是一篇针对如何使用虚拟机安装hadoop集群的教程,由于本教程是使用mac安装的，所以安装虚拟机环节有所不同，到后面都是一样的
m0_37760814·2018-11-08 13:25

大数据之Spark（三）--- Spark核心API，Spark术语，Spark三级调度流程源码分析

[HadoopRDD]extendsRDD读取hadoophdfs上的数据，hbase的数据，s3的数据[MapPartitionsRDD]分区RDD:针对父RDD的每个分区,提供了函数,生成的新类型RDD
葛红富·2018-11-06 17:59

从Kafka到Hdfs的一些pipeline

找时间总结整理了下数据从Kafka到Hdfs的一些pipeline，如下1>Kafka->Flume–>HadoopHdfs常用方案,基于配置,需要注意hdfs小文件性能等问题.GitHub地址:https
qwerpou·2018-11-06 15:14

Linux下图示安装Hadoop-2.8.5(单机版)

前言：Hadoop2.x的四个模块.HadoopCommon，HadoopHDFS，HadoopMapReduce，HadoopYARN.Centos7的版本。一：Hadoop的的的下载。1.官网。
大道之简·2018-10-25 23:46

Hive,Hbase,HDFS,MapReduce等之间的关系

HadoopHDFS为他们提供了高可靠
SunWuKong_Hadoop·2018-10-24 17:11

大数据之hadoop分布式存储系统hdfs

hdfs架构模型数据块NameNode与DataNodehdfs的优劣hdfs读写流程hdfs安全模式HDFS文件权限（POSIX）hadoophdfs环境搭建一、什么是hdfs？
Cactus_lrg·2018-10-22 18:13

HDFS-2.8.5分布式搭建记录

测试环境搭建hadoophdfs环境，记录如下：一，服务器规划：主机名ip地址子网掩码角色vm2172.16.100.239255.255.255.0Namenodevm6172.16.100.128255.255.255.0Datanodevm7172.16.100.112255.255.255.0Datanode
Tyrant0532·2018-10-17 16:20

Hive,Hbase,HDFS等之间的关系

HadoopHDFS为他们提供了高可靠性的底层存储支持。Hbase:
BLSPers·2018-10-15 23:35

Kubernetes与大数据之三：为基于Kubernetes的Spark安装History Server

在此之前，先要保证HadoopHDFS已经顺利运行并且事先在hdfs建立如下目录:hadoopfs-mkdir/eventLog转载自https://blog.csdn.net/cloudvtech二、
cloudvtech·2018-10-06 08:41

黑猴子的家：Hadoop 组成

1）HadoopHDFS：一个高可靠、高吞吐量的分布式文件系统。2）HadoopMapReduce：一个分布式的离线并行计算框架。3）HadoopYARN：作业调度与集群资源管理的框架。
黑猴子的家·2018-09-20 16:03

Hadoop（一) HDFS概念及原理总结

大数据测试须知之HadoopHDFS一、读操作图1HDFS的文件读取原理，主要包括以下几个步骤：1、首先调用FileSystem对象的open方法，其实获取的是一个DistributedFileSystem
Root_123·2018-09-11 17:25

hadoop 集群安装与部署（大数据系列）

文章目录什么是大数据基本概念大数据在现实生活中的具体应用什么是hadoophdfs整体运行机制搭建hdfs分布式集群hdfs集群组成结构：安装hdfs集群的具体步骤：安装hdfs集群hdfs客户端的常用操作命令
巴掌大的脚印·2018-09-09 17:32

spark shell读取hadoop hdfs上文本文件统计wordcount的方法

sparkshell读取hadoophdfs上文本文件统计wordcount的方法hellospark文件内容如下所示：[hadoop3@masterapp]$hdfsdfs-cat/spark/hellosparkhellosparkhelloworldhellospark
hsg77·2018-08-17 15:18

hbase的基本操作

HBase是GoogleBigtable的开源实现，它利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。
ck3207·2018-08-15 12:23

Haddoop中的hdfs、hbase、 hive区别与联系

HadoopHDFS为他们提供了高可靠
a6jishuren·2018-08-06 10:47

hbase

适合于存储大表数据（表的规模可以达到数十亿行以及数百万列），并且对大表数据的读、写访问可以达到实时级别；利用HadoopHDFS（HadoopDistributedFileSystem）作为其文件存储系统
徐茂盛·2018-08-03 11:02

Hbase windows端环境配置搭建

1.由于Hbase构建在HadoopHDFS之上，因此Hbase需要Hadoop的支持。
亦心_yan·2018-07-30 13:32
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他