HadoopHDFS

Hadoop学习汇总：MapReduce等等

不要忽略Linux的重要性版本：Centos版本：最简单的Linux版本西东公司很少用2.高并发：经过的几次握手，懂得负载均衡，懂得反向代理3.hadoopHdfs，MapReduce面试题：MapReduce
道法—自然·2020-06-29 22:55

分布式系统的面试题1

共同的一个问题，就是都没怎么搞过分布式系统，现在互联网公司，一般都是做分布式的系统，大家都不是做底层的分布式系统，分布式存储系统，hadoophdfs，分布式计算系统，hadoopmapreduce，spark
施智沂·2020-06-29 00:07

面对十亿数据量的技术挑战，如何对系统进行性能优化？【石杉的架构笔记】...

如果对Hadoop这个大数据系统一点了解都没有，可以先看之前的一篇文章快速入个门：兄弟，用大白话告诉你小白都能看懂的Hadoop架构原理首先一起来画个图，回顾一下HadoopHDFS中的超大数据文件上传的原理
weixin_34162629·2020-06-28 12:35

Hive入门学习随笔（一）

Hive是基于HadoopHDFS之上的数据仓库。我们可以把数据存储在这个基于数据的仓库之中，进行分析和处理，完成我们的业务逻辑。本质上就是一个数据库===什么是数据仓库？实际上就是一个数据库。
weixin_30685047·2020-06-27 23:29

转：HBase的shell命令和JavaAPI详解-挺全的

https://blog.csdn.net/xiaokang123456kao/article/details/73323429原文有格式，好看一、HBase的启动由上一篇可知，HBase是建立在HadoopHDFS
爱萨萨·2020-06-27 14:48

Hadoop重启，Hbase出现Master exiting的错误：org.apache.hadoop.hbase.master.HMasterCommandLine: Master exiting

hadoophdfs重新启动或者重新格式话，可能会出现一些数据丢失，报错hbase的。我的是试验环境，所以需要重新清理这些数据。
白杨湖·2020-06-27 10:16

elasticsearch备份与恢复2_es通过repository-hdfs插件支持snapshot和restore API

前面的背景参见：elasticsearch备份与恢复1_安装HadoopHDFS备份es数据，要使用snapshotapi。
const伐伐·2020-06-27 08:55

001潜入大数据Hadoop框架的世界

@夏瑾墨我的大数据初步学习路线图了解云计算技术学习Hadoop基础概念hadoopHDFS文件系统的特征什么是Map/ReduceMapreduce整个工作机制图Hadoopmapper类的阅读Mapreduceshuffle
Jooey_Zhong·2020-06-26 18:41

常见大数据框架

文件存储：HadoopHDFS、Tachyon、KFS离线计算：HadoopMapReduce、Spark流式、实时计算：Storm、SparkStreaming、S4、HeronK-V、NOSQL数据库
小学生ing·2020-06-26 11:37

HBASE

HBase是GoogleBigtable的开源实现，类似GoogleBigtable利用GFS作为其文件存储系统，HBase利用HadoopHDFS作为其文件存储系统；Google运行MapReduce
shuijinglianyi·2020-06-26 10:50

【Hadoop】完全分布式安装

下载安装包及测试文档2、安装JavaJDK3、Hadoop安装4、修改hosts文件5、创建数据文件夹6、修改hadoophadoop-env.sh文件配置7、修改hadoopcore-site.xml文件配置8、修改hadoophdfs-site.xml
Mr-Hunter·2020-06-25 19:56

大数据学习知识点

文件存储：HadoopHDFS、Tachyon、KFS离线计算：HadoopMapReduce、Spark流式、实时计算：Storm、SparkStreaming、S4、HeronK-V、NOSQL数据库
Daneil_Lee·2020-06-25 18:35

HDFS核心组件

HadoopHDFS：分布式文件存储系统核心组件：一、NameNode:整个集群的核心，NameNode本地磁盘中管理着文件系统的镜像文件及编辑日志，在内存中管理着文件系统元数据信息（主要是BlockMap
咸鱼踏梦·2020-06-25 17:35

大数据入门-Hive学习从这里开始

Hive是基于HadoopHDFS分布式文件系统的分布式数据仓库架构。它为数据仓库的管理提供了许多功能：数据ETL（抽取、转换和加载）工具，数据存储管理和大型数据集的查询和分析能力。
大数据群722680258·2020-06-25 16:53

大数据环境搭建及基本使用

目录大数据环境搭建及基本使用环境搭建：Ubuntu18.04三台虚拟机大数据1.Hadoophdfs使用2.Hadoopmapreduce使用3.Hive使用4.Hbase使用5.Kafka使用大数据环境搭建及基本使用环境搭建
嘟嘟杜·2020-06-25 07:17

hive之40分钟搞定数据仓库hive及java操作hive

Hive是基于HadoopHDFS之上的数据仓库。我们可以把数据存储在这个基于数据的仓库之中，进行分析和处理，完成我们的业务逻辑。
qingdsj·2020-06-24 22:34

HBASE shell 常用命令大全

HBase是GoogleBigtable的开源实现，它利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。
liuxiaoyi216·2020-06-24 07:55

Apache Hadoop YARN： 背景及概述

自此ApacheHadoop由下面四个子工程组成：HadoopComon：核心库，为其他部分服务HadoopHDFS：分布式存储系统HadoopMapReduce：MapReduce模型的开源实现HadoopYARN
liangliyin·2020-06-24 04:22

hbase基本概念和hbase shell常用命令用法

HBase是GoogleBigtable的开源实现，它利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。
iteye_5095·2020-06-23 19:21

入门篇：从零到一搭建大数据开发平台（七）Hbase入门-集群式环境安装

目录依赖环境：简介：开始安装集群：更多Shell请查看下一篇博客【传送门】依赖环境：VMware15.5【传送门】HadoopHDFS【传送门】ZooKeeper【传送门】Hbase强依赖HDFS和ZK
BigData攻城狮·2020-06-23 05:39

HBase的存储格式是什么?

HBase中的所有数据文件都存储在HadoopHDFS文件系统上，主要包括上述提出的两种文件类型：1.HFile，HBase中KeyValue数据的存储格式，HFile是Hadoop的二进制格式文件，实际上
csd753111111·2020-06-23 00:08

Hbase学习与总结

它利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。
坚持到底cw·2020-06-22 22:05

spark+mongodb大数据框架搭建

spark依赖环境1.jdk1.82.scala2.113.hadoop2.7(本文用mongodb取代HadoopHDFS，不需要安装)安装JDK略。。
JoeyDTChen·2020-06-22 21:25

Apache Hadoop Yarn学习（一）：发展和架构组件功能详解

YARN通俗介绍Hadoop组成YARN的来源(演变)YARN的概念YARN的特点YARN的意义YARN的基本架构YARN组件介绍ResourceManager的组成YARN通俗介绍Hadoop组成1.HadoopHDFS
老王的小知识·2020-06-21 14:07

分布式系统面试准备

当然了，大家都不是做底层的分布式系统，比如分布式存储系统，hadoophdfs，分布式计算系统，hadoopmapreduce，spark，分布式流式计算系统，storm。
沈安心·2020-06-21 04:19

Hbase的存储

Hbase在生态系统中的位置Hbase存储的逻辑视图Hbase的存储格式Hbase写数据流程Hbase快速响应数据Hbase在生态系统中的位置HBase位于结构化存储层，HadoopHDFS为HBase
diaomu5377·2020-06-21 01:06

hbase shell基础和常用命令详解

HBase是GoogleBigtable的开源实现，它利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。
caodaoxi·2020-06-21 00:15

大数据技术栈，主要有哪些

为了解决这些疑惑，羚羊专门花了些时间，挨个技术去研究对比归类，大概总结出以下的技术点：文件存储：HadoopHDFS、GFS、KFS、Tachyon离线计算：HadoopMapReduce、Spark流式
非洲羚羊·2020-06-15 11:00

机器学习集训营---第五周总结

本周主要讲大数据分析和处理，包含：hadoop使用，map-reduce概念和使用spark与大数据处理下面详细记录一下知识点：hadoopHDFS分布式文件系统a.主从结构，一个namenoe和多个datanode
sqc·2020-04-05 01:16

hadoop2.*学习笔记三（YARN+ MapReduce+Eclipse Demo）

关于hadoophdfs配置请参考hadoop学习笔记二内容概括：在笔记二所在的环境上配置YARN和MapReduce。然后在eclipse中远程连接hdfs并运行一个简单的demo。
Notput·2020-03-31 07:45

大数据零基础快速了解HBase

HBase是GoogleBigtable的开源实现，与GoogleBigtable利用GFS作为其文件存储系统类似，HBase利用HadoopHDFS作为其文件存储系统；Google运行Map
大数据在说话·2020-03-21 11:50

Hadoop 2.*源码编译

HadoopHDFS:一个高高靠、高吞吐量的分布式文件系统。HadoopMapReduce:一个分布式的计算框架，包括任务调度和集群资源管理。
超越爱迪生·2020-03-20 23:44

Hadoop 2.6.0 HDFS Rack Awareness（机架感知）原理与配置步骤详解

Hadoop2.6.0HDFSRackAwareness（机架感知）原理与配置步骤详解前言：  多副本前提下，在访问HadoopHDFS集群时，访问速度直接受到Datanode选取策略的影响。
耗子在简书·2020-03-09 05:44

Hadoop HDFS（二）结构解析和名词解释

1.HadoopHDFS架构向导的目的在这篇关于HDFS文章结构的指南里，你可以读到所有关于HDFS的东西。首先，我们讨论一下HDFS的设计理念和目标。
Simple_Coder·2020-02-20 06:10

HBase 1.2.2完全分布式安装

官方参考文档：http://hbase.apache.org/book.html0x00前提1.Zookeeper正常运行2.HadoopHDFS正常运行具体请参照上一篇文章：Hadoop2.6.0分布式环境安装
明月的味道·2020-02-16 08:47

[转]Kafka到Hdfs的数据Pipeline整理

作者：Syn良子出处：http://www.cnblogs.com/cssdongl转载请注明出处找时间总结整理了下数据从Kafka到Hdfs的一些pipeline，如下1>Kafka->Flume–>HadoopHdfs
一枚小码农·2020-02-15 22:51

spark on yarn 搭建

原理SparkonYARN的原理就是依靠yarn来调度Spark，比默认的Spark运行模式性能要好的多，前提是首先部署好hadoopHDFS并且运行在yarn上，然后就可以开始部署sparkonyarn
699b979fc4da·2020-02-11 04:42

Hive基础知识

Hive是构建在HadoopHDFS上得一个数据仓库数据仓库是一个面向主题的、集成的、不可更新的、随时间不变化的数据集合，它用于支持企业或组织的决策分析处理搭建数据仓库的时候最基本的两个模型：星型模型和雪花模型
Sx_Ren·2020-01-04 02:36

hadoop2.*学习笔记四（Hbase+Zookeeper+Eclipse Demo）

对于hadoophdfs的配置和jdk请参考前面的笔记。这里还是基于前面的伪分布式hdfs来配置Hbase。一Zookeeper的安装：Zookeeper属于管理集群的工具，这里参考IB
Notput·2020-01-01 22:23

走进大数据之Hive入门

Hadoop之上的数据仓库，它的本质是就是一个数据库①Hive和一般意义上的数据库有什么区别②如何搭建数据库③创建的过程是什么④如何把数据导入到数据库⑤什么是Hive,Hive的体系结构是什么⑥Hive如何与hadoopHDFS
Derrick_Xu·2019-12-26 14:41

最全hadoop架构总结

③广义上来说，HADOOP通常是指一个更广泛的概念——HADOOP生态圈hadoop包括四个模块：HadoopHDFS：一个高可靠、高吞吐量的分布式文件系统。
堂哥000·2019-12-15 09:11

Hbase学习

HBase利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce来处理HBase中的海量数据，利用Zookeeper作为协调工具。
John13·2019-12-12 22:59

大佬用28小时讲述大数据HadoopHDFS集群搭建和MapReduce源码解析

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。1.HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常
qunqun8889·2019-12-12 11:13

【大牛体验】HBase committer谈如何参与到开源项目的开发

先自我介绍一下，我是西七楼公众号创始人的大学ACM队友，现就职于小米云平台计算组.自2012年参与到Hadoop相关开源项目的开发以来，主要参与过的项目包括HBase，Spark，HadoopHDFS，
西七楼·2019-12-02 04:19

利用grep和awk命令完成hadoop fs -get的同时排除指定文件或文件夹

工作中有些需求需要从HadoopHDFS上把数据拉倒本地，很多时候我们的需求都是要在get一部分文件的同时并排除掉指定文件。
BlinkAce·2019-11-13 08:59

好程序员大数据教程分享HadoopHDFS操作命令总结

好程序员大数据教程分享HadoopHDFS操作命令总结1.列出根目录下所有的目录或文件hadoopfs-ls/2.列出/logs目录下的所有目录和文件hadoopfs-ls/logs3.列出/user目录及其子目录下的所有文件
wx5da18b5c4b01e·2019-11-12 19:02

HBase 常用终端命令

它利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce来处理HBase中的海量数据
xingzai·2019-11-07 18:07

Hadoop相关学习笔记

大数据架构体系结构及开源组件HadoopHDFS：大数据存储Mapreduce：大数据计算-批量计算Spark：计算引擎,速度快于HadoopHbase：存储对形式和格式；查询非常快，与Hive比较Zookeeper
咸鱼干lili·2019-11-06 18:48

Hbase

特点：1.基于HadoopHDFS进行分布式存储2.
ho_ll_ow·2019-10-14 19:28

【hbase】hbase理论学习

HBase简介：HBase是一个分布式的、多版本的、面向列的开源数据库1）利用HadoopHDFS作为其文件存储系统，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。
CQ_LQJ·2019-10-09 23:00
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他