hadooop

Hadooop和Hbase是什么关系

HBase是一个基于Hadoop的NoSQL分布式列存储数据库，用于存储海量结构化和半结构化数据，并提供高可用、高性能和面向列的操作功能。HBase通过Hadoop的HDFS(Hadoop分布式文件系统)和MapReduce实现了水平扩展和处理分布式数据。本文将详细介绍hbase和hadoop有什么关系。1.HBase的存储方式HBase使用列族来存储数据，每个列族可以包含多个列。相比较于关系型数
wwwyx12138·2024-01-22 17:50

PySpark（Spark3.0）

1.环境Spark3.0Hadooop3.2Centos7Python3.6.8PycharmWindos10其中值得注意的是Python的版本必须是3.6+，以下是Spark官网的说明前提Spark3.0
小宇0926·2023-09-26 08:57

面试题百日百刷-flink篇(二)

Flink可以集成众多Hadooop组件，例如Yarn、Hbase、HDFS等等。例如，Flink可以和Ya
·2023-04-21 21:41

HDFS文件块大小

HDFS中的文件在物理上是分块存储（Block），块的大小可以通过配置参数（dfs.blocksize）来规定，默认大小在Hadooop2X版本中是128M，老版本中是64M。
高个子男孩·2023-04-05 18:06

Flink面试题整理

Flink可以集成众多Hadooop组件，例如Yarn、Hbase、HDFS等等。
Omar小胖·2022-11-29 15:22

【博学谷学习记录】超强总结，用心分享丨大数据超神之路(五)：Hadooop进阶版

第1章问题解答1.1Hadoop架构NameNode1、NameNode管理整个HDFS集群2、NameNode管理整个HDFS的所有元数据(/a.txtrwx1K3{blk:node1,node2,node3})3、Client要上传或者下载文件必须先找NameNode4、一旦NameNode挂掉，整个HdFS集群将无法工作5、各个DataNode隔一段时间向NameNode汇报自己的Block
丨许晨丨·2022-10-22 19:44

Hadooop-Yarn

文章目录一、Yarn资源调度器概述1.Yarn基础架构2.Yarn工作机制二、Yarn调度器和调度算法1.先进先出调度器（FIFO）2.容量调度器（CapacityScheduler）3.公平调度器（FairScheduler）1）公平调度器与容量调度器的区别2）公平调度器队列资源分配方式a.FIFO策略b.Fair策略c.DRF策略三、Yarn常用命令1.yarnapplication查看任务2
一名小码农·2022-07-26 16:42

Impala不能查询到Hive中新增加的表

使用ClouderaManager部署安装的CDH和Impala，Hive中新增加的表，impala中查询不到，其原因是/etc/impala/conf下面没有hadoop和hive相关的配置文件：将hadooop-core.xml
mozuc·2020-09-14 00:17

1.2Hadooop（分布式计算平台）快速入门篇

Hadooop（分布式计算平台）快速入门任务目的重点掌握Hadoop的核心组件了解Hadoop的发展历史及其生态体系熟记Hadoop的主要特性任务清单任务1：Hadoop简介任务2：Hadoop产生背景任务
#YF#·2020-08-19 00:03

hadooop篇一-入门(配置及架构了解)

1.hadoop框架1.1Hadoop是什么1.2Hadoop发展历史1.3Hadoop三大发行版本Hadoop三大发行版本：Apache、Cloudera、Hortonworks。Apache版本最原始（最基础）的版本，对于入门学习最好。Cloudera在大型互联网企业中用的较多。Hortonworks文档较好。1.ApacheHadoop官网地址：http://hadoop.apache.or
smsmtiger·2020-08-12 12:17

hadooop-3,3,0 linux 64位编译包以及spark-3.0.0配合hadoop-3.3.0 64位源码编译包下载

目前hadoop最新的版本是3.3.0，spark最新的版本是3.0.0。花了一天的时间，编译了hadoop和spark的最新版并进行了资源整合。其中，hadoop包含了snappy压缩包等等。放在我的百度云盘上，分享给各位看官下载～hadoop-3.3.0linux64位源码编译包：链接:https://pan.baidu.com/s/1BEDbOxHJl5HzXVyB5T9gSw密码:dsq7
fanghailiang2016·2020-08-09 08:32

hadoop-2.10.0部署

伪分布配置配置hadoop配置文件路径在hadoop目录/etc/hadoop中hadooop-env.s
zacharyzlj·2020-07-11 18:27

大数据实践课02——HDFS分布式文件系统

hdfs-site.xml/home/hadoop-2.7.5/etc/hadoop/目录下面为配置文件HDFS架构模型：HDFS部署安装1、Java2、ssh实现免密钥3、修改配置文件（官方文档有介绍）-$HADOOOP_HOME
小新同学summer·2020-07-10 23:49

hadooop

hadooop:利用服务器集群对数据进行存储，根据用户自定义业务逻辑，对海量数据分布式计算，JAVA语言开发的组件：HDFS;分布式文件系统MAPREDUCE:分布式运算程序开发框架HIVE:SQL数据仓库工具
Time_Record·2020-07-07 00:35

使用hadoop-streaming初体验mapreduce

接下来记录一下如何使用hadoop-streaming运行一个简单的mapreducehadoop-streaminghadoop-streaming和spark-streaming不是一个意思简单的说hadooop-streaming
DaHuangXiao·2020-06-24 11:02

Hadoop生态圈初识

hadooop提供的功能：利用服务器集群，根据用户自定义的业务逻辑（利用hadoop的api），对海量数据进行分布式处理指的是一套开源软件平台，通常也指一个更广泛的概念-hadoop生态圈三大核心组件hdfs
pamperxg·2020-03-17 00:33

Hadoop 与 Hbase基本操作与配置

想要在windows搭建hadooop请访问wikipage软件要求java安装下载jdk解压设置环境变量：sudogedit
Elitack·2020-01-03 19:06

Hadooop分布式集群搭建之--ntp同步集群时间

时间同步方式：hadoop112作为时间服务器，hadoop113、hadoop114定时同步hadoop112的时间，每10分钟同步一次。配置时间同步具体实操：一、时间服务器配置（必须root用户）1、检查ntp是否安装[root@hadoop112hadoop]#rpm-qa|grepntpfontpackages-filesystem-1.41-1.1.el6.noarchntpdate-4
卡列宁的微笑66·2019-07-20 19:15

Hadooop集群安装超详细

原文链接：https://blog.csdn.net/woshigeshou123/article/details/88331741、集群部署介绍1.1Hadoop简介Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，HadoopDistributedFilesystem）和MapReduce（GoogleMapReduce的开源实现）为核心
wisdom_power·2019-03-13 20:13

Hadooop集群安装超详细

原文链接：https://blog.csdn.net/woshigeshou123/article/details/88331741、集群部署介绍1.1Hadoop简介Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，HadoopDistributedFilesystem）和MapReduce（GoogleMapReduce的开源实现）为核心
wisdom_power·2019-03-13 20:13

Spark整合到yarn上步骤

设置HADOOP_CONF_DIRexportHADOOP_CONF_DIR=/home/hadoop/apps/hadoop-2.7.6/etc/hadoop/将hadoop下/etc/hadooop
夜古诚·2018-12-16 23:57

hadoop+zookeeper 高可用集群搭建

首先，hadoop需要java运行环境，所以请提前配置好JDK以及Hadooop环境变量1.集群规划主机名ipNameNodeDataNodeYarnZooKeeperJournalNodeZhiyou01192.168.233.128
Amour恋空·2018-06-04 20:52

大数据环境安装汇总

1.安装centos6.4到vmware用户名为hadoop2.添加hadooop到sudo用户组su-切换到root中visudo添加hadoopALL=(ALL)ALL3.修改主机名：sudovim
phn_csdn·2018-05-19 16:13

【配置】sqoop安装配置

重启虚拟机3.serviceiptablesstatus//查看防火墙状态处于关闭状态iptables:firewallisnotrunning2.绑定hostname与IPvi/etc/hosts3.创建hadooop
ZoeYen_·2017-12-05 15:56

Hadoop伪分布式集群搭建

所谓的伪分布式集群搭建指的是单主机的环境,所以我的暂时只需要一台虚拟机即可本次使用的是hadoop-2.8.0版本1.配置主机环境Hadoop的搭建依赖于JDK所以在搭建之前需要将JDK安装完毕1.1修改主机名称本次我会使用使用hadooop-alone
剥离你的情绪·2017-05-30 19:00

Hadoop的学习--安装配置与使用

安装配置系统：Ubuntu14.04java：1.7.0_75相关资料官网下载地址官网文档安装我们需要关闭掉防火墙，命令如下：sudoufwdisable下载2.6.5的版本，将下载的Hadooop的压缩包解压到相应的目录
疯狂的原始人·2016-11-26 15:00

spark集群详细搭建过程及遇到的问题解决（一）

配置环境系统：Ubuntu16.04配置版本分别为：hadooop2.7.3、java"1.7.0_79"、Scala2.11.6、spark-2.0.1-bin-hadoop2.7本实验主要配置三个节点的小集群
lefteva·2016-11-16 14:37

Spark-基础-Spark编译与部署--Hadoop编译安装

1、编译Hadooop1.1 搭建环境1.1.1 安装并设置maven1. 
youdianjinjin·2016-05-24 11:00

hadoop中map的个数

hadooop提供了一个设置map个数的参数mapred.map.tasks，我们可以通过这个参数来控制map的个数。但是通过这种方式设置map的个数，并不是每次都有效的。
张欢19933·2016-03-31 15:00

数据库_2： HIVE

hive架构独立于集群之外，可以视为Hadooop的客户端Metastore是Hive的元数据集中存放池用户接口：CLIThrift服务器以服务器模式运行，供客户连接thrift是一个软件框架，用来进行可扩展且跨语言的服务的开发
mijian1207mijian·2016-02-20 13:00

Hadoop相关命令中的【--config configdir】

当我们在profile文件中配置好hadoop的环境变量后，在执行hadoop的时候会出现如下这说明在执行hadoop的时候，可以带参数来执行相关的操作，比如我们有好几个版本的hadooop，那么我们在执行
hsl_1990_08_15·2016-02-01 12:00

hadooop 运维之 container error exit code 1

hadoopcontainerexitcode:1在执行hadoop的时候，发现nodemanager进程日志里面有这个错误。网上搜索，一般找到的都是yarnclassspath配置的问题，这个有可能是别人造成此错误的原因。exitcode1.应该是表示maporreduce刚开始执行时就报的错，数字很小嘛。我推断要么是classpath出问题，根本就没有执行container。要么就是javao
tneduts·2015-11-26 10:00

Spark入门实战系列--2.Spark编译与部署（中）--Hadoop编译安装

该系列文章以及使用到安装包/测试数据可以在《[倾情大奉送–Spark入门实战系列](http://blog.csdn.net/yirenboy/article/details/47291765)》获取1编译Hadooop1.1
yirenboy·2015-08-12 23:00

Spark入门实战系列--2.Spark编译与部署（中）--Hadoop编译安装

【注】该系列文章以及使用到安装包/测试数据可以在《倾情大奉送--Spark入门实战系列》获取1、编译Hadooop1.1 搭建环境1.1.1 安装并设置maven1. 
shishanyuan·2015-08-10 06:00

Hadooop序列化框架使用

第一步:实现Writable接口(TestGenericWritable.java) public static class Baz extends Bar { @Override public void readFields(DataInput in) throws IOException { super.readFields(in); //n
侯上校·2015-07-03 11:00

Hadooop序列化框架使用

第一步:实现Writable接口(TestGenericWritable.java) public static class Baz extends Bar { @Override public void readFields(DataInput in) throws IOException { super.readFields(in); //n
侯上校·2015-07-03 11:00

通过win7 eclipse 连接虚拟机redhat 上hadoop的实现（中）

本篇的阶段性目标为实现虚拟机redhat上的hadooop运行(自带的WordCount示例程序)1建立输入目录:  hadoopfs-mkdirinput 2建立输入文件:  在/usr/local/
Dragon_·2015-04-24 14:00

如何在hadoop中控制map的个数

hadooop提供了一个设置map个数的参数mapred.map.tasks，我们可以通过这个参数来控制map的个数。但是通过这种方式设置map的个数，并不是每次都有效的。
·2015-03-13 20:00

hadooop 常用命令

hadooop常用命令启动Hadoop 进入HADOOP_HOME目录。 执行shbin/start-all.sh 关闭Hadoop 进入HADOOP_HOME目录。
·2014-11-25 10:00

Impala不能查询到Hive中新增加的表

使用ClouderaManager部署安装的CDH和Impala，Hive中新增加的表，impala中查询不到，其原因是/etc/impala/conf下面没有hadoop和hive相关的配置文件： 将hadooop-core.xml
aaa1117a8w5s6d·2014-11-20 19:00

如何在hadoop中控制map的个数

hadooop提供了一个设置map个数的参数mapred.map.tasks，我们可以通过这个参数来控制map的个数。但是通过这种方式设置map的个数，并不是每次都有效的。
Onlyou_Linux·2014-09-01 14:05

如何在hadoop中控制map的个数

hadooop提供了一个设置map个数的参数mapred.map.tasks，我们可以通过这个参数来控制map的个数。但是通过这种方式设置map的个数，并不是每次都有效的。
丶老龚·2014-09-01 14:05

【TODO】模拟namenode崩溃并恢复

查看namenode节点的$HADOOOP_HOM
悟空太多啦·2014-08-05 15:00

eclipse开发hadooop2.2.0程序

1：下载hadoop2部署文件和源代码，解压缩至/app/hadoop/hadoop220和/app/hadoop/hadoop220_src。然后建立一个放置jar包的文件夹/app/hdaoop2lib，将/app/hadoop/hadoop220/share/hadoop各项目（common、hdfs、mapreduce、yarn）下的JAR包以其lib目录下的JAR包都复制到/app/hd
book_mmicky·2014-05-13 15:00

集群资源调度系统简介与galaxy资源调度系统简介

各大互联网公司也相继搞出了一些系统，如omega(google),yarn(apache社区，hadooop下面的一个分支，开源)，mes
san_yun·2013-11-26 16:00

如何在hadoop中控制map的个数

hadooop提供了一个设置map个数的参数mapred.map.tasks，我们可以通过这个参数来控制map的个数。但是通过这种方式设置map的个数，并不是每次都有效的。
wisgood·2013-10-30 10:00

ssh localhost 免密码登陆

1、建立hadooop用户 useradd -d /home/hadoop -m hadoop 2、生成ssh密钥对 ssh-keygen -t rsa 3、将id_rsa.pub文件传，追加到
luckytwo·2013-08-31 17:00

如何在hadoop中控制map的个数

hadooop提供了一个设置map个数的参数mapred.map.tasks，我们可以通过这个参数来控制map的个数。但是通过这种方式设置map的个数，并不是每次都有效的。
lylcore·2013-06-20 13:16

hadooop的wordcount程序

创建项目文件夹sudomkdir-p~/hpro/com/vs/example创建主程序类sudogedit~/hpro/com/vs/example/WordCount.javajava类如下packagecom.vs.example; importjava.io.IOException; importjava.util.*; importorg.apache.hadoop.fs.Path;
limiteeWALTWO·2013-02-03 11:00

Hadoop 0.23.3版本

1Hadoop0.23.3版本 1.1Hadoop0.20.x版本局限性Hadooop0.23.0以前版本的HDFS是单NameNode的，有非常大的局限性1)       扩展性问题。
·2013-01-28 20:00
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他