haoop

haoop的相关介绍及概念

文章目录前言hadoop介绍Hadoop的集群优点：关于hadoop的相关概念：分布式存储：命名空间主从节点：Block容灾前言cluster:集群LB：负载均衡LVSSLBHAPROXY,nginxHA:高可用MHA，keepalived，hearebeatHPC:Hadoop:大批量的计算辅助存储和运算什么是分布式：分散的hadoop介绍Hadoop是Lucene创始人DougCutting，
互联网老辛·2020-03-02 14:29

使用java库与Hadoop交互

我们是可以直接用java调用hadoop的，只要你，将以下jar包引入：”/usr/local/hadoop/share/hadoop/common”目录下的hadoop-common-2.7.1.jar和haoop-nfs
Thofarq·2020-02-25 08:34

hadoop和yarn常用命令汇总

一、Haoop命令1、查看目录下的文件列表：hadoopfs–ls[文件目录]hadoopfs-ls-h/lance2、将本机文件夹存储至hadoop上：hadoopfs–put[本机目录][hadoop
zhglance·2020-02-17 14:24

Haoop(二十八) Hbase的命令操作詳記

下面我们看看HBaseShell的一些基本操作命令，我列出了几个常用的HBaseShell命令，如下：名称命令表达式创建表create'表名称','列名称1','列名称2','列名称N'添加记录put'表名称','行名称','列名称:','值'查看记录get'表名称','行名称'查看表中的记录总数count'表名称'删除记录delete'表名','行名称','列名称'删除一张表先要屏蔽该表，才能对
文子轩·2020-01-03 04:14

hadoop分布式集群搭建

终于要开始玩大数据了，之前对haoop生态几乎没有太多的了解，现在赶鸭子上架，需要完全使用它来做数据中心，这是我的haoop第一篇文章，以后估计会写很多大数据相关的文章。
叫我老村长·2019-12-30 12:26

大数据学习之Hive和HBase之间的不同

HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce.虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询-因为它只能够在Haoop上批量的执行Hadoop。
大数据在说话·2019-11-08 00:56

hadoop（八）MapReduce

上一节课我们一起学习了RPC简单用法，这节课我们来学习MapReduce，MapReduce可谓是Hadoop当中非常重要的一部分，不学好这部分，我们就无法真正学会Haoop。
文子轩·2019-11-05 05:08

HIVE和HBASE的基本介绍，两者之间有什么区别？

HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce.虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询–因为它只能够在Haoop上批量的执行Hadoop。
duozhishidai·2019-09-26 19:26

【Hadoop】CDH、Presto配置问题

hive-hadoop2hive.metastore.uri=thrift://node001.XXXX.com:9083hive.config.resources=/etc/hadoop/conf/core-site.xml,/etc/haoop
咸鱼翻身·2019-07-25 10:00

Centos 搭建Hadoop

Centos搭建Hadoop一、搭建Hadoop需要JDK环境，首先配置JDK二、下载haoop三、在Centos服务器上解压下载好的安装包四、修改配置文件4.1hadoop-env.sh4.2core-site.xml4.3hdfs-site.xml4.4mapred-site.xml4.5yarn-site.xml
爱是与世界平行·2019-06-12 14:59

如何整合hive和hbase

主要解决分布式存储的大数据处理和计算问题，Hive提供了类SQL语句，叫HiveQL，通过它可以使用SQL查询存放在HDFS上的数据，sql语句最终被转化为Map/Reduce任务运行，但是Hive不能够进行交互查询——它只能够在Haoop
chengxunhg·2019-06-04 18:34

flink1.6.4测试环境搭建（1）-local模式安装

flink下载地址flink官网下载地址flink-1.6.4-bin-hadoop27-scala_2.11.tgz请根据scala和haoop下载对应版本flink安装环境win7-64位jdk-1.8flink
黑暗行动·2019-03-31 00:00

Centos7.6部署CDH6.1.0大数据平台教程

安装四、CDH6.1.0的初始化五、CDH6.1.0的优化六、CDH6.1.0集群安装一、CDH介绍：CDH(Cloudera'sDistribution,includingApacheHadoop).是Haoop
Firetheworld·2019-02-21 11:15

Haoop Mapreduce 中的FileOutputFormat类

FileOutputFormat类继承OutputFormat，需要提供所有基于文件的OutputFormat实现的公共功能，主要有以下两点：（1）实现checkOutputSpecs方法checkOutputSpecs方法一般在作业被提交到JobTracker之前，由JobClient自动调用，以检查输出目录是否存在，如果目录存在则抛出异常，以防止之前的数据被覆盖。（2）处理side-effec
wgyang2016·2019-02-19 00:00

Hadoop2.x HA

（haoop1不存在此特性）*HDFS集群中NameNode存在单点故障（SPOF）。
Rita楠神·2018-10-29 21:00

HIVE和HBASE区别

HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce.虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询–因为它只能够在Haoop上批量的执行Hadoop。
Ego_Bai·2018-09-03 09:20

Mac搭建hadoop平台

直接介绍hadoop平台的搭建：1.官网下载haoop2.9.0。解压后直接移动/Users/yangting/(1).进入/Users/yangting/hadoop-2.9.0/etc/hado
宁静妍·2018-07-30 17:16

如何理解wordcount

执行wordCount代码之前需要先导入几个包，找到haoop安装目录下的share和mapreduce目录底下包，如图：wordCount中的计算框架mapreduce的具体流程：shuffling都是系统内部的处理过程
ITRunner123·2018-07-06 15:14

hbase与hive 小结

HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce.虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询--因为它只能够在Haoop上批量的执行Hadoop。
Meteor_hy·2018-06-26 18:33

浅析Hadoop下的基础排序算法(QuickSort）

代码分析2.QS排序思想回顾：两个索引i和j分别从左右两端进行扫描，并让索引i扫描到大于等于分割基数为止，索引j扫描到小于等于分割基数为止，然后交换两个元素，重复这个过程直到两个索引相遇；3.目的分析Haoop
亚历山大的陀螺·2018-05-14 15:18

Linux集群中多节点服务器下Hadoop集群安装（安全可靠）

参照上一篇：单节点下安装hadoop伪分布式集群安装完后，讲解安装hadoop集群点击打开链接因为修改安装过的原因下面的/usr/local全部换为：/home/yexin/Haoop1.将上一节点node78
大鱼-瓶邪·2018-05-13 15:03

Hadoop学习之 HIVE 多用户模式安装

/start-all.sh由于start-all命令存在BUG，resourceManager无正常启动3、到slave1.hadoop、slave2.haoop单独启动yarn-daemon.shstartresourcemanager4
chichichichi·2018-04-15 13:42

spark +hive+hbase+hadoop

前言：hive:数据仓库hbase:分布式nosql数据库haoop:分布式文件系统spark:分布式内存计算系统这个四个结合(当然少不了zookeeper)简直完美。
freshghost1234·2017-12-29 20:07

教你玩转Hadoop分布式集群搭建，进击大数据

终于要开始玩大数据了，之前对haoop生态几乎没有太多的了解，现在赶鸭子上架，需要完全使用它来做数据中心，这是我的haoop第一篇文章，以后估计会写很多大数据相关的文章。
IT技术精选文摘·2017-12-07 00:00

hadoop分布式集群搭建

终于要开始玩大数据了，之前对haoop生态几乎没有太多的了解，现在赶鸭子上架，需要完全使用它来做数据中心，这是我的haoop第一篇文章，以后估计会写很多大数据相关的文章。
纯洁的微笑·2017-08-11 09:00

hadoop集群一键自动启动和自动关闭shell脚本

当我们创建haoop集群时，为了远程更加方便的ssh管理我们的集群，一般会写脚本一键启动关闭集群。一：一键启动集群脚本start-cluster.sh#!
牛大财有大才·2017-07-23 17:45

haoop任务失败，修改代码设置解决问题

一、跑etl任务，报错：Container[pid=31306,containerID=container_1479290736535_0004_01_000003]isrunningbeyondphysicalmemorylimits.Currentusage:2.7GBof2.5GBphysicalmemoryused;4.4GBof7.5GBvirtualmemoryused.Killing
1350368559·2017-03-22 11:59

python + hadoop （案例）

一、python的map/reduce代码首先认为大家已经对haoop已经有了很多的了解，那么需要建立mapper和reducer，分别代码如下：1、mapper.py#!
李秋·2017-01-02 19:00

hadoop 伪分布式集群的搭建

.12.1修改hadoop-env.sh.12.2修改core-site.xml22.3修改hdfs-site.xml22.4修改mapred-site.xml22.5修改yarn-site.xml2三、配置haoop
健康平安的活着·2016-12-20 14:18

《Hadoop常见问题整理》

1、Namenode问题cannotdeletenamenodeisinsafemodeHadoopnamenode无法启动2、环境变量问题bash:haoop:commandnotfound3、权限问题
BlackEnn·2016-08-18 14:00

HIVE和HBASE区别

HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce.虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询--因为它只能够在Haoop上批量的执行Hadoop。
杨鑫newlfe·2016-07-09 14:03

HIVE和HBASE区别

HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce.虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询--因为它只能够在Haoop上批量的执行Hadoop。  
u012965373·2016-07-09 14:00

hadoop零散笔记

sudoapt-cachesearchssh|grepssh安装的话：sudoapt-getinstallxxxxx安装ssh后要生成一个文件即执行：ssh-keygen-trsa-P""-f~/.ssh/id_rsa最后在soft/haoop
厦小岗·2016-07-07 08:35

Hive和HBase区别

HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce.虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询--因为它只能够在Haoop上批量的执行Hadoop。    
sinat_29581293·2016-06-18 17:00

Haoop selfjoin 左表 右表 自连接

Haoopselfjoin左表右表自连接mapcontext.write写2次，作为左表、右表左表：context.write(newText(array[1].trim()),newText("1_"+array[0].trim()));左表第一列是父亲，第二列是孩子；右表：context.write(newText(array[0].trim()),newText("0_"+array[1].
段智华·2016-02-21 07:23

Haoop selfjoin 左表 右表 自连接

Haoopselfjoin左表右表自连接mapcontext.write写2次，作为左表、右表左表：context.write(newText(array[1].trim()),newText("1_"+array[0].trim()));左表第一列是父亲，第二列是孩子；右表： context.write(newText(array[0].trim()),newText("0_"+array[1]
duan_zhihua·2016-02-21 07:00

HIVE和HBASE区别

HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce.虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询--因为它只能够在Haoop上批量的执行Hadoop。
iris95·2016-02-15 15:49

eclipse安装hadoop插件

具体的操作如下： 一、在eclipse下安装开发hadoop程序的插件 安装这个插件很简单，haoop-0.20.2自带一个eclipse的插件，在hadoop目录下的 contrib\eclipse-plugin
·2015-11-13 10:23

Hadoop安装（Ubuntu Kylin 14.04）

安装环境：ubuntu kylin 14.04   haoop-1.2.1   hadoop下载地址：http://apache.mesi.com.ar/hadoop/common/
·2015-11-13 06:28

haoop下运行程序时出现错误：Hadoop HDFS Wrong FS: hdfs:/ expected file:///

        如题，在eclipse编写hadoop程序并运行时，会出现Hadoop HDFS Wrong FS: hdfs:/ expected file:///的错误。经过网上baidu,google后发现，上面的一些方法不适用于我所写的程序。故而将解决方法在此和大家分享一些，希望有所帮助。     首先，先看一下代码：
·2015-11-12 19:02

hadoop-mongo map/reduce java

官方 http://docs.mongodb.org/ecosystem/tutorial/getting-started-with-hadoop/ mongo-haoop项目地址 https
·2015-11-11 12:03

hadoop2.2.0 单机伪分布式（含64位hadoop编译） 及 eclipse hadoop开发环境搭建

2.2.0/第一步，下载 wget 'http://archive.apache.org/dist/hadoop/core/hadoop-2.2.0/hadoop-2.2.0.tar.gz'第二步，编译haoop
·2015-10-31 17:53

hadoop2x WordCount MapReduce

packagecom.jhl.haoop.examples;importjava.io.IOException;importjava.util.StringTokenizer;importorg.apache.hadoop.conf.Configuration
八戒_o·2015-10-30 00:00

Hadoop日记Day17---计数器、map规约、分区学习

一、Hadoop计数器 1.1 什么是Hadoop计数器 　　Haoop是处理大数据的，不适合处理小数据，有些大数据问题是小数据程序是处理不了的，他是一个高延迟的任务，有时处理一个大数据需要花费好几个小时这都是正常的
·2015-10-28 07:22

Hive和HBase的区别

HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce.虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询--因为它只能够在Haoop上批量的执行Hadoop。
xztelecomlcs·2015-06-12 09:03

Hive和HBase的区别

HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce.虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询--因为它只能够在Haoop上批量的执行Hadoop。
xztelecomlcs·2015-06-12 09:03

HIVE和HBASE区别

虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询--因为它只能够在Haoop上批量的执行Hadoop。  &nb
18901888895·2015-06-03 11:00

bash:haoop:command not found

今天配置完Hadoop运行Hadoop命令hadoopfs-ls时出现：bash:haoop:commandnotfound后来经过检查，原来是配置文件中HADOOP_HOME变量引用前少了个$，修改完毕后可以正常运行了
xuanjiewu·2015-05-29 17:00

Haoop集群为何不使用RAID？

 前言：工作之余，我会多去了解下大数据等相关技术，看得多用的少，搞的挺尴尬。或许我该再换一份工作，再说吧。过去的就让它随风而去，日后我要把自己在工作中遇到的或者自己觉得不错的东西给总结起来，一周两篇博客。或好或坏，就当是不断鞭策自己，不至于在大数据的背景下太落伍。废话不多说，步入主题。Hadoop集群服务器为何不使用RAID?    RAID技术主要包含RAID0～RAID50等数个规范，它们的侧
sunlei1980·2015-05-19 17:00

storm单机版和集群版安装配置过程

整个一反Haoop的Java+XML+HTML这些传统技术。安装Storm之前要先安装下面几个软件。一、准备工作1、安装zeromq。wgethttp://download.zeromq
ajan·2015-04-22 12:34
上一页 1 2 3 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他