haoop

Hadoop分布式集群搭建教程

目录前言环境准备一、创建虚拟机二、虚拟机网络配置三、克隆虚拟机四、Linux系统配置五、Hadoop的部署配置六、Hadoop集群的启动前言大数据课程需要搭建Hadoop分布式集群，在这里记录一下搭建过程环境准备搭建Haoop
韭菜盖饭·2023-10-12 05:12

Haoop | 【05】MapReduce分布式计算模型简介

文章目录一、简介1、核心思想2、处理的主要事务2.1Map2.2Reduce3、工作原理3.1主要流程3.2分片、格式化数据3.3执行MapTask3.4执行Shuffle3.5执行ReduceTask3.6写入文件4、编程组件4.1InputFormat4.2OutputFormat4.3Combiner4.4Mapper4.5Reducer4.6Partitioner5、运行模式5.1本地运行
Jxiepc·2023-06-20 01:27

WordCount 在 MapReduce上运行详细步骤

2.上传Hadoop在eclipse上运行插件：haoop-eclipse-plugin-2.6.0.jar3.更改eclips
飘羽·2023-04-04 09:56

Hadoop 50070端访问不了

最近搭建Haoop集群环境的时候遇到的这个问题，所有的节点都已启动了，jps也有能显示，可是就是50070访问不了，困扰许久网上说是浏览器缓存的原因，这恐怕是个误解，刚开始我参照官网上的配置进行配置的，
沐沐女神·2023-04-03 20:30

hadoop考试应急

隐私和安全计算模式：批处理、流、图、查询分析计算Hadoop处理架构了解就好2007年，雅虎在Sunnyvale总部建立了M45——一个包含了4000个处理器和1.5PB容量的Hadoop集群系统启动haoop
愿！106·2023-02-19 19:53

HDFS分布式文件系统—Java API操作

—JavaAPI操作文章目录HDFS分布式文件系统—JavaAPI操作一、HDFSJavaAPI介绍二、JavaAPI操作1.搭建项目环境2.JavaAPI的相关操作一、HDFSJavaAPI介绍1.haoop
小汤TYT·2023-01-30 15:20

【Ubuntu22.04 经典问题解决笔记】

装了四五次Ubuntu20.04遇到了很多问题，每次都要查大量资料，这次整理至此.文章目录一，安装Ubuntu后的配置二，必备命令三、经典问题1.sudoapt-getupdate时无法验证签名2.haoop
汤米尼克·2023-01-26 03:13

centos7minimal安装mysql(haoop集群hive使用mysql存储metastore）

文章目录CentOS7默认数据库是mariadb,配置等用着不习惯,因此决定改成mysql,但是CentOS7的yum源中默认好像是没有mysql的。为了解决这个问题，我们要先下载mysql的repo源(可以先不卸载MariaDB，安装mysql后会自动覆盖删除MariaDB，文末提供卸载MariaDB步骤)第一步下载mysql的repo源第二步安装mysql-community-release-
yhblog·2023-01-12 21:05

Hive安装和使用 centos7

版本说明javajdk1.8haoop3.2.2hive3.1.2目前hive官网是支持hadoop3.x版本的，hive版本要3.x。不然安装没法使用。
笔墨新城·2023-01-12 21:35

大数据开发：Hadoop入门学习路线

Hadoop生态最初在大数据领域绝对是无可争议的霸主，虽然近年来大数据领域新技术层出不穷，这些新技术确实在很多方面比起Hadoop强，但是Haoop作为最早的、目
加米谷大数据张老师·2023-01-12 21:05

【大数据hadoop】基于centos7搭建haoop与hive

一、前言hadoop是大数据生态中的基础服务，也是其他大数据框架的基础运行环境，尤其是hdfs，是其他大数据框架的基础存储载体，因此系统学习和掌握hadoop对学习大数据很有必要；而Hive则是Hadop生态系统中必不可少的一个数据分析工具，它可以将存储在HDES中的结构化数据映射为数据库中的一张表，并提供了一种SQL方言对其进行查询。这些SQL语句最终会翻译成MapReduce程序执行。Hive
逆风飞翔的小叔·2023-01-12 21:03

Spring和hive依赖冲突问题

使用springbootjdbc连接hive时,通常会报各种各样的java包冲突在hive-jdbc和haoop-common中将排除掉servlet-api这个Hive-jdbc的jar包中，引入了很多的
心有猛虎_xy·2022-11-29 16:47

Hadoop集群搭建（一）----伪分布式集群与eclipse的安装

Haoop集群搭建【一】--伪分布式集群与eclipse的安装Ⅰ前言Ⅱ搭建虚拟机准备（附带下载链接）一.VMware二.终端模拟器及文件传输软件三.虚拟机镜像四.相关组件Ⅲ.集群安装与配置教程一，创建虚拟机二
俗人的浅吟^ω^·2022-11-02 11:02

记一次HBase启动异常的恢复历程

昨天碰到一个客户的测试环境HBase启动异常，表面的现象是从CDH界面里面看不到HMaster的主备状态，显示Master一直处于初始化的状态，通过hbcheck命令执行返回错误信息为：org.apache.haoop.hbase.PleaseHoldException
post_yuan·2022-09-09 16:21

Hadoop之HIVE和HBASE区别

HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce.虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询--因为它只能够在Haoop上批量的执行Hadoop。
爱吃炒饭的逗比小豆豆·2022-07-11 09:19

大数据-2：Hadoop生态以及HDFS部署

文章目录1.Haoop简介2.安装单机版Hadoop3.Hadoop运行3.1独立运行/Local(Standalone)Mode3.2伪分布式集群/Pseudo-DistributedMode3.3全分布式集群
LeeHoo0·2022-06-20 12:58

Spark简介以及与Hadoop对比分析

目录1.Spark与Hadoop比较1.1Haoop的缺点1.2相较于HadoopMR的优点2.Spark生态系统2.1大数据处理的三种类型1.复杂的批量数据处理2.基于历史数据的交互式查询3.基于实时数据流的数据处理
·2021-08-30 19:14

Hadoop3.3.1详细教程（五）Hadoop全分布式搭建

一、haoop解压、创建软连接将hadoop-3.3.1.tar.gz上传到服务器~/apps下tar-xfhadoop-3.3.1.tar.gz-C/usr/local进入/usr/local后使用
Java朱老师·2021-08-23 15:39

haoop搭建记录

hadoop集群搭建1.配置jdk环境jdk1.8exportJAVA_HOME=/mydata/jdk1.8.0_151exportPATH=$JAVA_HOME/bin:$PATHexportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar2.解压tar包3.配置hadoop环境hadoopexportHADOOP_HOME=
dd972244d·2021-01-05 03:56

haoop搭建记录

hadoop集群搭建1.配置jdk环境jdk1.8exportJAVA_HOME=/mydata/jdk1.8.0_151exportPATH=$JAVA_HOME/bin:$PATHexportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar2.解压tar包3.配置hadoop环境hadoopexportHADOOP_HOME=
dd972244d·2021-01-05 03:42

HAOOP完全分布式

一、Hadoop介绍**HDFS:分布式存储文件//用来存数据角色：NameNode和DataNode**YARN：分布式资源调度框架（Hadoop2.x以上才引用）//调用计算机资源来进行操作角色：ResourceManager和NodeManager**MapReduce：分布式数据处理框架//用来对数据分析**解压Hadooptar-zxfxxx.tar.gz-Cxxxx**Hadoop完全
浪里小菜鸟·2020-09-14 08:33

（五）Hive和Hbase的区别

HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce.虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询--因为它只能够在Haoop上批量的执行Hadoop。
默云客·2020-08-23 05:58

Hadoop HA 是什么？架构？

（haoop1不存在此特性）HadoopHA架构详解1.1HDFSHA背景HDFS集群中NameNode存在单点故障（SPOF）。
IT小白虫·2020-08-21 06:52

Hive与Hbase的联系与区别

HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce.虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询--因为它只能够在Haoop上批量的执行Hadoop。
barry8023·2020-08-19 01:10

（centos7）搭建基于docker的hadoop集群：二

在（centos7）搭建基于docker的hadoop集群：一文中，形成了安装有vim、jdk、ssh的centos镜像，现在我们在这个的基础上继续搭建haoop。
还好还好啦·2020-08-11 23:05

bash:haoop:command not found

今天配置完Hadoop运行Hadoop命令hadoopfs-ls时出现：bash:haoop:commandnotfound后来经过检查，原来是配置文件中HADOOP_HOME变量引用前少了个$，修改完毕后可以正常运行了
炫街舞·2020-08-06 13:47

主机之间建立ssh互信

不管是oraclerac集群还是hadoop集群上，经常会遇到主机之间建立ssh互信的问题,oracle11g及以后都可以用图形界面进行建立互信，但是在haoop集群搭建的过程中还是需要自己手动创建的。
Captain_kunkka·2020-08-01 10:06

hadoop2.7.3在集群中配置多个namenode(federation cluster)

具体是如何区分的，我之后会在写一篇haoop官方当中的译文，同时解释一下这两者的区别。在这里先简单的说一下。secondaryNamenode的作用是给namenode分担压力的，会定时的帮
0day__·2020-08-01 06:44

hadoop系列之使用jar命令提交任务

文章目录环境启动haoop,并配置远程调试代码解析runJar自定义mapreduce程序环境hadoop:1.0.0java:1.8.0_171启动haoop,并配置远程调试指定远程调试监听端口8888exportHADOOP_CLIENT_OPTS
齐梦星空·2020-07-28 20:00

Docker安装Hadoop

一、概述形成了安装有vim、jdk、ssh的centos镜像，现在我们在这个的基础上继续搭建haoop。
weixin_33775572·2020-07-28 17:12

Hadoop-Yarn实战

Haoop和Yarn命令Hadoop相关命令Yarn相关命令//yarn启动resourcemanager,nodemanger等yarn--config/home/bigdata/data/hadoop
hq_allen·2020-07-16 10:16

利用yum升级cdh hbase0.90至0.94（即chd3-》cdh4）

一.集群布局haoop06thriftserver、hbasemaster、zookeeperserverhadoop01~04thriftserver、hbaseregionserver、zookeeperhadoop07
lxf310·2020-07-16 03:35

hadoop客户端安装 windows

1.把集群中的hadoop安装目录打包，解压到windows目录下2.修改/hadoop/etc/haoop下的配置文件core-site.xmlfs.defaultFShdfs://master:8020hadoop.tmp.dirD
BY@QEL·2020-07-15 06:56

Spark操作hbase

一、环境：Haoop2.2.0Hbase版本0.96.2-hadoop2,r1581096Spark1.0.0本
OopsOutOfMemory·2020-07-15 01:12

Centos7中搭建Hadoop3.2(Centos6、Centos7搭建Hadoop2、Hadoop3)完整详细操作步骤

Hadoop2,故在Centos7中搭建Hadoop3.2时，参考的是网上的前者资料，遇到很多问题，故在搭建通hadoop后，将搭建过程整理了一遍，并在文中将影响搭建的Centos6和Centos7差别、Haoop2
村西那条弯弯的河流·2020-07-13 19:57

Mac hive2.0.1 独立模式安装部署

前提：安装好haoop和mysql这里我的hadoop2.7.1mysql5.5版本1、下载apache-hive-2.0.1-bin.tar.gz2、解压apache-hive-2.0.1-bin。
搬砖者·2020-07-12 19:18

HBASE和Hive是什么，两者之间有什么区别呢？

HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce.虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询–因为它只能够在Haoop上批量的执行Hadoop。
尚学先生·2020-07-11 19:16

Hadoop实验：用java把hdfs系统里的文件内容读取出来，显示到屏幕

《Haoop权威指南》实验1.设置Hadoop的类目录，hadoop-env.sh[hadoop@Masterconf]$cd/usr/hadoop/conf[hadoop@Masterconf]$vimhadoop-env.sh
慢生活家·2020-07-08 08:50

大数据技术原理与应用 实验二HDFS文件系统操作与编程 基于java的HDFS文件操作

如果你的hadoop是2.x的，添加以下jar包即可（1）”/usr/local/hadoop/share/hadoop/common”目录下的hadoop-common-2.7.1.jar和haoop-nfs
sanyiji·2020-07-06 18:20

大数据Haoop之HDFS的SN合并原理

SN合并方式有两种：SN主动通知NN,合并fsimage和edits当edits文件到达我们设置的大小时，NN与SN通信，进行合并edits.new文件：1.标记上一次操作是完整结束的2.在edits与fsimage合并期间，负责记录用户新的操作的指令三个服务节点发生故障的情况：NN:集群无法使用SN:无法完成合并工作，edits会一直变大，在服务器接受的范围内，可以正常使用，超过承受范围，无法使
光圈1001·2020-07-05 08:42

flink 问题总结（4）如何读取sequence 文件

对应版本的jar包flink-hadoop-compatibility_2.11-1.8.0.jarflink-shaded-hadoop-2-uber-2.6.5-8.0.jarpom文件中需要有对应haoop
ZYvette·2020-07-01 19:41

HIVE和HBASE区别

HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce.虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询--因为它只能够在Haoop上批量的执行Hadoop。
牛逸凡·2020-06-29 06:58

基于Contos7.X+CDH6.2.0大数据平台搭建(上)

CDH6.2.0官网介绍二、CDH6.2.0安装前环境的部署三、CDH6.2.0安装一、CDH6.2官网介绍：CDH(Cloudera'sDistribution,includingApacheHadoop).是Haoop
潘永青·2020-06-27 09:53

HDFS的JAVA上传下载简单实现

1.HDFS的Java基本操作非常重要2.Haoop的常用shell操作1.hadoopfs-lshdfs://haoop1:8020/目录2.hadoopfs-copyFromLocal|put文件地址目的目录
王胡雄·2020-06-25 21:38

《Hadoop常见问题整理》

1、Namenode问题cannotdeletenamenodeisinsafemodeHadoopnamenode无法启动2、环境变量问题bash:haoop:commandnotfound3、权限问题
司小幽·2020-06-21 17:26

学习Hadoop第十课（MapReduce）

上一节课我们一起学习了RPC简单用法，这节课我们来学习MapReduce，MapReduce可谓是Hadoop当中非常重要的一部分，不学好这部分，我们就无法真正学会Haoop。
在京奋斗者·2020-06-21 08:00

大数据分析系统Hadoop的13个开源工具

用户可以在不了解分布式底层细节的情况下，轻松地在Haoop上开发和运行处理海量数据的应用程序。
哈哈哈_53b3·2020-04-04 12:41

数据集的划分

数据集的划分因为sqoop是将数据的迁移任务转化为相应的Haoop任务的，Hadoop任务是数据集划分的，即每个map任务的数据集不一样。那么在sqoop中是如何划分数据集的呢？这个由以下的类实现。
zjlearn·2020-04-02 11:19

Hadoop常见问题整理

1、Namenode问题cannotdeletenamenodeisinsafemodeHadoopnamenode无法启动2.环境变量问题bash:haoop:commandnotfound3.权限问题
司小幽·2020-03-13 21:24

Hadoop学习之 HIVE 多用户模式安装

/start-all.sh由于start-all命令存在BUG，resourceManager无正常启动3、到slave1.hadoop、slave2.haoop单独启动yarn-daemon.shstartresourcemanager4
Alukar·2020-03-05 11:24
上一页 1 2 3 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他