Hadoop集群第44页

大数据之zokeeper-3.4.6搭建

搭建Hadoop集群环境时，在HA和Hbase操作时，需要使用zookeeper进行分布式数据管理和系统协调，今天讲述下如何进行安装。

麦嘟学编程·2020-08-01 13:09

用 Hadoop 进行分布式数据处理

学习如何安装和配置单节点Hadoop集群，然后研究MapReduce应用程序。最后，学习使用核心Web界面监视和管理Hadoop的方法。

iteye_10664·2020-08-01 12:42

Mahout的0.11安装与测试

Mahout的0.11安装与测试1.1Mahout本地hadoop环境布置，当然测试mahout可以安装单节点hostnameip安装位置hadoop集群部署invin01192.168.199.61NameNode

书童宝贝·2020-08-01 12:38

hadoop入门五步走

第一步安装hadoop集群1、安装jdk，当前为jdk8，jdk9、10、11由于会移除一些类，导致hadoop集群安装失败安装细节不在赘述2、hadoop的安装细节注意的地方：Namenode和ResourceManger

haboop·2020-08-01 12:50

MapReduce基础开发之二数据去重和排序

因Hadoop集群平台网络限制，只能在eclipse里先写好代码再提交jar到集群平台namenode上执行，不能实时调试，所以没有配置eclipse的hadoop开发环境，只是引入了hadoop的lib

fjssharpsword·2020-08-01 12:23

正常工作的Hadoop集群中Hadoop都分别需要启动哪些进程，它们的作用分别是什么?（详细）

1.NameNode它是hadoop中的主服务器，管理文件系统名称空间和对集群中存储的文件的访问，保存有metadate。2.SecondaryNameNode它不是namenode的冗余守护进程，而是提供周期检查点和清理任务。帮助NN合并editslog，减少NN启动时间。3.DataNode它负责管理连接到节点的存储（一个集群中可以有多个节点）。每个存储数据的节点运行一个datanode守护进

Lucky1016·2020-08-01 10:46

hbase安装（分布式单机）

habase安装,以及遇到的一些问题1.必要条件java(1.6+)hadoop集群SSH2.安装下载安装包下载地址:[Indexof/dist/hbase](http://archive.apache.org

IceWaterFreeMan·2020-08-01 10:07

主机之间建立ssh互信

不管是oraclerac集群还是hadoop集群上，经常会遇到主机之间建立ssh互信的问题,oracle11g及以后都可以用图形界面进行建立互信，但是在haoop集群搭建的过程中还是需要自己手动创建的。

Captain_kunkka·2020-08-01 10:06

用 Hadoop 进行分布式数据处理，从入门、进阶到应用开发

学习如何安装和配置单节点Hadoop集群，然后研究MapReduce应用程序。最后，学习使用核心Web界面监视和管理Hadoop的方法。

Atlas·2020-08-01 09:15

Hive集群安装配置

所以在安装Hive之前，保证Hadoop集群能够成功运行。同时，比如我这里的master、slave1和slave2组成的hadoop集群。

差不多程序员·2020-08-01 09:06

hadoop框架简单介绍

目录Hadoop概念介绍Hadoop集群的部署结构Hadoop组件依赖关系Hadoop两大核心设计HDFSMapReduceHadoop概念介绍Hadoop由HDFS、MapReduce、HBase、Hive

adu_ustc·2020-08-01 09:55

hadoop之旅5-idea通过maven搭建hdfs环境

今天带大家通过javaapi来访问hdfs文件系统首先启动hadoop集群start-dfs.sh或者start-all.sh//一键启动hadoop集群和yarn集群打开idea在pom.xml文件里加入

尔以凡·2020-08-01 09:49

Hdfs block数据块大小的设置规则

Hdfsblock数据块大小的设置规则1.概述hadoop集群中文件的存储都是以块的形式存储在hdfs中。

Studying Zhou·2020-08-01 05:54

Hadoop之本地运行WordCount

主要内容：1.搭建本地环境2.编写WordCount并在本地运行相关文章：1.VM12安装配置CentOS72.Hadoop集群环境搭建（三台）3.Hadoop之本地运行WordCount4.Hadoop

阿坤的博客·2020-08-01 05:06

(转)hadoop 常规错误问题(一)

hadoop新增节点hadoop集群要增加3个节点。在3台主机分别配置了host、与集群内所有机器的ssh登录互信、jdk1.7等。所有配置、目录等与集群其

weixin_34261739·2020-08-01 04:35

记一次线上事故的JVM内存学习

今天线上的hadoop集群崩溃了，现象是namenode一直在GC，长时间无法正常服务。最后运维大神各种倒腾内存，GC稳定后，服务正常。虽说全程在打酱油，但是也跟着学习不少的东西。

weixin_33800593·2020-08-01 04:25

【Hadoop】HDFS冗余数据块的自动删除

HDFS冗余数据块的自动删除在日常维护hadoop集群的过程中发现这样一种情况：某个节点由于网络故障或者DataNode进程死亡，被NameNode判定为死亡，HDFS马上自动开始数据块的容错拷贝；当该节点重新添加到集群中时

weixin_33772645·2020-08-01 04:17

windows下通过idea连接hadoop和spark集群

###windows下链接hadoop集群1、假如在linux机器上已经搭建好hadoop集群2、在windows上把hadoop的压缩包解压到一个没有空格的目录下，比如是D盘根目录3、配置环境变量HADOOP_HOME

weixin_30639719·2020-08-01 03:56

如何快速搭建Hadoop集群的流程

Hadoop集群安装首先我们统一一下定义，在这里所提到的Hadoop是指HadoopCommon，主要提供DFS（分布式文件存储）与Map/Reduce的核心功能。

云使者·2020-08-01 02:11

IntelliJ IDEA中编写mapreduce程序上传至远程Hadoop集群运行

IntelliJIDEA中编写mapreduce程序上传至远程Hadoop集群运行本文主要讲怎么将mapreducemapreducemapreduce程序打包成jarjarjar包并上传远程HadoopHadoopHadoop

wzw1105·2020-07-31 23:24

硬盘无法识别导致HDFS无法正常使用

环境信息：Hadoop版本：2.7.2现象：HDFS升级配置重启后空间大量减少HDFS状态为INCONSISTENT,无法正常使用，DataNode进程随即消失问题分析：可能原因：1、由于HADOOP集群进行过扩展

梦回从前·2020-07-31 20:11

pagerank在hadoop上的运行

在集群上运行的代码也写出来了，只是没有在hadoop集群上进行测试了，因为昨天集群出来问题，今天主要的任务就是在集群上将成寻运行起来！顺便说一下昨天集群出现的问题和解决的方案：集群

iteye_20418·2020-07-31 18:53

如何基于Docker快速搭建多节点Hadoop集群

这篇教程介绍了利用Docker在单机上快速搭建多节点Hadoop集群的详细步骤。

超人学院-CRXY·2020-07-31 16:19

HDFS（1）- 设计

目前已经有存储PB级数据的Hadoop集群了。流式数据访问HDFS的设计理念：一次写入、多次读取是最高效的访问方式。

精神使者·2020-07-31 16:20

解决DataNode Volume Failures故障

一、概述hadoop集群有一台DataNode节点发生硬件故障，由于后需需要长时间的处理，所以从Cloudera集群中剔除了该节点，在重新将该节点添加到集群时候发现DataNode节点爆DataNode

DV2·2020-07-31 14:36

快速带你搭建Hadoop的HA集群！（确定不来看看吗？）

说明：搭建前先备份集群将集群名字改一下然后重新解压你的hadoop包解压命令tarzxvf包名-C指定解压目录解压后的新hadoop集群下面要准备搭建HA集群前的工作：1、修

KO哥·2020-07-31 13:47

YARN 在字节跳动的优化与实践

1.YARN简介1.1YARN生态圈YARN(YetAnotherResourceNegotiator)是Hadoop集群的资源管理系统，是Hadoop生态中非常重要的成员项目。

过往记忆·2020-07-31 12:40

大数据初级笔记二：Hadoop入门之Hadoop集群搭建

Hadoop集群搭建把环境全部准备好，包括编程环境。

weixin_30315723·2020-07-30 20:50

HADOOP集群搭建实战

参考《史上最详细的hadoop环境搭建》https://blog.csdn.net/hliq5399/article/details/78193113参考《单机部署》https://www.cnblogs.com/ee900222/p/hadoop_1.html参考《超详细单机版搭建hadoop环境图文解析》https://blog.csdn.net/chongxin1/article/detai

chongjiapi1753·2020-07-30 19:37

CDH

一、CDH部署Hadoop集群过程中，可以使用开源的ApacheHadoop或者可以用CDH【国外的一家公司基于开源的封装的】，搭建更加方便，方便扩充节点规模，组件管控，性能监控等等，但是也有一个弊端，

bingoabin·2020-07-30 19:52

Hadoop全分布式+Hive单节点部署实践记录

这篇文章主要记录一下搭建hadoop集群+hive的过程，方便以后的复现工作。

一只小鱼儿·2020-07-30 19:13

SQL数据库和Hadoop 区别

主要区别如下：1.用向外扩展代替向上扩展Hadoop集群就是增加更多的机器。一个Hadoop集群的标配是十至数百台计算机。

zz_xyz·2020-07-30 18:58

Hadoop集群下配置Hive元数据库为PostgreSQL

1下载hive下载地址：http://hive.apache.org/downloads.html点击上图的Downloadreleasenow!如图：点击上图的某个下载地址，我点击的是国内的这个地址：http://mirror.bit.edu.cn/apache/hive/如图：点击进入：apache-hive-2.1.1-bin.tar.gz2安装2.1上载和解压缩将apache-hive-2

zhbzhbzhbbaby·2020-07-30 18:53

Java分批写入大量数据到kafka，sparkStreaming实时消费kafka，完成数据下沉(Hive到Hive数据迁移/同步)

最近遇到这样的一个场景:存在两个Hadoop集群，需要将一个集群中的hive数据传输到另一个集群的hive中。且源端hive为其他公司数据源，涉及到的一定的安全和保密性。

我在北国不背锅·2020-07-30 18:02

利用openssl生成的https的ca来访问web服务器

搭建完全分布式的hadoop集群和hbase也是逐渐在这台三台计算机上做的实验。

呼噜娃娃·2020-07-30 17:44

kafka+storm+hbase架构设计

hadoop集群

大数据的未来·2020-07-30 16:28

基于Docker, 整合Storm&Kafka&Hbase的完整性Wordcount DEMO

storm作为大数据的实时处理系统;hbase是apachehadoop的数据库，其具有高效的读写性能,而且针对分布式设计docker目前非常火的,高可用应用容器引擎一、说明基于docker的容器集群,管理hadoop

vitahao·2020-07-30 16:24

Flink1.10从0到1：（四）Flink On Yarn 和命令详解

这种模式的好处是可以充分利用集群资源，提高集群机器的利用率，并且只需要1套Hadoop集群，就可以执行MapReduce和Spark任务，还可以执行Flink任务等，操作非常方便，不需要维护多套集群，运维方面也很轻松

joshua_qi·2020-07-30 15:31

Hadoop集群运行中遇到的问题

Hadoop集群运行问题注意事项安装与配置集群启动问题注意事项安装与配置需要严格按照安装文档安装和修改配置文件。

lajabor1009·2020-07-30 15:05

Hadoop集群datanode磁盘不均衡的解决方案【转】

二、问题：因业务需要搭建一个新hadoop集群，并将老的hadoop集群中的数据迁移至新的hadoop

dianzhouyu2189·2020-07-30 15:17

hadoop集群启动yarn时出现的问题和解决方法

1、问题使用start-all.sh启动hdfs和yarn集群，启动后发现resourcemanager没启动，查看日志报错：2020-06-0109:42:21,280INFOorg.apache.hadoop.service.AbstractService:Serviceorg.apache.hadoop.yarn.server.resourcemanager.AdminServicefail

逆水行舟如何·2020-07-30 13:29

Hadoop 运行模式（本地模式 / 分布式运行模式）

）2、完全分布式运行模式（开发重点）2.1虚拟机准备2.2编写集群分发脚本xsync3、SSH无密登录配置4、集群配置5、群起集群6、集群启动/停止方式总结7、配置历史服务器8、配置日志的聚集9、编写hadoop

TANCHISE·2020-07-30 13:23

java.lang.RuntimeException: java.lang.ClassNotFoundException: xxxxMapper

解决方法最近做hadoop集群试验，用的hadoop1.0.2，遇到这么个问题，将写好的jar包，放到linux上后，执行hadoopjarhadoopTest.jartest.XXXCountinputoutput

云枫·2020-07-30 12:02

部署Ganglia监控Hadoop集群并通过Nagios发送告警邮件的过程

基本介绍Ganglia：是UCBerkeley发起的一个开源集群监视项目，设计用于测量数以千计的节点。Ganglia的核心包含gmond、gmetad以及一个Web前端。主要是用来监控系统性能，如：cpu、mem、硬盘利用率，I/O负载、网络流量情况、系统负载等，通过曲线很容易见到每个节点的工作状态，对合理调整、分配系统资源，提高系统整体性能起到重要作用。更重要的是，HDFS、YARN、HBase

俺是亮哥·2020-07-30 10:02

Apache Hive2.1.0安装笔记

环境：centos7.1Hadoop2.7.3JDK8Hive2.1.01，首先需要下载hive最新的稳定版本的包，并保证的你Hadoop集群已经是能够正常运行的http://ftp.kddilabs.jp

三劫散仙·2020-07-30 09:36

完全分布式的hadoop集群搭建-hadoop2.7.3

搭建hadoop完全分布式集群：要求安装JDK。环境：VM搭建的三个虚拟机，均采用centos-6.8-64.iso机器IP与名称对应关系如下：192.168.152.192master192.168.152.193slave1192.168.152.194slave2JDK请自行安装，SSH无密码互相访问可以参考我的文章SSH免密码互相访问，谢谢。版本：hadoop-2.7.31.配置三台机器的

sand_clock·2020-07-30 09:51

hdfs.DFSClient: Exception in createBlockOutputStream java.net.NoRouteToHostException: 没有到主机的路由

因为课程要求，最近疯狂搭建hadoop集群和spark环境，遇到一些问题，特此记录。

树街猫·2020-07-30 09:14

Error executing Jupyter command 'WordCount.py': [Errno 2] No such file or directory