Hadoop集群第32页

HUE介绍及使用功能

通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，例如操作HDFS上的数据，运行MapReduceJob，执行Hive的SQL语句，

专注于大数据技术栈·2020-09-14 21:43

jupyter notebook on spark 远程配置

环境：server：centos7+annaconda2+python2+jupyter+spark+hadoopclient：windows10+浏览器在服务器上安装spark+hadoop集群之后，

thinklog2018·2020-09-14 20:18

[整理]Centos6.5 + hadoop2.6.4环境搭建

搭建Hadoop集群环境（3台机器）1准备环境1.1安装系统，并配置网络使3台机器互联互通，且SSH可直连（无需密码、保存私钥）1.1.1安装系统安装Centos6.5系统安装过程略1.1.2配置网络设置三台机器的

wen_hai·2020-09-14 16:32

Hadoop概念试题

Hadoop的回顾以及面试试题以下是试题及总结1.Hadoop集群SafeMode模式SafeMode又称Hadoop安全模式是hadoop的一种保护机制，用于保证集群中的数据块的安全性。

T、X、M·2020-09-14 16:47

大数据高频面试题-Hadoop相关总结

Mr.WiG·2020-09-14 16:03

hadoop集群日常维护中遇到的一些问题汇总

Connectionresetbypeerjava.io.IOException:Connectionresetbypeeratsun.nio.ch.FileDispatcherImpl.write0(NativeMethod)atsun.nio.ch.SocketDispatcher.write(SocketDispatcher.java:47)atsun.nio.ch.IOUtil.write

魏大宾·2020-09-14 15:52

linux自动化启动集群zookeeper

这里只是简单的一个测试代码，自动部署和启动都可以这样写，如果把shell学好，可以写一个hadoop集群环境搭建和部署，想想这搭建环境效率多高。。下面是例子：#!

云游遍天下·2020-09-14 15:44

Hadoop集群完全分布式模式搭建

#StartHadoop是用java编写的，所以如果要在服务器上部署hadoop，必须要在服务器上安装好java环境在我的虚拟机中，java的环境:JAVA_HOME=/usr/lib/jdk/jdk1.8.0_191JRE_HOME=${JAVA_HOME}/jreCLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/libPATH=${JAVA_HOME}/bin:

rowenci·2020-09-14 15:38

Docker构建学习环境(4)-Azkaban Solo模式调度Spark

背景前段时间利用Docker部署了hadoop集群和spark，也简单的提交了任务。但是肯定有一个疑问，如果我们要执行定时任务怎么办呢？或者我们执行复杂的具有顺序的多任务怎么办？

VioletCherry·2020-09-14 14:44

hadoop集群使用规范

一、测试环境使用规范原则上所有提交到正式集群的新作业必须先经过测试环境测试，测试通过之后才能提交到正式环境。测试环境包括：cdh3u1环境：和正式环境具有相同的hadoop版本，参数配置也基本一致。cdh4u2环境：提供了更高版本的hadoop，该环境安装了NameNode和JobTracker的HA，安装了比hive更快的即时查询impala。说明：（1）、两个测试环境根据需求都可以申请开通账户

快乐程序员·2020-09-14 14:36

分布式文件系统NFS上搭建hadoop集群

总的来说，hadoop并不适合搭建在NFS上。一来是NFS的存储成本过高，二来损失了hadoop原本在分布式上的“本地性”特点。不过由于各种各样的原因，有时候需要在分布式文件系统NFS上搭建hadoop。分布式NFS这种架构主要是计算节点和存储节点的分离。计算节点带有少量的存储。在某些情况下甚至没有存储可以用，这是因为计算节点除了装系统的空间外，不给用户在计算节点上存储任何东西。因此，搭建hado

gushengchang·2020-09-14 14:19

hadoop启动后某些节点未启动，hadoop主节点无法启动datanode DataNode

项目场景：hadoop集群搭建，主节点hadoop01无法启动datanode要注意的是：它们同时也都是DataNode节点。

文殊师利法王子·2020-09-14 13:30

Windows 远程调用hadoop 集群

在本地Java开发时如需访问Hadoop集群时常会遇到无法连接集群的错误。

Happy_Yu_Life·2020-09-14 13:43

Hadoop中的5个守护进程

在每个Hadoop集群中可以找到一个namenode和一个secondary

neu20063292·2020-09-14 12:43

hadoop集群启动的一些小错误

① processinformationunavailable通过jps命令查看hadoop状态后发现--processinformationunavailable运行以下代码rm-rf/tmp/hsperfdata_*重启各个组件，就能解决问题造成原因：意外关闭机器，或者没有按照顺序关闭各个组件。② 格式化多次把hadoop260下的dfs和logs删除后重新格式化

藏兔·2020-09-14 12:53

使用Hadoop运行自带WorldCount示例

使用Hadoop运行WorldCount示例引言：我们搭建好Hadoop集群，通过一个小型Wordcount案例见识Hadoop的魅力1.首先找到hadoop自带worldcountjar包示例的路径2

我是泛滥·2020-09-14 12:30

hadoop启动

安装完hadoop集群之后，第一次启动之前必须初始化，之后就可以不用再初始化（注意：初始化操作只可以一次）hdfsnamenode-format(hadoopnamenode-format)一键启动start-all.sh

weixin_30240349·2020-09-14 11:55

hadoop集群搭建--伪分布式

我们搭建了单节点也就是本地hadoop集群。

MengShi_·2020-09-14 10:41

hadoop集群的启动与停止

文章目录单点启动群起集群查看是否启动成功集群启动/停止方式总结单点启动如果集群是第一次启动，需要格式化NameNodehadoopnamenode-format在某一台机器上启动NameNode节点hadoop-daemon.shstartnamenode在其他机器上启动DataNode节点hadoop-daemon.shstartdatanode漫长的启动时间…………思考：每次都一个一个节点启动

孙晨c·2020-09-14 10:12

Cloudera配置开发环境

doegoo·2020-09-14 08:02

Hadoop的安全模式----自检

在hadoop集群的时候,集群的运行会进入到安全模式(safeMode)下。在安全模式下运行一段时间后，自动退出。那么，系统在安全模式下干什么了？当集群启动的时候，会首先进入到安全模式。

冷峰的思考·2020-09-14 08:34

hadoop Safe mode is ON 的解决办法

搭了一个hadoop集群环境，近期总是出现读写文件错误的情况，查看namenode的日志显示（SafemodeisON）SafemodeisON.Theratioofreportedblocks0.2000hasnotreachedthethreshold0.9990

GeoWin_CAU·2020-09-14 08:03

Hadoop 集群启动一直处于safemode解决方法

Hadoop集群启动的时候一切正常，但一直处于safemode，只能读不能写，这种时候应该查看namenode的logs，当然这可能会出现不同的情况...下面仅介绍一种错误处理方案，希望能抛砖引玉，能对大家有所启发

rzhzhz·2020-09-14 07:04

Hadoop问题：hadoop集群NameNode成功启动，而datanode未启动

问题描述：start-dfs.sh后，分别查看jps，发现只有NameNode成功启动，如下图：NameNodeDataNodeDataNode1原因使用hdfsnamenode-format格式化namenode时，会在namenode数据文件夹中保存一个current/VERSION文件，记录clusterID，而datanode中保存的current/VERSION文件中的clustreID

刘金宝_Arvin·2020-09-14 07:58

在启动HDFS时，针对集群中namenode无法识别datanode的问题的解决方法

后来通过对之前学过的知识进行回顾和梳理发现了问题的所在：由于场景的改变造成了虚拟机IP地址的改变，在这里虽然在虚拟机中配置网络的IP也做了相应的改变，但是Hadoop集群中的一些自动生

Magician~·2020-09-14 05:06

Parquet与ORC性能测试报告

一、环境说明Hadoop集群：使用测试Hadoop集群，节点：hadoop230hadoop231hadoop232hadoop233这几台机器配置一样，具体参数可参考如下：CPU数量：2个CPU线程数

教练_我要踢球·2020-09-14 05:08

Hive格式 Parquet与ORC性能测试报告

2019独角兽企业重金招聘Python工程师标准>>>一、环境说明Hadoop集群：使用测试Hadoop集群，节点：hadoop230hadoop231hadoop232hadoop233这几台机器配置一样

weixin_34378767·2020-09-14 05:19

Steve Loughran:Why not raid 0,its about time and snowflakes!!!

在Hadoop集群中，读取速度是最能体现性能的重要指标。在SteveLoughran文章中，尤其强调了这一点，他还指出，由于驱动器速度显著不同，RAID-0读取速度往往取决于阵列中最慢的一块磁盘。

dfgppwzkb17977379·2020-09-14 02:07

Hbase分布式安装

1Hbase集群需要依赖Hadoop集群和zookeeper集群，首先需要确保上述两项安装成功。

yangbaba2000·2020-09-14 01:17

Spark on YARN 部署实验

一、实验目的1.只在一台机器上安装Spark，基于已有的Hadoop集群，使用YARN调度资源。2.不启动Master和Worker进程提交Spark作业。

wzy0623·2020-09-14 01:04

Hadoop集群时钟同步

2.hadoop集群如何同步2.1以下面hadoop集群为例子：10.10.11.1master10.10.11.2slave10.10.11.3slave10.10.11.4slave10.10.11.5slave10.10.11.6slave2.2

weixin_34351321·2020-09-14 01:46

hdfs shell的基本操作以及hdfsWeb查看文件

在安装好hadoop集群并成功的启动了hdfs之后，我们就可以利用hdfs对文件进行操作了，一下是对文件的一些基本操作hdfs基本操作1、查询命令hadoopdfs-ls/查询/目录下的所有文件和文件夹

weixin_30764883·2020-09-14 01:03

Hadoop笔记——Hadoop集群安装与部署

文章目录一、Hadoop安装（一）两种主流Hadoop版本（二）环境准备（三）Hadoop安装步骤二、Hadoop的三种运行模式（一）本地运行模式（二）伪分布式运行模式（三）完全分布式运行模式三、Hadoop的监控一、Hadoop安装（一）两种主流Hadoop版本Apache版Apache公司发布的基础版本。下载地址：https://archive.apache.org/dist/hadoop/c

Bessenn·2020-09-14 00:24

Hadoop笔记——Yarn的部署与MapReduce程序测试

程序配置与测试（1）MapReduce简介（2）MapReduce的配置（3）测试MapReduce程序四、Yarn的监控一、Yarn介绍Yarn(ApacheHadoopYARN)是Hadoop的一部分，负责Hadoop

Bessenn·2020-09-14 00:24

如何离线分析HDFS的FsImage查找集群小文件

章编写目的随着Hadoop集群数据量的增长，集群中也同时会存在大量的小文件，即文件Size比HDFS的BlockSize（默认128MB）小的多的文件。

蘑菇丁·2020-09-14 00:26

hadoop集群时间同步

测试环境：192.168.217.130mastermaster.hadoop192.168.217.131node1node1.hadoop192.168.217.132node2node2.hadoop一、设置master服务器时间查看本地时间和时区[root@master~]#dateMonFeb2709:54:09CST2017选择时区[root@master~]#tzselect[roo

aiyong3830·2020-09-14 00:22

大数据40天精英计划-徐培成-专题视频课程

大数据40天精英计划—20295人已学习课程介绍离线数据分析平台是一种利用hadoop集群开发工具的一种方式，主要作用是帮助公司对网站的应用有一个比较好的了解。

十八掌教育·2020-09-13 20:40

关于flume采集，这个问题一直无法解决，不知道是hadoop集群的问题还是，flume的问题

on_1_201408262011to/data/flume/event_log/impression_washington_1_201408262011.COMPLETED2014-08-2710:24:49,844(pool-5-thread-1)[INFO-org.apache.flume.client.avro.ReliableSpoolingFileEventReader.rollCur

千山我独行_不需相送·2020-09-13 20:03

Hadoop集群（第9期）_MapReduce初级案例

1、数据去重"数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1.1实例描述对数据文件中的数据进行去重。数据文件中的每行都是一个数据。样例输入如下所示：1）file1：2012-3-1a2012-3-2b2012-3-3c2012-3-4d20

weixin_34356138·2020-09-13 20:26

大数据Hadoop的HA高可用架构集群部署

1概述在Hadoop2.0.0之前，一个Hadoop集群只有一个NameNode，那么NameNode就会存在单点故障的问题，幸运的是Hadoop2.0.0之后解决了这个问题，即支持NameNode的HA

weixin_30896511·2020-09-13 20:44

搞IT，算法编程不错的学习网址　＆　一些专栏博客大神的地址（汇总）

orbit/article/category/830251PostgreSQL深入理解内核系列：http://blog.csdn.net/beiigang/article/category/947307Hadoop

weixin_30849591·2020-09-13 20:40

flume上传日志到ha hadoop hdfs上

将hadoop集群的core-site.xml和hdfs-site.xml放在flume的conf目录下ForHA,youmustusetheHAservicename,suchashdfs://nameservice1

passer199101·2020-09-13 19:37

HDFS远程连接客户端权限错误

HDFS客户端的权限错误：Permissiondenied搭建了一个Hadoop的环境，Hadoop集群环境部署在几个Linux服务器上，现在想使用windows上的Java客户端来操作集群中的HDFS

午后的红茶meton·2020-09-13 19:37

CDH集成LDAP配置

//blog.javachen.com/2014/11/12/config-ldap-with-kerberos-in-cdh-hadoop.html参考上面基本配置，添加了部分配置本文主要记录cdhhadoop

101之歌·2020-09-13 19:50

最简单的-flume-ng-集群搭建

hadoop集群搭建方案hive单机搭建方案hbase集群搭建方案storm集群搭建方案flume集群搭建方案spark3集群搭建方案机器：10.211.55.67master10.211.55.68slave110.211.55.69slave2

夜幕.思年华·2020-09-13 19:51

flume搜集数据到hadoop HA可能出现的问题及解决办法

把Hadoop集群的hdfs-site.xml、core-site.xml两个配置文件复制到flume安装目录的conf目录去，把hadoop-hdfs-2.7.1.jar复制到Flumelib目录。

蘑菇丁·2020-09-13 18:37

mapreduce如何使用本地文件

因为我们知道，mapreduce程序本来就不是在本地执行的，程序会分布式的在各个机器上执行，你当然读不到文件，那所谓的“本地文件”就不叫“本地文件”，当然只有一个例外：你的hadoop集群是伪集群。

frank_fengsen·2020-09-13 18:11

大数据实操篇 No.2-Hadoop集群搭建

第1章集群规划Hadoop100Hadoop101Hadoop102NameNode√DataNode√√√SecondaryNameNode√ResourceManager√NodeManager√√√第2章下载安装到官网下载文件，解压到服务器上，此处略。第3章准备环境3.1配置ssh无密登录在/home/zihao/.ssh目录下（即~/.ssh）执行ssh-keygen-trsa连续三下回车

pezynd·2020-09-13 18:23

Hadoop集群安装配置教程_Hadoop2.6.0/Ubuntu 14.04

本文转载自给力星原文地址：http://www.powerxing.com/install-hadoop-cluster/前言当开始着手实践Hadoop时，安装Hadoop往往会成为新手的一道门槛。尽管安装其实很简单，书上有写到，官方网站也有Hadoop安装配置教程，但由于对Linux环境不熟悉，书上跟官网上简略的安装步骤新手往往Hold不住。加上网上不少教程也甚是坑，导致新手折腾老几天愣是没装好

chijiaodaxie·2020-09-13 18:37

MapReduce全局共享数据

1、读写HDFS文件在MapReduce框架中，Maptask和Reducetask都运行在Hadoop集群的节点上，所以它们可以通过读写HD

ccj_zj·2020-09-13 18:01

推荐频道

Hadoop集群