Hadoop集群第33页

分布式搭建-5 Flume搭建

环境：1..版本选择参考：hadoop集群版本兼容问题hadoop-2.5.0hive-0.13.1spark-1.2.0hbase-0.98.6flume-ng-1.7.0jdk-8u161-linux-x64

Toroidals·2020-09-13 18:19

Flume-ng 高可用搭建-与测试

前提：1)五台虚拟机（三台也可以）2)flume单节点测试并学会3)hadoop集群搭建完成FlumeNG集群，架构图Flume的存储可以支持多种，这里只列举了HDFS角色分配名称HOST角色Agent1chun1WebServerAgent2chun2WebServerAgent3chun3WebServerCollector1chun4AgentMstr1Collector2chun5Agen

春_·2020-09-13 18:56

均衡负载方式搭建高可用的flume-ng环境写入信息到hadoop和kafka

应用场景为多台agent推送本地日志信息到hadoop，由于agent和hadoop集群处在不同的网段，数据量较大时可能出现网络压力较大的情况，所以我们在hadoop一侧的网段中部署了两台flumecollector

小麒麟666·2020-09-13 17:07

flume+hadoop日志收集集群搭建

flume+hadoop日志收集集群搭建一、系统环境描述VMwareubuntu16.0464位ip：172.16.29.10应用程序服务器ubuntu16.0464位ip：172.16.29.11hadoop

皓阳当空·2020-09-13 17:03

分布式下的时间同步

徒儿(黑人问号)：纳尼,说好的hadoop集群呢?严肃脸!这是个不大起眼又比较关键的问题，一般大家对时间同步没那么敏感，但是在分布式的存储和运算当中，时间的不一致会导致获取

敏叔V587·2020-09-13 17:06

java.io.IOException: Mkdirs failed to create /flume/hdfs2 (exists=false, cwd=file:/opt/cdh5.7.

在flume中报这样的错，说无法创建/flume/hdfs2这个是往hadoop上写hdfs的时候找不到，我的原因是没有把Hadoop集群的hdfs-site.xml、core-site.xml两个配置文件复制到

三房头o·2020-09-13 13:38

Hadoop伪分布式下——Hadoop2.x运行自带的WordCount报错Container exited with a non-zero exit code 1.

Hadoop2.x运行自带的WordCount报错Containerexitedwithanon-zeroexitcode1.问题伪分布式模式配置文件解决方法问题今天，基于Hadoop2.5.0搭建了Hadoop

wanghuan524·2020-09-13 13:25

Hadoop Map/Reduce教程

Hadoop集群搭建对大规模分布式集群。

我是小M的粉丝·2020-09-13 13:37

hadoop集群搭建及zookeep的高可用

一、安装配置hadoop添加hadoop用户，设置密码[root@server1~]#useradd-u800hadoop[root@server1~]#lshadoop-2.7.3.tar.gzjdk-7u79-linux-x64.tar.gz[root@server1~]#passwdhadoopChangingpasswordforuserhadoop.Newpassword:BADPASS

qq_42241932·2020-09-13 12:33

大数据（环境）-集群环境规划

机器hadoop01:192.168.58.200hadoop02:192.168.58.201hadoop03:192.168.58.202宿主机192.168.58.4客户机192.158.58.5Hadoop

Olge·2020-09-13 09:57

siberiawolf61·2020-09-13 09:03

数据分析部门的团队组建

基础架构工程师：他们维护Hadoop集群，以及大数据基础架构。又被称为“水管工”。ETL工程师、报告开发人员以及DBAs。ETL工程师负责将数据导入数据中心。他们深度依赖

gggwfn1982·2020-09-13 08:36

ssh: Could not resolve hostname guard.: Name or service not known

第一种情况今天重新部署了hadoop集群，但是在运行start-dfs.sh的时候，出现了报错信息。

Rocky_Victory·2020-09-13 07:43

我的Hadoop之路——Win7 Eclipse开发环境搭建

前言：完成了在linux平台下Hadoop集群的搭建后，困扰大家的问题便从如何搭建Hadoop变成了如何使用Hadoop，所以，在这里，我将会一步步亲手尝试在Win7系统中Eclipse开发环境的搭建，

maojunjiemomo·2020-09-13 07:07

Call From SparkMaster/192.168.237.128 to 0.0.0.0:10020 failed on connection exception

在Hadoop集群中运行作业报如下错误：17/05/1621:03:01INFOclient.RMProxy:ConnectingtoResourceManageratSparkMaster/192.168.237.128

是可大吖哈·2020-09-13 06:27

hadoop集群及单节点安装教程

1、hadoop下载1、安装jdk参考：jdk下载2、下载hadoop，原理同12、环境修改#vi/etc/hostname分别修改三台主机名为：hadoop1、hadoop2、hadoop3添加环境变量：HADOOP_HOME=/usr/local/hadoop/hadoop-3.2.0PATH=$HADOOP_HOME/bin#vi/etc/hosts登录服务将三台服务信息添加进host中19

shoust·2020-09-13 04:10

Jetson TK1嵌入式开发板hadoop集群配置详细过程

JetsonTK1嵌入式开发板hadoop配置详细过程实验环境操作平台：JetsonTK1嵌入式开发板操作系统：Ubuntu14.04软件版本：hadoop-0.20.2,jdk-7u60-linux-arm集群架构：包括4个节点：1个Master，3个Salve，节点之间局域网连接，可以相互ping通。节点IP地址分布如下：主机名IP系统版本Hadoopnodehadoop进程名master21

Small__Two·2020-09-13 03:24

hadoop安装，并配置单节点hadoop集群

前言：本文以申威服务器raise系统为例，安装部署hadoop-2.7.3一、安装Java在安装hadoop之前，请确保你的系统上安装了Java。使用java-version命令检查已安装Java的版本。申威raise系统中默认安装Java1.7版本，安装路径为：注：要记住该路径，后面配置hadoop时会用到。二、安装hadoop1.创建用于hadoop安装的系统帐户hadoop[root@loc

amateur_RD·2020-09-13 00:15

Hadoop3集群搭建之——配置ntp服务

Hadoop3集群搭建之——安装hadoop，配置环境下篇：Hadoop3集群搭建之——hive安装Hadoop3集群搭建之——hbase安装及简单操作安装好的的虚拟机，发现时间不一致，相差还比较大，对于hadoop

anfuyi5792·2020-09-12 22:00

【集群搭建专题】——Hadoop集群搭建

Hadoop基础——HDFS——存储数据NameNode存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNodeDataNode在本地文件系统存储文件块数据，以及块数据的校验和。基本单位是块(block)，默认128M。SecondaryNameNode用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照H

GodSchool·2020-09-12 21:53

Hadoop 集群傻瓜式搭建手记（一）软件准备

主要参考资料当然是官方文档了：Hadoop集群搭建：http://hadoop.apache.org/common/docs/r0.19.2/cn/cluster_setup.htmlHadoop快速入门

fox-_-·2020-09-12 19:11

map-reduce框架结构及核心运行机制

是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架；Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop

学海无涯，一念花开·2020-09-12 17:23

hadoop集群搭建（docker）

背景目前在一家快递公司工作，因项目需要，对大数据平台做个深入的了解。工欲利其器必先利其器，在网上找了许多教程，然后自己搭建一个本地的环境并记录下来，增加一些印象。环境搭建1）Ubuntudockerpullubuntu:16.04dockerimagesdockerrun-tiubuntu:16.04系统运行后，安装一些小工具#aptupdate//weget#apt-getinstallwget

alx69793·2020-09-12 15:54

Flink on Yarn部署

比如启动一个有4个TaskManager（每个节点都有4GB堆内存）的Yarn会话：1.下载Flink的软件包，如flink-1.1.2-bin-hadoop26-scala_2.11.tgz（因为我的Hadoop

cache007·2020-09-12 11:48

B站疯传！堪称最强！一整套大数据资料，白拿不谢！

视频资料01-Linux视频02-全网最全的Hadoop集群搭建视频03-深度揭秘世界级分布式文件系统HDFS架构设计04-老司机带你自研RPC05-老司机带你自研分布式文件系统06-老司机带你自

过往记忆·2020-09-12 11:39

Hadoop与Spark整合

搭建Hadoop集群搭建Hadoop集群请参考博文《Hadoop集群搭建及wordcount测试》，在此不再赘述。

czliuming·2020-09-12 08:31

hdfs hbase hive hbase分别的适用场景

建立在Hadoop集群的最顶层，对存储在Hadoop群上的数据提供类SQL的接口进行操作。你

jiangan163·2020-09-12 06:01

本地Java代码访问hadoop集群时错误Access denied for user ??. Superuser privilege is required错误解决办法

hadoop集群搭建好之后，本地通过javaapi访问hadoop集群，java代码如下packagech4;importjava.io.IOException;importorg.apache.hadoop.conf.Configuration

赵北北北北北·2020-09-12 03:36

解决hadoop集群搭建中的INFO org.apache.hadoop.ipc.Client: Retrying connect to server: master/（ipv4）问题

在虚拟机环境中搭建hadoop完全分布集群，发现在HadoopResource-Managerweb界面master：8088和NameNodeHDFSWeb界面master：50070中livenodes显示为0。而slave节点中使用jps命令查看datanode和nodemanager启动正常，虚拟机之间可以相互ping通，ssh免密登录也没有问题。分析可能是端口问题因为core-site-

李广先·2020-09-12 02:09

Docker部署Hadoop环境+Hive

文章目录一、环境和应用准备二、构建images三、搭建Hadoop集群四、配置Hadoop集群五、安装Hive一、环境和应用准备环境：MacOS安装包版本：jdk-8u181-linux-x64.tar.gzhadoop

TreasureAI·2020-09-12 02:49

Hadoop集群从节点出现错误： Retrying connect to server: 0.0.0.0/0.0.0.0:8031. Already tried 0 time(s);

错误详情如下：2018-01-0917:47:22,892INFOorg.apache.hadoop.ipc.Client:Retryingconnecttoserver:0.0.0.0/0.0.0.0:8031.Alreadytried0time(s);retrypolicyisRetryUpToMaximumCountWithFixedSleep(maxRetries=10,sleepTime

奋斗, 拼·2020-09-12 02:16

Hadoop各个服务端口列表

端口Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。

奋斗, 拼·2020-09-12 02:16

实现hadoop+zookeeper高可用集群

本篇hadoop+zookeeper高可用是在上篇博客hadoop集群节点的搭建的基础上实现的注意：Zookeeper集群至少三台,总节点数为奇数个。

qq_37048504·2020-09-11 22:30

Hbase安装与配置

这里写目录标题环境准备zookeeper集群安装Hbase安装集群启动环境准备首先需要安装配置好hadoop集群、zk集群，hadoop集群的搭建部署，可以参考https://blog.csdn.net

fw19940314·2020-09-11 21:18

在VMware下搭建的Hadoop集群（提供下载）

为了方便，本人用VMware虚拟机搭建了CentOS7系统下的Hadoop2.6集群，具体配置如下：三个结点，每个结点分配1GB内存和20GB的硬盘，网络使用桥接（台式机网络使用了路由器）；每个结点的IP和机器名称192.168.1.110master.hadoop192.168.1.111slave1.hadoop192.168.1.111slave2.hadoop用户名和密码（包括root用户

闲渔Love吉他·2020-09-11 21:36

Hadoop--map-reduce原理

MapReduce的作业（job）是由客户端提交给Hadoop集群的。一个job包括了输入数据，MapReduce程序和配置信息。

Mrzhoug·2020-09-11 21:30

CentOS搭建Hadoop集群

前期准备主机系统ip地址masterCentOS7192.168.11.61slaveCentOS7192.168.11.62ps:大家使用克隆的方式复制多个独立的虚拟机,每个虚拟机创建一个hadoop用户并加入到root组中useradd-mhadoop-Groot-s/bin/bash利用passwdhadoop配置密码遇到提示说密码简单就再输入一次软件点击下面的下载：jdk-8u121-li

今晚吃什么？·2020-09-11 20:43

大数据环境搭建（Hadoop,Spark,Zookeeper,Hbase,Kafka）

本教程基于4台机器(预装有CentOS7Linux系统)完成Hadoop集群及其相关组件的搭建，1个master，3个slave。

WenWu_Both·2020-09-11 19:32

Hadoop3.2.1 【 HDFS 】源码分析 : FileSystem 解析

进行一些操作,程序的入口必定是它.接下来,我们通过FileSystem来分析一下,本地代码是如何通过FileSystem连接上hadoop并且读取数据的.二.代码示例由于我要连接的集群是一个配置HA的hadoop

张伯毅·2020-09-11 18:17

【AWS征文】[大数据][Hadoop] 使用EMR做大数据分析

直接上实验：实验包括：1.使用EMR创建Hadoop集群2.定义schema，创建示例表。3.通过H

栗子哥·2020-09-11 14:00

Hadoop之MapReduce基础

是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架；Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop

dawandi6620·2020-09-11 14:47

每日生产万亿消息数据入库，腾讯如何突破大数据分析架构瓶颈

背景介绍对于腾讯庞大的大数据分析业务，几千台的Hadoop集群，近百P级的存储总量，每日产生万亿的消息数据入库，需要针对几十亿IMEI手机设备去重，并关联数千亿的历史全表，进行曝光、点击、PV、UV、日活

糖糖糖糖糖糖糖糖糖糖糖糖糖糖糖糖糖糖糖糖·2020-09-11 14:56

flink yarn-session.sh启动任务指定的应用名和队列无效问题

问题背景我有一个hadoop集群和一台机器A.我在机器A上，使用命令:bin/yarn-session.sh-n5-jm1g-tm4g-s4-quroot.flink-nmfsql-cli>/dev/null2

云想慕尘·2020-09-11 14:14

TDW VS 飞天5K

前记：刚刚打开csdn首页，一篇“腾讯大规模Hadoop集群实践”的文章占据了最显眼的位置。

cuidiwhere·2020-09-11 12:21

hue 集成 hive问题

1.hue界面的错误如下先看下我的操作指令：1）打开hadoop集群：start-all.shroot下执行。2)打开hivemetadata：hadoop用户执行。

远古小山·2020-09-11 12:50

Hadoop Multi Node Cluster（Hadoop 集群）的安装与配置

该篇博客这要是对多台机器的Hadoop集群，以及hadoop资源管理（ResourceManager）与NameNodeHDFSWeb界面的介绍。

BING FK·2020-09-11 11:12

Apache Hue:详细介绍

通过使用Hue，可以在浏览器端的Web控制台上与Hadoop集群进行交互，来分析处理数据，例如操作H

真情流露哦呦·2020-09-11 11:50

Apache Hive Hue

通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，例如操作HDFS上的数据，运行MapReduceJob，执行Hive的SQL语句，浏览HBa

_Zephyrus_·2020-09-11 10:20

hadoop NameNode进入安全模式的解决方案

这种操作将丢失所有数据2.生产环境，暴力方式hdfsdfsadmin-safemodeleave不过这种方式执行后，需要恢复数据，需要等待很长时间hdfsfsck/3.生产环境，需要重启Hadoop集群修改

victory0508·2020-09-11 10:07

Spark on yarn--几种提交集群运行spark程序的方式

今天看了spark的yarn配置，本来想着spark在hadoop集群上启动之后，还需要配置spark才能让yarn来管理和调度spark的资源，原来启动master和worker之后就会让yarn来原理

疯狂的程序猿88888·2020-09-11 10:35

推荐频道

Hadoop集群