Hadoop集群

Apache Falcon数据集管理和数据处理平台

它使终端用户可以快速地将他们的数据及其相关的处理和管理任务“上载（onboard）”到Hadoop集群。ApacheFalcon解决了大
weixin_34040079·2020-06-28 10:15

Hadoop Yarn详解

一、Yarn简介Yarn是Hadoop集群的资源管理系统。Hadoop2.0对MapReduce框架做了彻底的设计重构，我们称Hadoop2.0中的MapReduce为MRv2或者Yarn。
weixin_34037977·2020-06-28 10:02

Hadoop完全分布式安装Flume

应用场景按照搭建hadoop完全分布式集群博文搭建完hadoop集群后，发现hadoop完全分布式集群自带了HDFS，MapReduce，Yarn等基本的服务，一些其他的服务组件需要自己重新安装，比如Hive
weixin_34021089·2020-06-28 09:49

KYLIN访问远程hive和hbase环境

2019独角兽企业重金招聘Python工程师标准>>>KYLIN访问远程hive和hbase环境思路：在kylin服务器上配置所需环境的client；包括hadoop，hive，hbase准备远程hadoop
weixin_33969116·2020-06-28 08:55

大数据平台HDP搭建

一、概述ApacheAmbari是一个基于Web的支持ApacheHadoop集群的供应、管理和监控的开源工具，Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig
weixin_33958585·2020-06-28 08:11

Hadoop学习之路（十二）分布式集群中HDFS系统的各种角色

NameNode学习目标理解namenode的工作机制尤其是元数据管理机制，以增强对HDFS工作原理的理解，及培养hadoop集群运营中“性能调优”、“namenode”故障问题的分析解决能力问题场景1
weixin_33951761·2020-06-28 08:48

docker一键部署hadoop心得（一）

开始学大数据已经有一个月了，最近一直在折腾使用docker一键部署全分布式hadoop集群,虽然一键部署的脚本写好了并且可以成功运行出各个节点，但在运行一个wordcount实例时出现了错误，错误如下：
weixin_33858249·2020-06-28 06:29

MapReduce作业状态一直为ACCEPTED解决过程

[toc]今天在测试Hadoop文件压缩功能时，在之前本地搭建的Hadoop集群上提交了一个MapReduce作业，但是提交后发现一直卡在那不动：......18/07/2017:21:50WARNutil.NativeCodeLoader
weixin_33772645·2020-06-28 05:38

基于Docker一键部署大规模Hadoop集群及设计思路

欢迎关注大数据和人工智能技术文章发布的微信公众号：清研学堂，在这里你可以学到夜白（作者笔名）精心整理的笔记，让我们每天进步一点点，让优秀成为一种习惯！一、背景：随着互联网的发展、互联网用户的增加，互联网中的数据也急剧膨胀。每天产生的数据量数以万计，本地文件系统和单机CPU已无法满足存储和计算要求。Hadoop分布式文件系统(HDFS)是海量数据存储的重要技术，它将数据存储在多个从节点上，对这些节点
weixin_33738578·2020-06-28 04:15

Hadoop集群（第6期）_WordCount运行详解

1、MapReduce理论简介1.1MapReduce编程模型MapReduce采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是"任务的分解与结果的汇总"。在Hadoop中，用于执行MapReduce任务的机器角色有两个：一个是JobTracker；另一个是TaskTracke
weixin_33709364·2020-06-28 03:24

Azkaban-2.5及Plugins的安装配置

有时候，在Hadoop集群中运行的Job是相互依赖的，某些任务需要顺序的执行，这种场景下使用Azkaban能够很好的解决问题。
躲不过这哀伤·2020-06-28 02:41

Docker中向镜像修改配置文件的方式

在使用一些开源镜像的过程中发现了一些对镜像文件进行的方式，这里以hadoop集群搭建和storm集群搭建为例介绍两种修改镜像内配置文件的方式。
superXX07·2020-06-28 00:34

Hadoop集群配置（最全面总结）

Hadoop集群配置（最全面总结）huangguisu通常，集群里的一台机器被指定为NameNode，另一台不同的机器被指定为JobTracker。这些机器是masters。
weixin_30748995·2020-06-28 00:51

CDH部署StreamSets

举例，它可以将数据源从Kafka+SparkStreaming连接到你的Hadoop集群，而不需要写一行代码。StreamSets并没有集成在cdh
weixin_30650859·2020-06-27 22:37

Fair Scheduler 队列设置经验总结

FairScheduler队列设置经验总结由于公司的hadoop集群的计算资源不是很充足，需要开启yarn资源队列的资源抢占。在使用过程中，才明白资源抢占的一些特点。在这里总结一下。
weixin_30618985·2020-06-27 22:04

HBase-集群安装

Hadoop集群安装：https://www.cnblogs.com/jhxxb/p/10629796.htmlZooKeeper集群安装：https://www.cnblogs.com/jhxxb/p
weixin_30596735·2020-06-27 22:17

看完肯定会系列之——CentOS7下安装和配置Hadoop以及Hadoop集群

本篇文章只下载Hadoop即可）二、一些事前配置1、关闭防火墙2、修改主机名和主机列表3、配置免密登录三、解压安装Hadoop四、修改配置文件五、修改环境变量六、格式化HDFS六、Hadoop的启动与关闭七、Hadoop
日写BUG八百行·2020-06-27 20:43

文章目录

1.大数据系列Hadoop：Hadoop-伪分布式安装、Hadoop集群搭建-full完全分布式、Hadoop集群搭建-HA（手动切换）flink：ApacheFlink系列（1）-概述2.Java开发系列
weixin_30439067·2020-06-27 19:49

HBase环境搭建、shell操作及Java API编程

一、1.掌握Hbase在Hadoop集群体系结构中发挥的作用和使过程。2.掌握安装和配置HBase基本方法。3.掌握HBaseshell的常用命令。
weixin_30417487·2020-06-27 19:10

虚拟机安装的三台Ubuntu系统下搭建Hadoop

在Linux上安装Hadoop教程在虚拟机中安装的Ubuntu系统下搭建Hadoop集群时首先要解决的问题是将宿主机的文件拷贝到虚拟机上。
weixin_30293135·2020-06-27 15:54

AMBARI部署HADOOP集群（3）

1.安装ambari-serveryum-yinstallambari-server2.ambariserver需要一个数据库存储元数据，默认使用的Postgres数据库。默认的用户名和密码是：ambari/bigdata。但是一般情况下，后面还要安装hive和Ranger，也需要一个存元数据的数据库，所以使用一个mysql做为数据库。需要为ambari创建相应的数据库和用户。安装MySQL及配置
weixin_30251587·2020-06-27 15:56

AMBARI部署HADOOP集群（4）

通过Ambari部署hadoop集群1.打开http://192.168.242.181:8080登陆的用户名/密码是：admin/admin2.点击“LAUNCHINSTALLWIZARD”，开始创建一个集群
weixin_30251587·2020-06-27 15:56

ambari部署Hadoop集群（2）

准备本地repository1.下载下面的包wgethttp://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.7.3.0/ambari.repowgethttp://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.7.3.0/ambari-2.7.3.0-
weixin_30251587·2020-06-27 15:56

ambari部署Hadoop集群（1）

本例使用hortonworks提供了ambari的安装方法，而且还很详细。以下是在centos7上的安装步骤。基础配置：1.修改电脑的主机名hostnamectlset-hostnamexxx或者vi/etc/hostname修改2.编辑文件/etc/sysconfig/network，添加下面的两行NETWORKING=yesHOSTNAME=xxx3.编辑文件/etc/sysconfig/ne
weixin_30251587·2020-06-27 15:25

Hadoop datanode扩容（附带centos硬盘扩容）

前言做这个的原因就是本身自己用的hadoop集群是在本机用vm虚拟出的三台机子部署的，所以各方面都受限制，比如说内存大小和硬盘大小。
weiqiangGG·2020-06-27 14:00

用浏览器不能访问hadoop集群！！！！

----当我们把hadoop集群搭建好后，用浏览器去不能访问，但是在自己的linux上去能能访问，这是为什么呢？
EricJeff_·2020-06-27 11:11

Hadoop2.7.3和Spark2.1.0集群详细搭建教程

1.本文介绍本文包括如下内容Ubuntu虚拟机安装过程Ubuntu配置静态IP配置SSH免密登录Ubuntu国内APT软件源的配置JDK，Scala，MySQL软件安装Hadoop集群安装Spark集群安装
upshi·2020-06-27 10:46

利用docker搭建haood集群，以及常见问题的总结与分析

前言相信很多码友们也从事大数据行业，我接触大数据也有一段时间了，之前是在本机上利用Vmware搭建hadoop集群，随着时间的推移，发现电脑和人一样，到了年龄，身体一天不如一天。
uniquewdl·2020-06-27 10:10

Docker搭建Hadoop集群本地访问

Docker搭建Hadoop集群本地访问原文参考:https://kiwenlau.com/2016/06/12/160612-hadoop-cluster-docker-update/注：本机docker
广东交通职业技术学院—陈陆强·2020-06-27 09:42

Hadoop集群搭建-完全分布式

本文通过12个步骤实现Hadoop集群的完全分布式搭建如有错误请指出文章目录1.服务器准备2.网络环境准备3.服务器系统设置4.JDK环境安装5.Hadoop安装6.Hadoop文件配置：hadoop-env.sh
塔贝·2020-06-27 09:41

【Hive】Linux(Centos6.5)环境下Hive的安装和配置MySQL

Hive的安装和配置Hadoop的安装和配置可见：Hadoop集群搭建-完全分布式文章目录Hive的安装和配置Mysql安装Mysql配置hive-site.xml配置配置Hive日志存放位置配置本次启动时的配置
塔贝·2020-06-27 09:41

基于树莓派的Hadoop集群搭建

由于本人需求，所以在四个树莓派上搭建了一个极小的Hadoop集群，请勿喷我的工作无用，都说了是我需要才这样做的，手动再见！
盐井很闲又有钱·2020-06-27 08:58

Hadoop启动namenode失败，端口号冲突问题解决

部署完Hadoop集群后，启动hadoop集群，有可能会遇到端口号冲突的问题ERRORorg.apache.hadoop.hdfs.server.namenode.NameNode:Failedtostartnamenode.java.net.BindException
ZK_小姜·2020-06-27 08:16

Hadoop运行mapreduce任务过程中报错：Error: Java heap space问题解决

问题：Hadoop集群在运行mapreduce任务的时候报错：Error:Javaheapspace问题分析：这个错误，首先一看到，便猜测是jvm的堆内存不够，于是便查询了hadoop运行mapreduce
ZK_小姜·2020-06-27 08:16

Hue中使用Oozie的workflow执行MR过程

写在前面：研究所里搭建了一套CDH5.9版本的hadoop集群，以前一直使用命令行去操作，这几天尝试Hue中使用Oozie的Workflows去执行MR程序，发现踩了好多坑（以前没使用过，也没找到相应的教程
带着小板凳学习·2020-06-27 08:26

Hadoop集群搭建（三台电脑）

电脑的操作系统是Ubuntu12.0432位，ubuntu-12.04.4-desktop-i386.iso。集群介绍：三台电脑的用户名都为hadoop主机名：master10.10.6.176服务机：slaver110.10.6.242；slaver210.10.6.131一、配置以下是三台机器都要安装和相同配置在/etc/hostname下修改自己的机器名在/etc/hosts下将所有机器名和
kevin_vv·2020-06-27 07:46

(Mac版)Eclipse搭建hadoop集群开发环境

eclipse集成hadoop开发环境操作系统：MacOs10.12hadoop集群版本：hadoop-1.2.0版本hadoop集成eclipse插件：hadoop-eclipse-plugin-1.2.0
柳梦溪·2020-06-27 06:11

（centos7）搭建基于docker的hadoop集群：一

一、安装docker1、使用yum方式安装docker#查看你当前的内核版本uname-r#安装Dockeryum-yinstalldocker安装好，使用dockerverison看是否安装好了。2、建立docker组默认情况下，docker命令会使用Unixsocket与Docker引擎通讯。而只有root用户和docker组的用户才可以访问Docker引擎的Unixsocket。出于安全考虑
还好还好啦·2020-06-27 06:21

Hive安装及使用攻略

Hive安装及使用攻略让Hadoop跑在云端系列文章，介绍了如何整合虚拟化和Hadoop，让Hadoop集群跑在VPS虚拟主机上，通过云向用户提供存储和计算的服务。
lvxiao9856·2020-06-27 04:50

CDH6.2 集成Sentry，Hive，Hue，Impala权限控制

公司最近Hadoop集群和其他服务机器复用严重，提供了新机器，想将Hadoop集群迁出。
简单的心1·2020-06-27 03:20

大数据平台搭建（二）：hadoop HA 集群搭建

前言    本章搭建zookeeper集群和hadoop集群1.hadoop版本的选择    1.目前而言，不收费的Hadoop版本主要有三个（均是国外厂商），分别是：Apache（最原始的版本，所有发行版均基于这个版本进行改进
闹闹的BaBa·2020-06-27 03:38

win10虚拟机搭建 Hadoop集群

1在虚拟机安装centos72安装网络工具centos7最小化安装没有ifconfig命令yum-yinstallnet-tools3centos7修改网卡名字为eth0修改网卡名字为eth04修改主机名vim/etc/sysconfig/networkNETWORKING=yesHOSTNAME=node1最后还要分别修改/etc/hostname5修改IP地址vim/etc/sysconfig
一角残叶·2020-06-27 03:43

centOS7.0 下配置Hadoop集群,Slave1报错：failed on socket timeout exception: java.net.NoRouteToHostException

Hadoop版本：2.5.0在配置Hadoop集群时，在Master上启动目录/usr/hadoop/sbin/下的.
qiugui0557·2020-06-27 03:41

基于docker-compose的hadoop集群搭建

非docker的版本可以参见之前的文章docker-compose.yml这个配置文件是根据bde2020文件略作调整,去掉了tag信息(可以拉取latest)和volume信息,另外也去掉了restart配置version:"3"services:namenode:image:bde2020/hadoop-namenodecontainer_name:namenodeports:-9870:98
首席IT民工·2020-06-27 03:47

Intellij IDEA远程向hadoop集群提交mapreduce作业

说明1、本地环境：win7（64位）、IntellijIDEA2016.3.52、集群环境：虚拟机系统centos6.5、hadoop2.6.0，共三个节点，其中master节点为192.168.137.2，slave1:192.168.137.3，slave2:192.168.137.43、本文以WordCount为例。3、参考http://blog.csdn.net/u014695188/ar
yumiao13·2020-06-27 01:14

查看hadoop集群有多少节点（hdfs fsck /）

liugen@ubuntu:~$hdfsfsck/Connectingtonamenodeviahttp://localhost:9870/fsck?ugi=liugen&path=%2FFSCKstartedbyliugen(auth:SIMPLE)from/127.0.0.1forpath/atWedOct2420:39:11PDT2018Status:HEALTHY//集群状态健康Numbe
望隐少年·2020-06-27 01:41

Hadoop集群动态添加节点后节点数量未增加且节点名称不稳定的解决方案

问题现象当前有01、02、03三个节点的hadoop集群，其中01是master节点，02、03为slave节点。当动态添加04的slave节点后，hadoop的web界面中显示的节点数目未增加。
Tonyzhang36·2020-06-27 01:11

内存小于16GG搭建Hadoop集群的一些个人观点

很多同鞋在学习大数据过程中，也会在自己电脑上搭建环境，但是内存不足确实是个让人头疼的问题，废话不多说，个人有如下一些想法，分享给大家：1、使用apache原生的hadoop来搭建集群，除了配置繁琐之外，还可能会有很多版本兼容性的问题(这很是头疼的问题)，当然在一些组件的官网有明确的版本依赖性说明，搭建haddop+hive或者hadoop+hbase等，管理起来也非常的不便，得自己写脚本来实现监控
紧到长卜帅·2020-06-27 00:43

CentOS 7部署Hadoop集群（完全分布式）

目录测试环境集群服务器节点与进程集群部署规划搭建Linux系统配置Java环境安装单机版Hadoop配置环境变量关闭防火墙修改hosts文件配置SSH免密登录修改Hadoop配置文件HDFS初始化启动Hadoop查看服务器进程启动HDFS和YARN的web管理界面测试环境Linux系统版本：CentOS764位Hadoop版本：hadoop-2.7.3Java版本：jdk-8u181-linux-
丶气质ン稳拿。·2020-06-26 23:32

CentOS 7部署Hadoop集群（HA高可用集群）

集群部署规划自动故障转移关于集群主机时间Linux环境搭建配置Java环境安装单机版HadoopZookeeper集群安装配置环境变量关闭防火墙修改hosts文件配置SSH免密登录修改Hadoop配置文件Hadoop
丶气质ン稳拿。·2020-06-26 23:32
上一页 57 58 59 60 61 62 63 64 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他