Hadoop集群第64页

在 Centos7 下使用 Docker 快速搭建 Hadoop 集群

一、前言按传统方法，能否在服务器上，能否成功搭建hadoop集群，取决于配置是否配置成功在习惯优于配置的时代，已然过时使用docker技术，零配置，10秒内轻松搭建hadoop集群本文图文并茂，轻松阅读无障碍二

IT小村·2020-06-24 02:17

使用docker-compose创建hadoop集群

下载docker镜像首先下载需要使用的五个docker镜像dockerpullbde2020/hadoop-namenode:1.1.0-hadoop2.7.1-java8dockerpullbde2020/hadoop-datanode:1.1.0-hadoop2.7.1-java8dockerpullbde2020/hadoop-resourcemanager:1.1.0-hadoop2.7.

kongxx·2020-06-24 01:31

HDFS配置Kerberos认证

导致存在恶意用户伪装成真正的用户或者服务器入侵到hadoop集群上，恶意的提交作业，修改JobTracker状态，篡改HDFS上的数据，伪装成NameNode或者TaskTra

架构师之路·2020-06-24 00:07

Hadoop 0.21.0 集群配置小记

经过两个晚上的努力，完成了一个三台机器的hadoop集群的配置，两台linux+一台windows7的组合，比较怪异，但毕竟是出于学习的目的，所以就尝试了不同的平台。

kalashnicov·2020-06-24 00:57

使用docker安装分布式hadoop（阿里hadoop镜像）

前面使用了docker自带的镜像安装，那么这篇使用阿里镜像搭建hadoop集群，也参考了网上部分播客，但是多多少少有问题，我这篇播客是全部经过实践测试成功跑起来的。

k55·2020-06-24 00:05

log4j+flume+HDFS实现日志存储

1.HDFS配置1.1.Hadoop集群搭建有关HDFS的配置，请参考CentOS7.0下Hadoop2.7.3的集群搭建,为了容易操作，本示例采用单机模式,即解压hadoop到/opt/hadoop/

davide_tian·2020-06-23 23:46

spark MLlib 之构建机器学习系统

构建spark机器学习系统spark机器学习系统架构spark和hadoop集群的安装spark-shell加载数据探索数据数据统计信息数据质量分析数据特征分析数据可视化数据预处理数据清理数据变换数据集成数据归约构建模型模型评估方法组装模型选择或调优交叉验证

jslijb·2020-06-23 23:02

MapReduce并行编程模型

一、课前准备1.3节点hadoop集群2.安装IDEA3.安装maven并配置环境变量二、课堂主题1.围绕MapReduce分布式计算讲解三、课堂目标1.理解MapReduce编程模型2.独立完成一个MapReduce

起始的地方·2020-06-23 23:00

0110-如何给Kerberos环境下的CDH集群添加Gateway节点

1.文档编写目的Gateway节点又称为客户端节点，通常用作访问Hadoop集群的接口机。它主要会部署一些客户端的配置，脚本命令，比如HDFS的core-site.xml，hdfs-site.xml以

Hadoop实操·2020-06-23 22:57

大数据（四十四）CDH【CDH介绍】

如果使用原生的ApacheHadoop，在工作中我总结出了如下痛点（部分）：1、集群规模很庞大时搭建Hadoop集群复杂度越来越高，工作量很大2、规模很大的集群下升级Hadoop版本很费时费力3、需要自己保证版本兼容

张--小涛涛·2020-06-23 22:48

大数据平台多租户管理实现（理论篇）

在公司内部，多用户业务应用架设在同一个Hadoop集群上，容易出现数据与集群资源混乱无序的状态，需要建立统一的调度平台实现数据统一管理、任务合理化调度，集群资源按需分配；从集群使用角度延申，Hadoop

jintian910625·2020-06-23 22:15

HDFS基础

因为我们使用的是低成本的商品硬件，所以您无需花费大量资金来扩展Hadoop集群。换句话说，增加更多的节点到你的HDFS是成本效益的。数据的种类和数量

jiang_hadoop·2020-06-23 21:11

hadoop工作原理

Hadoop无非就是：HDFS(文件系统)，yarn(任务调配)，mapReduce(编程模型，大数据并行运算)，我们安装完hadoop就已经包括了以上；Hadoop集群其实就是HDFS集群，说到HDFS

jason2016y·2020-06-23 20:47

【Hadoop】使用Ambari安装部署Hadoop集群（原）

部署环境使用4台机器，OS使用CentOS7，部署图如下：Paste_Image.png环境准备1、节点间互信#ssh-keygen-trsa#cat.ssh/id_rsa.pub>>.ssh/authorized_keys#scp.ssh/authorized_keyshadoop-node1:~/.ssh/authorized_keys将所有节点的rsa公钥信息都保存到authorized_k

mikeliuy·2020-06-23 20:29

Hive小文件合并迁移

因为两个Hadoop集群都开启了kerberos身份认证，直接进行数据迁移不太好实现，所以需要先将A集群的数据下载到本地，再迁移到B集群本地，最后从B本地上传到B集群的Hive库里。

大数据技术进阶·2020-06-23 19:43

Storm基本概念

任务之前，需要了解一些概念：TopologiesStreamsSpoutsBoltsStreamgroupingsReliabilityTasksWorkersConfigurationStorm集群和Hadoop

iteye_20587·2020-06-23 19:40

Hadoop及spark集群搭建踩过的坑

本集群总共有三台主机，一台master，两台slaveHadoop有一个节点无法启动在按照教程子雨大数据之Spark入门教程(Python版)搭建Hadoop集群时，运行jps命令，发现master和其中一个

山木枝·2020-06-23 18:25

新闻日志实时分析项目

文章目录第一章：案例需求分析与设计1.案例需求分析2.系统架构设计3.系统数据流程设计4.集群资源规划设计第二章：linux环境准备第三章：hadoop集群搭建1.Hadoop安装及配置第四章：zookeeper

iimpact·2020-06-23 17:10

deepin15.10下搭建Hadoop、Spark等大数据开发环境

centos搭建集群激活网卡Scala下载及安装eclipse安装scala-ide插件hadoop完全分布集群搭建配置hadoop的环境复制生成另外两台虚拟机设置集群间ssh免密登录启动hadoop基于Hadoop

iimpact·2020-06-23 17:09

虚拟机中docker拉取hadoop镜像失败- repository does not exist or may require 'docker login'

今天想使用centos7搭建的虚拟机，之前安装了docker，现下想尝试用容器代替虚拟机搭建hadoop集群，但是在拉取镜像的时候出了问题，显示repositorydoesnotexistormayrequire

加油姑娘dyja·2020-06-23 17:00

CDH集群开启Kerberos安全认证

在ClouderaManager中通过向导开启，kerberos启用可以通过对hadoop集群的各个服务的xml配置文件进行配置开启管理，但是由于需要配置的xml很多，还需要生成各个服务器的keytab

tuuuuski·2020-06-23 16:45

CDH-Hadoop集群CentOS下的搭建(离线安装)

说明：在本地虚拟机环境中进行CDH5.7.2集群的搭建，在搭建之前请先在虚拟机上装好三台CentOS7，三台内存分别为8g,2g,2g，博客为原创，转载请标明出处，另外由于各环境有版本等情况不同，大家在安装时特别是第一次安装的时候可能遇到的坑与我遇到的不一样，这个时候要仔细看下agent和server的日志种是否有报错然后可以网上查找解决办法文章中版本基于CDH5.7.2，不常登录csdn，问题回

tuuuuski·2020-06-23 16:44

Linux 安装Kerberos认证KDC服务

最近需要给hadoop集群加上安全验证，采用kerberos作为认证，这里记录一下安装kerberoskdc的经验服务器centos6.7，采用在线yum安装的方式1、使用yuminstallkrb5-

tuuuuski·2020-06-23 16:44

Hadoop集群搭建模式和各模式问题

文章目录分布式集群的通用问题集群的搭建的集中通用模式1、单机模式2、伪分布式模式（搭建在了只有一个节点的集群中）3、分布式模式4、高可用模式5、联邦模式分布式集群的通用问题当前的HDFS和YARN都是一主多从的分布式架构，主从节点—管理者和工作者问题：如果主节点或是管理者宕机了。会出现什么问题？群龙无首，整个集群不可用。所以在一主多从的架构中都会有一个通用的问题：当集群中的主节点宕机之后，整个集群

不迷信_只迷人·2020-06-23 16:46

hadoop 添加kerberos认证

参考Cloudera官方文档：ConfiguringHadoopSecurityinCDH3一、部署无kerberos认证的Hadoop环境参考另一篇笔记：hadoop集群部署或者按照Cloudera的官方文档

hua840812·2020-06-23 15:18

Hadoop集群之flume安装配置

Hadoop集群之flume安装配置1.官方文档http://flume.apache.org/2.配置环境变量vi/etc/profile#setflumexportFLUME_HOME=/opt/hadoop

蘑菇丁·2020-06-23 12:19

简单介绍Hadoop实操

这是hadoop实操的汇总文章的链接下面是大体的目录1.规划设计1.1.on-premise部署规划0001-《CDH网络要求(Lenovo参考架构)》0062-《如何为Hadoop集群选择正确的硬件》

天南第一剑修·2020-06-23 12:27

Kerberos认证原理

了解Kerberos认证的流程将有助于解决Hadoop集群中的安全配置过程中的问题。1.1Kerberos可以用来做什么简单地说，Kerberos提供了一种单点登录(SSO)的方法。

tiny@ant·2020-06-23 12:15

由一个HADOOP_HOME and hadoop.home.dir are unset报错引起的window环境连接调试远程hadoop的一系列问题

这篇准确来说不是搭建hadoop开发环境，而是指windows10连接到centos下hadoop集群进行开发遇到的一系列问题，仅此而已！如果你有兴趣搭建hadoop集群，可以参考这里。

Gavin-Xu·2020-06-23 11:17

Docker实战之安装配置Hadoop-2.5.2完全分布式集群

环境配置VM：VMwareWorkstationOS：Ubuntu14.04LTSHadoop：hadoop-2.5.2Hadoop集群规划172.17.0.2hadoop-master172.17.0.3hadoop-slave1172.17.0.4hadoop-slave2

god_wot·2020-06-23 10:39

Hadoop生态圈

其他子项目：Ambari：是一个部署、管理和监控ApacheHadoop集群的

秋幻旎苏·2020-06-23 10:56

freesOcean·2020-06-23 10:12

hadoop高可用集群重新初始化namenode后无法启动datanode的问题解决

这篇文章是hadoop集群的问题。问题尝试解决过程：1.昨晚启动时发现namenode有一个节点始终启动不了。

gegeyanxin·2020-06-23 10:36

hadoop集群的网络配置问题

https://www.cnblogs.com/ailsa-mei/p/8734339.html这篇博客写的非常好。另外我双的博客记录的也很全面：https://www.cnblogs.com/zhaozishuang/p/9314181.html。1.输入ifconfig查看ip，发现里面有一个eth1的连接但是到/etc/sysconfig/network-scripts里，看到并没有eth1

gegeyanxin·2020-06-23 10:36

CDH5.8 HUE的使用（那些年走过的坑）

通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，例如操作HDFS上的数据，运行MapReduc

gao123456789amy·2020-06-23 09:11

TensorflowOnSpark遇到的几个问题和解决方法

主要记录在Hadoop集群下搭建TensorFlowOnSpark平台后，在YARN模式下以feed_dic方式运行mnist时遇到的问题。

程序媛的小笔记·2020-06-23 09:20

大数据的安全管理 -- Kerberos

当然kerbeos本身也比较复杂，这里只从一个使用者的角度进行记录2.安全基础–Kerberos一提到Hadoop集群安全，我们就会想到Kerberos，对于kerberos解释，有很多。

eyoulc123·2020-06-23 06:50

Hadoop系列之（三）：使用Cloudera部署，管理Hadoop集群

根据使用的需要，Hadoop集群要安装很多的组件，一个一个安装配置起来比较麻烦，还要考虑HA，监控等。使用Cloudera可以很简单的部署集群，安装需要的组件，并且可以监控和管理集群。

dianxisu8222·2020-06-23 04:55

Hadoop（六）MapReduce的入门与运行原理

是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架；Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop

dengshuabi6933·2020-06-23 03:35

大数据资源如何管理

Hadoop集群资源管理器是什么？它是如何为上层应用提供资源管理和调度的呢？我们一起来看ApacheHadoopYARN的引入，为集群在利用率、资源统一管理和数据共享等方面带来的巨大好处。

dashuju2016·2020-06-23 03:30

Hadoop集群配置之后浏览器无法访问问题

http://blog.csdn.net/wx217415/article/details/51943863?locationNum=12最近在做Hadoop分布式集群学习，配置好之后通过浏览器访问50070端口来监测管理，但是配置好之后发现浏览器访问不到，网上查找了许多方法，有的说修改windows的hosts，有的说关闭防火墙，等等。经过一番测试，都不行。最后想了想，是不是50070端口就没开

Felix_CY·2020-06-23 00:09

Hadoop集群安装详细教程

一、安装环境因为安装Hadoop集群需要的主机数量必须为奇数，这里我用虚拟机搭了三台主机。为了防止IP变动，IP应该设为静态IP。

crouhsou80631·2020-06-23 00:35

Hadoop集群与Hadoop性能优化

学习，转载，日后必用--感谢原著链接http://developer.51cto.com/art/201005/201623.htmHadoop性能优化：Hadoop机架感知实现及配置：分布式的集群通常包含非常多的机器，由于受到机架槽位和交换机网口的限制，通常大型的分布式集群都会跨好几个机架，由多个机架上的机器共同组成一个分布式集群。机架内的机器之间的网络速度通常都会高于跨机架机器之间的网络速度，

cooler00100·2020-06-23 00:04

hadoop的概念及集群搭建

文章目录1、hadoop介绍2、Hadoop的集群优点：3、关于hadoop的相关概念：1）分布式存储：2）Block3）容灾4、分布式计算5、分布式计算角色6、hadoop集群搭建1）环境2）创建普通用户

chen_01_c·2020-06-22 21:05

配置Hadoop集群：java.net.NoRouteToHostException: No route to host问题的解决

datanode连接不上namenode，导致datanode无法启动。[root@slavebin]#./hdfsdfsadmin-reportreport:NoRoutetoHostfromslave/10.14.44.211tomaster:9000failedonsockettimeoutexception:java.net.NoRouteToHostException:Norouteto

陈振阳·2020-06-22 21:45

基于 Docker 下 Hadoop（单机和集群）快速安装部署

基于kaibb/hadoop镜像快速搭建Hadoop集群环境，便于快速开发一，Master节点拉取镜像dockerpullregistry.aliyuncs.com/kaibb/hadoop查看镜像是否拉取成功

贵州码农彬·2020-06-22 20:32

利用yarn多队列实现hadoop资源隔离

大数据处理离不开hadoop集群的部署和管理，对于本来硬件资源就不多的创业团队来说，做好资源的共享和隔离是很有必要的，毕竟不像BAT那么豪，那么怎么样能把有限的节点同时分享给多组用户使用而且互不影响呢，

奔跑-起点·2020-06-22 17:34

大数据集群之配置虚拟机集群

大数据集群之配置虚拟机集群大数据集群指Hadoop集群（HA）本文章是在window平台上安装四个虚拟机作为学习大数据平台的集群前提准备1.安装虚拟机软件VMware，这里提供一个安装教程链接参考2.获取一个

bay_bai·2020-06-22 17:58

HIVE 基本概念数据单元学习笔记

综述Hive是一个数据仓库基础工具，由Java编写，在Hadoop中用来处理结构化数据，可以把SQL查询转换为一系列在Hadoop集群上运行的作业。

小鹅鹅·2020-06-22 15:23

hadoop集群默认配置和常用配置

获取默认配置配置hadoop，主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件，默认下来，这些配置文件都是空的，所以很难知道这些配置文件有哪些配置可以生效，上网找的配置可能因为各个hadoop版本不同，导致无法生效。浏览更多的配置，有两个方法:1.选择相应版本的hadoop,下载解压后，搜索*.xml,找到core-default.xml

aoying5106·2020-06-22 14:49

推荐频道

Hadoop集群