Hadoop集群

Centos 7.2 安装 Ambari 2.2.2 + HDP 2.4.2 搭建Hadoop集群

Centos7.2安装Ambari2.2.2+HDP2.4.2搭建Hadoop集群1.安装环境说明安装前先安装好Centos7.2,jdk-8u91,mysql5.7.132.操作系统环境准备2.1配置
Lochy·2020-07-10 22:31

HTTPFS: 基于HTTP操作hadoop hdfs文件系统

这对于运行在hadoop集群中的应用程序来说是挺好的。但是，运行在集群外部的应用
葡萄喃喃呓语·2020-07-10 21:24

Hadoop从入门到精通32：MapReduce高级功能之Combiner

在MapReduce任务中，每一个Mapper都可能产生大量的输出到Reducer，这对网络带宽和Reducer负载都有很大的压力，严重时会限制Hadoop集群的计算能力。
金字塔下的小蜗牛·2020-07-10 21:35

【集群监控】JMX exporter+Prometheus+Grafana监控Hadoop集群

下载jmx_exporter的jar包https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.3.1/jmx_prometheus_javaagent-0.3.1.jar创建配置文件namenode.yaml(datanode.yaml)放在任意位置，内容为你想要的metrics参考配置：---star
weixin_30776273·2020-07-10 19:52

[运维]运维工具fabric使用总结

背景：管理hadoop集群，需要批量执行操作。
钰帆·2020-07-10 18:17

1、hadoop3.1.3 分布式集群搭建的详细教程

hadoop集群搭建教程>hadoop知识背景1、创建虚拟机2、用户登录过程中遇到的问题2、修改镜像源为阿里云镜像3、更改用户名和主机名4、安装配置hadoop开发环境（1）安装SSH、配置SSH无密码登陆若已建立了多台虚拟机
将进酒杯莫停。·2020-07-10 18:11

hadoop集群下namenode和datenode无法联系

1.查看jps查看不同机器是否启动了，NameNodeDateNode&SecondaryNameNodeDateNode2.如果没有启动，可能是hdfsnamenode-format格式化过多，反正笔主最后屈服了，重新安装一遍hadoop，就成功了3.如果有启动了，但是前端页面显示没有node3,node2,node4，这些信息，则应该是hosts设置出错了解决方法(每个机器都要重新配置)重新配
小盗版007·2020-07-10 17:06

Ubuntu-Hadoop集群live nodes为0解决方案

Hadoop解决livenodes为0最近运行Hadoop集群,livenodes为0的问题,而且上传文件会出现couldonlybereplicatedto0nodes,insteadof1这样的错误
pythonniu·2020-07-10 17:33

hadoop集群System Cpu消耗过高问题分析--内存碎片整合问题

Hadoop集群服务器升级为rhel6内核后，SystemCpu占用非常高，有任务运行的时候经常到50%以上。
lin_FS·2020-07-10 17:36

Hadoop的HA高可用（可行）

）一、集群的规划Zookeeper集群192.168.116.121192.168.116.122192.168.116.123hsiehchou121hsiehchou122hsiehchou123Hadoop
hsiehchou·2020-07-10 13:38

通过hadoop distcp进行集群间数据迁移

问题描述我所在的部门是BI，平时业务计算有两个Hadoop集群A和B。其中一个集群A因为大部分业务线计算都在上面，最近开始经常出问题，并且计算变慢。
那只媛·2020-07-10 12:21

ol7.7安装部署4节点spark3.0.0分布式集群的详细教程

为学习spark，虚拟机中开4台虚拟机安装spark3.0.0底层hadoop集群已经安装好，见ol7.7安装部署4节点hadoop3.2.1分布式集群学习环境首先，去http://spark.apache.org
·2020-07-10 12:49

动手编写mapreduce---官方wordwount程序

在学习伪分布式hadoop集群的时候，使用了官方的wordcount程序，当时也只是直接执行官方jar包，不知道其工作原理，用过自己写一遍这个程序，加深对mapreduce工作原理的理解。
想写小说的程序员·2020-07-10 12:08

hadoop集群的搭建，详细过程

概念HDFS分布式文件系统会将用户提交的文件存储在一个服务器集群中HDFS中有两种重要的服务器软件角色：datanode--》负责存储用户文件的块namenode--》负责记录用户存储的文件的虚拟路径，及文件每一个块的具体位置（哪一块在哪一台datanode服务器上）安装一个HDFS集群准备工作：规划：要有一台机器安装namenode要有N台datanode服务器准备4台虚拟机：在vmware中创
wlk_328909605·2020-07-10 12:27

ol7.7安装部署4节点spark3.0.0分布式集群

为学习spark，虚拟机中开4台虚拟机安装spark3.0.0底层hadoop集群已经安装好，见ol7.7安装部署4节点hadoop3.2.1分布式集群学习环境首先，去http://spark.apache.org
九命猫幺的笔记·2020-07-10 10:00

ol7.7安装部署4节点spark3.0.0分布式集群

为学习spark，虚拟机中开4台虚拟机安装spark3.0.0底层hadoop集群已经安装好，见ol7.7安装部署4节点hadoop3.2.1分布式集群学习环境首先，去http://spark.apache.org
九命猫幺·2020-07-10 10:00

使用Ansible安装hadoop

本文只涉及hadoop集群的安装，安装后初始化及启动脚本后续更新，也会继续完善此篇博文，使其可以安装完成后自动初始化及启动，今天时间紧张，只发了安装的，请大家继续关注，谢谢！
不羡鸳鸯丶不羡仙·2020-07-10 10:40

Hadoop集群的DataNode中nodemanager启动一段时间后自动关闭问题

环境说明:Hadoop2.7.3版本NameNode节点:node01,node02DataNode节点:node01,node02,node03node01机器作为主NameNode节点.问题说明:Hadoop
Fushicho_XF·2020-07-10 09:35

zookeeper和hadoop集群（伪分布式）

1.Zookeeper官网http://zookeeper.apache.org/2.安装Zookeeper解压，配置环境变量，启动根目录下bin/zkServer.shstart这里是三台虚拟机，hadoop001，hadoop002，hadoop003命令行客户端：[root@hadoop001bin]#./zkCli.sh（之后回车）相关命令：[zk:localhost:2181(CONNE
万事于足下·2020-07-10 09:19

基于hadoop集群的Hive1.2.1、Hbase1.2.2、Zookeeper3.4.8完全分布式安装

写在前边的话：hadoop2.7完全分布式安装请参考：点击阅读，继任该篇博客之后，诞生了下面的这一篇博客基本环境：Hadoop2.7Java1.7.0_51CentOS6.5预安装：Hive1.2.1下载地址Zookeeper3.4.8下载地址Hbase1.2.2下载地址一：Hive的分布式安装（基于Mysql）Hive的伪分布安装请参考：点击阅读Hive基于Mysql的伪分布部署轻参考：点击阅读
weixin_34254823·2020-07-10 08:39

hadoopJVM堆大小设置优化

前段时间，公司Hadoop集群整体的负载很高，查了一下原因，发现原来是客户端那边在每一个作业上擅自配置了很大的堆空间，从而导致集群负载很高。下面我就来讲讲怎么来现在客户端那边的JVM堆大小的设置。
weixin_34054866·2020-07-10 08:12

Hadoop：HDFS NameNode内存全景

tech.meituan.com/namenode.html感谢原作者一、概述从整个HDFS系统架构上看，NameNode是其中最重要、最复杂也是最容易出现问题的地方，而且一旦NameNode出现故障，整个Hadoop
weixin_34007291·2020-07-10 08:49

Hadoop ha CDH5.15.1-hadoop集群启动后，两个namenode都是standby模式

HadoophaCDH5.15.1-hadoop集群启动后，两个namenode都是standby模式作者：尹正杰版权声明：原创作品，谢绝转载！否则将追究法律责任。一说起周五，想必大家都特别开心对吧？
weixin_33724570·2020-07-10 07:18

大数据系列（hadoop） 集群环境搭建 idea 开发设置

资源环境idea2017.2Hadoop集群环境搭建步骤：http://www.cnblogs.com/YellowstonePark/p/7750213.html新建项目输入GroupId、ArtifactId
weixin_30892037·2020-07-10 07:18

Hive的单节点集群详细启动步骤

1.0.0与hive-1.2.1到JDBC编程忽略细节问题HadoopHive概念学习系列之hive三种方式区别和搭建、HiveServer2环境搭建、HWI环境搭建和beeline环境搭建（五）版本1先启动hadoop
weixin_30871905·2020-07-10 07:06

hadoop离线项目处理流程

各组件的简介Hadoop:HDFSMR(清洗)YARN、需要部署hadoop集群Hive：外部表、SQL、解决数据倾斜、sql优化、基于元数据管理、SQL到MR过程Flume：将数据抽取到hdfs调度：
weixin_30711917·2020-07-10 06:05

hadoop集群start-all以后只有一个datanode

在配置了两个从节点以后在第二天打开虚拟机的时候发现只启动了一个datanode在修改了spaceid以后还是启动不起来在node2中bin/hadoop-daemon.shstartdatanodebin/hadoop-daemon.shstarttasktracker没有如何报错而且再次输入bin/hadoop-daemon.shstartdatanode也没有任何提示但是到主节点下localh
没有思想的KIKI人·2020-07-10 06:22

Hadoop集群异常：两个NameNode全部为StandBy状态

转载请注明出处：Hadoop集群异常：两个NameNode全部为StandBy状态之前的集群状态一直是很好用，可能中间忙于其他的事情，有些文件失效了吧，这次运行的时候，出现了问题，那就是两个NameNode
低调的洋仔·2020-07-10 05:47

群起zookeeper集群、hadoop集群、spark集群、kylin集群

启动zookeeper集群和hadoop集群#!
wangxujin666·2020-07-10 05:15

查漏补缺-Hadoop集群搭建记录

Hadoop集群搭建一、虚拟机设置准备三台虚拟机，内存2g，硬盘20g设置hostname，master/slave1/slave2CentOS6版本修改network文件：vi/etc/sysconfig
赵庆春·2020-07-10 05:03

Spark实例TopN---Spark学习笔记11

1、环境集群概况可以参见SparkHadoop集群部署与Spark操作HDFS运行详解。现在集群里有一大约7G的文件，是手机号和IP地址的组合。
OopsOutOfMemory·2020-07-10 05:07

【Storm】集群统一启动和停止shell脚本开发

hadoop集群有统一启动的命令start-all.sh启动全部进程stop-all.sh停止全部进程hadoop如果用cdh版本+ClouderaManager界面化管理，直接在界面上点击按钮即可启动集群
晚风中的自由·2020-07-10 05:06

shell脚本在容器云中搭建hadoop集群（一）

包含sshd服务、用于格式化HDFS的which命令、用于交互的expect命令、JDK、hadoop2，尝试使用一个脚本配置hadoop集群中的各个hadoop的ssh免密登录、hosts、5个xml
每天八小时·2020-07-10 05:00

shell脚本在容器云中搭建hadoop集群（七）

总结一下今天的学习过程1，用一句描述我今天上午的感受：这两天白忙活了hadoop集群子所以不能正确完整启动成功：是因为分配的内存不够用，分配的内存不够用，分配的内存不够用（重要的事说三遍）今天上午师兄调试我写的脚本
每天八小时·2020-07-10 05:28

shell脚本在容器云中搭建hadoop集群（四）

总结一下今天的学习过程1，上午继续观看学习Python的数据库编程视屏，测试Django项目使用MariaDB数据库，由列表实现数据库表的映射，总结了区别sqlite：不需要继承models.Modelclassstudent01():id=models.IntegerField(primary_key=True)name=models.CharField(max_length=50)adress
每天八小时·2020-07-10 05:28

shell脚本在容器云中搭建hadoop集群（六）

总结一下今天的学习过程1，上午继续昨天的问题，继续调试Hadoop集群。
每天八小时·2020-07-10 05:28

shell脚本在容器云中搭建hadoop集群（二）

把昨晚能想到的方法试了试，可是它心依旧啊，悲催2，中午请教了Docker中文交流群2里面的@北京-MD-蜗牛大哥，觉得应该重新认识Docker、容器、虚拟机、hadoop、Swarm等概念，说是在docker中不适宜运行hadoop
每天八小时·2020-07-10 05:28

centos7安装配置Hadoop集群

1、下载Hadoop以及JAVA本文用的是hadoop-3.2.0下载地址：http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-3.2.0/hadoop-3.2.0.tar.gz本文用的是JAVA1.81下载地址：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-do
星巴克拿铁咖啡·2020-07-10 04:08

如何上传数据到集群的HDFS上

我要将它传到一个hadoop集群上去，放到hdfs上。集群中有一台机器，地址为192.168.0.41。借用工具1、Xftp传文件从一台机器上到另一台机器上。
pingzishinee·2020-07-10 04:25

hadoop 3.1.1的集群搭建并完成高可用配置(详细版)

本文以hadoop3.1.1为例，讲述如何从零开始搭建好hadoop集群。二、准备工作集群资源配置总览NameNodeJournalNodeDataNodeResourceManager
暴走的Mine·2020-07-10 04:21

三台机器搭建Hadoop集群

目标：一台Master两台Slave一、修改主机名，配置/etc/hosts文件"/etc/hosts"这个文件是用来配置主机将用的DNS服务器信息，是记载LAN内接续的各主机的对应[HostNameIP]用的。当用户在进行网络连接时，首先查找该文件，寻找对应主机名对应的IP地址。在/etc/hosts文件里面添加如下：可以ping一下，看是否可以正常通信。所有机器都要修改。二、三台机器都实现ss
pNull·2020-07-10 04:56

CentOS7 基于Hadoop2.7.3完全分布式安装Hive2.3.4以及安装MySql

CentOS7基于Hadoop2.7.3安装Hive2.3.40x00本人的Hadoop集群已配置并且能正常运行0x10安装Mysql5.70x11为yum配置mysql57的源0x12修改MySQL密码开启
7INrelief·2020-07-10 03:39

hadoop集群搭建中遇到的问题及解决方法

1、zookeeper启动报错，JMXenabledbydefaultUsingconfig:/home/hadoop/app/zookeeper/bin/…/conf/zoo.cfgErrorcontactingservice.Itisprobablynotrunning.问题解决：时钟不一致，没有创建zkdatalog目录2、zookeeper启动报错如下：2019-09-0416:07:11
sunqingok·2020-07-10 02:46

hadoop集群及HBase+ZooKeeper+Hive完全分布式集群部署安装

这里说复制虚拟机hadoop单机安装在这：开启远程免密登录配置ssh-copy-id-i.ssh/[email protected]远程登录[email protected]/hadoop/hdfs-site.xmlvietc/hadoop/slaves:hadoop04hadoop05hadoop06在传到其他两个格式化HDFShadoo
孙彬不像个好程序员·2020-07-10 02:03

Flink实战之StreamingFileSink如何写数据到其它HA的Hadoop集群

前言我们公司使用的集群都是EMR集群，于是就分别创建了一个flink集群专门用户实时计算，一个hadoop集群专门用于spark、hive的离线计算。两个集群是完全隔离的。
甄情·2020-07-10 02:14

win 10 + maven + idea 15 + Hadoop 2.7.3开发环境配置

前言今天想在win10上搭一个Hadoop的开发环境，希望能够直联Hadoop集群并提交MapReduce任务，这里给出相关的关键配置。步骤关于maven以及idea的安装这里不再赘述，非常简单。
天空中的一缕微风·2020-07-10 02:29

Hadoop完全高可用集群启动顺序

总结一下：完全高可用的hadoop集群主要包含两部分，HDFS的高可用，Yarn的高可用HDFS高可用启动顺序主要分为以下几步：第一步、启动所有journalNode进程，用来存之后namenode的元数据第二步
xiaowei_582648206·2020-07-10 02:19

hadoop2.6.0分布式集群搭建（详细），搭建es-hadoop

一、hadoop集群配置1、安装前准备1.1安装vmwareworkstation软件1.2在虚拟机上安装linux操作系统由于是分布式，最少得有三个节点，故准备三个虚拟机节点。
言希墨·2020-07-10 01:51

一次Hadoop集群宕机事故总结

10月27日下午，机房中心交换机坏掉，导致HDFS集群和MR（YARN）集群宕掉。当时的日志现在已查不到，只能推断整个集群宕掉的原因。HDFS和YARN的集群，都是master/slave模式，其中处于master角色的组件有：NameNode，ResourceManager。某种角度，只要master没有挂掉，可以认为集群没有挂掉。同时，我们的HDFS集群和YARN集群都配置了HA，所以mast
sdn_prc·2020-07-10 01:21

linux集群批量管理工具parallel-ssh(pssh)的安装与使用

起初我自认为装个hadoop集群，改改配置文件，重复32次就完事儿了，工作量也不是很大。但随机测试的推移，我发现，每当需要更改一个参数需要把一个操作重复执行几十次是多么另人崩溃的一件事儿。
soldier_programmer·2020-07-10 01:12
上一页 48 49 50 51 52 53 54 55 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他