Hadoop集群

Hadoop-1.2.1分布式集群搭建（亲测有效版）

分布式集群搭建环境条件安装jdk并配置环境安装ssh-client安装ssh-server配置ssh免密登录安装配置Hadoop-121搭建hadoop-121分布式集群分别配置两个虚拟机的hadoop启动Hadoop
linukey·2020-08-19 02:27

Ubuntu18.04遇到：无法安全地用该源进行更新，所以默认禁用该源。

前一天晚上11：30准备搭一些hadoop集群，准备更新apt工具，两次尝试均
bangyumi·2020-08-19 01:38

Cloudera HUE大数据可视化分析

通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，例如操作HDFS上的数据，运行MapReduceJob等等。2）下载（由于之前安装Hive的版
努力的凹凸曼·2020-08-18 21:47

ubuntu下安装Ganglia并绑定hadoop集群

首先，需要安装ganglia的以来包:sudoapt-getinstallrrdtoolapache2php5然后就可以安装ganglia了：sudoapt-getinstallganglia*或者sudoapt-getinstallganglia-monitorgmetadganglia-webfrontend安装好后就可以配置ganglia了：1）编辑/etc/ganglia/gmond.co
程序员成长史·2020-08-18 20:18

Run Spark on Yarn (翻译)

running-on-yarn.htmlspark在0.6.0及以后的版本支持部署在Yarn模式下Hadoopnextgen在Yarn模式下部署Spark首先保证HADOOP_CONF_DIR和YARN_CONF_DIR指向的文件夹包含hadoop
lwei3600103·2020-08-18 15:17

Hive从入门到放弃——Hive 用户内置函数简介（十一）

背景  Hive作为大数据Hadoop集群的数据仓库，实际使用自然是要用来数据处理和数据分析的，必然经常用到Hive函数，Hive函数分为内置函数和自定义函数（userdefinedfunction，简称
╭⌒若隐_RowYet·2020-08-18 13:41

Apache Flink 最全最详细集群安装

那些有安装Hadoop集群背景的人来说会非常容易。为了规划集群，我们假设我们有三台Linux机器，每台机
贝拉美·2020-08-18 12:13

数据仓库迁移记录

公司现有的hadoop集群空间快用完了，预计不久文件数将超过一个namenode支持上限（namenode支持的文件数和namenode内存大小有关，1G内存大约支持100w个文件），所以公司搭建了一套新的集群
woloqun·2020-08-18 12:30

自建hadoop集群迁移到EMR之数据迁移篇

自建集群要迁移到EMR集群，往往需要迁移已有数据。本文主要介绍hdfs数据和hivemeta数据如何迁移。前置已按需求创建好EMR集群。迁移hdfs数据主要依靠distcp,核心是打通网络，确定hdfs参数和要迁移内容，测速，迁移。网络需要自建集群和EMR各个节点网络互通。同为VPC网络只需要同一个安全组，不同的安全组需要设置安全组互通。如果自建集群是经典网络，EMR集群是vpc，网络访问需要设置
weixin_34037977·2020-08-18 12:47

yarn是什么？为什么会产生yarn，它解决了什么问题？以及yarn的执行流程

首先对之前的Hadoop和MRv1简单介绍如下：Hadoop集群可从单一节点（其中所有Hadoop实体都在同一个节点上运行）扩展到数千个节点（其中的功能分散在各个节点之间，以增加并行处理活动）。
weixin_33948416·2020-08-18 12:42

Call From master/192.168.128.135 to master:8485 failed on connection exception: java.net.ConnectExce...

hadoop集群搭建了ha，初次启动正常，最近几天启动时偶尔发现，namenode1节点启动后一段时间（大约10几秒-半分钟左右），namenode1上namenode进程停掉，查看日志：12017-08
weixin_30321709·2020-08-18 12:06

Hbase数据存储图解与数据检索流程

Hbase数据存储图解与流程一、Hbase数据存储图解二、hbase表数据的检索流程图（读和写的流程）1、hbase在Hadoop集群中的物理架构由图中可以看出，存储模块主要包括了ZooKeeper集群
sun_shang·2020-08-18 11:09

【大数据day09】—— Hadoop集群安装和配置（appache版本hadoop重新编译，Hadoop安装，配置三台虚拟机集群环境）

Hadoop集群安装和配置1、Hadoop的介绍2、hadoop的历史版本和发行版公司2.1Hadoop历史版本2.2Hadoop三大发行版公司3、hadoop的架构模型1.x的版本架构模型介绍2.x的版本架构模型介绍四种
我不是靓仔ing·2020-08-18 11:48

MapReduce小文件问题产生原因和解决方案，全网最全最精炼

2、数据源有大量小文件，未做处理直接拷贝到Hadoop集群。3、MapReduce作业的配置未设置合理的reducer或者未做限制，每个reduce都会生成一个独立的文件。
程序员赋能·2020-08-18 11:01

win7使用eclipse连接hadoop集群，运行mapreduce报错之:org.apache.hadoop.security.AccessControlException

在win7上使用eclipse连接hadoop集群运行mapreduce任务（Java编写）时出现如下错误提示，导致运行mapreduce作业失败Causedby:org.apache.hadoop.ipc.RemoteException
lsxy117·2020-08-18 11:51

Hadoop集群数仓迁移——distcp命令、分区修复

目前项目涉及需求：迁移Hadoop数仓（由CDH环境迁移到HDP环境），涉及到hive表的重建，以及hdfs上文件的迁移，以及元数据、分区表的修复。一、建表hive重建表比较简单，首先showcreatetabletablename;然后把建表语句拷贝下来即可，这里要注意的是，特殊分割符和存储文件格式（默认textfile,项目中设计parquet格式），需要将分割语句和storedasXXX语句
清平の乐·2020-08-18 10:47

数仓数据通道之用户行为搭建

关闭防火墙1.6配置域名映射1.7文件夹准备1.8修改windows的hosts2免密登陆2.1生成密钥2.1拷贝密钥至其它机器3安装JDK配置环境变量（jdk1.8）4编写集群分发文件脚本（分发文件）一hadoop
Master_slaves·2020-08-18 10:42

自建Hive数据仓库跨版本迁移到阿里云E-MapReduce

完整内容请点击文末“阅读原文”获取最佳实践概述应用场景客户在IDC或者公有云环境自建Hadoop集群，数据集中保存在HDFS文件系统，同时借助Hive进行常见的ETL任务。
weixin_45906054·2020-08-18 10:37

如何快速开发CLI程序

VMware的Serengeti就是基于命令行来快速部署并管理Hadoop集群的应用。而Serengeti的CLI就是基于Spri
jarred·2020-08-17 23:26

hadoop+Zookeeper（平台部署、hdfs工作原理、yarn调度器、高可用）

文章目录1.设置单节点群集1.1安装软件及设置1.2独立运行1.3伪分布式操作2.Hadoop集群设置2.1完全分布式2.2在线添加新节点2.3Yarn资源管理器2.4MRAppMaster上MapReduce
Aimee_c·2020-08-17 19:20

hadoop中mapred.tasktracker.map.tasks.maximum的设置

目前，我们邮件的一部分log已经迁移到Hadoop集群上并由Hive来执行相关的查询hadoop中默认的mapred.tasktracker.map.tasks.maximum设置是2也即：每一个tasktracker
woqiang68·2020-08-17 17:08

hadoop 集群配置（高可用）

hadoop集群高可用配置三台虚拟机先配置jdk和zookeeper配置hadoop配置三台虚拟机192.168.199.161pass1192.168.199.162pass2192.168.199.163pass3
qinsur·2020-08-17 17:55

Apache Sentry安装及简单使用

1环境描述三台hadoop集群，分别是master、slave1和slave2。
weixin_30919571·2020-08-17 16:41

在Ubuntu18.04系统中配置完全分布式Hadoop集群

前言：我自己比较喜欢使用Ubuntu，因此就使用它来配置Hadoop集群。我用VMware创建了三个虚拟机将其作为Hadoop的三个节点。
cserbo·2020-08-17 14:28

Cloudera Manager 安装小型Hadoop集群

Cloudera提供了几种安装方法，具体可以参见Cloudera文档。这里我介绍的方法是用ClouderaManager来安装。ClouderaManager提供三种选项，区别可见Cloudera文档：Freeedition60Daystrialofenterpriseedition,60天以后自动切换为freeeditionEnterpriseedition环境：OSXMountainLionV
puffsun·2020-08-17 13:53

Docker环境下搭建Hadoop集群

非原创，转载自https://blog.csdn.net/weixin_42051109/article/details/82744993安装ubuntu系统---->下载docker---->在docker里拉取hadoop镜像---->在此镜像里创建三个容器(Master、Slave1、Slave2)---->完成完全分布式1.安装ubuntu系统(无论你是安装的单系统，还是用虚拟机安装了ub
Selenium39·2020-08-17 13:21

linux 下tmp目录文件怎么被删除的？

写这篇文章是我要重启长时间运行的hadoop集群的时候，关闭不了相应的服务。
lm709409753·2020-08-17 13:00

三台linux ubuntu虚拟机只有一台能上网和连通主机，并且各机器间互相不能ping同

原由：我把hadoop集群的伪分布式三个虚拟机copy到了另一台机器上，经过修改ip后三台机器都能上网。但是过了一段时间后，在此启动虚拟机却始终只有一个虚拟机能够上网，很奇怪。
小爷欣欣·2020-08-17 12:20

Hadoop 安全机制认证---Kerberos

导致存在恶意用户伪装成真正的用户或者服务器入侵到hadoop集群上，恶意的提交作业，修改JobTracker状态，篡改HDFS上的数据，伪装成NameNode或者TaskTracker接受任务等。
yakcy·2020-08-17 12:15

yarn资源管理

yarn资源管理1.文档编写目的Hadoop集群管理员希望能对集群Yarn作业的资源进行控制。根据不同的业务组或不同的用户，对Yarn的资源池进行划分，达到资源管控、任务管控的效果。
a13705510005·2020-08-17 11:16

Hadoop集群安装搭建Hbase和Zookeeper

Hbase简单说明HBase是GoogleBigtable的开源实现，类似GoogleBigtable利用GFS作为其文件存储系统，HBase利用HadoopHDFS作为其文件存储系统；Google运行MapReduce来处理Bigtable中的海量数据，HBase同样利用HadoopMapReduce来处理HBase中的海量数据；GoogleBigtable利用Chubby作为协同服务，HBas
CSDNFly1·2020-08-17 11:25

在Centos7上搭建Hadoop集群(二)

Hadoop环境准备完成后（即centos7上配置完jdk，并且解决相关影响因素后），进行Hadoop集群环境的搭建，使用javaversion"1.8.0_40"，hadoop-2.7.3版本进行相关环境的配置
CSDNFly1·2020-08-17 11:25

在Centos7上搭建Hadoop集群环境准备(一)

hadoop集群的规模：一个namenode2个datanode,共需要3台系统.[centos7卸载自带jdk]centos7系统在虚拟机中
CSDNFly1·2020-08-17 11:25

使用Docker搭建Hadoop集群和Spark集群

一、前言Hadoop是分布式管理、存储、计算的生态系统，Hadoop的框架最核心的设计就是：HDFS和MapReduce，HDFS分布式文件系统（HadoopDistributedFileSystem）为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。Spark是专为大规模数据处理而设计的快速通用的计算引擎，Spark是开源的类HadoopMapReduce的通用并行框架，Sp
anron·2020-08-17 10:13

Hadoop集群（第3期）_VSFTP安装配置

Hadoop集群（第3期）_VSFTP安装配置1、VSFTP简介VSFTP是一个基于GPL发布的类Unix系统上使用的FTP服务器软件，它的全称是VerySecureFTP从此名称可以看出来，编制者的初衷是代码的安全
wutangpuer·2020-08-17 10:40

HBase入门笔记（三）-- 完全分布模式Hadoop集群安装配置

本来这篇文章该在去年11月底写出来的，被各种繁杂的事情所烦扰，再者网络上也有非常多比较完善的配置的文章，但是依旧是表述不太清晰。依旧写个StepByStep的教程，留待己用。Hadoop的部署环境是经过虚拟化之后的四台主机，OS是UbuntuServer10.04。（XenServer5.6兼容的OS并不包括Ubuntu，将Ubuntu转成PV也是一个折腾的过程，另文介绍）。Hadoop的版本号依
weixin_30568591·2020-08-17 09:13

HBase 集群配置

本文环境与上一讲--完全分布式Hadoop集群配置一致。OS是UbuntuServer10.04，HBase版本是0.20.6。HRegionServer&HQuorumPeer:
tylgoodluck·2020-08-17 09:58

java.io.IOException: Connection reset by peer;关闭hadoop集群时发现 dataNode 和 NodeManager 没关掉

关闭hadoop集群时无意中使用jps发现dataNode和NodeManager没关掉1.检查日志发现报错仔细看了一下关闭情况发现多了个localhost于是打开/etc/hadoop/slaves这个配置文件
红尘丶世界·2020-08-17 08:57

Kubernetes 执行join卡住导致加入集群失败问题解决

配置如下：os:centos8master:8U8G192.168.2.106worker1:4U4G192.168.2.240worker2:4U4G192.168.2.149最近需要在k8s上搭建hadoop
croder·2020-08-17 08:44

HBase入门笔记（四）--完全分布式HBase集群安装配置

本文环境与上一讲--完全分布式Hadoop集群配置一致。OS是UbuntuServer10.04，HBase版本是0.20.6。HRegionServer&HQuorumPeer:
weixin_30877181·2020-08-17 07:47

hadoop之分布式计算框架MapReduce

MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并打运行在一个hadoop集群上。
ghsticker·2020-08-17 07:21

hadoop集群启动步骤(已配置hdfs ha，yarn ha，hive单节点（hadoop01），mysql等)

1.启动mysql（作为hive的数据库，没有的话可以不用启动）执行servicemysqlstart验证servicemysqlstatus2.启动hdfsha集群（1）启动zookeeper启动（每个节点都要执行）zkServer.shstart验证是否启动成功（每个节点都要执行）zkServer.shstatus（2）启动journalnode服务（单个启动、多个进程启动）./sbin/ha
写程序的干脆面·2020-08-17 07:02

HA HADOOP集群和HIVE部署

HDFSHAHADOOP集群部署1.集群环境节点分布JournalNode：bigdatasvr01,bigdatasvr02，bigdatasvr03namenode:bigdatasvr02(active
yjyzsl·2020-08-17 07:27

【Hadoop】集群之外的机器如何连接到集群并与HDFS交互，提交作业给Hadoop集群

集群以外的机器如何访问Hadoop集群，并像集群中提交作业和传送数据(1)首先，在机器上安装nutch或者hadoop(2)配置两个文件hadoop-site.xml：fs.default.namehdfs
詹坤林·2020-08-16 22:32

Windows本地配置Hadoop集群开发环境

搭建好Hadoop集群后，应该如何开发mapreduce程序？比较简单的方法是在Windows本地进行开发环境的搭建。
努力学习的卡卡春·2020-08-16 22:28

hadoop学习笔记1：实现ssh免密码登录

一、实验目的：启动和运行hadoop集群时，主节点和从节点之间会进行频繁的数据通信，为避免手动进行多次密码认证和提高数据传输的安全性，需要实现ssh免密码登录二、需求分析：（一）实现chaoren1、chaoren2
yraspen·2020-08-16 22:46

Hadoop集群搭建详解

写在前面在刚开始接触hadoop的时候，在学习了好多久，有一些不仔细导致掉了好多坑，后面搭建成功写下这篇文章希望能帮助到更多人少掉坑。我的惯例先介绍各个版本：系统环境：LinuxMint18.2（Ubuntu16.04）hadoop版本：hadoop2.7.1其次我用到了两台电脑作为集群的节点，应用如下：节点类型节点机器名称IPmastermryang192.168.27.228slavework
丶点小非·2020-08-16 22:13

Hadoop学习笔记：Hadoop基础知识

阅读目录一、Hadoop简介二、Hadoop的特性三、hadoop组成与体系结构四、Hadoop安装方式五、Hadoop集群中的节点类型一、Hadoop简介Hadoop是Apache软件基金会旗下的一个开源分布式计算平台
忌颓废·2020-08-16 22:00

Hadoop集群搭建(四)

Hadoop之zookeeper安装软件版本选用Zookeeper的3.49版本，软件包名zookeeper-3.4.9.tar.gz1、Zookeeper基本安装配置★该项的所有操作步骤使用专门用于集群的用户admin进行。★此项只在一台主机操作，然后在下一步骤进行同步安装与配置。配置环境变量vi~/.bash_profile使环境变量生效且验证source~/.bash_profileecho
浅陌''·2020-08-16 22:59

通过hadoop distcp进行集群间数据迁移

问题描述我所在的部门是BI，平时业务计算有两个Hadoop集群A和B。其中一个集群A因为大部分业务线计算都在上面，最近开始经常出问题，并且计算变慢。
weixin_42868638·2020-08-16 22:37
上一页 34 35 36 37 38 39 40 41 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他