Hadoop集群

【Hadoop集群搭建第二期】节点克隆及SSH无密码验证配置

【Hadoop集群搭建第一期】Ubuntu中的Hadoop及Java环境的安装和配置：https://blog.csdn.net/DXH924/article/details/103832306上一期完成了
DXH924·2020-08-15 21:28

Hadoop Day01

HADOOP集群搭建安装lrzsz[root@hdp01hadoop]#yum-yinstalllrzsz上传文件到hdp01：首先在/home新建文件夹[root@hdp01home]#mkdir-p
Bailulu000·2020-08-15 13:15

Hadoop集群模式终于配好了

今天晚上终于配好了Hadoop集群模式。首先，网上关于Hadoop配置集群模式的手册特别，每个人、每个人版本都有细微的差别。。对于像我这样的初学者，配环境的时候，有种不知所措的感觉。
weixin_34226706·2020-08-15 08:42

pig的各种运行模式与运行方式详解

当Pig在Local模式运行的时候，Pig将只访问本地一台主机；当Pig在MapReduce模式运行的时候，Pig将访问一个Hadoop集群和HDFS的安装位置。
jack-zhu·2020-08-15 08:25

IT行业必须知道的基础知识

HDFS）–集群（应用）H：HADOOPD：分布FS：文件系统：Linux算法：1、map-reduces的数据处理集群：他是将海量数据按照一定的方式，修改为键值关系HDFS+map-reduces=Hadoop
qq_43085845·2020-08-15 07:25

hadoop集群与伪分布式的性能对比

hadoop集群与伪分布式的性能对比镜像centos6.5，hadoop-2.6.0，mysql-5.4.0，hive-1.2.1集群配置：master4g1核，2个处理器，子节点（2个）：1g1核，1
会飞的鱼_于·2020-08-15 07:20

Hadoop生态圈（四）超详细Hbase完全分布式搭建！

本实验演示3个节点的HBase集群的安装部署过程：安装HBase集群前提条件：1）已安装好并启动Hadoop集群；2）已安装好并启动ZooKeeper集群。
平常心19-3-21·2020-08-15 07:38

hadoop和spark分布式集群搭建及简单运用

hadoop和spark分布式集群搭建及简单运用hadoop和spark分布式集群搭建及简单运用1Hadoop集群部署1-1Hadoop简介1-2环境及软件说明1-2-1虚拟机软件1-2-2JDK1-2
huang-yang·2020-08-15 07:00

Hadoop(二)——分布式集群搭建

下边讲述一下我的Hadoop集群搭建过程，由于条件有限，也是在虚拟机中进
~小龙~·2020-08-15 07:13

动态优化 Hadoop 集群的高性能分析

动态优化Hadoop集群的高性能分析简介：这是我在阅读文献中读到的一篇关于大数据高性能分析的文章，写的很不错，自己根据自己的理解翻译了一下，希望能和大家分享。
Apache-Wang·2020-08-15 06:53

服务正常启动， ambari显示服务 stop

背景：hadoop集群启动后，ambari显示spark01的hiveserver2状态为stop排错http://hostname:10002/jmxspark01的hiveserver2正常运行。
君子意如何·2020-08-15 03:42

spark环境搭建，en

https://archive.apache.org/dist/spark/spark-2.2.0/spark-2.2.0-bin-hadoop2.7.tgzSpark安装不一定需要安装Hadoop，若已搭建Hadoop
一抹米粒·2020-08-15 02:04

Hue安装配置实践

通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，例如操作HDFS上的数据，运行MapReduceJob等等。
冰峰bf·2020-08-14 22:40

Ambari Hadoop集群HA整合Hue安装介绍

HUE整合Ambari安装部署1.复用bigdata3的mysql设置hue用户createdatabasehue_to_mysqlcharactersetutf8;CREATEUSERhue@'%'IDENTIFIEDBY'7dYDrMECSQ';GRANTALLPRIVILEGESON*.*TOhue@'%';FLUSHPRIVILEGES;2.下载Hue安装包(1)编译相关依赖环境rpm包安
稻草一根·2020-08-14 22:48

jdk和hadoop集群对不同版本hbase的支持情况

HBaseVersionJDK7JDK82.0NotSupportedyes1.3yesyes1.2yesyes比较老的hbase版本的支持情况见下图：不同版本的hadoop对不同版本的hbase支持也不同，因此我们选择集群hadoop
xiaozhuangyumaotao·2020-08-14 22:48

平台管理（大数据）：Hue、Ooize、Ambari概述

HueHue是一个开源的ApacheHadoopUI系统,通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据，例如操作HDFS上的数据，运行MapReduceJob
BigSun0·2020-08-14 22:24

Ambari的安装介绍

介绍ApacheAmbari是一种基于Web的工具，支持ApacheHadoop集群的供应、管理和监控。
乌镇风云·2020-08-14 21:52

DataX安装及基本使用

前置准备这里我们演示MySQL和HDFS之间的数据导入导出，需要预先安装Hadoop集群。
广彐水厂·2020-08-14 21:27

HDFS冗余数据块的自动删除设置

在日常维护hadoop集群的过程中发现这样一种情况：某个节点由于网络故障或者DataNode进程死亡，被NameNode判定为死亡，HDFS马上自动开始数据块的容错拷贝；当该节点重新添加到集群中时，由于该节点上的数据其实并没有损坏
Enzo_bigdata·2020-08-14 21:08

（转）hadoop的task运行完成后清理local目录影响性能

link：http://blog.csdn.net/ae86_fc/article/details/5284282当launch一个job到hadoop集群，hadoop集群中的TaskTracker（
weixin_34292959·2020-08-14 21:40

CentOS7下Hadoop集群搭建

文章目录1、概念1.1、主从结构1.2、Hadoop集群角色名称2、安装前准备2.1、安装软件准备2.2、Hadoop集群服务器规划3、安装3.1解压文件3.2修改配置文件3.2.1.修改`hadoop-env.sh
leo825...·2020-08-14 20:16

Ubuntu上安装Hadoop集群

所以这篇文章我们就来介绍一下如何在Ubuntu上搭建Hadoop集群。准备阶段三台在同一局域网内的Linux机器或者虚拟机。配置好Host文件
名字想好没。·2020-08-14 19:33

MapReduce中使用Avro

前提条件一个maven项目Hadoop集群，如果你还没有安装的话，请戳这里，查看之前的文章。说明本篇文章是一个简单的用例，使用的例子是一个txt文件中存储了大量的学生信息，这些学
名字想好没。·2020-08-14 19:02

使用HUE来管理hadoop集群

HUEHue是cdh专门的一套web管理器，它包括3个部分hueui，hueserver，huedb。hue提供所有的cdh组件的shell界面的接口。你可以在hue编写mr，查看修改hdfs的文件，管理hive的元数据，运行Sqoop，编写Oozie工作流等大量工作。HUE官方地址http://gethue.com/默认基于轻量级sqlite数据库管理会话数据，用户认证和授权，可以自定义为MyS
rainysia·2020-08-14 19:14

Hadoop---MapReduce基础编程

三、实验软硬件环境Hadoop集群四、实验过程（实验步骤
lalala_wulianhua·2020-08-14 19:30

hive搭建过程遇到的一些坑

首先解压那些就不说了，前提条件是你有hadoop集群，以及mysql来存储MetaData;1.就是进入到hive里面去修改hive-env.xml这个文件里面主要设置hadoop路径.2.进入hive-site.xml
Called_Kingsley·2020-08-14 19:10

hive的本地安装部署，元数据存储到mysql中

要想使用Hive先要有hadoop集群的支持，使用本地把元数据存储在mysql中。mysql要可以远程连接：可以设置user表，把localhost改为%，所有可连接。
Hellooorld·2020-08-14 18:08

distcp解决HDFS部分Datanode空间占用率高的问题

官方文档：http://hadoop.apache.org/docs/r1.2.1/distcp.html1.确定要distcp的目录Hadoop集群一般是逐步扩容的，对于老的静态数据就会集中存储在老的
mnasd·2020-08-14 18:06

MapReduce算法并行处理单词种类的数量

在Hadoop中，用于执行MapReduce任务的机器角色有两个：JobTracker用于调度工作的，一个Hadoop集群中只
潇潇雨歇_·2020-08-14 17:42

攻城狮在路上（陆）-- 提交运行MapReduce程序到hadoop集群运行

此种方式不能直接在eclipse中调试代码。首先需要在src下放置服务器上的hadoop配置文件:core-site.xml\yarn-site.xml\hdfs-site.xml\mapred-site.xml1、在本地直接调用，执行过程在服务器上（真正企业运行环境）a、首先把MR程序打包（jar），直接放到本地,比如C:\\Users\\Administrator\\Desktop\\wc.j
aixian1969·2020-08-14 16:21

HDFS冗余数据块的自动删除

在日常维护hadoop集群的过程中发现这样一种情况：某个节点由于网络故障或者DataNode进程死亡，被NameNode判定为死亡，HDFS马上自动开始数据块的容错拷贝；当该节点重新添加到集群中时，由于该节点上的数据其实并没有损坏
yinjs1989·2020-08-14 16:59

22_Sqoop数据迁移工具

Sqoop数据迁移工具准备：安装好对应版本的mysql安装好对应版本的hadoop集群安装好对应版本的hive1.Sqoop是什么Sqoop是apache旗下的一款”Hadoop和关系数据库之间传输数据
TUJC·2020-08-14 16:51

Hive搭建（使用MySQL数据库作为Meta Store）参考Hive编程指南（P28）

Hive安装默认使用的是Derby数据库，但是通常设置使用自己的安装的数据库，如果想要安装Hive设置自己的数据库请按照下面操作前提：Hadoop集群可以正常使用在Master节点或者其他节点上安装好MySQL
LG_49·2020-08-14 16:33

Datax与Sqoop的优缺点

hbase等hadoop组件中，也可将hadoop组件中的数据导入到关系型数据库中；2、sqoop在导入导出数据时，充分采用了map-reduce计算框架，根据输入条件生成一个map-reduce作业，在hadoop
击水三千里·2020-08-14 16:56

HDFS冗余数据块的自动删除

HDFS冗余数据块的自动删除在日常维护hadoop集群的过程中发现这样一种情况：某个节点由于网络故障或者DataNode进程死亡，被NameNode判定为死亡，HDFS马上自动开始数据块的容错拷贝；当该节点重新添加到集群中时
coder-徐绍校·2020-08-14 15:05

手动删除HDFS过期数据清理磁盘空间并将删除的数据进行挂载备份处理

磁盘挂载应用：将Hadoop集群中部分文件挂载到B服务器上应用场景：由于hdfs数据量过多，导致磁盘可用空间不足，需要删除过期的数据腾出空间，同时又要将被删除的数据进行备份处理，以免后期复用需要删除的文件的
Jason_Tsui71·2020-08-14 15:55

Hadoop的集群上安装和配置 Hive

下面我重点说一下一个比较完善的hadoop集群上的Hive配置；1、Hive的官网下载地址http://mirror.bit.edu.cn/apache/hive/2、解压，并重名hive###使用wget
逐风之翼·2020-08-14 14:14

如何在hadoop中使用外部的python程序文件

业务场景大概是这样，我需要在公司hadoop集群上对博文进行结巴分词。我的数据是存储在hive表格中的,数据量涉及到五百万用户三个月内发的所有博文。
weixin_30306905·2020-08-14 14:59

Hadoop集群搭建及运行自带的wordcount程序

1.搭建环境在虚拟机中搭建hadoop集群。
JAnedun·2020-08-14 13:58

如何在Hadoop上跑通WordCount

首先，需要Hadoop集群已
Bolong_·2020-08-14 13:15

Hadoop集群下跑.py文件（入门wordcount）

hadoopjar/export/servers/hadoop-2.7.4/share/hadoop/tools/lib/hadoop-streaming-2.7.4.jar-Dstream.non.zero.exit.is.failure=false\-file/export/servers/hadoop-2.7.4/test/code/mapper.py\-mapper/export/serv
csdn_C++_Python·2020-08-14 13:54

Linux 下实现SSH免密码登录

最近在学习hadoop,自然要自己搭建一个hadoop集群，当然，hadoop集群也可以搞个为分布式集群，但是，咱有条件，搞个Vmware,启三个linux虚拟机，当然也可以装一个虚拟机然后克隆2个，这个自己恶补一番
探路者_锋行·2020-08-14 12:30

Hadoop3 集群新增DataNode/NodeManager节点

1、集群规划本文一些基础设置参照之前的Hadoop集群搭建的那篇博客：CentOS7环境下Hadoop3NameNodeResourceManagerHA集群搭建现需要新增一台服务器，新集群规划如下：IPHostName
青羿之羽·2020-08-14 11:41

Hive之配置和使用LZO压缩

前言OS：CentOS7Hive：2.3.0Hadoop：2.7.7MySQLServer：5.7.10Hive官方手册：LanguageManualLZO在配置Hive使用lzo压缩功能之前，需要保证Hadoop
TomAndersen·2020-08-14 09:40

hadoop学习【11】——hadoop-2.4.1集群真实环境部署文档

【前言】由于运气不错在学校机房申请得到了几台PC机用于尝试部署真实环境下的hadoop集群，花了几个小时的时间终于大功告成，现在将安装部署的详细步骤记录如下，希望对大家有所帮助！
jonsen_hb·2020-08-14 05:29

HDFS-Datanode磁盘选择策略分析

一般的hadoop集群datanode节点会配置多块数据盘，当我们往HDFS上写入新的数据块，D
风筝Lee·2020-08-14 04:26

Hadoop面试45个题目及答案

1.Hadoop集群可以运行的3个模式？单机（本地）模式伪分布式模式全分布式模式2.单机（本地）模式中的注意点？在单机模式（standalone）中不会存在守护进程，所有东西都运行在一个JVM上。
qq_32440951·2020-08-14 02:01

大数据技能修炼的个人道场

HDP的Sandbox是一个基于虚拟机的单节点hadoop集群，相当于
半吊子全栈工匠·2020-08-13 23:51

hadoop集群中运行中时服役和退役节点

集群中服役新数据节点0）需求：随着公司业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。1）环境准备（1）克隆一台虚拟机（克隆已经配置好的主机，或者是服役中的节点。）如果是没有配置7个配置文件的节点机，要用hadoop102分发hadoop102的hadoop文件覆盖配置（7个文件）。也可以直接clone已经配置好的机器，但要讲其
涤生手记·2020-08-13 16:27

Hadoop之——Hadoop3.x运行自带的WordCount报错Container exited with a non-zero exit code 1.

转载请注明出处：https://blog.csdn.net/l1028386804/article/details/93750832问题：今天，基于Hadoop3.2.0搭建了Hadoop集群，对NameNode
冰 河·2020-08-13 15:44
上一页 36 37 38 39 40 41 42 43 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他