Hadoop集群第30页

修改Hadoop集群具有Snappy压缩方式

1．查看hadoopchecknative命令使用[[email protected]]$hadoopchecknative[-a|-h] checknativehadoopandcompressionlibrariesavailability2．查看hadoop支持的压缩方式[[email protected]]$hadoopchecknative

MosesDon·2020-12-14 14:51

CentOS7搭建Hadoop-3.3.0集群手记

Hadoop集群中各个角色的名称如下：服务主节点从节点HDFSNameNodeDataNodeYARNResourceManagerNodeManager❝

Throwable文摘·2020-12-14 08:00

二十九、Linux安装Hive并更改Metastore依赖库

关注专栏《破茧成蝶——大数据篇》，查看更多相关的内容~目录一、安装Hive1.1下载安装包1.2Hive的安装部署1.2.1上传解压1.2.2修改配置文件1.2.3Hadoop集群配置1.2.4将Hive

象在舞·2020-12-10 15:14

Ambari HDP集群搭建全攻略

最近因为工作上需要重新用Ambari搭了一套Hadoop集群，就把搭建的过程记录了下来，也希望给有同样需求的小伙伴们一个参考，作者：图头数据AmbariUbuntu14.04最新版本2.2.1HDPUbuntu14.04

架构核心技术·2020-12-08 10:46

HADOOP集群的安装与配置（虚拟机搭建）

实验内容安装VMware①接受许可，一直点击下一步。（安装过程中如果提示需要重启电脑，则重启即可）②到最后一步输入产品许可证，将附件中的产品许可秘钥填入即可。搭建虚拟机Centos7清华镜像https://mirrors.tuna.tsinghua.edu.cn/centos/7/isos/x86_64/自定义硬件，移除声卡和打印机以上步骤都完成之后点击开启虚拟机，安装centos7。时区选择上海

编程菜玑·2020-12-06 18:44

大数据hadoop集群运算

一、集群搭建1）安装操作系统以及免密环境所用工具，如图1所示：图1vm虚拟机和镜像文件[1]新建虚拟机，点击下一步，如图1-1-1所示。图1-1-1新建虚拟机[2]选择“稍后安装操作系统”，点击下一步，如图1-1-2所示。图1-1-2手动安装Linux[3]选择“客户机操作系统“为Linux，版本选择CentOS864位如图1-1-3所示。图1-1-3选择操作系统[4]命名虚拟机如图1-1-4所示

hjt66666·2020-12-02 10:41

springboot调用python脚本_SpringBoot——RestTemplate远程调用python rest接口

weixin_39892842·2020-11-29 13:27

大数据学习之路~Hadoop

目录Hadoop学习之路（一）理论基础和逻辑思维Hadoop学习之路（二）Hadoop发展背景Hadoop学习之路（三）Hadoop-2.7.5在CentOS-6.7上的编译Hadoop学习之路（四）Hadoop

素颜vv风之殇·2020-11-28 15:30

使用Datagrip连接Hive

首先，保证Hive以及它所依赖的Hadoop集群已经正常运行。并且，hive是通过hiveserver2命令启动。nohuphiveserver21>/home/kfk/logs/hive/

ryang420·2020-11-26 15:44

Docker 构建 Hive 1.2.2 单节点

1.借鉴Hadoop集群添加新节点为什么Hive里，要用mysql?

孙瑞锴·2020-11-21 17:14

跨账号同区域云服务器搭建hadoop集群

虚拟机下需要1.关闭防火墙、2.关闭selinuxsystemctlstatusfifirewalldvi/etc/selinux/config3.创建目录mkdir-p/opt/lagou/softwaremkdir-p/opt/lagou/servers4.下载jdkcd/opt/lagou/softwarewgethttps://download.java.net/openjdk/jdk8u

hadoop_qin·2020-11-20 17:01

idea使用maven搭建Hadoop环境并运行第一个mapreduce程序实现WordCount

一）MapReuduce入门之环境搭建1，定义：mapReduce是一种分布式计算框架，Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop

林立可·2020-11-18 09:23

hadoop三大核心组件

Hadoop集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。

呆小黎·2020-11-17 09:26

在虚拟机或Docker中搭建大数据伪分布式集群（一）：hadoop基础功能——hdfs 与 yarn

://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html参考教程：使用Docker搭建Hadoop

一叶知秋叶若秋·2020-11-13 23:03

一文带你了解HDFS的shell命令

1准备知识HDFS：hadoop集群分布式文件系统，用来存储海量数据。

大数据超哥·2020-11-13 11:56

虚拟机-centos集群搭建

我们在搭建redis集群、zookeper集群、hadoop集群、或者kafaka集群时候，都需要使用多台机器，所以搭建集群服务器是一个后端程序员基本素养。

startshineye·2020-11-13 11:51

(二)Hadoop之MapReduce原理分析

Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上。

Natasha·2020-11-13 11:03

排坑--阿里云SparkSQL在本地IDEA中连接Hive时，连接不上NameNode时。

hdfs-site.xml,core-site.xmk,hive-site.xml放进去之后，还有修改hdfs-site.xml中的文件dfs.client.use.datanode.hostnametrue在Hadoop

New灬soul·2020-11-04 10:21

HBase学习（二）——完全分布式安装

二、安装步骤注意：安装hbase的前提是你已经搭建好了hadoop集群和zookeeper集群。如若没有，可先参考我的这2篇文章完成搭建。

大数据阶梯之路·2020-11-03 19:23

Hadoop之MRjob入门

Hadoop之MRjob入门一、mrjob的安装Hadoop的各Python框架对比使用mrjob实现词组统计**启动Hadoop集群****启动hadoop集群:**代码实践mrjob多种运行方式实战模拟一实战模拟二实战模拟挑战实验总结

Joel Jin·2020-10-18 14:02

大数据入门级学习——Hadoop集群搭建总结（VM+centOS7）

步入大数据的第一步：必须学会搭建大数据集群的框架那么第一步必须要在linux系统上搭建Hadoop集群目录一、安装并配置虚拟机（centOS7）二、克隆出三台虚拟机三、安装及配置JDK四、安装Hadoop

不撸先疯。·2020-10-11 21:15

Hadoop集群修改数据副本

导论最近发现生产Hadoop集群磁盘利用率达到了60%，数据增长速度超出了预期。针对以上问题，提出了两种方案：1、减少数据的副本2、增加磁盘或节点本文主要记录修改数据备份的过程。

yiming1012·2020-10-10 21:00

黑猴子的家：Hadoop NameNode 高可用运维中的注意事项

1、初始化部署如果在开始部署Hadoop集群的时候就启用NameNode的高可用的话，那么相对会比较容易。

黑猴子的家·2020-10-10 19:20

Hadoop: 单节点配置

支持的平台上4.RequiredSoftware所需的软件5.InstallingSoftware安装软件6.Download下载7.PreparetoStarttheHadoopCluster：准备启动Hadoop

lazyTai·2020-10-10 17:16

谈谈数据挖掘的程序提交打包调试问题

我们的hadoop集群白手起家的时候，基本上是相当于裸奔着，外网开着，只要你想登录集群，通过外网用户密码就可以操作集群了，相当危险，后来我们又分两次重新搭了hadoop集群，一次比一次严格，最后这次我们的

Helen_Cat·2020-10-10 12:08

hadoop1.2开发环境搭建

部署Hadoop集群，这里选择NAT模式，各个虚拟机通过NAT使用宿主机的IP来访问外网。我们的要求是集群中的各个虚拟机有固定的IP、可以访问外网，所以进行如下设置：打开网络接口配置

可乐加冰丶丶·2020-10-09 22:09

部分软件安装教程及文档@2019-03-25

Hadoop集群安装视频链接:https://pan.baidu.com/s/1jlqrezoznHuPu9lNJZz3vw提取码:d9fbCentOS6.5下安装oracle11gR2文库链接:https

dataHunter·2020-10-09 13:18

阿里云搭建Hadoop集群

1前言在讲述Hadoop集群搭建之前，首先要了解Hadoop和集群两个名词，Hadoop是由Apache基金会开发的分布式系统基础架构，简单理解就是大数据技术应用的基础。

大数据超哥·2020-10-09 13:46

Flink集群部署与启动之Flink On Yarn

在配置FlinkOnYarn之前，必须保证hdfs和yarn都已经开启：Hadoop集群部署与启动，Yarn模式要考虑Container内存资源分配安装版本：flink-1.7.1-bin-hadoop28

Natasha·2020-10-09 13:36

Hadoop集群部署与启动，Yarn模式要考虑Container内存资源分配

Hadoop集群的部署开始安装Hadoop之前，为了让Master节点可以无密码SSH登陆到各个Slave节点上，所以需要配置SSH无密码登陆安装版本：hadoop-2.8.3.tar.gzmkdir/

Natasha·2020-10-09 13:02

无法访问50070的原因及解决方法

在Hadoop集群搭建完成后，hadoop本身自带了一个webUI访问页面，我们可以观察到一些集群的基本状况，包括磁盘容量和集群节点是否正常存活状态，Hadoop版本，可以查看hdfs的一些文件位置，副本备份情况和文件块大小等

她與風皆過客·2020-10-07 09:37

Hadoop集群安装部署

hadoop集群安装部署1、服务器主机名和IP配置（三台）2、修改每个主机的/etc/hosts文件，添加IP和主机名的对应关系（三台）3、管理节点到从节点配置无密码登录4、配置jdk1.8（三台）5、

她與風皆過客·2020-10-06 20:44

大数据平台Hadoop集群搭建

一、概念Hadoop是由java语言编写的，在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架，其核心部件是HDFS与MapReduce。HDFS是一个分布式文件系统，类似mogilefs，但又不同于mogilefs，hdfs由存放文件元数据信息的namenode和存放数据的服务器datanode组成；hdfs它不同于mogilefs，hdfs把元数据信息放在内存中，而mogilefs

Linux-1874·2020-09-28 01:00

Hadoop集群搭建之关闭防火墙（一）

一.前期准备(为了后期搭建Hadoop做准备)Hadoop需要三台虚拟机，所以要创建三台虚拟机，我将三台虚拟机分别命名为node1，node2，node3，IP分别是192.168.36.101，192.168.36.102，192.168.36.103。还需要准备相对应的jdktar包和hadooptar包，我的tar包如下二.关闭防火墙(单纯的关闭防火墙的话，只用看下方命令就可以；如果想搭建H

Merliang·2020-09-27 19:07

【大数据】MapReduce开发小实战

Before：前提:hadoop集群应部署完毕。一、实战科目：做一个MapReduce分布式开发，开发内容为统计文件中的单词出现次数。

Frederic_Niu·2020-09-21 14:00

Hadoop-3.x 伪分布式集群安装教程

Hadoop集群安装本文安装配置步骤除第1步外，全程参考官方文档机器配置如下(虚拟机)角色IP内存硬盘硬盘master192.168.1.2023g20gcentosslave1192.168.1.2033g20gcentosslave2192.168.1.2043g20gcentos

味无味处求吾乐·2020-09-21 00:02

从大数据研发的角度解决org.apache.hadoop.security.AccessControlException: Permission denied: user=***，不需修改集群配置文件

那就是身为大数据研发团队的我们，有权限轻易的去修改hadoop集群的配置文件么？就算有权限修改，万一耦合度较高的文件被修改，我们要去哭着求运维帮我们擦屁股么？

羽毛不会飞·2020-09-17 11:01

hadoop常用命令介绍

在搭建好hadoop伪分布式环境之后，或者分布式环境之后，运行hadoop命令，下面是一些常用的hadoop命令：1、hadoop集群管理类命令hadoopnamenode-format格式化文件系统，

chao1118·2020-09-17 11:34

namenode无法启动，解决

hadoop集群关闭后，重新开启Namenode无法启动。

mrking0105·2020-09-17 09:13

hadoop 修改 logs路径和tmp路径

修改过程1，停掉hadoop集群。2，拷贝原始logs路径下和tmp路径下的内容到新的路径下（目标路径）。其实删除tmp路径下内容也可以。

mrking0105·2020-09-17 09:13

添加新maven 公共repository

最近公司hadoop集群准备升级到CHD4U6，要进行升级前的job测试。

posa88·2020-09-17 07:34

hadoop集群配置问题及思考

遇到的问题如下：网上的帖子一般比较重步骤，每一步都很详细，但没有说明为什么，读者容易因为不知道为什么，而忽视一些问题，安装出错也不知道如何解决。所以写上一些为什么还是必要的。1.SSH问题1）集群配置中需要配置Master和Slave间的ssh无密码访问。需要的是master能够无密码访问slave中的每台机器，slave也能无密码访问master。Slave间不需要无密码访问彼此。这是因为had

l_mai·2020-09-17 07:45

云应用系统开发-------Hbase API编程开发

云应用系统开发-------HbaseAPI编程开发实验目的要求1、搭建hbase编程环境2、配置eclipse和引入合适的jar包3、Hadoop集群与hbase启动顺序4、Hbase应用程序练习实验环境

正道zd·2020-09-17 04:50

Hadoop分布式集群搭建之虚拟机安装配置

一、下载Hadoop集群所需的Linux版本，这里选用Centos6.5Minimal版本网址为：http://archive.kernel.org/centos-vault/6.5/isos/x86_

qq_34072169·2020-09-17 02:36

如何搭建hadoop集群

1、先把四台虚拟机之间打通免密登录，如果不清楚如何进行免密登录可以看这篇Linux中root用户之间的免密登录2、把hadoop-2.6.0-cdh5.14.2.tar.gz和hadoop-native-64-2.6.0.tar通过xftp传到vmmaster这个虚拟机主机/opt/install/hadoop中3、将hadoop-2.6.0-cdh5.14.2.tar.gz加压到opt/bigd

yu247809536·2020-09-17 02:04

【Hadoop环境搭建】八.Hadoop集群模式部署

前面介绍的伪分布式是基于单个节点，而完全分布式是基于两个或两个以上节点完成Hadoop集群搭建。下面基于三个节点完成。

VI-茄子·2020-09-17 01:03

启动hadoop报No Route to Host from lida1/10.30.12.87 to lida3:8485 failed on socket timeout exception:

问题：启动hadoop集群时有个NN始终起不来。

lida_java·2020-09-16 23:57

spark架构与原理

2、spark可以将hadoop集群中应用在内存中的运行速度提升10倍，甚至能将应用在磁盘上的运行速度提升10倍。

thxiong1234·2020-09-16 23:49

hadoop集群运维碰到的问题汇总

1.zookeeper报错2017-12-1316:47:55,968[myid:]-INFO[main-SendThread(localhost:2181):ClientCnxn$SendThread@975]-Openingsocketconnectiontoserverlocalhost/127.0.0.1:2181.WillnotattempttoauthenticateusingSASL

weixin_34319640·2020-09-16 19:57

推荐频道

Hadoop集群