Hadoop集群第26页

构建大数据平台（三）Hadoop集群搭建

一、设置主机名称当四台服务器安装好之后，获得它们的IP地址，并设置主机名vi/etc/hostname修改主机名称，四台机器分别设置为：master，slave1，slave2，slave3二、设置hosts文件内容根据实际IP地址和主机名，修改/etc/hosts文件内容为：192.168.2.158master192.168.2.159slave1192.168.2.177slave2192.

Mr_ZhaiDK·2022-02-08 15:08

【MapReduce篇01】MapReduce之入门概述(附思维导图资料)

MapReduce入门概述MapReduce定义MapReduce是一个基于Hadoop的分布式运算程序的编程框架它的核心功能是将用户编写的业务逻辑代码和自带的组件组合成为一个完整的分布式运算程序，并发的运行在Hadoop

·2022-02-08 09:58

大数据Hadoop集群环境搭建（六）之Hadoop伪分布式模式安装

Hadoop伪分布式模式安装防止环境装错所以先进行环境备份（centeros装了jdk和hadoop）1.问题：克隆出没有IP问题解决：用开网脚本：在克隆新机执行脚本获取IP脚本放在被克隆的主机上在已经有的虚拟机上新建脚本文件（在root目录下）[root@hadoop~]#vireset_ip.sh脚本#!/bin/bashname=$(cat/etc/udev/rules.d/70-persi

printf200·2022-02-07 01:33

数仓用户认证安全模式下启动Hadoop集群

文章目录修改特定本地路径权限启动HDFS修改HDFS特定路径访问权限启动Yarn启动HistoryServer修改特定本地路径权限local$HADOOP_LOG_DIRhdfs:hadoopdrwxrwxr-xlocaldfs.namenode.name.dirhdfs:hadoopdrwx------localdfs.datanode.data.dirhdfs:hadoopdrwx------

Alienware^·2022-02-05 12:54

Hadoop集群常用命令

1.上传文件1）hadoopfs-putwords.txt/path/to/input/2）hdfsdfs-putwords.txt/path/wc/input/2.获取hdfs中的文件hadoopfs-get/path/wc/input/words.txt3.合并下载多个文件hadoopfs-getmerge/path/wc/input/words.txt/path/wc/input/words

JavaEdge·2022-02-02 22:10

hive-2.3.8安装部署

1前提条件1.1Hadoop正常部署Hadoop集群的正常部署并启动：[[email protected]]$sbin/start-dfs.sh[hadoop@hadoop102hadoop

jackyan163·2021-12-20 16:04

Linux一学就会--Shell教程 || Shell的基础用法（详细）

Shell基本语法Shell变量及运用数学运算实战-升级系统中的java版本到1.8版本-为后期安装Hadoop集群做准备

·2021-12-20 14:12

Linux下安装Hadoop集群详细步骤

目录1.在usr目录下创建Hadoop目录，将安装包导入目录中并解压文件2.进入vim/etc/profile文件并编辑配置文件3.使文件生效4.进入Hadoop目录下5.编辑配置文件6.进入slaves添加主节点和从节点7.将各个文件复制到其他虚拟机上8.格式化hadoop(仅在主节点中进行操作)9.回到Hadoop目录下（仅在主节点操作）1.在usr目录下创建Hadoop目录，将安装包导入目录

·2021-12-19 13:10

Hbase集群安装与常见问题解决

首先说明，要使用hbase是需要先安装hadoop和zookeeper的（也可以使用自带的但是不建议），参考[zookeeper集群安装][hadoop集群安装]我用的是三台机器，mini1,mini2

__豆约翰__·2021-12-04 08:41

浅析Hadoop完全分布式集群搭建问题

目录一、Hadoop是什么二、Hadoop组成1、Hadoop1.x2、Hadoop2.x三、Hadoop集群搭建所需工具（链接如下，自行下载）四、Hadoop集群配置前期准备五、Hadoop运行环境搭建六

·2021-11-30 17:18

Hadoop集群下设置虚拟机时钟同步

两种时钟同步方案：第一种：所有主机与网络时间保持一致第二种：所有主机与某一台主机保持时钟同步选用第一种方案：1.给每台机器安装阿里云的时钟同步服务器2.设置定时任务，每一分钟与阿里云云端的时钟同步服务器同步一次步骤：1、给三台虚拟机安装阿里云的时钟同步服务器：yuminstall-yntp注意：如果安装失败，可用以下方法解决：sed-i"s|enabled=1|enabled=0|g"/etc/y

'一生所爱·2021-11-24 22:43

七、Hadoop3.3.1 HA 高可用集群QJM （基于Zookeeper，NameNode高可用+Yarn高可用）

目录前文Hadoop3.3.1HA高可用集群的搭建QJM的NameNodeHAHadoopHA模式搭建（高可用）1、集群规划2、Zookeeper集群搭建：3、修改Hadoop集群配置文件修改vimcore-site.xml

李好秀·2021-11-23 13:00

Hadoop集群增加节点/增加磁盘

在虚拟机中新建一个机器。设置静态IP将修改/etc/hosts192.168.102.10master192.168.102.11slave-1192.168.102.12slave-2192.168.102.13slave-3192.168.102.14slave-4在然后在其他节点hosts文件中增加192.168.102.14slave-4修改hostname命令hostnamectlset

SQL写手·2021-11-21 15:00

Hadoop——HDFS文件系统的Java API操作（上传、下载、查看、删除、创建文件）详细教学

如果还没有配置好Hadoop的可以点击链接查看如何配置各大技术基础教学、实战开发教学（正在持续更新中······）首先，启动Hadoop集群服务然后在浏览器访问Hadoop，点击Browsethefilesystem

Yuan-Programmer·2021-11-21 10:46

Hadoop经典案例——单词统计

通过Hadoop经典案例——单词统计，来演示Hadoop集群的简单使用。

IT_CHEN_JJ·2021-11-20 00:31

Hadoop 入门笔记—核心组件 MapRuduce

作者：幻好来源：恒生LIGHT云社区基本概念MapReduce是一个分布式运算程序的编程框架，通过它能将用户将编写好的程序提交，并发运行在一个Hadoop集群上。

·2021-11-19 13:13

使用JDBC操作hive的两种方式

JDBC操作Hive一、准备二、启动hadoop集群三、在hive的安装目录下的bin/目录下启动hiveserver2四、两种使用JDBC的方式一、在虚拟机中的hive的beeline端二、Windows

数据是个宝·2021-11-19 13:34

大数据开发之HBase异常问题分析

随着大数据业务的快速发展，Hadoop集群所面临的数据读写压力也在不断增长，千兆网卡在应对大批量的数据通信请求时容易被打满，这种大数据培训情况下就会大大影响数据的传输速度，进而产生请求响应缓慢的问题。

·2021-11-19 11:33

Hadoop实战篇-集群版（2）

Hadoop实战篇（2）作者|WenasWei前言在上一篇的Hadoop实战篇介绍过了Hadoop-离线批处理技术的本地模式和伪集群模式安装，接下来继续学习Hadoop集群模式安装;将从以下几点介绍:Linux

·2021-11-18 18:15

各大技术基础教学、实战开发教学（最新更新时间2021-11-23）

一、Hadoop大数据Hadoop集群搭建（一）——Liunx网络、主机名配置，多台虚拟机的相互连通和远程登陆Hadoop集群搭建（二）——Linux系统SSH远程双向免密登陆Hadoop集群搭建（三）

Yuan-Programmer·2021-11-16 23:41

Flume 日志文件/实时数据流采集框架概念及原理介绍

flume的不断被完善以及升级版本的逐一推出，特别是flume-ng;同时flume内部的各种组件不断丰富，用户在开发的过程中使用的便利性得到很大的改善，现已成为apachetop项目之一.设计目的向hadoop

章云邰·2021-11-13 16:38

Centos7虚拟机部署安装Hadoop集群

時計の針·2021-11-11 16:12

Hadoop实战——对英文单词文本进行统计和排序（超详细教学，算法分析）

源码下载链接链接：百度网盘请输入提取码提取码：jvfkB站视频操作过程Hadoop实战——对单词文本进行统计和排序_哔哩哔哩_bilibili目录一、前提准备工作启动hadoop集群windows可以访问二

Yuan-Programmer·2021-11-10 20:28

Hadoop集群的搭建（三）——JDK和Hadoop的安装和环境配置

往期文章Hadoop集群的搭建（一）——Liunx系统的网络配置，主机配置，多台虚拟机间的相互连通和远程操作Hadoop集群的搭建（二）——Linux系统ssh远程双向免密登陆资源下载链接链接：https

Yuan-Programmer·2021-11-10 13:17

Hadoop——MapReduce相关eclipse配置及Api调用(图文超详细版)(内含遇到错误的解决方法)

还没有搭建Hadoop成功的同学，欢迎看看我之前的文章：Hadoop集群搭建(步骤图文超详细版)目录一、前情提要二、前置条件三、上传文件至HDFS四、压缩Hadoop文件五、配置Eclipse六、HDFS

HuiSoul·2021-11-10 00:34

六阶段大数据--day01--hadoop集群环境准备

1集群环境准备解压CentOS7-bigdata.zip虚拟机,复制成三个虚拟机名为:hadoop01,hadoop02,hadoop03文件夹;通过vmware打开这三个虚拟机--bigdata.vmx,重命名为hadoop01,hadoop02,hadoop03对虚拟机进行设备设置:如下图所示4.设置虚拟机网络5.分别启动三台虚拟机6.登录虚拟机:用户名密码都是root,ipaddr命令查看设

心猿意码~~·2021-11-09 00:48

hadoop解决无法关闭问题：no namenode to stop/no datanode to stop

一、问题今天在自己电脑上将启动了好多天的hadoop集群关闭的时候，报了一个之前没遇到过的错误。

冷漠；·2021-11-05 16:56

kafka集群集成Kerberos

这样就防止了恶意地使用或篡改Hadoop集群的问题，确保了Hadoop集群的可靠性、安全性。名词解释AS(AuthenticationServer):认证服务器KDC(Ke

·2021-11-02 11:17

Hadoop——安装MySQL、Hive以及Sqoop(步骤图文超详细版)

还没有搭建Hadoop，欢迎看看我前面的一篇文章：Hadoop集群搭建(步骤图文超详细版)目录一、前置条件二、安装Mysql三、安装Hive四、安装Sqoop一、前置条件需要安装下载方法Hive-1.2.1

HuiSoul·2021-10-27 15:39

大数据开发之Hadoop集群安装教程

配置文件的修改注意：以下所有操作都在node01主机进行。1.1hadoop-env.sh1、介绍文件中设置的是Hadoop运行时需要的环境变量。JAVA_HOME是必须设置的，即使我们当前的系统中设置了JAVA_HOME，它也是不认识的，因为Hadoop即使是在本机上执行，它也是把当前的执行环境当成远程服务器。2、配置cd/export/server/hadoop-3.0.0/etc/hadoo

·2021-10-27 12:55

Spark面试题（一）

（☆☆☆☆☆）1）本地模式 Spark不一定非要跑在hadoop集群，可以在本地，起多个线程的方式来指定。

·2021-10-26 23:25

【大数据】☀️搞定Hadoop集群☀️Hadoop运行模式-完全分布式

目录三大模式：完全分布式搭建：分析：编写集群分发脚本xsync：1.scp（securecopy）安全拷贝：2.rsync远程同步工具：3.xsync集群分发脚本：SSH无密登录配置：配置SSH：1.基本语法：2.ssh连接时出现Hostkeyverificationfailed的解决办法：无密钥配置：1.免密钥登录原理：2.生成公钥和私钥：3.将公钥拷贝到需要免密码登录的目标机器：集群配置：集群

故里º·2021-10-24 10:57

【大数据】☀️搞定Hadoop集群☀️概述&环境配置

目录一、什么是Hadoop框架：二、Hadoop三大发行版：1.ApacheHadoop2.ClouderaHadoop3.HortonworksHadoop三、Hadoop的优势：四、Hadoop组成：1.HDFS架构概述：a）NameNode（nn）：b）DataNode（dn）：c）SecondaryNameNode（2nn）：2.YARN架构概述：3.MapReduce框架概述：五、大数据

故里º·2021-10-24 09:00

【填坑之旅-hadoop】centos7安装hadoop2.10.1 hive 1.2.2 / hdfs 文件上传写入流程 / MapReduce Yarn 流程/zookeeper/hive

第一天hadoop的基本概念伪分布式hadoop集群安装hdfsmapreduce演示第二天hdfs的原理和使用操作、编程第三天mapreduce的原理和编程第四天常见mr算法实现和shuffle的机制第五天

alwarse·2021-10-22 11:24

Hadoop 入门笔记七: Hadoop 文件压缩格式

一.背景在Hadoop中，一般存储着非常大的文件，以及在存储HDFS块或运行MapReduce任务时，Hadoop集群中节点之间的存在大量数据传输。

·2021-10-17 15:15

Hadoop入门三 : Hadoop集群搭建

一.Hadoop集群简介HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上在一起。

·2021-10-15 17:04

Windows下调试Hadoop集群报错Failed to find winutils.exe

修改/etc/hadoop/hadoop-env.cmd文件中setJAVA_HOME=%JAVA_HOME%为（修改成自己机器配置的JDK位置）setJAVA_HOME=C:\ProgramFiles\Java\jdk1.8.0_144查看fs.default.name查看/etc/hadoop/core-site.xml中fs.default.name是不是的属性值是不是和服务器中一致。不一致

wufabao·2021-10-15 16:16

Hadoop集群搭建__7.克隆虚拟机

一、虚拟机的克隆虚拟机右键>管理>克隆下一步选择克隆源创建完整克隆选择虚拟机位置克隆完成重复上述步骤创建tunabook103、tunabook104二、虚拟机配置配置网络地址tunabook102vim/etc/sysconfig/network-scripts/ifcfg-ens33#修改的内容IPADDR=192.168.10.102vim/etc/hostname#修改的内容tunaboo

EuropeanSheik·2021-10-10 22:00

基于docker构建Hadoop集群适配M1芯片Mac及X86机型

目录hadoop-docker本文源码地址什么是[docker](https://www.docker.com/)docker与VMware的比较进入正题X86架构ARM64架构文件说明hadoop-docker本项目主要是通过docker搭建Hadoop分布式集群主要适配MacOSM1芯片、arm64架构以及x86_64架构本文源码地址Github传送门Gitee传送门欢迎Star！！！hado

_Puppet_·2021-10-04 21:38

Hive从入门到精通，HQL硬核整理四万字，全面总结，附详细解析，赶紧收藏吧！！

Hadoop集群HD

北慕辰·2021-09-08 15:32

三、MapReduce编程模型与计算框架

也就是说，开发人员基于MapReduce编程模型进行编程开发，然后将程序通过MapReduce计算框架分发到Hadoop集群中运行。

阿文灬·2021-08-31 15:28

Hadoop笔记规划

准备工作Linux安装及其静态IP配置，安装JDK与TomcatLinux虚拟机之间的通信写几个好用的Linux脚本大纲大数据前序一、初识HadoopHadoop集群部署二、HDFSHDFS架构三、MapReduceMapReduce

阿文灬·2021-08-30 21:16

全国大学生大数据技能竞赛（Spark on Yarn安装）

系列文章全国大学生大数据技能竞赛（Hadoop集群搭建）全国大学生大数据技能竞赛（数仓部署）文章目录系列文章前言资料链接SparkonYarn安装3.1安装Scala3.2安装Spark前言本篇博客根据往年全国大学生大数据技能竞赛资料搭建

鈴音.·2021-08-30 20:01

Hadoop集群部署

准备准备3台客户机，（关闭防火墙、静态IP、主机名称），配置ssh。我配置了4台；安装JDK，配置JAVA_HOME环境变量；安装Hadoop,配置HADOOP_HOME环境变量；配置集群单点启动集群启动，测试集群很多工作之前都做了，这里就讲下相关的主要内容和没做的吧！Linux安装及其静态IP配置，安装JDK与TomcatLinux虚拟机之间的通信写几个好用的Linux脚本环境变量exportJ

阿文灬·2021-08-29 16:35

全国大学生大数据技能竞赛（数仓部署）

系列文章目录全国大学生大数据技能竞赛（Hadoop集群搭建）全国大学生大数据技能竞赛（SparkonYarn安装）文章目录系列文章目录前言资料链接数仓部署详解（一）hbase安装1.1解压缩1.2修改配置文件

鈴音.·2021-08-16 18:45

全国大学生大数据技能竞赛（Hadoop集群搭建）

系列文章全国大学生大数据技能竞赛（数仓部署）全国大学生大数据技能竞赛（SparkonYarn安装）文章目录系列文章前言资料链接用VMware练习配置前准备三台虚拟机并修改网络为桥接01本地源YUM02基础环境配置1.防火墙2.主机名与映射2.1修改主机名2.2添加映射3.时间同步3.1时区3.2时间同步协议NTP4.定时任务crontab4.1描述4.2案例：定时任务03远程登录ssh04语言环境

鈴音.·2021-08-14 14:09

新手Hadoop安装环境搭建

内部环境的搭建四.安装ssh并配置无密码登陆1.登陆2.设置无密码登陆五.安装Java环境六.安装Hadoop七.Hadoop伪分布配置1.配置文件2.开启NameNode和DataNode守护进程八.Hadoop

·2021-08-13 11:12

Hadoop-群起脚本

exit;ficase$1in"start")echo"=================启动Hadoop集群========================"echo"----------------

ssttIsme·2021-08-03 16:46

IDEA 运行 WordCount 程序

环境说明Windows10IDEA2020.2.2CentOS7.6Hadoop2.9.2Maven3.6.3JDK1.82.IDEA准备Hadoop环境安装插件JetBrains提供了连接Hadoop

·2021-07-27 19:13

自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察

简介：客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云Databricks数据洞察集群之后，涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。

·2021-07-27 19:21

推荐频道

Hadoop集群