Hadoop集群第18页

hive的介绍及与传统关系型数据库（mysql)的区别

hive的工作方式：把存放在hive中的数据都抽象成一张二维表格，提供了一个类似于sql语句的操作方式，这些sql语句最终被hive的底层翻译成为MapReduce程序，最终在hadoop集群上运行，结果也会输出在

JDK1.8.0·2023-03-31 01:11

解决hadoop启动报错ERROR: Attempting to operate on hdfs namenode as root的方法

hadoop-3.1.0启动hadoop集群时还有可能可能会报如下错误:[root@localhostsbin]#start-all.shStartingnamenodeson[hadoop]ERROR

·2023-03-31 01:52

大数据技术原理与应用笔记第2章大数据处理架构Hadoop

大数据处理架构HadoopHadoop发展历程Hadoop起源Hadoop特点Hadoop应用现状不同版本Hadoop项目结构Hadoop集群的部署和使用集群硬件配置HDFSMapReduceHadoop

梦想是吃不完的格力高·2023-03-30 23:39

大数据技术原理与应用（第二章大数据处理架构Hadoop）

分布式并行编程框架）Hadoop的特点Hadoop的应用编辑Hadoop版本的变化2.2Hadoop项目结构TezSparkHivePigOozieZookeeperHBaseFlumeSqoopAmbari2.3Hadoop

m0_37607242·2023-03-30 22:58

大数据--hadoop生态12--高频知识点总结

目录一：一个基本的Hadoop集群中的节点主要有二.分布式文件系统节点分类：三.Hbase索引四.HBase的实现包括三个主要的功能组件：五：HDFS常用命令六：hive创建表然后导入数据七：hive如何解决数据倾斜一

斑马！·2023-03-30 21:18

Hadoop核心组件详解—HDFS、YARN、MapReduce

Hadoop集群可运行于一般的商用服务器上，具有高容错、高可靠性、高扩展性等特点。适合一次写入，多次读取的

濛小万·2023-03-30 21:25

apache-atlas 深度剖析

atlas是apache下的大数据的元数据管理和数据治理平台，是Hadoop社区为解决Hadoop生态系统的元数据治理问题而产生的开源项目，它为Hadoop集群提供了包括数据分类、集中策略引擎、数据血缘

张永清-老清·2023-03-30 18:18

【Hadoop-yarn-01】大白话讲讲资源调度器YARN，原来这么好理解

YARN作为Hadoop集群的御用调度器，在整个集群的资源管理上立下了汗马功劳。今天我们用大白话聊聊YARN存在意义。有了机器就有了资源，有了资源就有了调度。

zhulangfly·2023-03-30 12:49

搭建大数据集群操作实战

一:配置静态IP，时间同步，SSH服务.二:安装JDK三:搭建hadoop集群

Carter强·2023-03-30 11:21

Flink学习笔记【巨详细！】（二）

安装Hadoop集群，Hadoop建议选择Hadoop2.7.5以上版本。配置集群节点服务器间时间同步以及免密登录，关闭防火墙。3.1.2本地启动最简单的启动方式，其实是不搭

水花还在漂移·2023-03-30 04:31

易懂安装Flink（Flink on Yarn模式）使用Flink（提交作业），会话模式+单作业模式+应用模式（三台）

目录FlinkonYarn模式:一般企业使用，资源管理交由Yarn来管理一、使用Flink的前期准备1.关闭yarn的内存检查2.配置环境变量3.安装Flink二、使用Flink1.会话模式1）启动hadoop

lidan0427·2023-03-30 04:57

Hadoop运行模式

b.伪分布式模式：也是单机运行，但是具备Hadoop集群的所有功能，一台服务器模拟一个分布式的环境。个别缺钱的公司用来测试，生产环境不用。c.完全分布式模式：多台服务器组成分布式环境。生产环

勤奋的ls丶·2023-03-30 03:46

Hbase搭建（单机和集群）Hmaster高可用

为集群，hbase是单机）1.上传jdk，hadoop，zookeeper，hbase压缩包2.解压到/usr/local目录下3.配置jdk，hadoop，zookeeper，hbase环境变量4.搭建hadoop

LQ smile·2023-03-30 01:37

hadoop集群高可用的配置以及hbase的环境配置

第一步先安装好一台虚拟机再着修改虚拟机名称vim/etc/hostname第二步修改ip地址，把动态地址修改为静态ip地址1，先查看本机ip地址2，修改vim/etc/sysconfig/network-scripts/ifcfg-ens33第三步重启虚拟机第四步把需要的jar上传到/opt/soft目录下mkdir-p/opt/soft2,通过xftp上传文件第五步解压上传的各个文件第六步把解压

java庞·2023-03-30 01:03

hadoop集群搭建学习总结（一）

Hadoop介绍Hadoop是Apache旗下的一个用java语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。狭义上说，Hadoop指Apache这款开源框架，它的核心组件有：HDFS（分布式文件系统）：解决海量数据存储YARN（作业调度和集群资源管理的框架）：解决资源任务调度MAPREDUCE（分布式运算编程框架

qq_39063243·2023-03-29 23:31

1.9CDH搭建Hadoop集群（二）

总目录:https://www.jianshu.com/p/e406a9bc93a9Hadoop-子目录：https://www.jianshu.com/p/9428e443b7fd解压cloudera-managermkdir-p/usr/hdk/module/cloudera-managertar-zxvfcloudera-manager-centos7-cm5.12.1_x86_64.tar

寒暄_HX·2023-03-29 23:46

Apache hadoop

目录一、hadoop架构变迁二、Hadoop集群搭建三、Hadoop集群模式安装(clustermode)分布式模式安装1、安装包、源码包下载地址2、自己按部就班搭建Hadoop集群3、直接使用虚拟机快照切换至搭建好的环境四

hello_shal·2023-03-29 20:06

HDFS的高可用机制（HA）与Hadoop联邦机制(Federation)概述

倘若NameNode节点主机一旦宕机，整个集群即将瘫痪高可用的Hadoop集群在搭建Hadoop集群时，通常需要搭建多个NameNode，这样可以保证如果其中一个NameNode发生宕机，另一个

chaseasheep·2023-03-29 19:51

CentOS7 hadoop集群配置-2

5),拷贝到从节点cd/data/scp-rqhadoop-3.2.0bigdata02:/data/toolsscp-rqhadoop-3.2.0bigdata03:/data/tools6),启动在bigdata01节点上启动cd/data/tools/hadoop-3.2.0/sbin./start_all.sh7),查看在bigdata02和bigdata03上执行jps出现如下表示成功[

梅村_9643·2023-03-29 10:56

查询MYSQL和查询HBASE速度比较

我的实验效果，没有到1W，还在优化中…环境：有3台虚拟机，运行Hadoop集群；3台虚拟机也在跑HBase：master，node1，n

宝宝心里苦丶·2023-03-28 21:21

centos7搭建hadoop

生产环境不用伪分布式模式，也是单机运行，但具备Hadoop集群所有功能，一台服务器模拟一个分布式的环境完全分布式模式：多台服务器组成分布式环境。生产环境使用本篇将基于cento

小码农叔叔·2023-03-28 20:32

虚拟机（CentOS）下安装配置Hadoop（伪分布式）

用户可以轻松地在Hadoop集群上开发和运行处理海量数据的应用程序。Hadoop有高可靠，高扩展，高效性，高容错等优点。Hadoop框架最核心的设计就是HDFS和MapReduce。

酒香醉佳人·2023-03-28 20:14

centos7安装配置Hadoop集群

1、下载Hadoop以及JAVA本文用的是hadoop-3.2.0下载地址：http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-3.2.0/hadoop-3.2.0.tar.gz本文用的是JAVA1.81下载地址：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-do

web13985085406·2023-03-28 20:36

在虚拟机CentOs7中配置hadoop2.7.5伪分布式

因完全分布式的集群安装hive后hive出现了点问题导致无法用hive进行select查询,导致学习进度卡住,所以我决定去搭建一个伪分布式的hadoop集群,一下就是安装过程.搭建伪分布式集群准备条件第一部分安装前部署

LAllenKing·2023-03-28 20:18

CentOS 6虚拟机Hadoop安装教程

所以我结合了这些博客内容和老师的讲解写了下面这一份教程，这些操作都是本人经过尝试确认过没有问题的操作（如果有问题的话希望大家能够指出）在安装中有什么注意点我都会提，希望能够对各位有帮助在hadoophadoophadoop

UserOrz·2023-03-28 19:28

一、CDH6.2大数据平台安装手册

一、集群规划实际工作中搭建CDH集群的话，原则上来说，机子越多越好，如果资源有限的话，建议前期最好4台机子，4台机子的话，针对hadoop集群而言可以设置为1主3从，如果考虑到HA的话，就需要最少5台机子

阿靖哦·2023-03-28 16:25

hadoop大数据教程 hadoop视频教程培训 hadoop最新实战教程

视频下载地址：http://demo.liuy88.cn/jp0858.html-------------------课程目录-------------------第一天hadoop的基本概念伪分布式hadoop

天涯海角的小水滴·2023-03-28 11:02

Hadoop集群搭载经历之linux配置ip

tips：我选择的是centos7最小化安装。1.查看并配置windows网卡（vmware的虚拟网卡）1.0安装虚拟机时要采用nat网络方式，桥接方式在校园网的环境下很难进行上网，因为需要在命令行下进行校园网登录和需要多个校园网账号。vmware安装虚拟机时.png1.1在CMD中输入ipcofig，并且找到（VMwareNetworkAdapterVMnet8这块网卡，一般有三块）前提是安装v

GetIdea·2023-03-28 04:29

大数据学习——Hadoop集群伪分布模式的搭建（超详细）

Hadoop集群伪分布模式的搭建JunLeon——gobigorgohome目录Hadoop集群伪分布模式的搭建1、配置免密登录2、HDFS的配置、启动与停止（配置文件均在hadoop的主目录下操作）（

IT路上的军哥·2023-03-26 18:11

java.io.FileNotFoundException: File does not exist: hdfs://xxx

一、产生问题背景我们公司正在准备从cdh迁回社区版hadoop集群，启动flink任务的时候，还未运行就直接报错：Causedby:org.apache.flink.yarn.YarnClusterDescriptor

FishMAN__·2023-03-26 11:39

Hadoop配置Kerberos互信

当Hadoop集群开启Kerberos后，跨集群访问需要配置Kerberoscross-realm(跨域访问)。

凡尔Issac·2023-03-26 07:12

Hadoop集群实操总结

/etc/hosts文件配置多台主机名映射关系，需要保证各节点完全一致4.启动zookeeper集群集群规划治理：hadoop集群规划其中，在01，02上部署namenode，02standby，03-

洛神独舞·2023-03-26 04:06

Hue 入门

HadoopUserExperience（Hadoop用户体验），直白来说就一个开源的ApacheHadoopUI系统，它是基于PythonWeb框架Django实现的，通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop

djm猿·2023-03-26 01:24

解决-使用阿里云主机部署hadoop集群无法启动

使用阿里云主机部署hadoop集群，主节点出现namenode无法启动，secondnamenode可以启动，检查logs日志，发现在core-site.xml中配置的8020端口占用，将该端口强行干掉之后

付晓聪·2023-03-25 21:26

自学大数据第七天~Hadoop集群的部署与使用

Hadoop集群的部署与使用部署之前先了解一下各个组件的作用NameNode是什么?

CodeMartain·2023-03-25 17:21

Hadoop Yarn集群中节点全是localhost

Hadoop集群部署后，出现Yarn的节点都是localhost，从而找不到其他的Node下发任务，出现如下的错误。

TalkTalk战术·2023-03-24 13:14

Hadoop大数据存算分离下，如何解决新旧存储共存？

在传统的ApacheHadoop集群系统中，计算和存储资源是紧密耦合的，HDFS为大数据存储带来便利的同时，也面临着一些挑战：当存储空间或计算资源不足时，只能同时对两者进行扩容。

XSKY星辰天合·2023-03-24 02:41

如何使用JMX_Expoter+Prometheus+Grafana监控Hadoop集群

JMX_Expoter监控因为目前CDH以及HDP后续要合并闭源，公司打算花时间自研一个类似的平台，我也对集群监控这块下了点功夫。监控对于一个集群管理平台，首当其冲的就是其中的监控如何实现，毕竟很多时候我们打开它只是因为邮箱里收到了报警:-)，那么我们应该如何获取Hadoop等集群的信息呢？这时候需要简单了解一个知识点了：JMX。我们简单介绍一下Java的JMX是什么，JMX全程叫做JavaMan

Mengkai Liu·2023-03-23 20:32

hadoop 集群监测_【集群监控】JMX exporter+Prometheus+Grafana监控Hadoop集群

下载jmx_exporter的jar包创建配置文件namenode.yaml(datanode.yaml)放在任意位置，内容为你想要的metrics参考配置：---startDelaySeconds:0hostPort:master:1234#master为本机IP(一般可设置为localhost)；1234为想设置的jmx端口(可设置为未被占用的端口)#jmxUrl:service:jmx:rm

weixin_39851977·2023-03-23 20:28

Hadoop监控文章收藏整理

参考文章：Hadoop集群一般需要关注的几个重要指标HDFS监控背后那些事儿，构建Hadoop监控共同体HowtomonitorHadoopmetrics深入AmbariMetrics机制分析Ambarigrafanadashboard

Java小田·2023-03-23 19:14

大数据之Hadoop_Yarn的基本介绍,及入门程序的书写

Yarn的基本介绍Yarn:分布式资源调度平台和任务交互平台.主要负责在hadoop集群中管理各节点的cpu.内存.磁盘(IO),网络的使用情况,实时监控集群中每台机器的运算资源,合理分配资源,及任务进度的监控

普罗米修斯之火·2023-03-23 19:58

Hive 体系架构

Hive为C/S模式，其体系架构如下：HiveHive使用的数据在HDFS中，Hive的HQL将转为MR、Tez或Spark后，在Hadoop集群上运行。

JOEL-T99·2023-03-23 17:22

Centos6.8搭建Hadoop集群

Hadoop下载Hadoop官网Hadoop官网选择的版本下载连接Hadoop安装配置准备内容1.虚拟机3台(centos6.9)2.配置在同一网段服务器配置1.配置hosts(三台机子同样配置)192.168.0.101node1192.168.0.102node2192.168.0.103node32.配置JDK1.8(/etc/profile)JAVA_HOME=/usr/java/jdk1

playman·2023-03-23 08:22

用于生产环境Hadoop集群的搭建

01基本要求集群搭建，包含HadoopHA，hive，sqoop，spark及dolphinescheduler。生产可用的大数据平台，应当包含存储（hdfs）、元数据管理（hive）、计算（mr、tez、spark、flink)、资源管理（yarn）等大数据组件，以及调度系统（dolphinscheduler），运维监控系统等。所有软件均使用hadoop用户安装。服务转发域名采用服务名.hado

兴趣使然的码基·2023-03-23 02:23

大数据 -- Hadoop集群环境搭建

首先我们来认识一下HDFS，HDFS（HadoopDistributedFileSystem）Hadoop分布式文件系统。它其实是将一个大文件分成若干块保存在不同服务器的多个节点中。通过联网让用户感觉像是在本地一样查看文件，为了降低文件丢失造成的错误，它会为每个小文件复制多个副本（默认为三个），以此来实现多机器上的多用户分享文件和存储空间。Hadoop主要包含三个模块：HDFS模块：HDFS负责大

weixin_30387663·2023-03-23 02:19

Hadoop集群安装和搭建（从零开始超级超级详细的过程）（上）

Hadoop集群安装和搭建（从零开始超级超级详细的过程）（上）目录Hadoop集群安装和搭建（从零开始超级超级详细的过程）（上）前言一、Hadoop项目结构二、Hadoop安装方式三、VMware虚拟网络设置

派大星子fff·2023-03-23 02:17

sqoop的环境搭建（超详细）

pwd=v78g提取码：v78g在安装sqoop的环境之前需要有hadoop集群的环境基础，如果小伙伴还没有完成had

浩林ovo·2023-03-23 01:24

Hadoop 3.1.3 分布式集群搭建，超详细，保姆级教程

Hadoop3.1.3分布式集群搭建，超详细，保姆级教程1.环境准备2jdk1.8安装2.1卸载虚拟机自带的JDK2.2安装JDK1.83.在hadoop102安装Hadoop集群3.1集群安装准备3.2

姜之糖·2023-03-22 17:25

Hadoop集群---方便的脚本

目录为什么编写脚本？myhadoop.sh群起集群、关闭集群脚本1、配置2、启用jpsall查看三台主机进程脚本1、配置2、启用xsync分发脚本1、配置2、启用为什么编写脚本？方便myhadoop.sh群起集群、关闭集群脚本1、配置在root/bin目录下创建脚本(在这个目录下方便全局使用)vimmyhadoop.sh把以下代码粘贴进去，一定要修改主机名，按照自己的需求修改，比如我的NameNo

樱桃气质丸·2023-03-21 17:22

计算机毕业设计PySpark+LSTM+Hadoop招聘推荐系统招聘大数据招聘数据分析协同过滤算法(基于物品+基于用户) 招聘可视化大屏就业推荐系统就业数据分析(大屏+支付+短信+爬虫...

Spark_Java_API、Spark_SQL数据可视化：echarts爬虫(数据源)：Python、requests机器学习：协同过滤算法(基于用户、基于物品全部实现)、LSTM情感分析中间件：Spark集群、Hadoop

计算机毕业设计大神·2023-03-21 02:25

推荐频道

Hadoop集群