hadoop集群

handoop配置集成环境

第一次配置Hadoop集群，毫无经验，从下午两点一直配置到网上11点半，反复来回的重装虚拟机，由于是超超新手，很多东西不熟练，也有很多东西理解的不是很透彻，总结以下几点，第一希望可以帮助的跟我一样的新手
从零开始20220316·2023-04-02 14:58

[零基础]用docker搭建Hadoop集群

目录前言：为什么要用docker搭建Hadoop集群？
黄丕理·2023-04-02 14:32

Hadoop集群的搭建及配置

本文章对虚拟机的安装配置、jdk的安装以及hadoop完全分布式集群的搭建进行了讲解。1、安装虚拟机、操作系统2、设置IP、虚拟机在线安装软件3、搭建hadoop完全分布式集群修改配置文件克隆虚拟机配置ssh免密码登录配置时间同步服务启动关闭集群操作环境1.VMware2.CentOS6.8系统3.xshell54.linux进入编辑文件，保存退出相关命令1.进入文件vi、vim文件名（vimte
陌白网客·2023-04-02 14:27

Hadoop集群的配置

一.、创建虚拟机(10条消息)CentOS7虚拟机的搭建_仄言2997的博客-CSDN博客1.创建虚拟机2.安装CentOS二、虚拟机网络设置(10条消息)虚拟机网络配置_仄言2997的博客-CSDN博客三、安装JDK(10条消息)虚拟机安装jdk，运行java文件_仄言2997的博客-CSDN博客四、安装Hadoop(10条消息)虚拟机安装Hadoop_仄言2997的博客-CSDN博客1.下载并
仄言2997·2023-04-02 13:40

大数据-Linux下hadoop集群的配置及搭建

说明：本篇文章只会介绍搭建hadoop集群比较核心的部分，hdfs、yarn和mapreduce部分。介绍：（1）版本是hadoop3.X版本。（2）JDK选择的是jdk1.8版本。
数据微醺·2023-04-02 13:36

hadoop集群分布式环境搭建

五个节点：2个Master+3个SlaveCentOS-8.4.2105-x86_64-dvd1.isohadoop-3.3.1.tar.gzjdk-8u221-linux-x64.tar.gzapache-zookeeper-3.7.0-bin.tar.gz新建虚拟机，对centos进行配置基础配置切换到root用户，才能进行配置su-lroot1.配置ip[root@localhost~]#v
一休祺·2023-04-02 13:48

Hadoop集群环境配置搭建

一、简单介绍Hadoop最早诞生于Cutting于1998年左右开发的一个全文文本搜索引擎Lucene，这个搜索引擎在2001年成为Apache基金会的一个子项目，也是ElasticSearch等重要搜索引擎的底层基础。项目官方：https://hadoop.apache.org/二、Linux环境搭建首先准备三台Linux服务器，预装CentOS7。三台服务器之间需要网络互通。本地测试环境的IP
中才实用·2023-04-02 13:04

8.Hadoop的HA(高可用)模式集群搭建

若链接失效在下面评论，我会及时更新）搭建环境：hadoop-3.1.3，jdk1.8.0_162一、HA模式简介Hadoop的HA模式是在Hadoop全分布式基础上，利用ZooKeeper等协调工具配置的高可用Hadoop
学习BigData·2023-04-02 05:56

（五）大数据实战——使用模板虚拟机实现hadoop集群虚拟机克隆及网络相关配置

前言本节内容我们实现虚拟机的克隆，主要根据模板虚拟机克隆三台hadoop虚拟机，用于hadoop集群的搭建，同时根据上一小节的内容，配置hadoop虚拟机的主机名、ip网络等，最终完成hadoop虚拟机的实例化
北溟溟·2023-04-02 00:52

（七）大数据实战——hadoop集群安装搭建

前言本节内容我们主要来介绍如何搭建hadoop集群，将hadoop的基础环境搭建完成，便于我们使用hadoop集群。
北溟溟·2023-04-02 00:52

（八）大数据实战——hadoop集群组件启动及服务组件配置修改

关于hadoop组件的部署同上一节内容，如下：hadoop集群组件分布hadoop101hadoop102hadoop103HDFSNameNodeDataNodeDataNodeSecondaryNameNodeDataNodeYARNNodeManagerResou
北溟溟·2023-04-02 00:52

（六）大数据实战——hadoop集群实现免密登录和文件互传

前言本节内容我们主要介绍一下hadoop集群服务器之间实现免密登录和文件互传的功能，这样更加方便我们使用hadoop服务器实现服务器之间的相互登录和文件的相互传输。
北溟溟·2023-04-02 00:19

使用superset连接Hive

superset连接Hive在连接前，先要能实现JDBC方式访问Hive启动hadoop集群myhadoop.shstart在superset环境下安装依赖condaactivatesupersetpipinstallpyhivepipinstallsaslpipinstallthriftpipinstallthrift-sasl
QSQ95·2023-04-01 06:09

hive表直接入库本地mysql，用udf从将hive的查询结果直接写入mysql数据库中

在很多人已经在讨论大数据架构，实时分析，离线分析，优化等等问题的时候，我们还在闭门造车地玩着手里的那套hdfs+hbase+zookeeper+hive+sqoop+jdbc+mysql的原始框架，然而还是到懂不懂的hadoop
玉羽凌风·2023-04-01 06:07

【公测中】阿里云发布国内首个大数据双活容灾服务，满足高要求大数据灾备场景

HDR-BD采用业界领先的数据双向实时复制技术，可以实现Hadoop集群双活和准0RPO容灾，为大数据灾备制定了全新的标准。
许此一生·2023-04-01 04:37

【深入浅出 Yarn 架构与实现】6-1 NodeManager 功能概述

一、NodeManager基本职能在Hadoop集群中，每个计算节点都需要有一个管
大数据王小皮·2023-04-01 04:55

Hadoop集群搭建：11.Spark搭建

一、资源准备先要准备Spark安装包和Scala安装包，安装包可以在阿里和网易的资源站下载1，Spark下载：https://mirrors.aliyun.com/apache/spark/，需要按照自己HDFS的版本选择对应的安装包，我的HDFS是2.7版本，可以选择：spark-2.4.6-bin-hadoop2.7.tgz，也可以选择基于hadoop2.7版本的其他版本2，Scala下载：先
丶珍视当下·2023-03-31 18:51

hadoop集群安装配置Kerberos（二）：搭建kerberos基础环境（主从kdc）

目录一、安装前需知二、安装前准备三、安装步骤1.NTP时钟同步2.目录设置3.配置hosts4.安装软件5.主kdc节点创建realm6.启动服务7.从KDC节点配置（同步配置文件）8.主从同步9.hadoop客户端节点配置10.快速测试四、添加用户和生成认证文件五、问题处理一、安装前需知1、我们安装的方案为kerberos5解决方案，所以我们所有的KDC都能够处理Kerberos5客户端，不考虑
白桦翅果·2023-03-31 11:31

hadoop集群安装配置Kerberos（三）：hadoop集群配置 kerberos 认证

目录前言一、配置SASL认证证书二、修改集群配置文件1.hdfs添加以下配置2.yarn添加以下配置3.hive添加以下配置4.hbase添加以下配置三、kerberos相关命令四、快速测试五、问题解决1、Causedby:java.io.IOException:Failedonlocalexception:java.io.IOException:ServerasksustofallbacktoS
白桦翅果·2023-03-31 11:01

hive的介绍及与传统关系型数据库（mysql)的区别

hive的工作方式：把存放在hive中的数据都抽象成一张二维表格，提供了一个类似于sql语句的操作方式，这些sql语句最终被hive的底层翻译成为MapReduce程序，最终在hadoop集群上运行，结果也会输出在
JDK1.8.0·2023-03-31 01:11

解决hadoop启动报错ERROR: Attempting to operate on hdfs namenode as root的方法

hadoop-3.1.0启动hadoop集群时还有可能可能会报如下错误:[root@localhostsbin]#start-all.shStartingnamenodeson[hadoop]ERROR
·2023-03-31 01:52

大数据技术原理与应用 笔记 第2章 大数据处理架构Hadoop

大数据处理架构HadoopHadoop发展历程Hadoop起源Hadoop特点Hadoop应用现状不同版本Hadoop项目结构Hadoop集群的部署和使用集群硬件配置HDFSMapReduceHadoop
梦想是吃不完的格力高·2023-03-30 23:39

大数据技术原理与应用（第二章 大数据处理架构Hadoop）

分布式并行编程框架）Hadoop的特点Hadoop的应用编辑Hadoop版本的变化2.2Hadoop项目结构TezSparkHivePigOozieZookeeperHBaseFlumeSqoopAmbari2.3Hadoop
m0_37607242·2023-03-30 22:58

大数据--hadoop生态12--高频知识点总结

目录一：一个基本的Hadoop集群中的节点主要有二.分布式文件系统节点分类：三.Hbase索引四.HBase的实现包括三个主要的功能组件：五：HDFS常用命令六：hive创建表然后导入数据七：hive如何解决数据倾斜一
斑马！·2023-03-30 21:18

Hadoop核心组件详解—HDFS、YARN、MapReduce

Hadoop集群可运行于一般的商用服务器上，具有高容错、高可靠性、高扩展性等特点。适合一次写入，多次读取的
濛小万·2023-03-30 21:25

apache-atlas 深度剖析

atlas是apache下的大数据的元数据管理和数据治理平台，是Hadoop社区为解决Hadoop生态系统的元数据治理问题而产生的开源项目，它为Hadoop集群提供了包括数据分类、集中策略引擎、数据血缘
张永清-老清·2023-03-30 18:18

【Hadoop-yarn-01】大白话讲讲资源调度器YARN，原来这么好理解

YARN作为Hadoop集群的御用调度器，在整个集群的资源管理上立下了汗马功劳。今天我们用大白话聊聊YARN存在意义。有了机器就有了资源，有了资源就有了调度。
zhulangfly·2023-03-30 12:49

搭建大数据集群操作实战

一:配置静态IP，时间同步，SSH服务.二:安装JDK三:搭建hadoop集群
Carter强·2023-03-30 11:21

Flink学习笔记【巨详细！】（二）

安装Hadoop集群，Hadoop建议选择Hadoop2.7.5以上版本。配置集群节点服务器间时间同步以及免密登录，关闭防火墙。3.1.2本地启动最简单的启动方式，其实是不搭
水花还在漂移·2023-03-30 04:31

易懂安装Flink（Flink on Yarn模式）使用Flink（提交作业），会话模式+单作业模式+应用模式（三台）

目录FlinkonYarn模式:一般企业使用，资源管理交由Yarn来管理一、使用Flink的前期准备1.关闭yarn的内存检查2.配置环境变量3.安装Flink二、使用Flink1.会话模式1）启动hadoop
lidan0427·2023-03-30 04:57

Hadoop运行模式

b.伪分布式模式：也是单机运行，但是具备Hadoop集群的所有功能，一台服务器模拟一个分布式的环境。个别缺钱的公司用来测试，生产环境不用。c.完全分布式模式：多台服务器组成分布式环境。生产环
勤奋的ls丶·2023-03-30 03:46

Hbase搭建（单机和集群）Hmaster高可用

为集群，hbase是单机）1.上传jdk，hadoop，zookeeper，hbase压缩包2.解压到/usr/local目录下3.配置jdk，hadoop，zookeeper，hbase环境变量4.搭建hadoop
LQ smile·2023-03-30 01:37

hadoop集群高可用的配置以及hbase的环境配置

第一步先安装好一台虚拟机再着修改虚拟机名称vim/etc/hostname第二步修改ip地址，把动态地址修改为静态ip地址1，先查看本机ip地址2，修改vim/etc/sysconfig/network-scripts/ifcfg-ens33第三步重启虚拟机第四步把需要的jar上传到/opt/soft目录下mkdir-p/opt/soft2,通过xftp上传文件第五步解压上传的各个文件第六步把解压
java庞·2023-03-30 01:03

hadoop集群搭建学习总结（一）

Hadoop介绍Hadoop是Apache旗下的一个用java语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。狭义上说，Hadoop指Apache这款开源框架，它的核心组件有：HDFS（分布式文件系统）：解决海量数据存储YARN（作业调度和集群资源管理的框架）：解决资源任务调度MAPREDUCE（分布式运算编程框架
qq_39063243·2023-03-29 23:31

1.9CDH搭建Hadoop集群（二）

总目录:https://www.jianshu.com/p/e406a9bc93a9Hadoop-子目录：https://www.jianshu.com/p/9428e443b7fd解压cloudera-managermkdir-p/usr/hdk/module/cloudera-managertar-zxvfcloudera-manager-centos7-cm5.12.1_x86_64.tar
寒暄_HX·2023-03-29 23:46

Apache hadoop

目录一、hadoop架构变迁二、Hadoop集群搭建三、Hadoop集群模式安装(clustermode)分布式模式安装1、安装包、源码包下载地址2、自己按部就班搭建Hadoop集群3、直接使用虚拟机快照切换至搭建好的环境四
hello_shal·2023-03-29 20:06

HDFS的高可用机制（HA）与Hadoop联邦机制(Federation)概述

倘若NameNode节点主机一旦宕机，整个集群即将瘫痪高可用的Hadoop集群在搭建Hadoop集群时，通常需要搭建多个NameNode，这样可以保证如果其中一个NameNode发生宕机，另一个
chaseasheep·2023-03-29 19:51

CentOS7 hadoop集群配置-2

5),拷贝到从节点cd/data/scp-rqhadoop-3.2.0bigdata02:/data/toolsscp-rqhadoop-3.2.0bigdata03:/data/tools6),启动在bigdata01节点上启动cd/data/tools/hadoop-3.2.0/sbin./start_all.sh7),查看在bigdata02和bigdata03上执行jps出现如下表示成功[
梅村_9643·2023-03-29 10:56

查询MYSQL和查询HBASE速度比较

我的实验效果，没有到1W，还在优化中…环境：有3台虚拟机，运行Hadoop集群；3台虚拟机也在跑HBase：master，node1，n
宝宝心里苦丶·2023-03-28 21:21

centos7搭建hadoop

生产环境不用伪分布式模式，也是单机运行，但具备Hadoop集群所有功能，一台服务器模拟一个分布式的环境完全分布式模式：多台服务器组成分布式环境。生产环境使用本篇将基于cento
小码农叔叔·2023-03-28 20:32

虚拟机（CentOS）下安装配置Hadoop（伪分布式）

用户可以轻松地在Hadoop集群上开发和运行处理海量数据的应用程序。Hadoop有高可靠，高扩展，高效性，高容错等优点。Hadoop框架最核心的设计就是HDFS和MapReduce。
酒香醉佳人·2023-03-28 20:14

centos7安装配置Hadoop集群

1、下载Hadoop以及JAVA本文用的是hadoop-3.2.0下载地址：http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-3.2.0/hadoop-3.2.0.tar.gz本文用的是JAVA1.81下载地址：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-do
web13985085406·2023-03-28 20:36

在虚拟机CentOs7中配置hadoop2.7.5伪分布式

因完全分布式的集群安装hive后hive出现了点问题导致无法用hive进行select查询,导致学习进度卡住,所以我决定去搭建一个伪分布式的hadoop集群,一下就是安装过程.搭建伪分布式集群准备条件第一部分安装前部署
LAllenKing·2023-03-28 20:18

CentOS 6虚拟机Hadoop安装教程

所以我结合了这些博客内容和老师的讲解写了下面这一份教程，这些操作都是本人经过尝试确认过没有问题的操作（如果有问题的话希望大家能够指出）在安装中有什么注意点我都会提，希望能够对各位有帮助在hadoophadoophadoop
UserOrz·2023-03-28 19:28

一、CDH6.2大数据平台安装手册

一、集群规划实际工作中搭建CDH集群的话，原则上来说，机子越多越好，如果资源有限的话，建议前期最好4台机子，4台机子的话，针对hadoop集群而言可以设置为1主3从，如果考虑到HA的话，就需要最少5台机子
阿靖哦·2023-03-28 16:25

hadoop大数据教程 hadoop视频教程培训 hadoop最新实战教程

视频下载地址：http://demo.liuy88.cn/jp0858.html-------------------课程目录-------------------第一天hadoop的基本概念伪分布式hadoop
天涯海角的小水滴·2023-03-28 11:02

Hadoop集群搭载经历之linux配置ip

tips：我选择的是centos7最小化安装。1.查看并配置windows网卡（vmware的虚拟网卡）1.0安装虚拟机时要采用nat网络方式，桥接方式在校园网的环境下很难进行上网，因为需要在命令行下进行校园网登录和需要多个校园网账号。vmware安装虚拟机时.png1.1在CMD中输入ipcofig，并且找到（VMwareNetworkAdapterVMnet8这块网卡，一般有三块）前提是安装v
GetIdea·2023-03-28 04:29

大数据学习——Hadoop集群伪分布模式的搭建（超详细）

Hadoop集群伪分布模式的搭建JunLeon——gobigorgohome目录Hadoop集群伪分布模式的搭建1、配置免密登录2、HDFS的配置、启动与停止（配置文件均在hadoop的主目录下操作）（
IT路上的军哥·2023-03-26 18:11

java.io.FileNotFoundException: File does not exist: hdfs://xxx

一、产生问题背景我们公司正在准备从cdh迁回社区版hadoop集群，启动flink任务的时候，还未运行就直接报错：Causedby:org.apache.flink.yarn.YarnClusterDescriptor
FishMAN__·2023-03-26 11:39

Hadoop配置Kerberos互信

当Hadoop集群开启Kerberos后，跨集群访问需要配置Kerberoscross-realm(跨域访问)。
凡尔Issac·2023-03-26 07:12
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他