Hadoop集群

Hadoop实战-中高级部分 之 HDFS原理 架构和副本机制

HadoopRestFulHadoopHDFS原理1HadoopHDFS原理2Hadoop作业调优参数调整及原理HadoopHAHadoopMapReduce高级编程HadoopIOHadoopMapReduce工作原理Hadoop管理Hadoop
怒上王者·2021-03-09 10:47

Hadoop Security三板斧

文章目录前言HadoopSecurity要解决的问题HadoopSecurity三板斧参考资料前言在企业大规模量级的Hadoop集群中，数据的安全性是十分重要的，尤其当集群存储的是一些敏感数据的时候。
Android路上的人·2021-03-08 17:58

Spark集群搭建介绍

CentOS7SSH工具：SecreCRT1.2分布式集群搭建节点名IP地址node01192.168.211.136node02192.168.211.137node03192.168.211.1381.3Hadoop
qq_39247952·2021-03-02 16:24

我的Hadoop之旅---启程

Hadoop集群式搭建的旅途在这里，我将进行我的Hadoop搭建路程搭建前期的准备工作我们要进行Hadoop伪分布式搭建需要做的一些小小的准备工作：下载VMware任意版本，并创建三台虚拟机，我这里选择的是使用带
浅苏鎏沐·2021-03-02 15:55

数据库‖上千节点Hadoop集群升级过程分享

在上一次我进行了超万亿规模的HadoopNameNode问题的排查，通过为时四天的努力，终于解决了Hadoop2.6.0版本的瓶颈问题，但是生活往往就是墨菲定律，你所极力避免的那些最坏的可能也许终将会发生。为了防止遇到NameNode的第二次瓶颈，我决定将当前集群由Hadoop2.6.0版本升级到Hadoop3.2.1版本，且启用联邦模式。但是在升级之后，我们还是遇到了很多意向不到的问题，虽然最终
·2021-02-25 11:24

Linux hadoop zookeeper hbase phoenix集群部署

部署前准备1.1.1.版本1.1.2.添加节点映射1.1.3.添加免密登录1.2.zookeeper集群部署1.2.1.编辑环境变量1.2.2.zookeeper配置：1.2.3.创建myid文件1.3.hadoop
SunRise_Rookie·2021-02-14 12:51

Hadoop安装

Hadoop安装SSH免密登录SSH概念SSH组成实现步骤安装JDK软件下载解压安装包配置环境变量HDFS伪分布式集群搭建软件下载解压安装包配置文件配置环境变量Hadoop集群测试启动和关闭HDFS集群单节点逐个启动和关闭脚本一键启动和关闭查看进程启动情况通过
Ka-Xin·2021-02-10 23:21

Hadoop集群搭建及配置〇 —— Hadoop组件获取 & 传输文件

Hadoop组件安装获取01Hadoop各组件压缩为获取02.传输文件1.连接master虚拟机2.正在连接3.准备传输4.传输完成简单易懂，手把手带小白用VMware虚拟机安装Linuxcentos7系统Hadoop
唐樽·2021-02-10 16:18

Hadoop集群搭建及配置⑥ —— Hadoop组件安装及配置

Hadoop组件安装及配置01配置环境变量1.1配置Hadoop环境变量(三个节点)02配置Hadoop各组件2.1修改hadoop-env.sh、yarn-env.sh2.2（3）修改core-site.xml文件。2.3（4）修改yarn-site.xml文件2.4（5）修改hdfs-site.xml文件2.5（6）修改mapred-site.xml2.6（7）修改salves,设置节点文件2
唐樽·2021-02-09 22:22

Hadoop集群搭建及配置⑤ —— Zookeeper 讲解及安装

（三个节点）1.5启动ZooKeeper集群（三个节点）简单易懂，手把手带小白用VMware虚拟机安装Linuxcentos7系统Hadoop集群搭建及配置〇——Hadoop组件获取&传输文件Hadoop
唐樽·2021-02-09 17:53

Hadoop集群搭建及配置④ —— JDK简介及其安装

Hadoop集群搭建及配置④——JDK简介及其安装01JDK简介及其安装1.1删除Linux自带Java包（三个节点）1.2创建Java文件、解压java压缩包（仅master）02设置java环境变量
唐樽·2021-02-09 16:39

Hadoop集群搭建及配置③ —— 基础环境搭建

永久关闭防火墙1.4时间同步1.4.1时区一致1.4.2选择时区：tzselect1.4.3下载ntp1.5配置SSH免密码登录简单易懂，手把手带小白用VMware虚拟机安装Linuxcentos7系统Hadoop
唐樽·2021-02-08 19:44

Hadoop集群搭建及配置② —— 网络IP配置，连接网络。

网络配置文件（三个节点都要）1.3配置vmnet8虚拟网卡的ip（要根据实际主机的ip段来配置）1.4linux网络手动设置静态简单易懂，手把手带小白用VMware虚拟机安装Linuxcentos7系统Hadoop
唐樽·2021-02-08 12:13

Hadoop集群配置① —— 克隆节点

简单易懂，手把手带小白用VMware虚拟机安装Linuxcentos7系统Hadoop集群搭建及配置〇——Hadoop组件获取&传输文件Hadoop集群搭建及配置①——克隆节点Hadoop集群搭建及配置
唐樽·2021-02-08 12:45

简单易懂，手把手带小白用VMware虚拟机安装Linux centos7系统

简单易懂，手把手带小白用VMware虚拟机安装Linuxcentos7系统Hadoop集群搭建及配置〇——Hadoop组件获取&传输文件Hadoop集群搭建及配置①——克隆节点Hadoop集群搭建及配置
唐樽·2021-02-04 17:24

Hive(一)

HiveHive的基本概念什么是HiveHive的优缺点优点缺点Hive的架构原理Hive和数据库比较查询语言数据存储位置数据更新执行执行延迟可扩展性数据规模Hive安装Hive安装部署Hadoop集群配置
桂圆桂圆车厘子·2021-02-03 22:52

Hadoop的HA安装与配置（Zookeeper）

HA.png1、集群的规划Zookeeper集群：192.168.157.112（bigdata112）192.168.157.113（bigdata113）192.168.157.114（bigdata114）Hadoop
大数据ZRL·2021-02-02 21:15

Hadoop集群搭建

Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，HadoopDistributedFilesystem）和MapReduce（GoogleMapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲，可以分成两大类角色：Master和Salve。一个HDFS集群是由一个NameN
·2021-02-01 21:01

Hadoop集群搭建

Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，HadoopDistributedFilesystem）和MapReduce（GoogleMapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。对于Hadoop的集群来讲，可以分成两大类角色：Master和Salve。一个HDFS集群是由一个NameN
·2021-02-01 21:14

14天1000+大集群滚动升级，银行柜台竟然毫无感觉

摘要：中国工商银行联合华为完成了金融行业首家规模超千台的Hadoop集群大版本滚动升级，为期两周的升级过程突破了传统的离线升级模式，真正实现了业务无感的平滑滚动升级。
·2021-01-30 13:14

14天1000+大集群滚动升级，银行柜台竟然毫无感觉

摘要：中国工商银行联合华为完成了金融行业首家规模超千台的Hadoop集群大版本滚动升级，为期两周的升级过程突破了传统的离线升级模式，真正实现了业务无感的平滑滚动升级。
·2021-01-30 13:44

Docker配置Hadoop集群并使用WordCount测试

Docker搭建Hadoop集群踩坑指南制作镜像1、拉取ubuntu镜像2、使用Dockerfile构建包含jdk的ubuntu镜像3、进入映像4、升级apt-get5、安装vim6、更新apt-get
莽起来就没有大问题·2021-01-29 21:14

Hadoop和hive-exec-3.1.2的Guava的版本冲突导致Flink任务启动异常

一、背景1、出现异常公司准备从CDH迁回社区版Hadoop集群，直接把Hadoop升级为比较新的3.30版本，Hive升级为3.12版本。
FishMAN__·2021-01-28 16:40

java.io.FileNotFoundException: File does not exist: hdfs://xxx

一、产生问题背景我们公司正在准备从cdh迁回社区版hadoop集群，启动flink任务的时候，还未运行就直接报错：Causedby:org.apache.flink.yarn.YarnClusterDescriptor
FishMAN_已存在·2021-01-27 11:59

Hadoop和hive-exec-3.1.2的Guava的版本冲突导致Flink任务启动异常

一、背景1、出现异常公司准备从CDH迁回社区版Hadoop集群，直接把Hadoop升级为比较新的3.30版本，Hive升级为3.12版本。
FishMAN_已存在·2021-01-27 11:23

[hadoop]3.0.0版本以上mac hadoop环境配置安装，以及安装的一些坑解决

core-site.xml2.4配置文件系统hdfs-site.xml2.5配置计算框架mapred-site.xml2.6配置文件系统yarn-site.xml2.7Hadoopnamenode格式化3.启动hadoop
pmdream·2021-01-26 14:37

数禾云上数据湖最佳实践

并在ECS上搭建了自己的ClouderaHadoop集群。
·2021-01-21 16:35

数禾云上数据湖最佳实践

并在ECS上搭建了自己的ClouderaHadoop集群。
·2021-01-21 15:04

数禾云上数据湖最佳实践

并在ECS上搭建了自己的ClouderaHadoop集群。
阿里云云栖号·2021-01-21 14:40

HBase 底层原理详解（深度好文，建议收藏）

HBase的计算和存储能力取决于Hadoop集群。
My-sunmy·2021-01-14 02:32

HBase 底层原理详解（深度好文，建议收藏）

HBase的计算和存储能力取决于Hadoop集群。
My-sunmy·2021-01-14 02:45

大数据开发环境搭建番外及总结：Redis和Anaconda环境的安装搭建

Lambda架构，实现离线和在线相结合的实时推荐系统)，这样可以熟悉一下真实环境中的推荐系统流程，但是这里面需要大数据的开发环境，所以这里的这个系列是记录自己搭建大数据开发环境的整个过程，这里面会涉及到Hadoop
Miracle8070·2021-01-09 11:57

大数据开发环境搭建系列六：Kafka和flume的安装和环境搭建

Lambda架构，实现离线和在线相结合的实时推荐系统)，这样可以熟悉一下真实环境中的推荐系统流程，但是这里面需要大数据的开发环境，所以这里的这个系列是记录自己搭建大数据开发环境的整个过程，这里面会涉及到Hadoop
Miracle8070·2021-01-08 17:08

大数据开发环境搭建系列二：Hadoop集群环境搭建

Lambda架构，实现离线和在线相结合的实时推荐系统)，这样可以熟悉一下真实环境中的推荐系统流程，但是这里面需要大数据的开发环境，所以这里的这个系列是记录自己搭建大数据开发环境的整个过程，这里面会涉及到Hadoop
Miracle8070·2021-01-06 22:44

haoop搭建记录

hadoop集群搭建1.配置jdk环境jdk1.8exportJAVA_HOME=/mydata/jdk1.8.0_151exportPATH=$JAVA_HOME/bin:$PATHexportCLASSPATH
dd972244d·2021-01-05 03:56

haoop搭建记录

hadoop集群搭建1.配置jdk环境jdk1.8exportJAVA_HOME=/mydata/jdk1.8.0_151exportPATH=$JAVA_HOME/bin:$PATHexportCLASSPATH
dd972244d·2021-01-05 03:42

Oozie--安装部署

Oozie的部署1、上传解压2、配置Hadoop代理用户3、重启Hadoop集群4、解压lib包5、引入extjs6、修改oozie配置文件7、创建oozie元数据库8、初始化oozie为什么要将oozie
韩家小志·2021-01-04 03:42

hadoop节点地址localhost问题

问题描述hadoop集群安装完毕，在yarn的控制台显示节点id和节点地址都是localhosthadoop@mastersbin]$yarnnode-list20/12/1712:21:19INFOclient.RMProxy
wls1036·2021-01-02 19:53

cmd hadoop 不能运行_大数据技术之Hadoop（MapReduce）第1章 MapReduce概述

MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。
weixin_39999532·2021-01-02 10:11

虚拟机Hadoop集群搭建5安装Hadoop

部分图片来源于黑马程序员第二步：修改配置文件（注意所有配置文件编码都要是utf-8）用ultraEdit远程编辑fs.default.namehdfs://node01:8020hadoop.tmp.dir/export/servers/hadoop-2.10.1/hadoopDatas/tempDatasio.file.buffer.size4096fs.trash.interval10080h
LiterMa·2021-01-01 22:15

Hadoop之MapReduce(一)初识

MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。MapReduce的作用就是大数据处理。
leafgood·2020-12-31 03:54

Hadoop之MapReduce(一)初识

MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。MapReduce的作用就是大数据处理。
leafgood·2020-12-30 21:44

MapReduce实现账单统计

样例输入2.样例输出二、具体实现1.引入maven依赖2.随机生成数据3.Mapper类的编写4.Reducer类的编写5.Partitioner类的编写6.Driver类的编写7.打包成jar文件并上传hadoop
Zhou.Y.M·2020-12-22 17:17

通过Hadoop命令执行jar包

具体命令如下所示：hadoopfsjarxxxx.jar(jar包存放的路径)xxx(类路径名)需要注意的是，用此种方式运行jar包时，jar包不是放在hadoop集群的，而是在linux上，因此路径也是
Zhou.Y.M·2020-12-21 11:44

Hadoop集群的部署（二）

在上一篇文章中，介绍了Hadoop集群的伪分布的部署，在读这篇前，建议先读上篇文章：Hadoop集群的部署（一）这篇文章中我们将介绍Hadoop集群分布式的部署。
喵先生的进阶之路·2020-12-18 10:39

hadoop节点地址localhost问题

问题描述hadoop集群安装完毕，在yarn的控制台显示节点id和节点地址都是localhosthadoop@mastersbin]$yarnnode-list20/12/1712:21:19INFOclient.RMProxy
wls1036·2020-12-17 18:36

Hadoop集群的部署（二）

在上一篇文章中，介绍了Hadoop集群的伪分布的部署，在读这篇前，建议先读上篇文章：Hadoop集群的部署（一）这篇文章中我们将介绍Hadoop集群分布式的部署。
喵先生的进阶之路·2020-12-17 18:35

修改Hadoop集群具有Snappy压缩方式

1．查看hadoopchecknative命令使用[[email protected]]$hadoopchecknative[-a|-h] checknativehadoopandcompressionlibrariesavailability2．查看hadoop支持的压缩方式[[email protected]]$hadoopchecknative
MosesDon·2020-12-16 01:20

Hadoop集群的部署（一）

Hadoop集群的部署分为分布式集群和伪分布式集群的部署。这篇文章中，我会对伪分布集群的安装和部署做说明。
喵先生的进阶之路·2020-12-15 01:08

Hadoop集群的部署（一）

Hadoop集群的部署分为分布式集群和伪分布式集群的部署。这篇文章中，我会对伪分布集群的安装和部署做说明。
喵先生的进阶之路·2020-12-14 20:53
上一页 25 26 27 28 29 30 31 32 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他