E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
hadoop2
Zookeper报错:Will not attempt to authenticate using SASL (unknown error)|防火墙的问题
我是
Hadoop2
.5和centos6,因此没法用systemtcl,就使用serive命令。
写代码的资资
·
2023-03-31 09:30
笔记
linux
服务器
运维
Hadoop2
.0构成之HDFS2.0
HDFS2.0之HA主备NameNode:1、主NameNode对外提供服务,备NameNode同步主NameNode元数据,以待切换;2、主NameNode的信息发生变化后,会将信息写到共享数据存储系统中让备NameNode合并到自己的内存中;3、所有DataNode同时向两个NameNode发送心跳信息(块信息);两种切换方式:1、手动切换:通过命令实现主备之间的切换,可以用于HDFS升级等场
weixin_33868027
·
2023-03-31 09:20
大数据
hadoop 2.x HDFS系统架构详解
Hadoop2
.0的核心架构,HDFS2、YARN、MapReduce和其他。
辰阳星宇
·
2023-03-31 09:38
#
Hadoop
hadoop
hdfs
big
data
【大数据】【Hadoop】4、Hadoop系统的组成(
Hadoop2
.x)
文章目录
Hadoop2
.X简介;一、容器二、节点管理器三、资源管理器四、应用程序管理器五、YARN请求分解
Hadoop2
.X简介;
Hadoop2
.0,经常被称为MapReduce2.0(MRv2)或者YARN
jts2015
·
2023-03-31 09:16
hadoop
大数据
YARN
hadoop
big
data
mapreduce
Windows7下
Hadoop2
.7.2环境配置
准备工作hadoop-2.7.2.tar.gz链接:https://pan.baidu.com/s/1eFRwGeutjWBE-ZD1C_zYqg提取码:uo7bhadooponwindows-master.zip链接:https://pan.baidu.com/s/1JxlWVpTfH9SZJFSsGjKNkA提取码:25ko操作解压hadoop-2.7.2.tar.gzimage.png修改配
Demons_LLL
·
2023-03-30 21:35
janusgraph安装部署
1.安装和部署1.下载janusgraph-0.3.2-
hadoop2
包,上传到/opt目录下,之后解压sudounzip~/janusgraph-0.3.2-
hadoop2
.zip2.进入目录,因为es
苏苏JS
·
2023-03-30 20:27
Flink学习笔记【巨详细!】(二)
安装Hadoop集群,Hadoop建议选择
Hadoop2
.7.5以上版本。配置集群节点服务器间时间同步以及免密登录,关闭防火墙。3.1.2本地启动最简单的启动方式,其实是不搭
水花还在漂移
·
2023-03-30 04:31
Flink
flink
学习
大数据
大数据(一) - hadoop生态系统及版本演化
高扩展性和高吞吐率的数据存储服务HDFS源自于Google的GFS论文(发表于2003年10月),是GFS克隆版YARN:资源管理系统(YetAnotherResourceNegotiator):负责集群资源的统一管理和调度,
Hadoop2
.0
will的成长之路
·
2023-03-29 20:46
大数据
hadoop
生态系统
大数据
Hadoop 版本演进
NameNodeHA:NameNode高可用,HDFSFedreation分布式文件系统联盟解决了1带的单点问题Yarm分布式资源管理系统,解决JobTrack单点问题1.hadoop1.x版本的生态系统:2.
hadoop2
cuituancheng9378
·
2023-03-29 20:30
大数据
hadoop版本演化
分别是0.20.x,0.21.x,0.22.x和CDH32、0.20.x最后演化成1.0.x,成为稳定版本3、0.21.x和0.22.x则增加NameNodeHA等新的重大特性二、第二代hadoop:
hadoop2
.01
afahan
·
2023-03-29 20:56
hadoop
HDFS的高可用(HA)--------通俗易懂的分析
NameNode;DN:DataNode)HDFS的高可用(HA)也称为联邦HDFS,因为单个namenode在HDFS集群中可能发生单节点故障,一旦节点不可用,那么整个HDFS集群就会处于不可用状态.现在,在
Hadoop2
有这么个程序员
·
2023-03-29 19:26
hadoop
大数据
hdfs
hadoop
java
浅析分布式文件系统HDFS的高可用架构的实现
本文主要介绍基于
Hadoop2
.0下的HDFS的高可用架构设计,以及关于HDFS的一些常规操作技巧。实际上,Hadoop已经发展到了3.0,这里之
海睿思
·
2023-03-29 19:10
HDFS架构概述
以下内容皆来自于网络,只以学习为目的,不用于任何商业任务HDFS系统架构1、块(Block):将一个文件进行分块,默认大小在
Hadoop2
.x的版本中是128M,老版本是64M。
TinaGioro
·
2023-03-29 19:06
Hadoop
hdfs
hadoop
架构
hbase centOS生产环境配置笔记 (1 NameNode, 1 ResourceManager, 3 DataNode)
hadoop版本:hadoop-2.4.1HBase版本:hbase-0.98.6.1-
hadoop2
Zookeeper版本:ZooKeeper3.4.6JDK:1.6操作系统:centOS6.364bit1
weixin_30888413
·
2023-03-29 13:31
HBase安装与配置问题
简单介绍一下我的环境1.CentOS6.52.
Hadoop2
.23.jdk1.74.HBase0.985.Zookeeper3.4在官网下载HBase安装包Hba
蜗牛海胆
·
2023-03-29 12:36
Hbase
hbase
hadoop
Hadoop伪分布模式搭建(基于Linux-centos7)
工具:finalshell、Vmware-Linux-centos虚拟机伪分布模式环境必备:jdk1.8.0-8u311、
hadoop2
.6.5进行伪分布搭建之前需要配置jdk环境和下载Hadoop相关文件
稻草人想看远方
·
2023-03-28 20:54
Hadoop
linux-centos
linux
centos
hadoop
在虚拟机CentOs7中配置
hadoop2
.7.5伪分布式
因完全分布式的集群安装hive后hive出现了点问题导致无法用hive进行select查询,导致学习进度卡住,所以我决定去搭建一个伪分布式的hadoop集群,一下就是安装过程.搭建伪分布式集群准备条件第一部分安装前部署1.查看虚拟机版本2.查看IP地址3.修改主机名为hadoop4.修改/etc/hosts5.关闭防火墙6.关闭SELINUX7.安装yum源并安装基础包8.关闭不必要的服务9.安装
LAllenKing
·
2023-03-28 20:18
大数据
CentOS7下安装Hadoop伪分布式
前提条件拥有CentOS7服务器版环境软件版本说明jdk1.8
hadoop2
.7.3虚拟机环境准备通网络能ping通外网,例如:pingbaidu.com如果ping不通,可以修改如下文件:vi/etc
Hadoop_Liang
·
2023-03-28 20:18
Hadoop
软件安装
hadoop
Hadoop框架简述
Hadoop2
.0的核心包括分布式文件管理系统(HDFS)、资源管理和调度框架YARN和分布式计算框架MapReduce.HDFS是一个具有高容错性的文件系统,适合部署在廉价的机器上,并且能够提供高吞吐量的数据访问
DontCareOthers
·
2023-03-28 20:16
数据库
hadoop
yarn
hive
mapreduce
hdfs
1.CentOS7 搭建 Hadoop 单节点模式
目录1.前期准备1.1.硬件要求1.2.jdk8环境1.3.ssh命令1.4.关闭防火墙1.5.下载
Hadoop2
.安装
Hadoop2
.1.上传安装包并解压2.2.配置JAVA_HOME2.3.伪分布模式启动
墨家先生
·
2023-03-28 19:24
Hadoop
hadoop
hdfs
big
data
虚拟机centos7配置Hadoop单节点伪分布配置教程
配置静态网络常见问题归纳_张小鱼༒的博客-CSDN博客centos7克隆虚拟机完成后的的一些配置介绍_张小鱼༒的博客-CSDN博客文章目录目录系列文章目录文章目录前言一、前期准备二、Hadoop介绍2.1、Apache
Hadoop2
.2
张小鱼༒
·
2023-03-28 19:06
hadoop
分布式
apache
centos
VMware
大数据之CDH5.16.1集成Tez0.9.2
tez官网地址为:http://tez.apache.org/tez是在
hadoop2
才引入的,如图所示:tez.png图片来源:https://z
LearnBigData
·
2023-03-28 12:50
Hadoop中datanode启动失败
重新安装了
hadoop2
.8.5,装完之后重新启动发现namenode可以启动成功,但是datanode启动失败。
刺雒
·
2023-03-27 10:07
大数据存储与处理——配置HADOOP伪分布式
通常用于开发调试,或者感受
hadoop2
、伪分布模式:在学习当中一般都是使用这种模式,伪分布模式就是在一台机器的多个进程运行多个模块。虽然每一个模块都有相应的进程,但是却还是运行在同一个系统里
取个程序猿的名字
·
2023-03-26 18:44
大数据存储与处理
智能系统概论
Presto技术源码解析总结-一个SQL的奇幻之旅 上
Presto技术总结因为内容过长分为了上下两集1.环境准备Hadoop环境,Hive环境,mysql环境,ssh环境,presto本机debug环境推荐
hadoop2
.2.0、hive1.2.1、mysql5.7
小武大讲堂
·
2023-03-25 14:57
HDFS是如何设计架构的?
前言Hadoop到目前为止发展已经有10余年,版本经过无数次的更新迭代,目前业内大家把Hadoop大的版本分为Hadoop1.0、
Hadoop2
.0、Hadoop3.0三个版本。
大数据老哥
·
2023-03-25 06:57
Hadoop中Block和Split的区别
系统也提供默认大小,其中Hadoop1.x中的默认大小为64M,而
Hadoop2
.x中的默认大小为128M。
星星之火在心中
·
2023-03-24 20:07
基于 Docker 搭建 Hadoop 平台
基于Docker搭建完全分布式Hadoop平台前言环境遇到的坑折腾实录一、构建镜像1.准备JDK和
Hadoop2
.构建centos-hadoop镜像二、启动容器三、集群搭建1.进入容器2.配置主机名与IP
不思故亡
·
2023-03-24 18:10
hadoop
docker
大数据
Spark-2.3安装配置
下载安装官网下载解压即可环境变量配置SPARK_HOMEPATH启动spark-shell匹配的环境
hadoop2
.7匹配scala-2.11.*
playman
·
2023-03-24 16:14
162.Hadoop(一):Hadoop基本概念,基本环境安装,单机运行,各虚拟机数据同步
目录一、Hadoop基本概念1.什么是
Hadoop2
.Hadoop的优势3.Hadoop组成4.HDFS概述5.YARN概述6.MapReduce概述7大数据整体的技术栈学历路径二、基本环境搭建1.配置虚拟机
鹏哥哥啊Aaaa
·
2023-03-23 21:57
从头开始学编程
hadoop
big
data
在Windows操作系统上编译Hadoop源码
一、操作系统和Hadoop版本Windows10专业版(64位),
Hadoop2
.7.2。
winfield821
·
2023-03-23 00:20
Hadoop
windows
hadoop
编译
******题目
0、hadoop1.x和
hadoop2
.x区别1、概念理解HDFS组成:1)NameNode(Master):主管,管理者1.管理HDFS的命名空间;2.副本配置策略;3.管理数据块(block)的映射信息
shone_shawn
·
2023-03-21 16:26
解决集群部署Hadoop 启动后没有ResourceManager问题
jps命令没有看到ResourceManager2.查看ResourceManager日志出现java.lang.reflect.InaccessibleObjectException异常解决方法1.停止
hadoop2
_DiMinisH
·
2023-03-20 08:42
Java
hadoop
大数据
java
【DataSphereStudio - 1.1.0 安装介绍】
1.DataSphereStudio介绍2.DataSphereStudio安装2.1基础软件安装2.1.1注意事项2.1.2软件版本2.1.3需要的命令工具2.1.4创建用户配置权限及免密2.1.5
Hadoop2
.7.2
yuhh_
·
2023-03-19 11:45
#
linux
大数据
Flink部署之Yarn
安装Hadoop集群,Hadoop建议选择
Hadoop2
.7.5以上版本。配置集群节点服务器间时间同步以及免密登录,关闭防火墙。三台服务器的具体设置如下:节点服务器1,IP地址为192.168.8
Joker_Jiang3
·
2023-03-19 11:39
大数据
flink
flink
大数据
yarn
3.Spark环境搭建-Spark完全分布式集群搭建
用户搭建集群(生产环境中root用户不是可以任意使用的)spark安装包下载地址:https://mirrors.aliyun.com/apache/spark/我用的spark-2.2.0-bin-
hadoop2
.7
__元昊__
·
2023-03-18 08:26
大数据Hadoop原理介绍+安装+实战操作(HDFS+YARN+MapReduce)
一、Hadoop概述Hadoop是Apache软件基金会下一个开源分布式计算平台,以HDFS(HadoopDistributedFileSystem)、MapReduce(
Hadoop2
.0加入了YARN
大数据老司机
·
2023-03-17 20:38
Hadoop集群环境搭建
本文的思路是:以安装部署Apache
Hadoop2
.x版本为主线,来介绍
Hadoop2
.x的架构组成、各模块协同工作原理、技术细节。安装不是目的,通过安装认识Hadoop才是目
weare_b646
·
2023-03-17 08:55
Linux常用的九个高级命令
它将显示系统中CPU最“敏感”的任务列表.该命令可以按CPU使用.内存使用和执行时间对任务进行排序;而且该命令的很多特性都可以通过交互式命令或者在个人定制文件中进行设定.命令与显示结果[itshare@
hadoop2
01
满山李子
·
2023-03-15 17:43
pycharm常用配置
software/anaconda3/envs/pyspark_env/lib/python3.8/site-packages/pyspark/jars3.yarn使用hdfs:///tmp/zzdb/
hadoop2
7
kangwq2017
·
2023-03-15 12:34
python
python
pyspark--报错java.util.NoSuchElementException: key not found: _PYSPARK_DRIVER_CALLBACK_HOST解决
环境Python3.5.2Pyspark2.4.2hadoop-2.6.0spark-2.2.0-bin-
hadoop2
.6.tgz运行spark本地报错:解决安装对应版本pysparkpipintsallpyspark
我心依依旧
·
2023-03-15 12:33
大数据
pyspark
PySpark完美安装
一、hadoop版本号确认1.hadoop==>2.7.2[root@dm46TDH-Client]#hadoopversion
Hadoop2
.7.2-transwarp-6.2.0Subversionhttp
kangwq2017
·
2023-03-15 12:31
hadoop
spark
03_HADOOP_01_介绍
学习视频是基于
hadoop2
.6.5版本,看官网截止20190818已到3.2.0版本,但该版本官网说明尚未普遍GA或生产可用。
超级小小张
·
2023-03-15 11:26
cassandra本地连接失败,Spark-Cassandra Connector:无法打开到Cassandra的本地连接
IamnewtoSparkandCassandra.Ontryingtosubmitasparkjob,IamgettinganerrorwhileconnectingtoCassandra.Details:Versions:Spark:1.3.1(buildfor
hadoop2
.6orlater
林桂鑫
·
2023-03-15 08:55
cassandra本地连接失败
hadoop2
.9.1+spark2.3字数统计java实例集群运行(idea)
一搭环境
Hadoop2
.9.2+spark2.3参考https://blog.csdn.net/qazwsxpcm/article/details/78937820二实例运行1打开idea,file-new-project
葡萄超好吃
·
2023-03-15 07:50
win10下配置
hadoop2
.9(使用python单机运行任务)
先期准备:java环境已安装着手开始:1、下载hadoop稳定版:http://hadoop.apache.org/->左边点Releases->点mirrorsite->http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common->stable/->hadoop-2.9.0.tar.gz点击即可下载。2、解压并配置hadoop环境,新建HAD
Gospel元嘉
·
2023-03-15 00:12
Pinpoint部署实践(二)搭设Hbase集群
Hbase集群搭建安装Hbase下载http://hbase.apache.org/downloads.html这里我选择的1.4.9版本,和上篇文章的
Hadoop2
.9.2版本能够兼容。
哲人王
·
2023-03-14 12:27
Flink实战之Flink必须依赖
Hadoop2
.7+?
背景最近在用filesystemconnector来写hdfs,底层是通过StreamFileSink实现的。在看官方文档时,有几条注意事项,其中第一条如下:WhenusingHadoopsrc=env.addSource(newFlinkKafkaConsumer("UTF-8")).withRollingPolicy(DefaultRollingPolicy.builder().build()
〇白衣卿相〇
·
2023-03-14 03:58
hadoop学习之hadoop简易安装配置
学习环境清单ubuntu16.04windows7
hadoop2
.9.0jdk8一下载安装hadoop首先创建好目录,用于后续文件的归类存放,执行下述命令sudomkdir-p/data/software
你看见皮卡丘了吗
·
2023-03-12 18:18
《十小时入门大数据》学习笔记之Hadoop分布式集群环境搭建
hadoop000:192.168.111.185hadoop001:192.168.111.186hadoop002:192.168.111.1871、机器准备1)安装虚拟机:使用的是CentOS7,用户名为
hadoop2
腊月的梅花
·
2023-03-12 07:44
上一页
8
9
10
11
12
13
14
15
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他