E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
Hadoop集群
Hadoop集群
安装部署
一、概述随着互联网的发展,各行各业的快速发展,大数据爆炸的时代,数据处理显得越来越重要了,因此学习大数据的分析也是让各位IT人员极为重要了。学习大数据的基础,就得从hadoop开始,后续要学习到的kafka、Hbase、Hive、flink等,都会多少使用到这个hadoop的相关内容,特别是HDFS和YARN两大组件功能。后续我们是先搭建hadoop的安全分布式环境。二、环境准备1、服务器准备,为
路过的南国风
·
2023-03-20 22:53
Hbase三节点集群搭建
安装前的准备搭建好
Hadoop集群
以及Zookeeper集群
Hadoop集群
的搭建参考:Hadoop三节点集群搭建Zookeeper集群的搭建参考:Zookeeper三节点集群搭建安装中用到的软件包hbase
HideOnStream
·
2023-03-20 17:30
Hadoop异构存储(冷热数据分离)
Hadoop异构存储是指在
Hadoop集群
中,使用不同种类的存储设备来存储数据。通常情况下,
Hadoop集群
中的所有节点都使用相同的存储设备,如硬盘或固态硬盘。但是,在某些情况下,使用异构存储可以
一抹鱼肚白
·
2023-03-20 07:06
大数据
hadoop
大数据
分布式
部署Flink1.15集群
Flink1.15集群文章目录***部署Flink1.15集群***一、准备工作1、准备3台Linux机器2、下载Java8、最好下载Java11(注意:这里为了照顾已经下载Java8的同志)3、安装
Hadoop
BrotherXu
·
2023-03-19 11:59
scala
大数据
hadoop
Flink CDC + Hudi + Hive + Presto构建实时数据湖最佳实践
Flink1.13.1Scala2.11CDH6.2.0Hadoop3.0.0Hive2.1.1Hudi0.10(master)PrestoDB0.256Mysql5.72.集群服务器基础环境2.1Maven和JDK环境版本2.2
Hadoop
大数据技术架构
·
2023-03-19 11:26
hadoop
数据库
mysql
java
大数据
Flink部署之Yarn
安装
Hadoop集群
,Hadoop建议选择Hadoop2.7.5以上版本。配置集群节点服务器间时间同步以及免密登录,关闭防火墙。三台服务器的具体设置如下:节点服务器1,IP地址为192.168.8
Joker_Jiang3
·
2023-03-19 11:39
大数据
flink
flink
大数据
yarn
flinkcdc抽取oracle数据(oracle cdc详细文档)
yarn模式需要搭建
hadoop集群
,该模式主要依靠hadoop的yarn资源调度来实现flink的高可用,达到资源的充分利用和合理分配。一般用于生产环境。
ask_baidu
·
2023-03-19 11:06
oracle
数据库
flink
Linux系统搭建hadoop高性能集群(二)
关于此篇之前,我们对hadoop高性能集群的运行平台做了部署,接下来针对
hadoop集群
配置作以部署。关于运行平台的部署和相关软件的资料,可在相关资料一栏下,自行提取使用。
JCLightZZ
·
2023-03-18 01:48
IDEA 运行hql 出现FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTas
returncode1fromorg.apache.hadoop.hive.ql.exec.mr.MapRedTask.User:xxxisnotallowedtoimpersonatexxx的错误根据报错日志知xxx用户无法模拟其他用户的身份访问
Hadoop
Chandler_5
·
2023-03-17 14:48
hadoop
hive
大数据
Hadoop集群
环境搭建
前言Hadoop在大数据技术体系中的地位至关重要,Hadoop是大数据技术的基础,对Hadoop基础知识的掌握的扎实程度,会决定在大数据技术道路上走多远。这是一篇入门文章,Hadoop的学习方法很多,网上也有很多学习路线图。本文的思路是:以安装部署ApacheHadoop2.x版本为主线,来介绍Hadoop2.x的架构组成、各模块协同工作原理、技术细节。安装不是目的,通过安装认识Hadoop才是目
weare_b646
·
2023-03-17 08:55
Hadoop集群
搭载经历之jdk配置
tips:运行hadoop的话必须在服务器上面配置jdk,提前自己下好1.将jdk传到linux在cmd里面输入
[email protected]
;@后面是你的Linux的ip地址;第一次需要输入yes,然后输入linux的密码。输入put命令后空格将jdk拉进会自动读取jdk路径然后按空+/;按回车就行了;等着上传完成。例putC:\Users\Admin\Downloads\jd
GetIdea
·
2023-03-16 20:44
一、hive的本地与远程安装
一、前提条件1、已经搭建好hadoop或
hadoop集群
环境二、安装步骤1、下载hive安装包[http://www.apache.org/dyn/closer.cgi/hive/]2、上传解压到/home
starlightGeek
·
2023-03-14 04:27
Hadoop集群
间数据迁移
数据迁移1、问题描述新搭建了一套CDH5.13.1集群,需要将原apache上的数据迁移至新集群。2、数据迁移工具Distcp(分布式拷贝)用于大规模集群内部和集群之间拷贝的工具,使用Map/Reduce实现文件分发。3、迁移命令hadoopdistcp数据源目标数据源示例:hadoopdistcphdfs://dsap0:9000/user/hive/warehouse/XX/XXhdfs://
朱佳宇
·
2023-03-13 00:16
ImportError: No module named bson.int64问题排查
背景在基于
hadoop集群
的spark2环境中,使用python编写任务。groupByKeys后,对value进行处理的时候,处理函数fun需要一个参数。
slowrabbit
·
2023-03-12 14:24
使用JAVA-API访问开启kerberos集群下的HDFS
使用API访问开启安全Kerberos的Hdfs
hadoop集群
(cdh集群)在开启kerberos安全认证方式后,通常如果在集群shell客户端通过hadoopdfs命令访问的,经过kinit登录kerberos
__元昊__
·
2023-03-11 03:48
gg oracle tjs 同步_【腾云阁】基于OGG的Oracle与
Hadoop集群
准实时同步介绍
Oracle里存储的结构化数据导出到Hadoop体系做离线计算是一种常见数据处置手段。近期有场景需要做Oracle到Hadoop体系的实时导入,这里以此案例做以介绍。Oracle作为商业化的数据库解决方案,自发性的获取数据库事务日志等比较困难,故选择官方提供的同步工具OGG(OracleGoldenGate)来解决。安装与基本配置环境说明软件配置角色数据存储服务及版本OGG版本IP源服务器Orac
weixin_39781550
·
2023-03-11 01:08
gg
oracle
tjs
同步
ogg oracle hadoop,基于OGG的MySQL与
Hadoop集群
准实时同步介绍
在线QQ客服:1922638专业的SQLServer、MySQL数据库同步软件Oracle里存储的结构化数据导出到Hadoop体系做离线计算是一种常见数据处置手段。近期有场景需要做Oracle到Hadoop体系的实时导入,这里以此案例做以介绍。Oracle作为商业化的数据库解决方案,自发性的获取数据库事务日志等比较困难,故选择官方提供的同步工具OGG(OracleGoldenGate)来解决。环境
weixin_39623805
·
2023-03-11 01:07
ogg
oracle
hadoop
mysql ogg kafka,基于OGG的MySQL与
Hadoop集群
/kafka准实时同步
在线QQ客服:1922638专业的SQLServer、MySQL数据库同步软件Oracle里存储的结构化数据导出到Hadoop体系做离线计算是一种常见数据处置手段。近期有场景需要做Oracle到Hadoop体系的实时导入,这里以此案例做以介绍。Oracle作为商业化的数据库解决方案,自发性的获取数据库事务日志等比较困难,故选择官方提供的同步工具OGG(OracleGoldenGate)来解决。环境
扣酱的星星眼
·
2023-03-11 01:06
mysql
ogg
kafka
ogg oracle hadoop,OGG的Oracle与
Hadoop集群
准实时同步详解
Oracle里存储的结构化数据导出到Hadoop体系做离线计算是一种常见数据处置手段。近期有场景需要做Oracle到Hadoop体系的实时导入,这里以此案例做以介绍。Oracle作为商业化的数据库解决方案,自发性的获取数据库事务日志等比较困难,故选择官方提供的同步工具OGG(OracleGoldenGate)来解决。安装与基本配置环境说明软件配置角色数据存储服务及版本OGG版本IP源服务器Orac
余生.Yue
·
2023-03-11 01:05
ogg
oracle
hadoop
ogg oracle 测试kafka_基于OGG的Oracle与
Hadoop集群
/kafka准实时同步
Oracle里存储的结构化数据导出到Hadoop体系做离线计算是一种常见数据处置手段。近期有场景需要做Oracle到Hadoop体系的实时导入,这里以此案例做以介绍。Oracle作为商业化的数据库解决方案,自发性的获取数据库事务日志等比较困难,故选择官方提供的同步工具OGG(OracleGoldenGate)来解决。安装与基本配置环境说明软件配置角色数据存储服务及版本OGG版本IP源服务器Orac
Gabriel 彭子傑
·
2023-03-11 01:04
ogg
oracle
测试kafka
Zookeeper集群和
Hadoop集群
安装(保姆级教程)
1.HAHA(HeighAvailable)高可用解决单点故障,保证企业服务7*24小时不宕机单点故障:某个节点宕机导致整个集群的宕机Hadoop的HANameNode存在单点故障的可能,需要配置HA解决引入第二个NameNode作为备份同步两个NameNode的数据在第一个NameNode宕机后启用第二个NameNodeHA架构2.ZookeeperZookeeper是一个分布式服务器框架提供了
_woami
·
2023-03-10 03:49
大数据开发
hadoop
zookeeper
大数据
集群搭建
Hadoop学习(一)虚拟机搭建
hadoop集群
虚拟机环境操作系统:centos7内存分配:2g硬盘分配:30g预计搭建集群数:3搭建单机环境关闭防火墙自己机器为了方便,公司环境为了安全请开放相应端口关闭防火墙systemctlstopfirewalld.service禁用防火墙systemctldisabledfirewalld.service查看防火墙systemctlstatusfirewalld.service修改ipvi/etc/sy
LiJinQuanan
·
2023-03-09 23:19
Hadoop的三大核心组件之HDFS和YARN、MapReduce
Hadoop的三大核心组件之HDFS和YARN
Hadoop集群
具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起。
清风羽
·
2023-03-09 07:37
分布式系统相关
大数据
Hadoop高可用(HA)集群搭建
而Zookeeper是一个分布式协调服务,Zookeeper即可用来保证
Hadoop集群
的高可用性。
five小点心
·
2023-03-09 07:03
Hadoop
hadoop
【大数据实验】06:MapReduce操作
MapReduce操作OVERVIEWMapReduce操作实验环境一、WordCount单词计数1.实验内容2.实验原理3.实验步骤(1)启动
Hadoop集群
(2)准备数据文件(3)创建Map/Reduce
hello world 999
·
2023-02-28 08:27
数据挖掘
big
data
hadoop
大数据
七、大数据技术之Hadoop(MapReduce)
MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并行运行在一个
Hadoop集群
上。
@我不是大鹏
·
2023-02-28 08:49
大数据技术
hadoop
mapreduce
big
data
大数据之 Hadoop (MapReduce)
MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在一个
Hadoop集群
上。
Felix-Li
·
2023-02-28 08:12
数据库
大数据
big
data
mapreduce
java
hadoop
大数据技术之Hadoop(MapReduce)
Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序,并发运行在一个
hadoop集群
上
DHRJFH
·
2023-02-28 07:34
大数据
hadoop
大数据 Spark 架构
大数据Spark架构一.Spark的产生背景起源1.spark特点1.1轻量级快速处理Saprk允许传统的
hadoop集群
中的应用程序在内存中已100倍的速度运行即使在磁盘上也比传统的hadoop快10
起飞后的菜鸟
·
2023-02-26 07:19
Hive sql : 查询连续登录天数
2.在Hive中建表在Hive中进行操作,首先启动
Hadoop集群
环境,进入到Hadoop安装目录,sbin/start-dfs.sh,jps查看
Hadoop集群
有无正常启动正常启动后,输入hiv
free youreself
·
2023-02-26 06:06
数据分析
hive
数据库
sql
初识Hadoop,走进大数据世界
后续文章中会继续分享Hadoop的组件、MapReduce、HDFS、HBase、Flume、Pig、Spark、
Hadoop集群
管理系统以及案例项目等。
叫我二蛋
·
2023-02-24 03:34
大数据
大数据
hadoop
分布式
hadoop集群
搭建(超详细版)
1.准备好需要安装的软件虚拟机VMware12.pro操作系统CentOS6.5远程控制虚拟机的终端SecureCRT8.12.在虚拟机中安装CentOS操作系统安装好虚拟机,图形界面如下图创建新的虚拟机,选择自定义(高级),点击下一步虚拟机硬件兼容性默认,浏览需要安装的CentOS6.5镜像文件自定义用户名和密码(用于登录)设置虚拟机名称和存储路径处理器设置默认(后面可以修改),内存设为1GB网
普通网友
·
2023-02-23 14:32
java
java
后端
Hadoop集群
搭建
文章目录一、运行环境配置(所有节点)1、基础配置2、配置Host二、依赖软件安装(101节点)1、安装JDK2、安装Hadoop(root)3、Hadoop目录结构三、本地运行模式(官方WordCount)1、简介2、本地运行模式(官方WordCount)四、完全分布式运行模式1、文件分发脚本(root)2、SSH免密登录设置3、同步文件4、集群节点资源配置4.1核心配置文件(core-site.
ha_lydms
·
2023-02-23 03:58
大数据
hadoop
linux
java
Centos7搭建hadoop3.3.4分布式集群
1、背景最近在学习hadoop,本文记录一下,怎样在Centos7系统上搭建一个3个节点的
hadoop集群
。2、集群规划
hadoop集群
是由2个集群构成的,分别是hdfs集群和yarn集群。
·
2023-02-21 13:09
hadoop考试应急
采集、存储管理、处理分析、隐私和安全计算模式:批处理、流、图、查询分析计算Hadoop处理架构了解就好2007年,雅虎在Sunnyvale总部建立了M45——一个包含了4000个处理器和1.5PB容量的
Hadoop
愿!106
·
2023-02-19 19:53
hadoop
大数据
hdfs
flink on yarn之per-job方式部署超时的一种解决方法
前提:flink版本:1.10.0zk集群
hadoop集群
一、flink-session方式在yarn中启动一个长久运行的flink集群,提交任务时都提交到这个flink-session集群中运行,适合小任务
半缘_1ec0
·
2023-02-19 08:21
腾讯云搭建伪分布式
Hadoop集群
所谓伪分布式模式,就是一种单机模式。实际情况中只有一个节点(主机),适合于学习,但不适用于实际的开发环境。这也是官方提供的模式之一。具体的配置过程也可以参照https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html环境:腾讯云服务器一台(单核2G内存,50G硬盘,1M带宽)Ub
Manfestain
·
2023-02-18 22:21
ketlle windows下的安装
无论数据存储在平面文件、关系数据库、
Hadoop集群
、NoSQL数据
利伊奥克儿
·
2023-02-18 13:29
(二)
Hadoop集群
配置安装
集群规划hadoop配置安装.pngNameNode、ResourceManager、SecondaryNameNode三者分别放在三个节点上,因为都要占用内存的资源,不要重复出现在一个节点上。插一句--在secureCRT7.3版本上,如果使用xterm模式,那么小键盘在vim编辑器里就不能使用,这时做如下配置:SessionOptionn–>Terminal—>Emulation–>modes
JayWolf
·
2023-02-18 12:11
hadoop集群
环境搭建
1介绍1.1系统版本介绍此文档编写使用的系统为ubuntu-18.04.1-live-server-amd64.iso版本。1.2软件版本介绍软件版本jdkjdk-8u181-linux-x64.tar.gzhadoophadoop-2.7.7.tar.gz1.3ubuntu集群服务器主机名IP地址服务Master10.168.1.216ResourceManager、SecondaryNameN
吟风者
·
2023-02-18 09:49
Hadoop集群
多次格式化导致容量分配为0不能导入数据
目录遇到问题解决问题验证处理情况查看集群状态遇到问题使用hadoopfs-put命令上传文件发现失败,报了以下错误:03/01/1915:18:03WARNhdfs.DFSClient:DataStreamerExceptionorg.apache.hadoop.ipc.RemoteException(java.io.IOException):File/home/input/file1.txt._
boonya
·
2023-02-18 07:48
Hadoop
HadoopPractice
hadoop
fs
put
Hadoop上传文件到hdfs报错:org.apache.hadoop.ipc.RemoteException(java.io.IOException)
搭建好
Hadoop集群
之后使用hdfs命令上传文件到hdfs报错:hdfsdfs-putjn_gaj_lgxx.csv/input报错内容如下所示:[root@masterlocal]#hdfsdfs-putjn_gaj_lgxx.csv
总要冲动一次
·
2023-02-18 07:17
Hadoop
报错
hadoop
hadoop 2.10.0 以docker的方式进行集群安装
三台主机,通过运行三个docker实例,主机名和ip分别规划如下:master:172.18.0.3slave1:172.18.0.4slave2:172.18.0.5其中master作为
hadoop集群
的主节点
喜欢海的大叔
·
2023-02-18 02:04
大数据开发面试题目
Hadoop集群
的搭建过程至少自己集群的配置.框架的技术选型是不是都要清楚的明明白白。Hadoop优化HDFS小文件的影响.输入输入时的小文
QLchuan
·
2023-02-17 18:06
一篇文章教你自建
hadoop集群
迁移到EMR
自建集群要迁移到EMR集群,往往需要迁移已有数据。本文主要介绍hdfs数据和hivemeta数据如何迁移。前置已按需求创建好EMR集群。迁移hdfs数据主要依靠distcp,核心是打通网络,确定hdfs参数和要迁移内容,测速,迁移。网络需要自建集群和EMR各个节点网络互通。同为VPC网络只需要同一个安全组,不同的安全组需要设置安全组互通。如果自建集群是经典网络,EMR集群是vpc,网络访问需要设置
丨程序之道丨
·
2023-02-17 12:33
ganglia安装配置(监控hadoop)
环境:系统CentOS6.0
hadoop集群
中有3台服务器server01->master192.168.255.128server02->slave192.168.255.130server03->slave192.168.255.131
聊码
·
2023-02-17 11:42
Hadoop从入门到精通33:MapReduce核心原理之Shuffle过程分析
在安装
Hadoop集群
的时候,我们在yarn-site.xml文件中配置了MapReduce的运行方式为yarn.nodemanager.aux-services=mapreduce_shuffle。
金字塔下的小蜗牛
·
2023-02-17 08:58
Linux常用命令(Hadoop)
文章目录hdfs命令行显示磁盘使用率查看并输出文件末尾1kb的数据查看系统中的目录和文件创建文件上传文件下载文件删除文件移动文件夹在master启动
Hadoop集群
[zkpk@master~]$start-all.shhdfs
CMCJR
·
2023-02-07 11:25
hadoop
linux
hdfs
【大数据】第二章:搭建
Hadoop集群
(送尚硅谷大数据笔记)
两个常见面试题:1,
Hadoop集群
中常见的端口Hadoop2.xNameNode内部端口:8020/9000NameNod
DragonZhuCn
·
2023-02-06 19:03
Hadoop
大数据
hadoop
大数据
Linux系统搭建hadoop高性能集群(一)
关于此篇(题外话)目前,作者也还是一名默默无闻的大学生,之所以写这篇文章,主要是最近接到了不少朋友的求助,他们在搭建
hadoop集群
时,出现了不少的问题,以至于无法成功搭建。
JCLightZZ
·
2023-02-06 11:03
上一页
15
16
17
18
19
20
21
22
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他