Hadoop集群

Hadoop集群安装部署

一、概述随着互联网的发展，各行各业的快速发展，大数据爆炸的时代，数据处理显得越来越重要了，因此学习大数据的分析也是让各位IT人员极为重要了。学习大数据的基础，就得从hadoop开始，后续要学习到的kafka、Hbase、Hive、flink等，都会多少使用到这个hadoop的相关内容，特别是HDFS和YARN两大组件功能。后续我们是先搭建hadoop的安全分布式环境。二、环境准备1、服务器准备，为
路过的南国风·2023-03-20 22:53

Hbase三节点集群搭建

安装前的准备搭建好Hadoop集群以及Zookeeper集群Hadoop集群的搭建参考：Hadoop三节点集群搭建Zookeeper集群的搭建参考：Zookeeper三节点集群搭建安装中用到的软件包hbase
HideOnStream·2023-03-20 17:30

Hadoop异构存储（冷热数据分离）

Hadoop异构存储是指在Hadoop集群中，使用不同种类的存储设备来存储数据。通常情况下，Hadoop集群中的所有节点都使用相同的存储设备，如硬盘或固态硬盘。但是，在某些情况下，使用异构存储可以
一抹鱼肚白·2023-03-20 07:06

部署Flink1.15集群

Flink1.15集群文章目录***部署Flink1.15集群***一、准备工作1、准备3台Linux机器2、下载Java8、最好下载Java11（注意：这里为了照顾已经下载Java8的同志）3、安装Hadoop
BrotherXu·2023-03-19 11:59

Flink CDC + Hudi + Hive + Presto构建实时数据湖最佳实践

Flink1.13.1Scala2.11CDH6.2.0Hadoop3.0.0Hive2.1.1Hudi0.10(master)PrestoDB0.256Mysql5.72.集群服务器基础环境2.1Maven和JDK环境版本2.2Hadoop
大数据技术架构·2023-03-19 11:26

Flink部署之Yarn

安装Hadoop集群，Hadoop建议选择Hadoop2.7.5以上版本。配置集群节点服务器间时间同步以及免密登录，关闭防火墙。三台服务器的具体设置如下：节点服务器1，IP地址为192.168.8
Joker_Jiang3·2023-03-19 11:39

flinkcdc抽取oracle数据（oracle cdc详细文档）

yarn模式需要搭建hadoop集群，该模式主要依靠hadoop的yarn资源调度来实现flink的高可用，达到资源的充分利用和合理分配。一般用于生产环境。
ask_baidu·2023-03-19 11:06

Linux系统搭建hadoop高性能集群（二）

关于此篇之前，我们对hadoop高性能集群的运行平台做了部署，接下来针对hadoop集群配置作以部署。关于运行平台的部署和相关软件的资料，可在相关资料一栏下，自行提取使用。
JCLightZZ·2023-03-18 01:48

IDEA 运行hql 出现FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTas

returncode1fromorg.apache.hadoop.hive.ql.exec.mr.MapRedTask.User:xxxisnotallowedtoimpersonatexxx的错误根据报错日志知xxx用户无法模拟其他用户的身份访问Hadoop
Chandler_5·2023-03-17 14:48

Hadoop集群环境搭建

前言Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础，对Hadoop基础知识的掌握的扎实程度，会决定在大数据技术道路上走多远。这是一篇入门文章，Hadoop的学习方法很多，网上也有很多学习路线图。本文的思路是：以安装部署ApacheHadoop2.x版本为主线，来介绍Hadoop2.x的架构组成、各模块协同工作原理、技术细节。安装不是目的，通过安装认识Hadoop才是目
weare_b646·2023-03-17 08:55

Hadoop集群搭载经历之jdk配置

tips：运行hadoop的话必须在服务器上面配置jdk，提前自己下好1.将jdk传到linux在cmd里面输入[email protected]；@后面是你的Linux的ip地址；第一次需要输入yes，然后输入linux的密码。输入put命令后空格将jdk拉进会自动读取jdk路径然后按空+/；按回车就行了；等着上传完成。例putC:\Users\Admin\Downloads\jd
GetIdea·2023-03-16 20:44

一、hive的本地与远程安装

一、前提条件1、已经搭建好hadoop或hadoop集群环境二、安装步骤1、下载hive安装包[http://www.apache.org/dyn/closer.cgi/hive/]2、上传解压到/home
starlightGeek·2023-03-14 04:27

Hadoop集群间数据迁移

数据迁移1、问题描述新搭建了一套CDH5.13.1集群，需要将原apache上的数据迁移至新集群。2、数据迁移工具Distcp（分布式拷贝）用于大规模集群内部和集群之间拷贝的工具，使用Map/Reduce实现文件分发。3、迁移命令hadoopdistcp数据源目标数据源示例：hadoopdistcphdfs://dsap0:9000/user/hive/warehouse/XX/XXhdfs://
朱佳宇·2023-03-13 00:16

ImportError: No module named bson.int64问题排查

背景在基于hadoop集群的spark2环境中，使用python编写任务。groupByKeys后，对value进行处理的时候，处理函数fun需要一个参数。
slowrabbit·2023-03-12 14:24

使用JAVA-API访问开启kerberos集群下的HDFS

使用API访问开启安全Kerberos的Hdfshadoop集群(cdh集群)在开启kerberos安全认证方式后，通常如果在集群shell客户端通过hadoopdfs命令访问的，经过kinit登录kerberos
__元昊__·2023-03-11 03:48

gg oracle tjs 同步_【腾云阁】基于OGG的Oracle与Hadoop集群准实时同步介绍

Oracle里存储的结构化数据导出到Hadoop体系做离线计算是一种常见数据处置手段。近期有场景需要做Oracle到Hadoop体系的实时导入，这里以此案例做以介绍。Oracle作为商业化的数据库解决方案，自发性的获取数据库事务日志等比较困难，故选择官方提供的同步工具OGG(OracleGoldenGate)来解决。安装与基本配置环境说明软件配置角色数据存储服务及版本OGG版本IP源服务器Orac
weixin_39781550·2023-03-11 01:08

ogg oracle hadoop,基于OGG的MySQL与Hadoop集群准实时同步介绍

在线QQ客服：1922638专业的SQLServer、MySQL数据库同步软件Oracle里存储的结构化数据导出到Hadoop体系做离线计算是一种常见数据处置手段。近期有场景需要做Oracle到Hadoop体系的实时导入，这里以此案例做以介绍。Oracle作为商业化的数据库解决方案，自发性的获取数据库事务日志等比较困难，故选择官方提供的同步工具OGG(OracleGoldenGate)来解决。环境
weixin_39623805·2023-03-11 01:07

mysql ogg kafka,基于OGG的MySQL与Hadoop集群／kafka准实时同步

在线QQ客服：1922638专业的SQLServer、MySQL数据库同步软件Oracle里存储的结构化数据导出到Hadoop体系做离线计算是一种常见数据处置手段。近期有场景需要做Oracle到Hadoop体系的实时导入，这里以此案例做以介绍。Oracle作为商业化的数据库解决方案，自发性的获取数据库事务日志等比较困难，故选择官方提供的同步工具OGG(OracleGoldenGate)来解决。环境
扣酱的星星眼·2023-03-11 01:06

ogg oracle hadoop,OGG的Oracle与Hadoop集群准实时同步详解

Oracle里存储的结构化数据导出到Hadoop体系做离线计算是一种常见数据处置手段。近期有场景需要做Oracle到Hadoop体系的实时导入，这里以此案例做以介绍。Oracle作为商业化的数据库解决方案，自发性的获取数据库事务日志等比较困难，故选择官方提供的同步工具OGG(OracleGoldenGate)来解决。安装与基本配置环境说明软件配置角色数据存储服务及版本OGG版本IP源服务器Orac
余生.Yue·2023-03-11 01:05

ogg oracle 测试kafka_基于OGG的Oracle与Hadoop集群／kafka准实时同步

Oracle里存储的结构化数据导出到Hadoop体系做离线计算是一种常见数据处置手段。近期有场景需要做Oracle到Hadoop体系的实时导入，这里以此案例做以介绍。Oracle作为商业化的数据库解决方案，自发性的获取数据库事务日志等比较困难，故选择官方提供的同步工具OGG(OracleGoldenGate)来解决。安装与基本配置环境说明软件配置角色数据存储服务及版本OGG版本IP源服务器Orac
Gabriel 彭子傑·2023-03-11 01:04

Zookeeper集群和Hadoop集群安装（保姆级教程）

1.HAHA（HeighAvailable）高可用解决单点故障，保证企业服务7*24小时不宕机单点故障：某个节点宕机导致整个集群的宕机Hadoop的HANameNode存在单点故障的可能，需要配置HA解决引入第二个NameNode作为备份同步两个NameNode的数据在第一个NameNode宕机后启用第二个NameNodeHA架构2.ZookeeperZookeeper是一个分布式服务器框架提供了
_woami·2023-03-10 03:49

Hadoop学习（一）虚拟机搭建hadoop集群

虚拟机环境操作系统：centos7内存分配：2g硬盘分配：30g预计搭建集群数：3搭建单机环境关闭防火墙自己机器为了方便，公司环境为了安全请开放相应端口关闭防火墙systemctlstopfirewalld.service禁用防火墙systemctldisabledfirewalld.service查看防火墙systemctlstatusfirewalld.service修改ipvi/etc/sy
LiJinQuanan·2023-03-09 23:19

Hadoop的三大核心组件之HDFS和YARN、MapReduce

Hadoop的三大核心组件之HDFS和YARNHadoop集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。
清风羽·2023-03-09 07:37

Hadoop高可用(HA)集群搭建

而Zookeeper是一个分布式协调服务，Zookeeper即可用来保证Hadoop集群的高可用性。
five小点心·2023-03-09 07:03

【大数据实验】06：MapReduce操作

MapReduce操作OVERVIEWMapReduce操作实验环境一、WordCount单词计数1.实验内容2.实验原理3.实验步骤（1）启动Hadoop集群（2）准备数据文件（3）创建Map/Reduce
hello world 999·2023-02-28 08:27

七、大数据技术之Hadoop（MapReduce）

MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并行运行在一个Hadoop集群上。
@我不是大鹏·2023-02-28 08:49

大数据之 Hadoop （MapReduce）

MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。
Felix-Li·2023-02-28 08:12

大数据技术之Hadoop（MapReduce）

Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上
DHRJFH·2023-02-28 07:34

大数据 Spark 架构

大数据Spark架构一．Spark的产生背景起源1.spark特点1.1轻量级快速处理Saprk允许传统的hadoop集群中的应用程序在内存中已100倍的速度运行即使在磁盘上也比传统的hadoop快10
起飞后的菜鸟·2023-02-26 07:19

Hive sql : 查询连续登录天数

2.在Hive中建表在Hive中进行操作，首先启动Hadoop集群环境，进入到Hadoop安装目录，sbin/start-dfs.sh，jps查看Hadoop集群有无正常启动正常启动后，输入hiv
free youreself·2023-02-26 06:06

初识Hadoop，走进大数据世界

后续文章中会继续分享Hadoop的组件、MapReduce、HDFS、HBase、Flume、Pig、Spark、Hadoop集群管理系统以及案例项目等。
叫我二蛋·2023-02-24 03:34

hadoop集群搭建（超详细版）

1.准备好需要安装的软件虚拟机VMware12.pro操作系统CentOS6.5远程控制虚拟机的终端SecureCRT8.12.在虚拟机中安装CentOS操作系统安装好虚拟机，图形界面如下图创建新的虚拟机，选择自定义（高级），点击下一步虚拟机硬件兼容性默认，浏览需要安装的CentOS6.5镜像文件自定义用户名和密码（用于登录）设置虚拟机名称和存储路径处理器设置默认（后面可以修改），内存设为1GB网
普通网友·2023-02-23 14:32

Hadoop集群搭建

文章目录一、运行环境配置(所有节点)1、基础配置2、配置Host二、依赖软件安装(101节点)1、安装JDK2、安装Hadoop(root)3、Hadoop目录结构三、本地运行模式（官方WordCount）1、简介2、本地运行模式（官方WordCount）四、完全分布式运行模式1、文件分发脚本(root)2、SSH免密登录设置3、同步文件4、集群节点资源配置4.1核心配置文件(core-site.
ha_lydms·2023-02-23 03:58

Centos7搭建hadoop3.3.4分布式集群

1、背景最近在学习hadoop，本文记录一下，怎样在Centos7系统上搭建一个3个节点的hadoop集群。2、集群规划hadoop集群是由2个集群构成的，分别是hdfs集群和yarn集群。
·2023-02-21 13:09

hadoop考试应急

采集、存储管理、处理分析、隐私和安全计算模式：批处理、流、图、查询分析计算Hadoop处理架构了解就好2007年，雅虎在Sunnyvale总部建立了M45——一个包含了4000个处理器和1.5PB容量的Hadoop
愿！106·2023-02-19 19:53

flink on yarn之per-job方式部署超时的一种解决方法

前提：flink版本：1.10.0zk集群hadoop集群一、flink-session方式在yarn中启动一个长久运行的flink集群，提交任务时都提交到这个flink-session集群中运行，适合小任务
半缘_1ec0·2023-02-19 08:21

腾讯云搭建伪分布式Hadoop集群

所谓伪分布式模式，就是一种单机模式。实际情况中只有一个节点（主机），适合于学习，但不适用于实际的开发环境。这也是官方提供的模式之一。具体的配置过程也可以参照https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html环境：腾讯云服务器一台（单核2G内存，50G硬盘，1M带宽）Ub
Manfestain·2023-02-18 22:21

ketlle windows下的安装

无论数据存储在平面文件、关系数据库、Hadoop集群、NoSQL数据
利伊奥克儿·2023-02-18 13:29

（二）Hadoop集群配置安装

集群规划hadoop配置安装.pngNameNode、ResourceManager、SecondaryNameNode三者分别放在三个节点上，因为都要占用内存的资源，不要重复出现在一个节点上。插一句--在secureCRT7.3版本上，如果使用xterm模式，那么小键盘在vim编辑器里就不能使用，这时做如下配置：SessionOptionn–>Terminal—>Emulation–>modes
JayWolf·2023-02-18 12:11

hadoop集群环境搭建

1介绍1.1系统版本介绍此文档编写使用的系统为ubuntu-18.04.1-live-server-amd64.iso版本。1.2软件版本介绍软件版本jdkjdk-8u181-linux-x64.tar.gzhadoophadoop-2.7.7.tar.gz1.3ubuntu集群服务器主机名IP地址服务Master10.168.1.216ResourceManager、SecondaryNameN
吟风者·2023-02-18 09:49

Hadoop集群多次格式化导致容量分配为0不能导入数据

目录遇到问题解决问题验证处理情况查看集群状态遇到问题使用hadoopfs-put命令上传文件发现失败，报了以下错误：03/01/1915:18:03WARNhdfs.DFSClient:DataStreamerExceptionorg.apache.hadoop.ipc.RemoteException(java.io.IOException):File/home/input/file1.txt._
boonya·2023-02-18 07:48

Hadoop上传文件到hdfs报错:org.apache.hadoop.ipc.RemoteException(java.io.IOException)

搭建好Hadoop集群之后使用hdfs命令上传文件到hdfs报错：hdfsdfs-putjn_gaj_lgxx.csv/input报错内容如下所示：[root@masterlocal]#hdfsdfs-putjn_gaj_lgxx.csv
总要冲动一次·2023-02-18 07:17

hadoop 2.10.0 以docker的方式进行集群安装

三台主机，通过运行三个docker实例，主机名和ip分别规划如下：master:172.18.0.3slave1:172.18.0.4slave2:172.18.0.5其中master作为hadoop集群的主节点
喜欢海的大叔·2023-02-18 02:04

大数据开发面试题目

Hadoop集群的搭建过程至少自己集群的配置.框架的技术选型是不是都要清楚的明明白白。Hadoop优化HDFS小文件的影响.输入输入时的小文
QLchuan·2023-02-17 18:06

一篇文章教你自建hadoop集群迁移到EMR

自建集群要迁移到EMR集群，往往需要迁移已有数据。本文主要介绍hdfs数据和hivemeta数据如何迁移。前置已按需求创建好EMR集群。迁移hdfs数据主要依靠distcp,核心是打通网络，确定hdfs参数和要迁移内容，测速，迁移。网络需要自建集群和EMR各个节点网络互通。同为VPC网络只需要同一个安全组，不同的安全组需要设置安全组互通。如果自建集群是经典网络，EMR集群是vpc，网络访问需要设置
丨程序之道丨·2023-02-17 12:33

ganglia安装配置（监控hadoop)

环境：系统CentOS6.0hadoop集群中有3台服务器server01->master192.168.255.128server02->slave192.168.255.130server03->slave192.168.255.131
聊码·2023-02-17 11:42

Hadoop从入门到精通33：MapReduce核心原理之Shuffle过程分析

在安装Hadoop集群的时候，我们在yarn-site.xml文件中配置了MapReduce的运行方式为yarn.nodemanager.aux-services=mapreduce_shuffle。
金字塔下的小蜗牛·2023-02-17 08:58

Linux常用命令(Hadoop)

文章目录hdfs命令行显示磁盘使用率查看并输出文件末尾1kb的数据查看系统中的目录和文件创建文件上传文件下载文件删除文件移动文件夹在master启动Hadoop集群[zkpk@master~]$start-all.shhdfs
CMCJR·2023-02-07 11:25

【大数据】第二章：搭建Hadoop集群（送尚硅谷大数据笔记）

两个常见面试题：1，Hadoop集群中常见的端口Hadoop2.xNameNode内部端口：8020/9000NameNod
DragonZhuCn·2023-02-06 19:03

Linux系统搭建hadoop高性能集群（一）

关于此篇（题外话）目前，作者也还是一名默默无闻的大学生，之所以写这篇文章，主要是最近接到了不少朋友的求助，他们在搭建hadoop集群时，出现了不少的问题，以至于无法成功搭建。
JCLightZZ·2023-02-06 11:03
上一页 15 16 17 18 19 20 21 22 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他