Hadoop集群

CentOS 6虚拟机Hadoop安装教程

所以我结合了这些博客内容和老师的讲解写了下面这一份教程，这些操作都是本人经过尝试确认过没有问题的操作（如果有问题的话希望大家能够指出）在安装中有什么注意点我都会提，希望能够对各位有帮助在hadoophadoophadoop
UserOrz·2023-03-28 19:28

一、CDH6.2大数据平台安装手册

一、集群规划实际工作中搭建CDH集群的话，原则上来说，机子越多越好，如果资源有限的话，建议前期最好4台机子，4台机子的话，针对hadoop集群而言可以设置为1主3从，如果考虑到HA的话，就需要最少5台机子
阿靖哦·2023-03-28 16:25

hadoop大数据教程 hadoop视频教程培训 hadoop最新实战教程

视频下载地址：http://demo.liuy88.cn/jp0858.html-------------------课程目录-------------------第一天hadoop的基本概念伪分布式hadoop
天涯海角的小水滴·2023-03-28 11:02

Hadoop集群搭载经历之linux配置ip

tips：我选择的是centos7最小化安装。1.查看并配置windows网卡（vmware的虚拟网卡）1.0安装虚拟机时要采用nat网络方式，桥接方式在校园网的环境下很难进行上网，因为需要在命令行下进行校园网登录和需要多个校园网账号。vmware安装虚拟机时.png1.1在CMD中输入ipcofig，并且找到（VMwareNetworkAdapterVMnet8这块网卡，一般有三块）前提是安装v
GetIdea·2023-03-28 04:29

大数据学习——Hadoop集群伪分布模式的搭建（超详细）

Hadoop集群伪分布模式的搭建JunLeon——gobigorgohome目录Hadoop集群伪分布模式的搭建1、配置免密登录2、HDFS的配置、启动与停止（配置文件均在hadoop的主目录下操作）（
IT路上的军哥·2023-03-26 18:11

java.io.FileNotFoundException: File does not exist: hdfs://xxx

一、产生问题背景我们公司正在准备从cdh迁回社区版hadoop集群，启动flink任务的时候，还未运行就直接报错：Causedby:org.apache.flink.yarn.YarnClusterDescriptor
FishMAN__·2023-03-26 11:39

Hadoop配置Kerberos互信

当Hadoop集群开启Kerberos后，跨集群访问需要配置Kerberoscross-realm(跨域访问)。
凡尔Issac·2023-03-26 07:12

Hadoop集群实操总结

/etc/hosts文件配置多台主机名映射关系，需要保证各节点完全一致4.启动zookeeper集群集群规划治理：hadoop集群规划其中，在01，02上部署namenode，02standby，03-
洛神独舞·2023-03-26 04:06

Hue 入门

HadoopUserExperience（Hadoop用户体验），直白来说就一个开源的ApacheHadoopUI系统，它是基于PythonWeb框架Django实现的，通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop
djm猿·2023-03-26 01:24

解决-使用阿里云主机部署hadoop集群无法启动

使用阿里云主机部署hadoop集群，主节点出现namenode无法启动，secondnamenode可以启动，检查logs日志，发现在core-site.xml中配置的8020端口占用，将该端口强行干掉之后
付晓聪·2023-03-25 21:26

自学大数据第七天~Hadoop集群的部署与使用

Hadoop集群的部署与使用部署之前先了解一下各个组件的作用NameNode是什么?
CodeMartain·2023-03-25 17:21

Hadoop Yarn集群中节点全是localhost

Hadoop集群部署后，出现Yarn的节点都是localhost，从而找不到其他的Node下发任务，出现如下的错误。
TalkTalk战术·2023-03-24 13:14

Hadoop大数据存算分离下，如何解决新旧存储共存？

在传统的ApacheHadoop集群系统中，计算和存储资源是紧密耦合的，HDFS为大数据存储带来便利的同时，也面临着一些挑战：当存储空间或计算资源不足时，只能同时对两者进行扩容。
XSKY星辰天合·2023-03-24 02:41

如何使用JMX_Expoter+Prometheus+Grafana监控Hadoop集群

JMX_Expoter监控因为目前CDH以及HDP后续要合并闭源，公司打算花时间自研一个类似的平台，我也对集群监控这块下了点功夫。监控对于一个集群管理平台，首当其冲的就是其中的监控如何实现，毕竟很多时候我们打开它只是因为邮箱里收到了报警:-)，那么我们应该如何获取Hadoop等集群的信息呢？这时候需要简单了解一个知识点了：JMX。我们简单介绍一下Java的JMX是什么，JMX全程叫做JavaMan
Mengkai Liu·2023-03-23 20:32

hadoop 集群监测_【集群监控】JMX exporter+Prometheus+Grafana监控Hadoop集群

下载jmx_exporter的jar包创建配置文件namenode.yaml(datanode.yaml)放在任意位置，内容为你想要的metrics参考配置：---startDelaySeconds:0hostPort:master:1234#master为本机IP(一般可设置为localhost)；1234为想设置的jmx端口(可设置为未被占用的端口)#jmxUrl:service:jmx:rm
weixin_39851977·2023-03-23 20:28

Hadoop监控文章收藏整理

参考文章：Hadoop集群一般需要关注的几个重要指标HDFS监控背后那些事儿，构建Hadoop监控共同体HowtomonitorHadoopmetrics深入AmbariMetrics机制分析Ambarigrafanadashboard
Java小田·2023-03-23 19:14

大数据之Hadoop_Yarn的基本介绍,及入门程序的书写

Yarn的基本介绍Yarn:分布式资源调度平台和任务交互平台.主要负责在hadoop集群中管理各节点的cpu.内存.磁盘(IO),网络的使用情况,实时监控集群中每台机器的运算资源,合理分配资源,及任务进度的监控
普罗米修斯之火·2023-03-23 19:58

Hive 体系架构

Hive为C/S模式，其体系架构如下：HiveHive使用的数据在HDFS中，Hive的HQL将转为MR、Tez或Spark后，在Hadoop集群上运行。
JOEL-T99·2023-03-23 17:22

Centos6.8搭建Hadoop集群

Hadoop下载Hadoop官网Hadoop官网选择的版本下载连接Hadoop安装配置准备内容1.虚拟机3台(centos6.9)2.配置在同一网段服务器配置1.配置hosts(三台机子同样配置)192.168.0.101node1192.168.0.102node2192.168.0.103node32.配置JDK1.8(/etc/profile)JAVA_HOME=/usr/java/jdk1
playman·2023-03-23 08:22

用于生产环境Hadoop集群的搭建

01基本要求集群搭建，包含HadoopHA，hive，sqoop，spark及dolphinescheduler。生产可用的大数据平台，应当包含存储（hdfs）、元数据管理（hive）、计算（mr、tez、spark、flink)、资源管理（yarn）等大数据组件，以及调度系统（dolphinscheduler），运维监控系统等。所有软件均使用hadoop用户安装。服务转发域名采用服务名.hado
兴趣使然的码基·2023-03-23 02:23

大数据 -- Hadoop集群环境搭建

首先我们来认识一下HDFS，HDFS（HadoopDistributedFileSystem）Hadoop分布式文件系统。它其实是将一个大文件分成若干块保存在不同服务器的多个节点中。通过联网让用户感觉像是在本地一样查看文件，为了降低文件丢失造成的错误，它会为每个小文件复制多个副本（默认为三个），以此来实现多机器上的多用户分享文件和存储空间。Hadoop主要包含三个模块：HDFS模块：HDFS负责大
weixin_30387663·2023-03-23 02:19

Hadoop集群安装和搭建（从零开始超级超级详细的过程）（上）

Hadoop集群安装和搭建（从零开始超级超级详细的过程）（上）目录Hadoop集群安装和搭建（从零开始超级超级详细的过程）（上）前言一、Hadoop项目结构二、Hadoop安装方式三、VMware虚拟网络设置
派大星子fff·2023-03-23 02:17

sqoop的环境搭建（超详细）

pwd=v78g提取码：v78g在安装sqoop的环境之前需要有hadoop集群的环境基础，如果小伙伴还没有完成had
浩林ovo·2023-03-23 01:24

Hadoop 3.1.3 分布式集群搭建，超详细，保姆级教程

Hadoop3.1.3分布式集群搭建，超详细，保姆级教程1.环境准备2jdk1.8安装2.1卸载虚拟机自带的JDK2.2安装JDK1.83.在hadoop102安装Hadoop集群3.1集群安装准备3.2
姜之糖·2023-03-22 17:25

Hadoop集群---方便的脚本

目录为什么编写脚本？myhadoop.sh群起集群、关闭集群脚本1、配置2、启用jpsall查看三台主机进程脚本1、配置2、启用xsync分发脚本1、配置2、启用为什么编写脚本？方便myhadoop.sh群起集群、关闭集群脚本1、配置在root/bin目录下创建脚本(在这个目录下方便全局使用)vimmyhadoop.sh把以下代码粘贴进去，一定要修改主机名，按照自己的需求修改，比如我的NameNo
樱桃气质丸·2023-03-21 17:22

计算机毕业设计PySpark+LSTM+Hadoop招聘推荐系统 招聘大数据 招聘数据分析 协同过滤算法(基于物品+基于用户) 招聘可视化大屏 就业推荐系统 就业数据分析(大屏+支付+短信+爬虫...

Spark_Java_API、Spark_SQL数据可视化：echarts爬虫(数据源)：Python、requests机器学习：协同过滤算法(基于用户、基于物品全部实现)、LSTM情感分析中间件：Spark集群、Hadoop
计算机毕业设计大神·2023-03-21 02:25

Hadoop集群安装部署

一、概述随着互联网的发展，各行各业的快速发展，大数据爆炸的时代，数据处理显得越来越重要了，因此学习大数据的分析也是让各位IT人员极为重要了。学习大数据的基础，就得从hadoop开始，后续要学习到的kafka、Hbase、Hive、flink等，都会多少使用到这个hadoop的相关内容，特别是HDFS和YARN两大组件功能。后续我们是先搭建hadoop的安全分布式环境。二、环境准备1、服务器准备，为
路过的南国风·2023-03-20 22:53

Hbase三节点集群搭建

安装前的准备搭建好Hadoop集群以及Zookeeper集群Hadoop集群的搭建参考：Hadoop三节点集群搭建Zookeeper集群的搭建参考：Zookeeper三节点集群搭建安装中用到的软件包hbase
HideOnStream·2023-03-20 17:30

Hadoop异构存储（冷热数据分离）

Hadoop异构存储是指在Hadoop集群中，使用不同种类的存储设备来存储数据。通常情况下，Hadoop集群中的所有节点都使用相同的存储设备，如硬盘或固态硬盘。但是，在某些情况下，使用异构存储可以
一抹鱼肚白·2023-03-20 07:06

部署Flink1.15集群

Flink1.15集群文章目录***部署Flink1.15集群***一、准备工作1、准备3台Linux机器2、下载Java8、最好下载Java11（注意：这里为了照顾已经下载Java8的同志）3、安装Hadoop
BrotherXu·2023-03-19 11:59

Flink CDC + Hudi + Hive + Presto构建实时数据湖最佳实践

Flink1.13.1Scala2.11CDH6.2.0Hadoop3.0.0Hive2.1.1Hudi0.10(master)PrestoDB0.256Mysql5.72.集群服务器基础环境2.1Maven和JDK环境版本2.2Hadoop
大数据技术架构·2023-03-19 11:26

Flink部署之Yarn

安装Hadoop集群，Hadoop建议选择Hadoop2.7.5以上版本。配置集群节点服务器间时间同步以及免密登录，关闭防火墙。三台服务器的具体设置如下：节点服务器1，IP地址为192.168.8
Joker_Jiang3·2023-03-19 11:39

flinkcdc抽取oracle数据（oracle cdc详细文档）

yarn模式需要搭建hadoop集群，该模式主要依靠hadoop的yarn资源调度来实现flink的高可用，达到资源的充分利用和合理分配。一般用于生产环境。
ask_baidu·2023-03-19 11:06

Linux系统搭建hadoop高性能集群（二）

关于此篇之前，我们对hadoop高性能集群的运行平台做了部署，接下来针对hadoop集群配置作以部署。关于运行平台的部署和相关软件的资料，可在相关资料一栏下，自行提取使用。
JCLightZZ·2023-03-18 01:48

IDEA 运行hql 出现FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTas

returncode1fromorg.apache.hadoop.hive.ql.exec.mr.MapRedTask.User:xxxisnotallowedtoimpersonatexxx的错误根据报错日志知xxx用户无法模拟其他用户的身份访问Hadoop
Chandler_5·2023-03-17 14:48

Hadoop集群环境搭建

前言Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础，对Hadoop基础知识的掌握的扎实程度，会决定在大数据技术道路上走多远。这是一篇入门文章，Hadoop的学习方法很多，网上也有很多学习路线图。本文的思路是：以安装部署ApacheHadoop2.x版本为主线，来介绍Hadoop2.x的架构组成、各模块协同工作原理、技术细节。安装不是目的，通过安装认识Hadoop才是目
weare_b646·2023-03-17 08:55

Hadoop集群搭载经历之jdk配置

tips：运行hadoop的话必须在服务器上面配置jdk，提前自己下好1.将jdk传到linux在cmd里面输入[email protected]；@后面是你的Linux的ip地址；第一次需要输入yes，然后输入linux的密码。输入put命令后空格将jdk拉进会自动读取jdk路径然后按空+/；按回车就行了；等着上传完成。例putC:\Users\Admin\Downloads\jd
GetIdea·2023-03-16 20:44

一、hive的本地与远程安装

一、前提条件1、已经搭建好hadoop或hadoop集群环境二、安装步骤1、下载hive安装包[http://www.apache.org/dyn/closer.cgi/hive/]2、上传解压到/home
starlightGeek·2023-03-14 04:27

Hadoop集群间数据迁移

数据迁移1、问题描述新搭建了一套CDH5.13.1集群，需要将原apache上的数据迁移至新集群。2、数据迁移工具Distcp（分布式拷贝）用于大规模集群内部和集群之间拷贝的工具，使用Map/Reduce实现文件分发。3、迁移命令hadoopdistcp数据源目标数据源示例：hadoopdistcphdfs://dsap0:9000/user/hive/warehouse/XX/XXhdfs://
朱佳宇·2023-03-13 00:16

ImportError: No module named bson.int64问题排查

背景在基于hadoop集群的spark2环境中，使用python编写任务。groupByKeys后，对value进行处理的时候，处理函数fun需要一个参数。
slowrabbit·2023-03-12 14:24

使用JAVA-API访问开启kerberos集群下的HDFS

使用API访问开启安全Kerberos的Hdfshadoop集群(cdh集群)在开启kerberos安全认证方式后，通常如果在集群shell客户端通过hadoopdfs命令访问的，经过kinit登录kerberos
__元昊__·2023-03-11 03:48

gg oracle tjs 同步_【腾云阁】基于OGG的Oracle与Hadoop集群准实时同步介绍

Oracle里存储的结构化数据导出到Hadoop体系做离线计算是一种常见数据处置手段。近期有场景需要做Oracle到Hadoop体系的实时导入，这里以此案例做以介绍。Oracle作为商业化的数据库解决方案，自发性的获取数据库事务日志等比较困难，故选择官方提供的同步工具OGG(OracleGoldenGate)来解决。安装与基本配置环境说明软件配置角色数据存储服务及版本OGG版本IP源服务器Orac
weixin_39781550·2023-03-11 01:08

ogg oracle hadoop,基于OGG的MySQL与Hadoop集群准实时同步介绍

在线QQ客服：1922638专业的SQLServer、MySQL数据库同步软件Oracle里存储的结构化数据导出到Hadoop体系做离线计算是一种常见数据处置手段。近期有场景需要做Oracle到Hadoop体系的实时导入，这里以此案例做以介绍。Oracle作为商业化的数据库解决方案，自发性的获取数据库事务日志等比较困难，故选择官方提供的同步工具OGG(OracleGoldenGate)来解决。环境
weixin_39623805·2023-03-11 01:07

mysql ogg kafka,基于OGG的MySQL与Hadoop集群／kafka准实时同步

在线QQ客服：1922638专业的SQLServer、MySQL数据库同步软件Oracle里存储的结构化数据导出到Hadoop体系做离线计算是一种常见数据处置手段。近期有场景需要做Oracle到Hadoop体系的实时导入，这里以此案例做以介绍。Oracle作为商业化的数据库解决方案，自发性的获取数据库事务日志等比较困难，故选择官方提供的同步工具OGG(OracleGoldenGate)来解决。环境
扣酱的星星眼·2023-03-11 01:06

ogg oracle hadoop,OGG的Oracle与Hadoop集群准实时同步详解

Oracle里存储的结构化数据导出到Hadoop体系做离线计算是一种常见数据处置手段。近期有场景需要做Oracle到Hadoop体系的实时导入，这里以此案例做以介绍。Oracle作为商业化的数据库解决方案，自发性的获取数据库事务日志等比较困难，故选择官方提供的同步工具OGG(OracleGoldenGate)来解决。安装与基本配置环境说明软件配置角色数据存储服务及版本OGG版本IP源服务器Orac
余生.Yue·2023-03-11 01:05

ogg oracle 测试kafka_基于OGG的Oracle与Hadoop集群／kafka准实时同步

Oracle里存储的结构化数据导出到Hadoop体系做离线计算是一种常见数据处置手段。近期有场景需要做Oracle到Hadoop体系的实时导入，这里以此案例做以介绍。Oracle作为商业化的数据库解决方案，自发性的获取数据库事务日志等比较困难，故选择官方提供的同步工具OGG(OracleGoldenGate)来解决。安装与基本配置环境说明软件配置角色数据存储服务及版本OGG版本IP源服务器Orac
Gabriel 彭子傑·2023-03-11 01:04

Zookeeper集群和Hadoop集群安装（保姆级教程）

1.HAHA（HeighAvailable）高可用解决单点故障，保证企业服务7*24小时不宕机单点故障：某个节点宕机导致整个集群的宕机Hadoop的HANameNode存在单点故障的可能，需要配置HA解决引入第二个NameNode作为备份同步两个NameNode的数据在第一个NameNode宕机后启用第二个NameNodeHA架构2.ZookeeperZookeeper是一个分布式服务器框架提供了
_woami·2023-03-10 03:49

Hadoop学习（一）虚拟机搭建hadoop集群

虚拟机环境操作系统：centos7内存分配：2g硬盘分配：30g预计搭建集群数：3搭建单机环境关闭防火墙自己机器为了方便，公司环境为了安全请开放相应端口关闭防火墙systemctlstopfirewalld.service禁用防火墙systemctldisabledfirewalld.service查看防火墙systemctlstatusfirewalld.service修改ipvi/etc/sy
LiJinQuanan·2023-03-09 23:19

Hadoop的三大核心组件之HDFS和YARN、MapReduce

Hadoop的三大核心组件之HDFS和YARNHadoop集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。
清风羽·2023-03-09 07:37

Hadoop高可用(HA)集群搭建

而Zookeeper是一个分布式协调服务，Zookeeper即可用来保证Hadoop集群的高可用性。
five小点心·2023-03-09 07:03
上一页 15 16 17 18 19 20 21 22 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他