hadoop集群

Hadoop集群实操总结

/etc/hosts文件配置多台主机名映射关系，需要保证各节点完全一致4.启动zookeeper集群集群规划治理：hadoop集群规划其中，在01，02上部署namenode，02standby，03-
洛神独舞·2023-03-26 04:06

Hue 入门

HadoopUserExperience（Hadoop用户体验），直白来说就一个开源的ApacheHadoopUI系统，它是基于PythonWeb框架Django实现的，通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop
djm猿·2023-03-26 01:24

解决-使用阿里云主机部署hadoop集群无法启动

使用阿里云主机部署hadoop集群，主节点出现namenode无法启动，secondnamenode可以启动，检查logs日志，发现在core-site.xml中配置的8020端口占用，将该端口强行干掉之后
付晓聪·2023-03-25 21:26

自学大数据第七天~Hadoop集群的部署与使用

Hadoop集群的部署与使用部署之前先了解一下各个组件的作用NameNode是什么?
CodeMartain·2023-03-25 17:21

Hadoop Yarn集群中节点全是localhost

Hadoop集群部署后，出现Yarn的节点都是localhost，从而找不到其他的Node下发任务，出现如下的错误。
TalkTalk战术·2023-03-24 13:14

Hadoop大数据存算分离下，如何解决新旧存储共存？

在传统的ApacheHadoop集群系统中，计算和存储资源是紧密耦合的，HDFS为大数据存储带来便利的同时，也面临着一些挑战：当存储空间或计算资源不足时，只能同时对两者进行扩容。
XSKY星辰天合·2023-03-24 02:41

如何使用JMX_Expoter+Prometheus+Grafana监控Hadoop集群

JMX_Expoter监控因为目前CDH以及HDP后续要合并闭源，公司打算花时间自研一个类似的平台，我也对集群监控这块下了点功夫。监控对于一个集群管理平台，首当其冲的就是其中的监控如何实现，毕竟很多时候我们打开它只是因为邮箱里收到了报警:-)，那么我们应该如何获取Hadoop等集群的信息呢？这时候需要简单了解一个知识点了：JMX。我们简单介绍一下Java的JMX是什么，JMX全程叫做JavaMan
Mengkai Liu·2023-03-23 20:32

hadoop 集群监测_【集群监控】JMX exporter+Prometheus+Grafana监控Hadoop集群

下载jmx_exporter的jar包创建配置文件namenode.yaml(datanode.yaml)放在任意位置，内容为你想要的metrics参考配置：---startDelaySeconds:0hostPort:master:1234#master为本机IP(一般可设置为localhost)；1234为想设置的jmx端口(可设置为未被占用的端口)#jmxUrl:service:jmx:rm
weixin_39851977·2023-03-23 20:28

Hadoop监控文章收藏整理

参考文章：Hadoop集群一般需要关注的几个重要指标HDFS监控背后那些事儿，构建Hadoop监控共同体HowtomonitorHadoopmetrics深入AmbariMetrics机制分析Ambarigrafanadashboard
Java小田·2023-03-23 19:14

大数据之Hadoop_Yarn的基本介绍,及入门程序的书写

Yarn的基本介绍Yarn:分布式资源调度平台和任务交互平台.主要负责在hadoop集群中管理各节点的cpu.内存.磁盘(IO),网络的使用情况,实时监控集群中每台机器的运算资源,合理分配资源,及任务进度的监控
普罗米修斯之火·2023-03-23 19:58

Hive 体系架构

Hive为C/S模式，其体系架构如下：HiveHive使用的数据在HDFS中，Hive的HQL将转为MR、Tez或Spark后，在Hadoop集群上运行。
JOEL-T99·2023-03-23 17:22

Centos6.8搭建Hadoop集群

Hadoop下载Hadoop官网Hadoop官网选择的版本下载连接Hadoop安装配置准备内容1.虚拟机3台(centos6.9)2.配置在同一网段服务器配置1.配置hosts(三台机子同样配置)192.168.0.101node1192.168.0.102node2192.168.0.103node32.配置JDK1.8(/etc/profile)JAVA_HOME=/usr/java/jdk1
playman·2023-03-23 08:22

用于生产环境Hadoop集群的搭建

01基本要求集群搭建，包含HadoopHA，hive，sqoop，spark及dolphinescheduler。生产可用的大数据平台，应当包含存储（hdfs）、元数据管理（hive）、计算（mr、tez、spark、flink)、资源管理（yarn）等大数据组件，以及调度系统（dolphinscheduler），运维监控系统等。所有软件均使用hadoop用户安装。服务转发域名采用服务名.hado
兴趣使然的码基·2023-03-23 02:23

大数据 -- Hadoop集群环境搭建

首先我们来认识一下HDFS，HDFS（HadoopDistributedFileSystem）Hadoop分布式文件系统。它其实是将一个大文件分成若干块保存在不同服务器的多个节点中。通过联网让用户感觉像是在本地一样查看文件，为了降低文件丢失造成的错误，它会为每个小文件复制多个副本（默认为三个），以此来实现多机器上的多用户分享文件和存储空间。Hadoop主要包含三个模块：HDFS模块：HDFS负责大
weixin_30387663·2023-03-23 02:19

Hadoop集群安装和搭建（从零开始超级超级详细的过程）（上）

Hadoop集群安装和搭建（从零开始超级超级详细的过程）（上）目录Hadoop集群安装和搭建（从零开始超级超级详细的过程）（上）前言一、Hadoop项目结构二、Hadoop安装方式三、VMware虚拟网络设置
派大星子fff·2023-03-23 02:17

sqoop的环境搭建（超详细）

pwd=v78g提取码：v78g在安装sqoop的环境之前需要有hadoop集群的环境基础，如果小伙伴还没有完成had
浩林ovo·2023-03-23 01:24

Hadoop 3.1.3 分布式集群搭建，超详细，保姆级教程

Hadoop3.1.3分布式集群搭建，超详细，保姆级教程1.环境准备2jdk1.8安装2.1卸载虚拟机自带的JDK2.2安装JDK1.83.在hadoop102安装Hadoop集群3.1集群安装准备3.2
姜之糖·2023-03-22 17:25

Hadoop集群---方便的脚本

目录为什么编写脚本？myhadoop.sh群起集群、关闭集群脚本1、配置2、启用jpsall查看三台主机进程脚本1、配置2、启用xsync分发脚本1、配置2、启用为什么编写脚本？方便myhadoop.sh群起集群、关闭集群脚本1、配置在root/bin目录下创建脚本(在这个目录下方便全局使用)vimmyhadoop.sh把以下代码粘贴进去，一定要修改主机名，按照自己的需求修改，比如我的NameNo
樱桃气质丸·2023-03-21 17:22

计算机毕业设计PySpark+LSTM+Hadoop招聘推荐系统 招聘大数据 招聘数据分析 协同过滤算法(基于物品+基于用户) 招聘可视化大屏 就业推荐系统 就业数据分析(大屏+支付+短信+爬虫...

Spark_Java_API、Spark_SQL数据可视化：echarts爬虫(数据源)：Python、requests机器学习：协同过滤算法(基于用户、基于物品全部实现)、LSTM情感分析中间件：Spark集群、Hadoop
计算机毕业设计大神·2023-03-21 02:25

Hadoop集群安装部署

一、概述随着互联网的发展，各行各业的快速发展，大数据爆炸的时代，数据处理显得越来越重要了，因此学习大数据的分析也是让各位IT人员极为重要了。学习大数据的基础，就得从hadoop开始，后续要学习到的kafka、Hbase、Hive、flink等，都会多少使用到这个hadoop的相关内容，特别是HDFS和YARN两大组件功能。后续我们是先搭建hadoop的安全分布式环境。二、环境准备1、服务器准备，为
路过的南国风·2023-03-20 22:53

Hbase三节点集群搭建

安装前的准备搭建好Hadoop集群以及Zookeeper集群Hadoop集群的搭建参考：Hadoop三节点集群搭建Zookeeper集群的搭建参考：Zookeeper三节点集群搭建安装中用到的软件包hbase
HideOnStream·2023-03-20 17:30

Hadoop异构存储（冷热数据分离）

Hadoop异构存储是指在Hadoop集群中，使用不同种类的存储设备来存储数据。通常情况下，Hadoop集群中的所有节点都使用相同的存储设备，如硬盘或固态硬盘。但是，在某些情况下，使用异构存储可以
一抹鱼肚白·2023-03-20 07:06

部署Flink1.15集群

Flink1.15集群文章目录***部署Flink1.15集群***一、准备工作1、准备3台Linux机器2、下载Java8、最好下载Java11（注意：这里为了照顾已经下载Java8的同志）3、安装Hadoop
BrotherXu·2023-03-19 11:59

Flink CDC + Hudi + Hive + Presto构建实时数据湖最佳实践

Flink1.13.1Scala2.11CDH6.2.0Hadoop3.0.0Hive2.1.1Hudi0.10(master)PrestoDB0.256Mysql5.72.集群服务器基础环境2.1Maven和JDK环境版本2.2Hadoop
大数据技术架构·2023-03-19 11:26

Flink部署之Yarn

安装Hadoop集群，Hadoop建议选择Hadoop2.7.5以上版本。配置集群节点服务器间时间同步以及免密登录，关闭防火墙。三台服务器的具体设置如下：节点服务器1，IP地址为192.168.8
Joker_Jiang3·2023-03-19 11:39

flinkcdc抽取oracle数据（oracle cdc详细文档）

yarn模式需要搭建hadoop集群，该模式主要依靠hadoop的yarn资源调度来实现flink的高可用，达到资源的充分利用和合理分配。一般用于生产环境。
ask_baidu·2023-03-19 11:06

Linux系统搭建hadoop高性能集群（二）

关于此篇之前，我们对hadoop高性能集群的运行平台做了部署，接下来针对hadoop集群配置作以部署。关于运行平台的部署和相关软件的资料，可在相关资料一栏下，自行提取使用。
JCLightZZ·2023-03-18 01:48

IDEA 运行hql 出现FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTas

returncode1fromorg.apache.hadoop.hive.ql.exec.mr.MapRedTask.User:xxxisnotallowedtoimpersonatexxx的错误根据报错日志知xxx用户无法模拟其他用户的身份访问Hadoop
Chandler_5·2023-03-17 14:48

Hadoop集群环境搭建

前言Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础，对Hadoop基础知识的掌握的扎实程度，会决定在大数据技术道路上走多远。这是一篇入门文章，Hadoop的学习方法很多，网上也有很多学习路线图。本文的思路是：以安装部署ApacheHadoop2.x版本为主线，来介绍Hadoop2.x的架构组成、各模块协同工作原理、技术细节。安装不是目的，通过安装认识Hadoop才是目
weare_b646·2023-03-17 08:55

Hadoop集群搭载经历之jdk配置

tips：运行hadoop的话必须在服务器上面配置jdk，提前自己下好1.将jdk传到linux在cmd里面输入[email protected]；@后面是你的Linux的ip地址；第一次需要输入yes，然后输入linux的密码。输入put命令后空格将jdk拉进会自动读取jdk路径然后按空+/；按回车就行了；等着上传完成。例putC:\Users\Admin\Downloads\jd
GetIdea·2023-03-16 20:44

一、hive的本地与远程安装

一、前提条件1、已经搭建好hadoop或hadoop集群环境二、安装步骤1、下载hive安装包[http://www.apache.org/dyn/closer.cgi/hive/]2、上传解压到/home
starlightGeek·2023-03-14 04:27

Hadoop集群间数据迁移

数据迁移1、问题描述新搭建了一套CDH5.13.1集群，需要将原apache上的数据迁移至新集群。2、数据迁移工具Distcp（分布式拷贝）用于大规模集群内部和集群之间拷贝的工具，使用Map/Reduce实现文件分发。3、迁移命令hadoopdistcp数据源目标数据源示例：hadoopdistcphdfs://dsap0:9000/user/hive/warehouse/XX/XXhdfs://
朱佳宇·2023-03-13 00:16

ImportError: No module named bson.int64问题排查

背景在基于hadoop集群的spark2环境中，使用python编写任务。groupByKeys后，对value进行处理的时候，处理函数fun需要一个参数。
slowrabbit·2023-03-12 14:24

使用JAVA-API访问开启kerberos集群下的HDFS

使用API访问开启安全Kerberos的Hdfshadoop集群(cdh集群)在开启kerberos安全认证方式后，通常如果在集群shell客户端通过hadoopdfs命令访问的，经过kinit登录kerberos
__元昊__·2023-03-11 03:48

gg oracle tjs 同步_【腾云阁】基于OGG的Oracle与Hadoop集群准实时同步介绍

Oracle里存储的结构化数据导出到Hadoop体系做离线计算是一种常见数据处置手段。近期有场景需要做Oracle到Hadoop体系的实时导入，这里以此案例做以介绍。Oracle作为商业化的数据库解决方案，自发性的获取数据库事务日志等比较困难，故选择官方提供的同步工具OGG(OracleGoldenGate)来解决。安装与基本配置环境说明软件配置角色数据存储服务及版本OGG版本IP源服务器Orac
weixin_39781550·2023-03-11 01:08

ogg oracle hadoop,基于OGG的MySQL与Hadoop集群准实时同步介绍

在线QQ客服：1922638专业的SQLServer、MySQL数据库同步软件Oracle里存储的结构化数据导出到Hadoop体系做离线计算是一种常见数据处置手段。近期有场景需要做Oracle到Hadoop体系的实时导入，这里以此案例做以介绍。Oracle作为商业化的数据库解决方案，自发性的获取数据库事务日志等比较困难，故选择官方提供的同步工具OGG(OracleGoldenGate)来解决。环境
weixin_39623805·2023-03-11 01:07

mysql ogg kafka,基于OGG的MySQL与Hadoop集群／kafka准实时同步

在线QQ客服：1922638专业的SQLServer、MySQL数据库同步软件Oracle里存储的结构化数据导出到Hadoop体系做离线计算是一种常见数据处置手段。近期有场景需要做Oracle到Hadoop体系的实时导入，这里以此案例做以介绍。Oracle作为商业化的数据库解决方案，自发性的获取数据库事务日志等比较困难，故选择官方提供的同步工具OGG(OracleGoldenGate)来解决。环境
扣酱的星星眼·2023-03-11 01:06

ogg oracle hadoop,OGG的Oracle与Hadoop集群准实时同步详解

Oracle里存储的结构化数据导出到Hadoop体系做离线计算是一种常见数据处置手段。近期有场景需要做Oracle到Hadoop体系的实时导入，这里以此案例做以介绍。Oracle作为商业化的数据库解决方案，自发性的获取数据库事务日志等比较困难，故选择官方提供的同步工具OGG(OracleGoldenGate)来解决。安装与基本配置环境说明软件配置角色数据存储服务及版本OGG版本IP源服务器Orac
余生.Yue·2023-03-11 01:05

ogg oracle 测试kafka_基于OGG的Oracle与Hadoop集群／kafka准实时同步

Oracle里存储的结构化数据导出到Hadoop体系做离线计算是一种常见数据处置手段。近期有场景需要做Oracle到Hadoop体系的实时导入，这里以此案例做以介绍。Oracle作为商业化的数据库解决方案，自发性的获取数据库事务日志等比较困难，故选择官方提供的同步工具OGG(OracleGoldenGate)来解决。安装与基本配置环境说明软件配置角色数据存储服务及版本OGG版本IP源服务器Orac
Gabriel 彭子傑·2023-03-11 01:04

Zookeeper集群和Hadoop集群安装（保姆级教程）

1.HAHA（HeighAvailable）高可用解决单点故障，保证企业服务7*24小时不宕机单点故障：某个节点宕机导致整个集群的宕机Hadoop的HANameNode存在单点故障的可能，需要配置HA解决引入第二个NameNode作为备份同步两个NameNode的数据在第一个NameNode宕机后启用第二个NameNodeHA架构2.ZookeeperZookeeper是一个分布式服务器框架提供了
_woami·2023-03-10 03:49

Hadoop学习（一）虚拟机搭建hadoop集群

虚拟机环境操作系统：centos7内存分配：2g硬盘分配：30g预计搭建集群数：3搭建单机环境关闭防火墙自己机器为了方便，公司环境为了安全请开放相应端口关闭防火墙systemctlstopfirewalld.service禁用防火墙systemctldisabledfirewalld.service查看防火墙systemctlstatusfirewalld.service修改ipvi/etc/sy
LiJinQuanan·2023-03-09 23:19

Hadoop的三大核心组件之HDFS和YARN、MapReduce

Hadoop的三大核心组件之HDFS和YARNHadoop集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。
清风羽·2023-03-09 07:37

Hadoop高可用(HA)集群搭建

而Zookeeper是一个分布式协调服务，Zookeeper即可用来保证Hadoop集群的高可用性。
five小点心·2023-03-09 07:03

【大数据实验】06：MapReduce操作

MapReduce操作OVERVIEWMapReduce操作实验环境一、WordCount单词计数1.实验内容2.实验原理3.实验步骤（1）启动Hadoop集群（2）准备数据文件（3）创建Map/Reduce
hello world 999·2023-02-28 08:27

七、大数据技术之Hadoop（MapReduce）

MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并行运行在一个Hadoop集群上。
@我不是大鹏·2023-02-28 08:49

大数据之 Hadoop （MapReduce）

MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。
Felix-Li·2023-02-28 08:12

大数据技术之Hadoop（MapReduce）

Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上
DHRJFH·2023-02-28 07:34

大数据 Spark 架构

大数据Spark架构一．Spark的产生背景起源1.spark特点1.1轻量级快速处理Saprk允许传统的hadoop集群中的应用程序在内存中已100倍的速度运行即使在磁盘上也比传统的hadoop快10
起飞后的菜鸟·2023-02-26 07:19

Hive sql : 查询连续登录天数

2.在Hive中建表在Hive中进行操作，首先启动Hadoop集群环境，进入到Hadoop安装目录，sbin/start-dfs.sh，jps查看Hadoop集群有无正常启动正常启动后，输入hiv
free youreself·2023-02-26 06:06

初识Hadoop，走进大数据世界

后续文章中会继续分享Hadoop的组件、MapReduce、HDFS、HBase、Flume、Pig、Spark、Hadoop集群管理系统以及案例项目等。
叫我二蛋·2023-02-24 03:34
上一页 15 16 17 18 19 20 21 22 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他