Hadoop集群

Hadoop学习之MapReduce分布式计算框架

maven）3.新建一个包mapreduce，在该包中新建三个包4.写mapper组件5.写Reducer组件6.写Driver组件7.运行结果二、集群模式词频统计1.准备用于单词计数的文件夹和文件2.上传至hadoop
平平无奇秃头小天才·2023-06-20 01:27

分布式计算框架——MapReduce

编写好的程序可以提交到Hadoop集群上用于并行处理大规模的数据集。
Cynicism_Kevin·2023-06-20 01:24

hadoop集群三之hive安装

这里记录下自己使用虚拟机详细安装hive的过程，在安装hive之前需要保证咋们已经安装好了hadoop，没有的话可以参考我之前的安装的流程安装mysql#更新密钥rpm--importhttps://repo.mysql.com/RPM-GPG-KEY-mysql-2022#安装Mysqlyum库rpm-Uvhhttp://repo.mysql.com//mysql57-community-rel
皮皮虾不皮呀·2023-06-19 16:49

hdfs集群的扩容和缩容

1、背景当我们的hadoop集群运行了一段时间之后，原有的数据节点的容量已经不能满足我们的存储了，这个时候就需要往集群中增加新的数据节点。此时我们就需要动态的对hdfs集群进行扩容操作(节点服役)。
·2023-06-19 12:55

HDFS Balancer负载均衡器

1、背景当我们的hadoop集群运行了一段时间之后，各个DataNode上的数据分布并不一定是均匀分布的。比如说：我们向现有集群中添加了一个新的DataNode。
·2023-06-19 12:24

KafKa 3.x（一、入门）

javase，熟悉linux，熟悉idea，熟悉hadoop1.KafKa1.1KafKa定义前端埋点记录用户（浏览，点赞，收藏，评论）到日志服务器，然后通过Flume（小于100m/s）将大日志文件导入到Hadoop
xy294636185·2023-06-19 10:31

2023-04-17移动云苏州研究所java开发面试

大数据平台底层一般以Hadoop集群做存储，也就是用hdfs，为提高数据计算速度，会引入spark，因为spark是主要在内存中完成计算，所以计算速
志起计算机编程·2023-06-19 03:42

大数据技术学习分享：Hadoop集群同步

给大家带来的技术分享是——Hadoop集群同步。一、同步方式选择一个机器，作为时间服务器(这里选择hadoop01)，所有的机器与这台集群时间进行定时的同步，比如，每隔十分钟，同步一次时间。
千_锋小小千·2023-06-18 05:03

配置Kettle连接大数据HDFS

需求：配置Kettle连接大数据HDFSKettle对接大数据平台的配置一．软件环境1.Hadoop集群,版本：Hadoop3.3.02.ETL工具Kettle，版本：pdi-ce-7.0.0.0-25
墨染盛夏呀·2023-06-17 17:27

k8s部署 elk（Elasticsearch,Kibana,Logstash,Redis,Filebea）

、filebeat收集数据四、logstash过滤数据五、elasticsearch存储数据+nfs做存储（自动注册pv详见前文）六、kibana展示数据七、验证安装一、nfs存储参考链接：k8s配置hadoop
疯飙的蜗牛·2023-06-17 12:57

Hive学习

Hive查询操作过程严格遵守HadoopMapReduce的作业执行模型，Hive将用户的HiveQL语句通过解释器转换为提交到Hadoop集群上，Had
明月清风，良宵美酒·2023-06-17 11:36

基于docker的Hadoop集群下实现最小生成树的mapreduce程序

01.技术背景在本文中，将为读者详细介绍如下内容：如何部署基于docker的hadoop开发环境mapreduce的基本开发流程与基本知识java开发的一些基本知识最小生成树算法相关的知识。文章中假定您已经具有如下知识背景：了解并掌握docker的相关操作开发过程中Linux相关的知识java的基本知识算法相关的基本知识，如图、树等基本概念在环境搭建与开发过程中，需要用到的资源如下：Hadoop安
奋羊羊·2023-06-17 01:48

Hive CLI启动报错Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

Unabletoinstantiateorg.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClientBackgroundSolutionBackground在Hadoop
江畔独步·2023-06-16 17:59

Hadoop配置之 开启不了 8088、19888端口

8088端口（一般）对应Hadoop集群监控的ResourceManager19888端口（一般）对应MapReduceJobHistoryServer问题描述：分别执行start-dfs.shstart-yarn.shmr-jobhistory-damon.sh
飞花落雨·2023-06-16 12:54

Hadoop集群之模板虚拟机的安装

Hadoop集群之模板虚拟机的安装文章目录Hadoop集群之模板虚拟机的安装0.写在前面1.CentOS的安装1.1配置电脑1.1.1进入VMware1.1.2自定义新的虚拟机1.1.3解决虚拟机的兼容性
WHYBIGDATA·2023-06-16 10:56

Hadoop三大组件之HDFS

阅读本文之前，默认已经搭建好了Hadoop集群。
夜间沐水人·2023-06-16 09:40

hadoop-3.2.1全分布式安装教程

3.2.1.tar.gz2、安装hadoop-3.2.13、配置hadoop-3.2.14、启动hadoop-3.2.1并验证，浏览器中输入http://172.16.5.129:8088/cluster查看hadoop
夜间沐水人·2023-06-16 09:40

【Hadoop技术篇】hadoop的使用

1.集群简介HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。HDFS集群负责海量数据的存储
chad__chang·2023-06-16 03:53

广告数仓：采集通道创建

系列文章目录广告数仓：采集通道创建文章目录系列文章目录前言一、环境和模拟数据准备1.hadoop集群2.mysql安装3.生成曝光测试数据二、广告管理平台数据采集1.安装DataX2.上传脚本生成器3.
超哥--·2023-06-15 22:30

大数据技术之Hadoop（MapReduce）

MapReduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。1.2MapReduce优缺点1.2.1优点1）MapRed
猫腻余腥·2023-06-15 21:12

大数据处理架构Hadoop

Hadoop概述Hadoop简介Hadoop的特性Hadoop项目架构Hadoop的安装和使用Hadoop的安装方式Hadoop的安装配置（单机/伪分布式）SSH登录权限设置单机安装配置伪分布式安装配置Hadoop
so.far_away·2023-06-15 14:03

CENTO OS上的网络安全工具（二十二）Spark HA swarm容器化集群部署

在Hadoop集群swarm部署的基础上，我们更进一步，把Spark也拉进来。相对来说，在Hadoop搞定的情况下，Spark就简单多了。
lhyzws·2023-06-15 13:50

CENTOS上的网络安全工具（二十四）Windows下的Hadoop+Spark编程环境构建

前面我们搭建了hadoop集群，spark集群，也利用容器构建了spark的编程环境。但是一般来说，就并行计算程序的开发，一刚开始一般是在单机上的，比如hadoop的singlenode。
lhyzws·2023-06-15 13:20

linux搭建hadoop集群

linux搭建hadoop集群1、创建4台虚拟机2、修改主机名3、配置网络4、配置hosts文件5、分配本地网络给虚拟机6、下载jdk，hadoop压缩包7、用xftp传输到虚拟机8、配置jdk9、配置
旧林墨烟·2023-06-15 08:26

Hadoop yarn运行机制及调度过程知识

hadoop主要组件有hdfs、yarn，hdfs是分布式文件系统，主要是进行文件的存储，而yarn是hadoop集群资源管理系统，支持分布式计算模式，下面将介绍yarn的运行和调度过程。
稻草人_d41b·2023-06-15 02:45

k8s 配置hadoop集群，nfs作为存储

目录一、简介二、nfs服务&nfs-provisioner配置1、k8S服务器需安装nfs客户端2、nfs服务端安装配置3、使用nfs-provisioner动态创建PV（文件已修改）三、hadoop配置文件1、#cathadoop.yaml2、#cathadoop-datanode.yaml3、#catyarn-node.yaml4、执行文件并查看5、联通性验证四、报错&解决1、nfs报错2、n
疯飙的蜗牛·2023-06-15 01:38

使用VMware 搭建hadoop 集群

用VMware搭建hadoop集群准备工作使用VMware创建3个Centos虚拟机graphTB;Master-->Slave1;Master-->Slave2;Master-->Slave3;将每台机器设置为静态
老教练·2023-06-14 06:46

Spark集群部署和启动与关闭

  上一篇我们讲了Hadoop集群部署和启动与关闭，今天我们讲一下Spark集群部署和启动与关闭。
想你依然心痛·2023-06-14 01:15

Hadoop集群搭建

Linux集群搭建1、新建虚拟机创建一个centos镜像，命名为hadoop1，剩下两个待基础环境配置好后，直接克隆即可2、基础环境配置hadoop：Indexof/dist/hadoop/common/hadoop-2.7.3(apache.org)JDK:：JavaArchive|Oracle1.1、JDK安装目录：/usr/local①解压tar-zxvfjdk-8u102-linux-x6
Sentiment.·2023-06-14 00:00

Hadoop集群搭建

Hadoop集群搭建Hadoop集群简介Hadoop集群：HDFS集群，YARN集群两个集群逻辑上分离，通常物理在一起两个集群都是标准主从集群HDFS分布式存储主角色NameNode从角色DataNode
Rkun18·2023-06-14 00:00

大数据目录

基础部分：Linux从零开始——常用命令配置Java环境变量修改主机名Linux之间传输文件配置SSH免密登录Hadoop集群安装Centos搭建Hadoop集群（对前五项进行整合）Linux安装Scala
iFulling·2023-06-13 13:39

Hadoop集群部署和启动与关闭

  Hadoop集群的部署方式分为三种，分别是独立模式（Standalonemode）、伪分布式模式（Pseudo-Distributedmode）和完全分布式模式（Clustermode），独立模式和伪分布式模式主要用于学习和调试
想你依然心痛·2023-06-13 09:19

hadoop集群的安装与配置(问题解决)

在实验中遇到的问题及解决问题1：配置好公钥后，ssh连接时仍然需要密码解决：查看相关日志后发现authorized_keys文件因为是自己创建的，所以权限不符合要求，把权限改成600即可问题2：启动hadoop
漠–·2023-06-13 08:37

大数据组件笔记 -- Hadoop

文章目录一、Hadoop入门1.1基础架构1.2大数据生态圈二、Hadoop集群部署2.1准备2.2配置2.3启动2.4监控页面三、HDFS3.1组成架构3.2HDFSShell3.3HDFS客户端3.4HDFS
L小Ray想有腮·2023-06-13 04:02

hive之beeline连接与操作

hive之beeline连接与操作一、连接配置1.连接测试1.1前提1.2启动hive服务1.3测试连接2.问题解决1.解决方式2.连接二、操作1.beeline操作一、连接配置1.连接测试1.1前提hadoop
桃橙柳·2023-06-13 03:02

数据仓库ods层是啥意思_一文读懂大数据仓库建设

文章标签：数据仓库ods层是啥意思版权从传统数仓到大数据平台，MPP数据集市，Hadoop集群，还有混合架构数仓，一直在不断演进，但是万变不离其宗，大框架和方法论终归是那一套。
zxfBdd·2023-06-12 20:10

23、hadoop集群中yarn运行mapreduce的内存、CPU分配调度计算与优化

Hadoop系列文章目录1、hadoop3.1.4简单介绍及部署、简单验证2、HDFS操作-shell客户端3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等）-java4、HDFS-java操作类HDFSUtil及junit测试（HDFS的常见操作以及HA环境的配置）5、HDFSAPI的RESTful风格–We
一瓢一瓢的饮 alanchan·2023-06-12 12:36

大数据高频面试题

Hadoop1.x，2x，3.x的区别Hadoop集群工作时启动哪些进程?它们有什么作用?在集群计算的时候，什么是集群的主要瓶颈搭建Hadoop集群的xml文件有哪些?
添柴少年yyds·2023-06-11 14:13

大数据 | （六）Hadoop集群启停脚本

知识目录一、前言二、Hadoop集群启停脚本2.1启停脚本及其背景2.2使用方法三、jps脚本四、关机脚本五、结语一、前言hello，大家好！
初心%·2023-06-11 09:03

Hadoop集群简介

Hadoop集群整体概述：Hadoop集群包括两个集群：HDFS集群、YARN集群两个集群逻辑上分离(两个集群互相之间没有依赖、互不影响)、通常物理上在一起(某些角色进程往往部署在同一台物理服务器上)两个集群都是标准的主从架构集群
尤所不同·2023-06-11 03:43

HBase介绍 HBase和HDFS的联系 HBase和RDBMS的联系

HBase总览概念：Hbase是建立在Hadoop文件系统（HDFS）之上面向列的分布式数据库.HBase：运行在Hadoop集群上的Apache开源数据库。
只会摆烂的小亮·2023-06-11 03:06

Hadoop架构组成

架构概念：HDFS架构采用主从式架构，是一种Master-Slave结构Master------NameNodeSlave------DataNode结构：Client（客户端）作为资源请求的载体，想Hadoop
只会摆烂的小亮·2023-06-11 02:25

【大数据工具】HBase 集群搭建与基本使用

HBase集群搭建HBase安装包下载地址：https://archive.apache.org/dist/hbase/安装HBase的前提：ZooKeeper集群OKHadoop集群OK1.HBase
程序员胖五·2023-06-10 17:18

【Hive】安装配置及导入Hdfs数据

知识目录一、写在前面二、Hive的安装与配置✨2.1Hive简介2.2上传与解压2.3拷贝MySQL驱动2.4hive-site.xml文件2.5启动hive三、导入Hdfs数据到Hive✨3.1修改Hadoop
初心%·2023-06-10 13:25

Hadoop 集群 常见问题

本文所有的问题都是Hadoop集群（2台以上机器）里遇到的问题。如果是单机模式，本文不一定有参考意义。
盲狙小堡垒·2023-06-10 11:13

如何关闭RunJar进程

一、提出问题：Hadoop集群运行mapreduce程序后JPS出现很多个RunJar，如下图二、解决方法：[root@node1]#ps-ef|grepRunJar查看后台进程（可能有很多条）：第二个数据就是进程代码
Pseudo-love453·2023-06-10 09:56

Permission denied: user=dr.who, access=READ_EXECUTE, inode=“/tmp“:root:supergroup:drwxrwx---

一、提出问题：Hadoop集群上tmp文件夹上方出现红色代码串“Permissiondenied:user=dr.who,access=READ_EXECUTE,inode="/tmp":root:supergroup
Pseudo-love453·2023-06-10 09:56

大数据面试题汇总

Hadoop1.x，2x，3.x的区别Hadoop集群工作时启动哪些进程?它们有什么作用?在集群计算的时候，什么是集群的主要瓶颈搭建Hadoop集群的xml文件有哪些?
添柴少年yyds·2023-06-10 04:33

python hadoop的应用_hadoop python api

使用mrjob编写的MapReduce作业可以在本地测试，在Hadoop集群上运行，或...文章python人工智能命理2
weixin_39914938·2023-06-09 16:15

如何在docker内搭建hadoop集群

直接使用机器部署hadoop集群十分痛苦，还没到运行wordcount，就被各种nodemanager、datanode、namenode之中各种出问题搞得头昏脑胀。
szper·2023-06-09 10:45
上一页 10 11 12 13 14 15 16 17 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他