HADOOP集群

0201hdfs集群部署-hadoop-大数据学习

问题集8.1InvalidURIforNameNodeaddress(checkfs.defaultFS):file:///hasnoauthority.结语1前言下面我们配置下单namenode节点hadoop
gaog2zh·2023-08-28 06:31

Hive原理剖析

提供类似SQL的HiveQueryLanguage语言操作结构化数据，其基本原理是将HQL语言自动转换成MapReduce任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。
Hello.Reader·2023-08-27 18:33

大数据学习之MapReduce

Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上。2.MapReduce优缺点优点MapReduce易于编程。
在远方的你等我·2023-08-27 17:45

Hadoop集群搭建（伪分布式）

集群搭建hadoop伪分布式软件准备：VMwareWorkstationProcentos7xshell5jdk-8u141-linux-x64.tar.gzhadoop-2.10.1.tar.gz一.安装jdk1.首先在jdk官网中，下载jdk安装包，本文以jdk-8u141-linux-x64.tar.gz为例2.将安装包传入虚拟机中，本文以xshell5为例（1）.打开xshell5，连接上
......786·2023-08-27 15:11

（二）大数据实战——hadoop的模板虚拟机搭建

前言在实际的开发过程中，我们的hadoop都是以集群的方式存在，该系列内容我们使用vmware工具构建我们的虚拟机，从而实现hadoop集群搭建。
北溟溟·2023-08-27 15:11

大数据项目实战（Hadoop集群搭建）

一，搭建大数据集群环境1.2Hadoop集群搭建1.2.1jdk安装1.下载jdk(1)在根目录下创建三个子目录以备后用。
瑾寰·2023-08-27 15:10

大数据时代之java操作hdsf

前面已经讲过hadoop伪分布式和分布式环境搭建，参考大数据时代之Hadoop集群搭建本来想直接搞java代码操作hdfs的，想了想还是先简单的复习下命令行操作hdfs吧。
小小的人儿居然已存在·2023-08-27 11:49

饿了么大数据计算引擎实践与应用

其中6人的离线团队需要维护大数据集群规模如下：Hadoop集群规模1300+HDFS存量数据40+PB，Read3.5PB+/天，Write500TB+/天14WMRJob/天，10WSparkJob/
Alukar·2023-08-27 08:39

Ubuntu安装Hive，并使用Mysql作为元数据库

版本信息：Ubuntu：16.04JDK：1.8.0_144Hadoop：2.7.4Hive：2.1.1MySQL：5.7.22今天捣鼓了一下午关于Hadoop集群安装Hive，遇到了一些问题，在此记录下来
Hiwes·2023-08-26 17:12

Hive学习之路 （五）hive使用beeline配置远程连接

hive以hadoop集群为基础，提供hdfs的SQL支持；hive一般可以以mysql为元数据存储，默认Derby；hadoop，hive安装自行百度吧；介绍hive的远程访问：未配置之前使用beeline
hello_world!·2023-08-26 16:06

远程模式搭建Hive

在之前的博客中已经记录了三台节点搭建的hadoop集群，并在hadoop02上安装了hive，在hadoop03上安装了mysql。
QYHuiiQ·2023-08-26 16:35

YARN资源管理框架论述

一、简介为了实现一个Hadoop集群的集群共享、可伸缩性和可靠性，并消除早期MapReduce框架中的JobTracker性能瓶颈，开源社区引入了统一的资源管理框架YARN。
Hello.Reader·2023-08-26 14:24

Hadoop集群搭建(hadoop-3.3.5)

一、修改服务器配置文件1、配置环境变量vim/etc/profile#java环境变量exportJAVA_HOME=/usr/local/jdk/jdk8exportJRE_HOME=$JAVA_HOME/jreexportCLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATHexportPATH=$JAVA_HOME/bin:$JRE_HOME/bi
如我般骄傲·2023-08-26 11:37

spark连接mysql创建hive表_Apache Spark整合Hive

安装hive前提是要先安装hadoop集群，并且hive只需要在NameNode节点集群中安装即可，可以不在DataNode节点的机器上安装。
weixin_39899226·2023-08-26 09:48

yarn 资源调度

1.什么是yarnyarn是hadoop集群当中的资源管理系统模块,从hadoop2.0开始引入yarn模块,yarn可为各类计算框架(mrsparkflink)提供资源的管理和调度,主要用于管理集群当中的资源
我是玄离大人·2023-08-26 08:08

大数据项目实战-招聘网站职位分析

目录第一章：项目概述1.1项目需求和目标1.2预备知识1.3项目架构设计及技术选取1.4开发环境和开发工具1.5项目开发流程第二章：搭建大数据集群环境2.1安装准备2.2Hadoop集群搭建2.3Hive
L卡夫卡·2023-08-25 09:43

报错-hive on spark执行数据导入脚本报错

背景CentOS7.5中三台机器(hadoop102、hadoop103、hadoop104)的hadoop集群问题描述数仓建设：dwd层向dws层导入数据时，脚本执行报错报错代码FAILED:SemanticExceptionFailedtogetasparksession
dyson不只是吹风机·2023-08-24 17:52

VMware 克隆失败，提示指定的虚拟磁盘需要修复【已解决】

最近在学习搭建hadoop集群，今天克隆模板机的时候报错了，提示指定的虚拟磁盘需要进行修复，说实话一脸懵逼。话不多说，百度之。
mba1398·2023-08-23 20:35

最详细的大数据之Hadoop分布式系统架构解析！没有之一！

其最底部是HadoopDistributedFileSystem（HDFS），它存储Hadoop集群中所有存储节点上的文件。
大数据学习01·2023-08-23 18:22

Hadoop支持LZO压缩

以下是在Hadoop中使用LZO压缩的一般步骤：安装LZO库和工具：首先，需要在Hadoop集群的所有节点上安装LZO压缩库和工具。你可以从LZO官方网站或发行版的软件包管理器中获
贾斯汀玛尔斯·2023-08-23 07:32

hibench 对CDH5.13.1进行基准测试（测试项目hadoop\spark\)HDFS作HA高可靠性

使用CDH5.13.1部署了HADOOP集群之后，需要进行基准性能测试。一、hibench安装1.安装位置要求。因为是全量安装，其中有SPARK的测试（SPARK2.0）。
weixin_30262255·2023-08-23 00:44

有道云笔记bug整理hadoop集群启动但不能访问50070

这是前年搭建集群遇到的问题，特此在输出，以便于自己这种错误要长记住搭建Hadoop伪集群时，HDFS文件系统成功格式化，节点启动了，jps也有显示，但http://IP:50070就是访问不了。就是防火墙没有关闭。防火墙命令要注意分centos版本伪集群搭建采用的是CentOS7.0，而CentOS7.0默认使用的是firewall作为防火墙，可以改为iptables。Firewall：syste
纯野生程序员·2023-08-23 00:10

Ambari2.7+HDP3.0安装(基于Centos7)

1.Ambari简介ApacheAmbari项目旨在通过开发用于配置，管理和监视ApacheHadoop集群的软件来简化Hadoop管理。
小宇0926·2023-08-22 04:50

大数据hadoop 新手快速入门经典视频教程

视频下载地址：http://demo.liuy88.cn/jp1185.html第一天hadoop的基本概念伪分布式hadoop集群安装hdfsmapreduce演示01-hadoop职位需求状况.avi02
艾希MR·2023-08-22 03:20

Hadoop小结（下）

HDFS集群HDFS集群是建立在Hadoop集群之上的，由于HDFS是Hadoop最主要的守护进程，所以HDFS集群的配置过程是Hadoop集群配置过程的代表。
Zain Lau·2023-08-21 07:00

Hadoop集群运维相关笔记 hdfs参数设置调优等

文章目录1.HDFS1.1DataNode服务经常僵死描述分析解决1.2DataNode因数据盘损坏重启失败描述分析解决1.3优化HadoopBalancer平衡的速度2.HBASE2.1master服务无法启动errororinterruptwhilesplittinglogs描述分析解决Ref本篇博客将持续更新一些遇到过的Hadoop大数据集群的问题，包括HBASEHDFS的常见问题及相关的解
小鹅鹅·2023-08-20 21:08

hdoop面试题6 后面的面试题各公司面试题,算法数据结构相关面试题 后面没看 阿善有用...

配置环境变量d)修改host文件域名e)安装ssh配置无密码登录f)解压hadoopg)配置hadoopconf下面的配置文件h)Hadoopnamenode-format格式化i)Start启动2.列出hadoop
okbin1991·2023-08-19 14:24

hadoop2的集群数据将副本存储在hadoop3

在Hadoop集群中，HDFS副本是分布式存储的，会存储在不同的节点上。
荣晓·2023-08-19 10:48

Hadoop 重启流程

因原有配置密钥目录有误，需要重启Hadoop集群3个节点，Hadoop版本3.3.21、Zookeeper分别在3个节点重新启动/opt/apache-zookeeper-3.7.0-bin/bin/zkServer.shstart2
wangqiaowq·2023-08-17 14:38

CnetOS7 搭建Sqoop-1.4.7(Hadoop3.0.3+HBase+Hive+zookeeper)

1、Centos7搭建Hadoop集群参考文章地址：https://blog.csdn.net/zhouzhiwengang/article/details/945499642、CentOS7搭建HBase
在奋斗的大道·2023-08-17 09:59

实战：使用Docker部署Hadoop集群

文章目录Hadoop简介Hadoop优势Hadoop应用场景docker与docker-compose安装Hadoop集群搭建环境变量docker-compose环境文件树结构编排并运行容器运行wordcount
小沈同学呀·2023-08-17 03:32

【hadoop】windows上hadoop环境的搭建步骤

一般我们都会将hadoop集群部署在服务器上，但是作为一个资深搬砖人，我们本地环境也需要一个开发hadoop的开发环境。
小沈同学呀·2023-08-17 03:01

linux公钥 还需要密码,centos配置ssh免密码登录后仍要输入密码的解决方法

前言在搭建Linux集群服务的时候，主服务器需要启动从服务器的服务，如果通过手动启动，集群内服务器几台还好，要是像阿里1000台的云梯Hadoop集群的话，轨迹启动一次集群就得几个工程师一两天时间，是不是很恐怖
橘子说柠檬你好甜·2023-08-15 16:19

Hbase 错误：ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing 解决方案

项目场景：提示：Hadoop集群版本为3.2.2、Hbase集群版本为2.3.6、Zookeeper集群版本为3.6.3问题描述：在使用Hbase命令时，出现以下：ERROR:org.apache.hadoop.hbase.PleaseHoldException
freedom_Mr·2023-08-15 11:26

构建Hadoop集群实验

（1）在#后输入cd/home/命令，进入home目录下，在#后输入viDockerfile命令，创建并编辑一个Dockerfile文件，示例代码如下：[root@xxxhome]#viDockerfile按i（小写）键，进入编辑模式，将以下代码输入至Dockerfile文件当中。示例代码如下：FROMcentosMAINTAINERzingADDjdk-7u79-linux-x64.tar.gz
舜岳·2023-08-15 02:21

05-Hadoop集群部署(普通用户)

Hadoop集群部署（普通用户）Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式。本地模式：单机运行，只是用来演示一下官方案例。生产环境不用。
书香恋仁心·2023-08-14 12:51

在Deepin(深度)操作系统上使用docker在idea中搭建一个简单的Hadoop集群(一)

在Deepin(深度)操作系统上使用docker在idea中搭建一个简单的Hadoop集群(一)**本文将使用详细的描述和代码来展示Deepin系统下,一个包含master(主节点)+两个slave(工作节点
叶青舟·2023-08-14 12:35

大数据开发基础-环境配置篇-Hadoop集群安装

鼠鼠接下来将更新一系列自己在学习大数据开发过程中收集的资源、和自己的总结、以及面经答案、LeetCode刷题分析题解。首先是大数据开发基础篇环境搭建、组件面试题等其次是更新大数据开发面经的java面试基础最后更新一个大数据开发离线数仓的实战项目，自己写入简历的项目。关注不迷路，学习要进步！！！！！！集群规划node01node02node03角色主节点从节点从节点NameNode√DataNode
葡萄成熟时_·2023-08-14 01:19

2018-12-01 大数据学习

一开始以为是zk集群和hadoop集群的ip地址问题，因为这个集群是部署在阿里云上的，所以会有内部ip和公网ip的转换，以前在旧公司用openstack搭大数据测试集
Bitson·2023-08-13 04:38

虚拟机CentOs7配置网络 （NAT模式）

前言：创建三台虚拟机，先后配置网络IP地址，这里虚拟机的版本的是CentOS7本文适合Hadoop集群网络配置，如果电脑换了网络连不上虚拟机，以及虚拟机ping不通外网，都可以参照一下操作如需了解NAT
weixin_52593633·2023-08-12 12:34

hadoop集群的安装

1、CDH软件版本重新进行编译1、编译hadoop的原因，需要对hadoop安装包中添加以下C程序库2、编译环境的准备2.1：准备Linux环境准备一台linux环境，内存4G或以上，硬盘40G或以上，我这里使用的是Centos6.964位的操作系统2.2：虚拟机联网，关闭防火墙，关闭selinux关闭防火墙命令：serveriptablesstopchkconfigiptablesoff关闭se
我还不够强·2023-08-11 16:28

Docker安装Hadoop分布式集群

一、准备环境dockersearchhadoopdockerpullsequenceiq/hadoop-dockerdockerimages二、Hadoop集群搭建1.运行hadoop102容器dockerrun
qq_14910065·2023-08-11 11:00

Hbase伪分布式搭建与完全分布式搭建

2、完全分布式搭建前提：Hadoop集群正常运行zookeeper集群正常运行配置流程配置regionservers
南宫萧言·2023-08-11 08:23

大数据学习之Hadoop——02Hadoop集群安装

欢迎关注我的CSDN:https://blog.csdn.net/bingque6535一.Hadoop伪分布式安装：1.自身免秘钥(前提):$ssh-keygen-trsa-P''-f~/.ssh/id_rsa$cat~/.ssh/id_rsa.pub>>~/.ssh/authorized_keysimage在这里插入图片描述2.安装hadoop：解压hadoop安装包tarxfhadoop-2
Jiang锋时刻·2023-08-11 03:28

hadoop滚动重启脚本

背景再使用开源版本hadoop集群时，有配置参数修改时，需要人工修改并重启节点让配置生效，因此这里这里写了个脚本实现自动滚动重启。脚本：注意：不同版本的hadoop#!
ThomasgGx·2023-08-10 18:51

PySpark之Python版本如何选择(详细版)

问题背景公司目前有两套Spark集群和一套Hadoop集群用来做数据相关的存储和计算。Hadoop的版本是2.7，Spark两套集群，一个是2.1.0版本，一个是2.4.3版本。
eaglecolin·2023-08-10 18:36

hadoop集群：HDFS读写流程图与HDFS元数据管理机制

hadoop集群：HDFS读写流程图与HDFS元数据管理机制1，HDFS读流程客户端通过DistributedFileSystem向NameNode请求下载文件。
扎道·2023-08-09 08:52

Hadoop理论及实践-HDFS读写数据流程（参考Hadoop官网）

NameNode（主节点）：NameNode是Hadoop集群中的一个核心组件，它负责管理文件系统的命名空间和元数据。
Matrix70·2023-08-09 08:18

Ambari架构源码解析【转载】

Ambari架构源码解析1.Ambari介绍ApacheAmbari是一种基于Web的工具，支持ApacheHadoop集群的供应、管理和监控。
岁月的眸·2023-08-09 01:31

HBase Shell 操作

1、基本操作1.1、进入HBase客户端命令行前提是先启动hadoop集群和zookeeper集群。
让线程再跑一会·2023-08-09 01:00
上一页 8 9 10 11 12 13 14 15 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他