Hadoop2 第9页

大数据学习03-Hive分布式集群部部署

系统环境：centos7软件版本：jdk1.8、zookeeper3.4.8、hadoop2.8.5、hive1.1.0一、下载安装下载hive安装包，上传到linux服务器上，解压安装包tar-zxvfapache-hive

小火柴012·2023-07-19 10:03

Springboot整合HBase开发

的客户端有以下几种方式：1、原生HBaseAPI：hbase-client比较底层，需要自己进一步封装api，而且版本号和安装的hbase也要匹配，否则会报错2、Spring'sHBaseAPI：spring-data-hadoop2019

csdnzh365·2023-07-18 22:12

Docker搭建Hadoop集群

centos镜像2.基础镜像配置(基于centos构建hadoopbase镜像)3.集群环境配置1.创建3个容器2.配置网络3.配置主机和ip的映射关系4.配置3个节点的免密登录4.搭建hadoop集群1.安装hadoop2

DLoong+·2023-07-18 04:52

【大数据之Hadoop】三十七、Hadoop HA高可用

Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。

阿宁呀·2023-07-16 21:22

此时不应有 \spark-2.4.5-bin-hadoop2.7\bin\..'。

spark安装后再cmd输入pyspark时出现标题的提示原因：安装的路径有空格，如C:\ProgramFiles(x86)解决方案：安装在其他不带空格的路径，同时记得更新环境变量~~~

zengyunda·2023-07-16 07:56

Hadoop—20.网站日志分析项目案例（详解）

目录一、导入数据1、启动hadoop2、在hdfs下创建文件夹hadoop_class3、查询文件夹是否创建成功4、在hadoop_class下创建一个文件夹存放总数据5、检查是否创建成功6、在web_log

左岸2420·2023-07-16 00:50

hadoop 知识点回顾

Hadoop2.x生态系统组成hadoop组成namenode元数据服务器，属于管理层，用于管理数据的存储，主节点，存储文件的元数据，如文件名，文件目录结构，文件属性，生成时间，副本数，文件权限）及每个文件的块列表及块所在

weivi001·2023-07-15 16:17

hadoop课后题带答案（期末考试复习）

3.Hadoop2.x版本中的HDFS是由NameNode、DataNode和SecondaryNameNod

闫海南·2023-07-15 07:42

Kafka传输数据到Spark Streaming通过编写程序java、scala程序实现操作

数据内容及数据格式如下：二、前置准备工作项目环境说明LinuxUbuntu16.04jdk-7u75-linux-x64scala-2.10.4kafka_2.10-0.8.2.2spark-1.6.0-bin-hadoop2.6

piaow_·2023-07-15 02:05

Flink部署

登峰造极源于自律今天我根据以前所以学的一些文献,笔记等资料整理出一些小知识点,有不当之处,欢迎各位斧正Flink部署(两种模式)一.Standalone模式(Flink自带的)①安装解压缩flink-1.7.2-bin-hadoop27

shangbaishuyao·2023-07-15 00:12

hadoop集群搭建+hive安装

1.系统环境VMware-workstation：VMware-workstation-full-16.2.3ubuntu：ubuntu-21.10hadoop：hadoop2.7.2mysql：mysql-connector-java

THE WHY·2023-07-14 20:30

HHU云计算期末复习（上）Google、Amazon AWS、Azure

文章目录第一章概论第二章Google云计算2.1Google文件系统（GFS）2.2MapReduce和Hadoop2.3分布式锁服务Chubby2.4分布式结构化数据表Bigtable存储形式主服务器子表

丸丸丸子w·2023-07-13 21:54

apache hudi 初见

gitclonehttps://gitee.com/apache/Hudi.gitdockerpullyml文件里面的镜像然后docker-compose-fdocker-compose_hadoop284

GP0000968523·2023-07-13 20:25

基于Spark的Hive编程中，“Error:(8, 37) java: 程序包org.apache.spark.sql.api.java不存在”的解决办法

报的错误如下图所示：其实问题很简单，原因就在于spark-assembly-1.2.0-hadoop2.4.0.jar这个jar包有问题。

winfield821·2023-07-13 17:24

Hbase高可用

1.手动此时没有备用master，在hadoop2上执行以下命令hbase-daemon.shstartmaster再次刷新，发现hadoop2成了备用maste

Java小生不才·2023-06-23 20:21

flink集群的搭建及测试

本文主要是讲述flink单机版的搭建及测试前期准备jave要配置好，版本最好1,8以上首先在官网下载需要的版本，网址在下面：这次测试使用的是flink1.6.2，Hadoop2.7.2，scala2.11https

堂哥000·2023-06-23 20:41

Spark实战之读写HBase

tar.gzHadoop：hadoop-2.6.0-cdh5.4.5.tar.gzZooKeeper：zookeeper-3.4.5-cdh5.4.5.tar.gzSpark：spark-2.1.0-bin-hadoop2.61.2Spark

朝和(zixi0825)·2023-06-23 08:11

【HDFS篇11】HA高可用

Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。NameNode主要在以下两个方面影响HDFS集群NameNode机器发生意外，如宕机，集

focusbigdata·2023-06-22 07:38

Linux下mysql5.7.28安装

百度网盘请输入提取码提取码:hp2xmysql-5.7.28-1.el7.x86_64.rpm-bundle.tarmysql-connector-java-5.1.37.jar2）解压MySQL安装包[shuidi@hadoop201software

施小赞·2023-06-21 18:21

Eclipse创建包含Scala的Maven工程_Spark学习demo

1.1hadoop安装安装hadoop2.6.0，参考博客1.2spark下载下载spark-1.6.0-bin-hadoop2.6.tgz，在官网下载，在chooseadownloadtype中建议选择

DevinShuai·2023-06-21 12:53

5.Hadoop之生产调优

128*1024*1024*1024/150Byte≈9.1亿2）Hadoop2.x系列，配置NameNode内存NameNode内存默认2000m，如果服务器内存4G，NameNode内存可以配置3g

hutc_Alan·2023-06-20 17:24

datanode启动后,在web50070端口发现不到datanode节点(能力工场)

直接上问题:这两天为了试验,安装了两套集群:(1)32位hadoop1集群(5个节点);(2)64位hadoop2集群(6个节点)两个集群中都遇到过这样的问题:在namenode正常启动hadoop集群后

能力工场小马哥·2023-06-20 09:37

国内首家！主导Apache Hadoop新版本发布的，是腾讯云这位小哥哥

\\\近日，腾讯主导的ApacheHadoop2.8.4最新版本发布，为国内科技公司在国际开源领域的探索迈出重要一步。

weixin_34130389·2023-06-18 09:07

[转帖]2018年的新闻: 国内首家！腾讯主导Apache Hadoop新版本发布

ApacheHadoop新版本发布https://blog.csdn.net/weixin_34194317/article/details/88811258腾讯也挖了很多大数据的牛人啊..近日，腾讯主导的ApacheHadoop2.8.4

weixin_30426065·2023-06-18 09:37

yarn 的知识要点

yarn是一个资源调度系统，也可以视为一个在hadoop2.0平台上的插件系统，在HDFS的基础上，可以在yarn上运行多个计算框架，例如spark、sparksteaming、flink、MR等。

风暴之芽·2023-06-17 01:34

大数据技术之Hadoop（生产调优手册）

128*1024*1024*1024/150Byte≈9.1亿GMBKBByte2）Hadoop2.x系列，配置NameNode内存NameNode内存默认2000m，如果服务器内存4G，Na

猫腻余腥·2023-06-16 14:29

HDFS架构简介

可靠性：Hadoop能自动地维护数据的多份副本，并且在任务失败后重新自动部署计算任务Hadoop2.0时期的架构图Hadoop的核心组件：HDFS(分布式文件系统)、MapRe

ArthurIsUsed·2023-06-14 13:13

Spark三种模式的安装与配置

环境准备jdk1.8.0_301scala-2.11.8spark-2.4.8-bin-hadoop2.7hadoop-2.7.6（sparkonyarn时需要）当前目录:/root/***/packages

大数据ZRL·2023-06-14 10:31

Centos7安装hadoop2.7.5（单节点）

1.安装JavaJDK#编辑配置文件vim/etc/profile#添加以下内容exportJAVA_HOME=/usr/local/java/jdk1.7.0_79exportPATH=$JAVA_HOME/bin:$PATHexportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar#使环境变量生效source/etc/pro

Mr_Gao_·2023-06-14 04:37

hadoop hdfs 性能调优

.namenode一直在做fullgc,此时hdfs基本处于不可用状态,此时系统可用内存又不足,而且cpu负载很高.由于这个环境第一次接手维护.这篇文章主要总结下如何做的优化.环境:hadoop版本:Hadoop2.6.0

oo_思维天空·2023-06-13 04:23

Mac OS 安装 Hive

MacOS安装Hive一、环境说明操作系统：macOSHighSierra10.13.2hadoop版本：apachehadoop2.6.0mysql版本：mysql5.7.22hive版本：apachehive1.2.2

dehou1984·2023-06-13 03:58

Hadoop之HDFS概述

文件块大小HDFS的shell命令HDFS读写流程写数据流程HDFS读数据流程NameNode和SecondaryNameNode工作机制DataNode工作机制DataNode数据完整性如何保证端口名称Hadoop2

yanghaoplus·2023-06-12 16:09

ubuntu-16.04.3-server+spark

软件mongodb-linux-x86_64-ubuntu1604-3.6.3.tgzjdk-8u161-linux-x64.tar.gzscala-2.12.4.tgzspark-2.3.0-bin-hadoop2.7

雪_豹·2023-06-11 14:08

(Mac下）hadoop2.8.1伪分布式的搭建，以及用eclipse开发Hadoop

详细过程参考我的个人博客：liujunjie11.github.io/2017/10/01/(Mac下）hadoop2-8-1伪分布式的搭建，以及用eclipse开发Hadoop/#more

刘嘻哈哈·2023-06-10 02:44

Spark-1.安装和运行

以下基于Hadoop2.7+Spark2.4，Mac机器。三个虚拟机(一主两从）做集群。

悠扬前奏·2023-06-10 01:53

【李老师云计算】实验三：在Docker中部署Hadoop集群

索引0.前言1.Docker1.1安装Docker1.2启动Docker2.Dokcer部署Hadoop2.1设计Hadoop集群结构2.2拉取Hadoop镜像2.3★解决拉取镜像时-nospaceleftondevice

WtcSky·2023-06-09 10:36

Hadoop-3.2.3集群搭建

ipaddresshostname192.168.116.10hadoop1192.168.116.20hadoop2192.168.116.30hadoop3所有节点推荐最小化安装Centos7.9或

高龄码农创业·2023-06-09 08:32

pyspark3.1.1在linux python3.5环境下报错AttributeError: ‘NoneType‘ object has no attribute ‘items‘

我的环境版本如下：linux16.04python3.5（linux自带）Hadoop2.7java1.8_8u281按照厦门大学实验室安装教程搭建环境，当时选择了最新的spark-3.1.1版本，如图

VictorKa·2023-06-09 05:53

CentOS-7下搭建Hadoop环境

CentOS-7下搭建Hadoop环境前言安装包版本ssh免密登录环境搭建1.修改网络配置信息2.关闭防火墙3.时间同步4.设置主机名5.hosts设置6.ssh配置JAVA安装Hadoop配置文件1.解压Hadoop2

音尾漾·2023-06-08 19:24

如何对HDFS进行节点内(磁盘间)数据平衡

由于Hadoop2.x版本并不支持HDFS的磁盘间数据均衡，因此，会造成老数据磁盘占用率很高，新挂载的数据盘几乎很空。在这种情况下，挂载新的数据盘

Mumunu-·2023-06-08 12:35

Spark2.1.0的Standalone模式部署

1.下载并解压spark安装包：spark-2.1.0-bin-hadoop2.7.tgz，配置好每台机器上spark的环境变量cd/home/hadoop273/sparktar-zxvf/data/

逸笔草草·2023-06-08 11:24

spark-env.sh配置——Spark学习日记

只有Master，没有Worker修改spark-env.sh文件找到spark-env.sh位置//我的spark-env.sh位置/home/hadoopadmin/spark-2.3.1-bin-hadoop2.7

YYYYYY.·2023-06-08 08:51

【大数据工具】Spark 伪分布式、分布式集群搭建

spark/1.Spark伪分布式安装安装前提：安装Spark前需要先安装好JDK1.上传并解压Spark安装包使用fileZilla或其他文件传输工具上传Spark安装包：spark-2.1.0-bin-hadoop2.7

程序员胖五·2023-06-08 00:49

【双系统Ubuntu 22.04 安装hadoop2.10全过程】

因为手闲误删了windowsC盘的系统文件导致重装系统，又重装了四五遍Ubuntu和安装hadoop，每次都要查大量资料。这次干脆整合资源至此！（愿天下没有C盘误删）hadoop安装过程（参考[阿里云文档](https://developer.aliyun.com/adc/scenario/cf48abdfe41e4187be079722b9dc15b6?spm=a2c6h.13858378.0.

汤米尼克·2023-06-07 13:52

【Hadoop系列】（三）YARN的介绍及原理

YARN1，YARN概念YARN（YetAnotherResourceNegotiator）是自Hadoop2.0之后引入的一个新组件，统一负责集群的资源调度和管理，为MapReduce程序分配运算资源

林立可·2023-06-07 09:40

hadoop2.x源码编译环境

1.yum安装一些必要的依赖yum-yinstallxzantzlibzlib-develcyrus-sasl-developenssl-develfusesnappysnappy-devellibzstdlibzstd-develbzip2bzip2-develyasmyasm-develjava-1.8.02.安装maven：2.1下载maven包：https://archive.apache

GK_斯皮利特·2023-04-21 19:27

hadoop集群基础配置

hadoop1.0mapreduce+HDFShadoop2.0mapreduce+HDFS+YARN加入YARN使得hadoop更加包容，其他的组件也可以在hadoop生态系统中运行hadoop3.0HDFS

February13·2023-04-21 13:11

大数据hadoop课程实验总结

1一.安装hadoop本门课程使用的是centos7.264位操作系统，原生hadoop2.7.7,java1.7版本。安装centos7.2系统：创建系统的同时创建一个名为hadoop的账户。

小鹿yey·2023-04-21 03:29

hive on spark配置

作者：刘权时间：2016-08-18背景介绍1.软件版本hive:hive-0.13.1spark:spark-1.2.0-bin-hadoop2.3hadoop:hadoop-2.2.0phoenix

雨中星辰0·2023-04-20 23:01

Hive安装配置

前提条件：1.安装好hadoop2.7.3（Linux环境）；2.安装好MySQL5.7（参考：安装MySQL）推荐使用或者Xampp（Windows环境）参考Navicat通过IP连接Xampp数据库

Hadoop_Liang·2023-04-20 09:42

推荐频道

Hadoop2