hadoop2

hdfs滚动升级（rollingUpgrade ）

最近对hdfs的升级过程很感兴趣，所以准备研究下其升级的过程，本篇文章是依据官网文档进行的升级过程（地址：ApacheHadoop2.10.2–HDFSRollingUpgrade），该文章中还有关于降低的介绍
Interest1_wyt·2023-09-08 05:09

Hadoop 集中式的缓存管理demo

www.infoq.com/cn/articles/hdfs-centralized-cachehttps://blog.csdn.net/javastart/article/details/50586743从Hadoop2.3.0
orisonchan·2023-09-07 09:52

hadoop2.6.x插件在 Eclipse上 如何配置

1.在eclipse上安装hadoop插件下载hadoop-eclipse-plugin-2.6.0.jar：官方下载：下载地址实际下载地址：下载地址官方的下载链接太慢，如果有下载会更好，将下载好的插件移动到eclipse安装目录下的plugins文件夹下。然后重新启动eclispe如下图所示：
躺平的赶海人·2023-09-06 15:28

且看windows环境下Hadoop2.6.x-eclipse-plugin插件包如何下载？

这儿有一个Hadoop2.X版本对应的Hadoop插件，前往下载，下载hadoop2x-eclipse-plugin.zip。
躺平的赶海人·2023-09-06 15:58

zookeeper中上传文件的内容 作为路径的值

/solrwgethttp://archive.apache.org/dist/lucene/solr/8.1.1/solr-8.1.1.tgztar-zxvfsolr-8.1.1.tgz[root@hadoop2cloud-scripts
言之。·2023-09-05 08:20

Spark 环境安装与案例演示

Spark环境安装一、准备工作1、hadoop成功安装2、防火墙关闭二、解压安装1、上传spark安装包到/tools目录，进入tools下，执行如下命令：tar-zxvfspark-2.1.0-bin-hadoop2.7
Agatha方艺璇·2023-09-02 15:46

hadoop2.2.0伪分布式搭建

1.准备Linux环境1.0点击VMware快捷方式，右键打开文件所在位置->双击vmnetcfg.exe->VMnet1host-only->修改subnetip设置网段：192.168.1.0子网掩码：255.255.255.0->apply->ok回到windows-->打开网络和共享中心->更改适配器设置->右键VMnet1->属性->双击IPv4->设置windows的IP：192.16
小小哭包·2023-09-01 09:01

Springboot整合HBase

com.spring4allspring-boot-starter-hbaseorg.springframework.dataspring-data-hadoop-hbase2.5.0.RELEASEorg.springframework.dataspring-data-hadoop2.5.0
天道酬勤的博客·2023-08-31 16:46

Hadoop优化以及新特性

文章目录HDFS-多目录HDFS-集群扩容以及缩容HDFS故障排查NameNode数据丢失集群安全模式&磁盘修复Hadoop企业优化常用的调优参数Hadoop小文件优化方法Hadoop新特性hadoop2
GambleLife·2023-08-31 07:02

Hadoop学习——其它（集群，MR调优，数据倾斜等）

1、Hadoop2.0的高可用有两个NameNode节点，一个active，一个standby（时刻同步active的数据），从而实现高可用。
licjd·2023-08-31 07:58

[ hadoop ] 集群性能调优全面总结

计算,故障排除等多个方面的具体调优内容,先后解决HDFS,MapReduce,Yarn的常见问题,最终结合小文件问题给出了Hadoop综合调优.1HDFS调优1.1核心参数1.1.1NameNode内存Hadoop2
javastart·2023-08-31 07:27

ZooKeeper的典型应用场景及实现

、一种通用的分布式系统机器间通信方式1.5、集群管理1.6、Master选举1.7、分布式锁1.7.1、排他锁1.7.2、共享锁1.8、分布式队列2、ZooKeeper在大型分布式系统中的应用2.1、Hadoop2.2
元维时代·2023-08-30 16:31

k8s集群搭建

安装2.2设置docker加速镜像器2.4设置yum镜像源2.5安装kubeadm、kubelet和kubectl三、集群搭建3.1安装k8s所需镜像3.2在hadoop1上部署master节点3.3在hadoop2
落叶的悲哀·2023-08-30 13:58

Hive3第一章：环境安装

系列文章目录Hive3第一章：环境准备文章目录系列文章目录前言一、hive3安装1.上传文件2.配置环境变量3.修复日志错误（可忽略）4.初始化元数据库二、启动hive1.启动Hadoop2.启动hive
超哥--·2023-08-30 08:34

流数据湖平台Apache Paimon（二）集成 Flink 引擎

文章目录第2章集成Flink引擎2.1环境准备2.1.1安装Flink2.1.2上传jar包2.1.3启动Hadoop2.1.4启动sql-client2.2Catalog2.2.1文件系统2.2.2HiveCatalog2.2.3sql
Maynor996·2023-08-30 03:14

Windows环境下hadoop安装和配置详细步骤（图文）

blog.csdn.net/qq_35535690/article/details/81976032https://blog.csdn.net/wangaz521/article/details/797171771.首先下载hadoop2.7.1
yujkss·2023-08-29 10:30

Spark 下载安装配置详解文档 (spark-2.4.8-bin-hadoop2.7.tgz)

下载安装配置spark:官网地址：https://archive.apache.org/dist/spark/上传spark-2.4.8-bin-hadoop2.7.tgz解压tar-zxvfspark
BigData_001_Lz·2023-08-29 09:19

windows下hadoop的部署和使用

2、Hadoop2.8.3，下载地址：http://archive.apache.org/dist/hadoop/core/Hadoop2.8.3windows环境下的第三方包：winutils，https
落叶1210·2023-08-28 12:22

Hadoop2.4.1伪分布式搭建

一、准备Linux环境我这边是用腾讯云服务器，进行远程登录，也可以用VMwareWorkstationPro虚拟机，安装Linux系统进行操作！二、安装JDK，设置环境变量2.1下载linux-JDK,传到Linux系统中，我存在/home/ubuntu路径下2.2进行解压操作，我是放在app文件里，方便管理tar-zxvfjdk-8u511-linux-x64.tar.gz-Capp/2.3设置
有一束阳光叫温暖·2023-08-26 13:31

janusgraph 默认server使用手记

启动server（withCassandra/ES）janusgraph-0.3.0-hadoop2bin/janusgraph.shstartForkingCassandra...Running`nodetoolstatusthrift
水他·2023-08-26 12:13

hive3.1.4源码编译兼容spark3.0.0 hive on spark hadoop3.x修改源码依赖 步骤详细

spark3.0.0配置hiveonspark的时候，发现官方下载的hive3.1.2和spark3.0.0不兼容，hive3.1.2对应的版本是spark2.3.0，而spark3.0.0对应的hadoop版本是hadoop2.6
薛定谔的猫不吃猫粮·2023-08-26 09:49

【PySpark】RDD的map操作小例子

#################test.py#######################cat/Users/mparsian/spark-1.6.1-bin-hadoop2.6/test.py#!
chongjiapi1753·2023-08-26 08:54

yarn 资源调度

1.什么是yarnyarn是hadoop集群当中的资源管理系统模块,从hadoop2.0开始引入yarn模块,yarn可为各类计算框架(mrsparkflink)提供资源的管理和调度,主要用于管理集群当中的资源
我是玄离大人·2023-08-26 08:08

‘protoc --version‘ did not return a version or Hadoop2.x maven编译MojoExecutionException异常

解决下载https://repo1.maven.org/maven2/com/google/protobuf/protoc/2.5.0/放到path目录重命名为protoc.exe原因缺少protoc工具
别摸我的键盘·2023-08-25 11:16

大数据项目实战之国内大数据职位分析准备工作

bin.zipapache-tomcat-8.5.73-windows-x64.zipeclipse-jee-2021-06-R-win32-x86_64.ziphadoop.dll-and-winutils.exe-for-hadoop2.7.3
一个猪肘·2023-08-25 09:14

Hadoop 3.2.2 安装记录

环境准备：dockerrun-itd--privileged=true--network=bridge-host--ip=192.168.0.221--dns=114.114.114.114--namehadoop221
嘟嘟Listing·2023-08-24 21:39

线上问诊：业务数据采集

系列文章目录线上问诊：业务数据采集文章目录系列文章目录前言一、环境准备1.Hadoop2.Zookeeper3.Kafka4.Flume5.Mysql6.Maxwell二、业务数据采集1.数据模拟2.采集通道总结前言暑假躺了两个月
超哥--·2023-08-24 11:53

Ubuntu下Hadoop的单机安装

·注：我的操作系统环境是Ubuntu-20.04.3，安装的JDK版本为jdk1.8.0_301，安装的Hadoop版本为hadoop2.7.1。
C_Chu·2023-08-24 06:38

【hadoop系列】-windows运行hadoop报没有找到winutils.exe

CouldnotlocateHadoopexecutable:D:\tools\hadoop-3.3.3\bin\winutils.exe通过查询https://cwiki.apache.org/confluence/display/HADOOP2
科学熊·2023-08-23 18:00

“数仓”-MPP与 MR的区别

mpp计算引擎--simd(单指令多源数)--ssvm(动态编译)--smp(算子并行)--llmp()一、大数据处理框架主流的大数据处理框架包括以下三类五种：1、仅批处理框架：ApacheHadoop2
西山创罪梦不觉·2023-08-23 11:05

PySpark安装及WordCount实现（基于Ubuntu）

先盘点一下要安装哪些东西：VMwareubuntu14.04（64位）Java环境（JDK1.8）Hadoop2.7.1Spark2.4.0（Local模式）Pycharm（一）UbuntuVMware
如何原谅奋力过但无声·2023-08-22 13:37

实验三 HBase1.2.6安装及配置

系列文章目录文章目录系列文章目录前言一、HBase1.2.6的安装二、HBase1.2.6的配置2.1单机模式配置2.2伪分布式模式配置总结参考前言在安装HBase1.2.6之前，需要安装好hadoop2.7.6
r i c k·2023-08-22 07:25

hadoop2.7.5分布式集群安装

三台虚拟机192.168.79.132master192.168.79.133slave1192.168.79.134slave21.修改主机名hostnamectlset-hostname(name)2.配置主机的映射(每台都要设置)vi/etc/hosts3.设置免密码登陆ssh-keygen输入上面的命令后，按三次回车即可将密钥复制到其他机器（包括本机）ssh-copy-idmasterss
小宇0926·2023-08-22 04:51

文件管理平台

技术选型：前端：vue、element-UI后端：Java8、SpringBoot、JPA、Mybatis、Redis、MySql、Hadoop2.9（HDFS）、Elasticsearch7.8相关链接
魑魅魍魉_5a55·2023-08-21 09:45

java大数据之hadoop_ha

3）Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。4）NameNode主要在以下两个方面影响HDFS集群NameNode机器发生意外，如宕
这一刻_776b·2023-08-21 08:02

hadoop2的集群数据将副本存储在hadoop3

因此，如果您的HDFS所在路径是在Hadoop2集群中，您可以在Hadoop3集群上添加新的节点，并向Hadoop3集群中添加这些新节点上的数据副本。
荣晓·2023-08-19 10:48

搭建Spark的伪分布模式环境

搭建Spark的伪分布模式环境1、解压：tar-zxvfspark-2.1.0-bin-hadoop2.4.tgz-C~/training/2、配置参数文件:conf/spark-env.shexportJAVA_HOME
小赖同学啊·2023-08-19 05:48

Hadoop HA集群两个NameNode都是standby或者主NameNode是standby，从NameNode是active的情况集锦

文章目录背景架构HDFSHA配置错误原因解决方案方案一方案二方案三（首先查看自己各参数文件是否配置出错）后记补充failovertransitionToActive常用端口号及配置文件常用端口号hadoop3.xhadoop2
想你依然心痛·2023-08-18 07:54

Window 安装Hive

基本环境资源Hadoop:2.7.XHive:2.1.X.bin.tar.gz版本Hive:1.x.src.tar.gz源码版本第一步：windows安装Hadoop2.7.x,请参考：第二步：下载Hive.tar.gz
在奋斗的大道·2023-08-17 09:29

Hive环境搭建（保姆级教程）

目录一、Hive简介二、Hive环境安装1.准备工作1）安装Hadoop2）安装MariaDB（1）查看MariaDB安装情况（2）卸载MariaDB/MySQL（3）安装MariaDB（4）简单配置MariaDB
JJustRight·2023-08-17 06:57

【原创 Hadoop&Spark 动手实践 3】Hadoop2.7.3 MapReduce理论与动手实践

开始聊MapReduce，MapReduce是Hadoop的计算框架，我学Hadoop是从Hive开始入手，再到hdfs，当我学习hdfs时候，就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有关，我开始学习某一套技术总是想着这套技术到底能干什么，只有当我真正理解了这套技术解决了什么问题时候，我后续的学习就能逐步的加快，而学习hdfs时候我就发现，要理解hadoop框架
weixin_33812433·2023-08-14 14:09

Spark+hadoop环境配置

1.下载安装包虚拟机jdk-1.8scalasparkHadoop2.安装虚拟机和Linux3.配置jdk4.配置Hadoop4.1Hadoop单机配置5.安装scala6.配置spark7.spark
尊尊123·2023-08-13 16:40

Hadoop-3.1.3（七）YARN

hadoop2.x中，改变了JobTracker的工作机制只负责资源的调度，这样的设计方式减了JobTracker的工作负载，从而可以更专注的处理资源分配
_大叔_·2023-08-12 16:16

使用IDEA本地调试MapReduce程序

演示环境基于Hadoop2.6.5；启动HDFS与YARN高可用集群环境，可参考以下两篇博客：从0开始搭建Hadoop2.x高可用集群（HDFS篇）从0开始搭建Hadoop2.x高可用集群（YARN篇）
NickZxing·2023-08-11 08:12

Hadoop2学习路程-HDFS

什么是HadoopHDFS?Hadoop分布式文件系统是世界上最可靠的文件系统。HDFS可以再大量硬件组成的集群中存储大文件。它的设计原则是趋向于存储少量的大文件，而不是存储大量的小文件。即使在硬件发生故障的时候，HDFS也能体现出它对数据存储的可靠性。它支持高吞吐量的平行访问方式。HDFS的介绍源自于Google的GFS论文发表于2003年10月HDFS是GFS克隆版，HDFS的全称是Hadoo
Q75999·2023-08-10 09:48

Hadoop中 常用端口说明和相关配置文件

2.1配置文件分类2.2默认配置文件2.3自定义配置文件core-site.xmlhdfs-site.xmlyarn-site.xmlmapred-site.xml1.Hadoop中常用端口说明端口名称Hadoop2
广阔天地大有可为·2023-08-10 05:01

pyspark报错:FileNotFoundError: [WinError 2] 系统找不到指定的文件。

解决问题（以idea为例）:1，确认安装spark(例如本人安装的spark-2.2.0-bin-hadoop2.7)，如果没有安装的话去spark官网下载一个，并解压即可。
丑图高手·2023-08-09 04:24

Scala日志SLF4J配置

Scala日志配置scala的日志与java的基本相同，看到网上一篇入门讲解的非常详细java日志使用记录log4j使用总结,作者是习翔宇Spark默认的日志配置文件路径在spark-2.1.1-bin-hadoop2.7
巴拉巴拉朵·2023-08-08 17:45

mapreduce

aA518189/article/details/80020857MapReduce核心原理与使用https://blog.csdn.net/aA518189/article/details/79931360hadoop2.0
在路上很久了·2023-08-08 13:08

大数据学习笔记

大数据学习笔记一.概念1.传统数据处理架构2.有状态的流处理二.批处理与流处理1.批处理2.流处理三.大数据软件生态1.Hadoop2.Spark3.Flink一.概念大数据（BigData）指无法在一定时间范围内用常规软件工具进行捕捉
smilinggg·2023-08-07 04:59
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他