hadoop2.7.2

spark on yarn模式安装部署

配置spark之前，请自行部署Hadoop2.7.2，JDK1.8，ssh免密码登录等准备工作。
乖乖猪001·2023-11-30 03:56

Yarn 的三种调度器

容量调度器（CapacityScheduler）Hadoop2.7.2默认的调度器多队列：每个队列有一定的资源，每个队列采用FIFIO调度策略。
程序员 Harry·2023-11-05 09:46

flink集群的搭建及测试

本文主要是讲述flink单机版的搭建及测试前期准备jave要配置好，版本最好1,8以上首先在官网下载需要的版本，网址在下面：这次测试使用的是flink1.6.2，Hadoop2.7.2，scala2.11https
堂哥000·2023-06-23 20:41

Note04：Hadoop2.7.2 完全分布式安装配置(CentOS6.8)

虚拟机环境准备3台虚拟机（一个拥有root权限的用户，关闭防火墙、静态ip、主机名称）修改/etc/hosts文件创建用户和常用文件夹JDK安装配置添加脚本xsync.sh和xcall.shSSH无密登录配置集群时间同步Hadoop安装导入已经编译过压缩包（提取码：j9oe）至/opt/software目录下(因为官方只提供32位的版本，我们需要自己将32位编译成64位)解压hadoop到/opt
K__3f8b·2023-04-10 04:13

Windows本地Hadoop环境及Idea调试

Windows本地Hadoop环境及Idea调试前提需要所需要的文件1.Hadoop2.Java3.替换文件本机用的Hadoop是hadoop2.7.2，Java是1.8.0_202替换文件下载地址：https
bug智造·2023-04-03 23:22

Windows7下Hadoop2.7.2环境配置

准备工作hadoop-2.7.2.tar.gz链接：https://pan.baidu.com/s/1eFRwGeutjWBE-ZD1C_zYqg提取码：uo7bhadooponwindows-master.zip链接：https://pan.baidu.com/s/1JxlWVpTfH9SZJFSsGjKNkA提取码：25ko操作解压hadoop-2.7.2.tar.gzimage.png修改配
Demons_LLL·2023-03-30 21:35

在Windows操作系统上编译Hadoop源码

一、操作系统和Hadoop版本Windows10专业版（64位），Hadoop2.7.2。
winfield821·2023-03-23 00:20

Hadoop2.7.2分布式部署1(网络配置篇)

本人最近在centos7下部署了Hadoop2.7.2的分布式环境，以下是节点的信息：主节点IP地址：192.168.0.100master节点1IP地址：192.168.0.101node1节点2IP
fxsdbt520·2022-10-31 15:59

基于Docker快速搭建Hadoop集群和Flink运行环境

前言搭建集群环境升级配置Hadoop配置Flink打包镜像启动集群前言本文主要讲，基于Docker在本地快速搭建一个Hadoop2.7.2集群和Flink1.11.2运行环境，用于日常Flink任务运行测试
白夜鸦羽·2022-10-24 18:20

Hadoop相关文章索引（3）

环境部署hadoop-2.7.0.tar.gzhadoop2.6.0单节点-伪分布式模式安装hadoop2.x配置jobHistoryserver（转）Hadoop2.7.2集群搭建详解（三台）基本常识
司小幽·2022-02-21 07:43

搭建Hadoop2.7.2和Hive2.3.3以及Spark3.1.2

Hadoop简介Hadoop是一个用Java编写的Apache开源框架，允许使用简单的编程模型跨计算机集群分布式处理大型数据集。Hadoop框架工作的应用程序在跨计算机集群提供分布式存储和计算的环境中工作。Hadoop旨在从单个服务器扩展到数千个机器，每个都提供本地计算和存储。Hive简介ApacheHive是一个构建于Hadoop顶层的数据仓库，可以将结构化的数据文件映射为一张数据库表，并提供简
·2021-10-20 10:42

Hbase跨集群数据迁移-快照方式

说明：原集群为散装集群，hbase版本为1.1.1，hadoop2.7.2；目标集群通过CDH5搭建，hbase版本为1.2.0，hadoop2.6.0。
粮忆雨·2021-06-08 04:33

Hive SQL的数仓迁移成Spark SQL，之前的UDF函数怎么办?

环境：spark2.11，hive2.3.6，hadoop2.7.2解决方案首先，hive的元数据一般生产我们都会存在mysql当时，所以设想：sparkonhive也是使用hive的元数
俩只猴·2021-01-24 14:38

hadoop2.7.2搭建完全分布式集群

新建虚拟机修改虚拟机的静态IP修改主机名,添加主机和ip的映射关系关闭防火墙（1-4通过脚本完成）创建普通用户useraddjinghangpasswdjinghang配置普通用户具有root权限vim/etc/sudoers在91行下添加如下内容：jinghangALL=(ALL)NOPASSWD:ALL完成后:wq!7.在/opt目录下创建文件夹（software存放压缩软件包，modul存放
zyj_369·2020-10-10 10:46

Hadoop运行模式

：http://hadoop.apache.org/（2）各个版本归档库地址https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/（3）hadoop2.7.2
不稳定记忆·2020-09-16 11:59

Hadoop2.7.2源码在64位Centos Linux下编译

一.在Hadoop官网上下载源码包1.在Hadoop官网上下载hadoop-2.7.2的源码包，下载地址：http://mirrors.noc.im/apache/hadoop/common/hadoop-2.7.2/hadoop-2.7.2-src.tar.gz2.把下载下来的源码包，上传到linux上，在这里我放在了/home/soft/下二.准备linux上运行环境1.上传jdk、ant、m
wanmeilingdu·2020-09-16 06:51

windows 安装 配置 hadoop2.7.2 spark2.2.3 初学入门

Hadoop1.下载安装包，不赘述了。我解压路径为：E:\soft\hadoop-2.7.22.修改etc文件夹下的文件：core-site.xml：fs.defaultFShdfs://localhost:9000hadoop.tmp.dir/E:/soft/hadoop-2.7.2/workplace/tmphadoop-env.cmd：setJAVA_HOME=C:\PROGRA~1\Jav
csdn_dengfan·2020-09-14 06:03

Spark 1.6.2 + Hadoop 2.7.2 集群搭建

版本信息：Centos7+Hadoop2.7.2+Spark1.6.2+Scala2.11.8Hadoop+Spark集群搭建系列文章，建议按顺序参考：Hadoop&Spark集群搭建理念思想Hadoop2.7.2
siberiawolf61·2020-09-13 09:35

Hadoop & Spark 集群搭建 理念思想

Centos7+Hadoop2.7.2+Spark1.6.2+Scala2.11.8Hadoop+Spark集群搭建系列文章，建议按顺序参考：Hadoop&Spark集群搭建理念思想(不用点了，就是本文)Hadoop2.7.2
siberiawolf61·2020-09-13 09:04

hadoop2.7.2单机模式安装(win7无需cygwin)

本文安装环境概述：windows764bitjdk1.7.0_7264bithadoop2.7.2Hadoop从v2以后，单机模式已经可以在Windows上运行了，而且无需cygwin。而单机伪分布式模式理论上也是可以运行的，但是笔者在运行时遇到了形形色色的问题，所以这里就不讨论了。本文记录单机模式安装。1.下载hadoop[url]http://hadoop.apache.org/release
iteye_878·2020-09-12 06:22

【Regal大数据】Flink1.11编译Hadoop2.7.2 编译flink-shaded-hadoop-2-uber jar包依赖

从Flink1.11开始，flink-shaded-hadoop-2-uberFlink项目不再正式支持使用发行版。如果想建立flink-shaded对供应商特定的Hadoop版本，您必须首先描述配置特定供应商的Maven仓库在本地Maven安装在这里。运行以下命令以flink-shaded针对所需的Hadoop版本（例如对于version2.6.5-custom）进行构建和安装：mvnclean
海鸥~·2020-09-03 09:45

ubuntu下的hadoop安装

1.环境ubuntu14.0464位java1.8.0_45（1.7即可）ssh（sshd运行）2.安装版本hadoop2.7.2（http://hadoop.apache.org/releases.html
treasuresss·2020-08-26 14:14

Ubuntu16.04安装hadoop2.7.2分布式集群

Ubuntu16.04安装hadoop2.7.2分布式集群1.整个集群的规划节点hostname节点IP角色master/salveadminserver192.168.202.34NameNode、SecondaryNameNodeResourceManager
晓之木初·2020-08-21 05:13

linux下命令行安装hadoop2.7.2过程

1.创建hadoop用户组sudoaddgrouphadoop2.创建hadoop用户sudoadduser-ingrouphadoophadoop回车后会提示输入新的UNIX密码，这是新建用户hadoop的密码，输入回车即可。即密码不能为空。最后确认信息是否正确，如果没问题，输入Y3、为hadoop用户添加权限sudogedit/etc/sudoers如果没有图形界面，可以用vim编辑sudov
multiangle·2020-08-17 15:35

hadoop2.7.2安装

伪分布式安装进入hadoop2.7.2的配置文件夹目录hadoop2.7.2/etcSTEP1：vihadoop-env.sh修改exportJAVA_HOME=（写你的JAVA_HOME值）STEP2
CrazyL-·2020-08-16 19:21

Ubuntu 16.04 编译Hadoop2.7.2源码，并导入eclipse

Ubuntu16.04编译Hadoop2.7.2源码，并导入eclipse①下载Hadoop2.7.2源码。
晓之木初·2020-08-16 08:50

Hadoop2.7.2之集群搭建（三台）

原文地址：http://blog.csdn.net/uq_jin/article/details/51513307如果你还没有虚拟机，请参考：http://blog.csdn.net/uq_jin/article/details/51355124如果你还没有试过单机模式，请参考：http://blog.csdn.net/uq_jin/article/details/51451995参考：http:
廖振钦·2020-08-14 11:37

hadoop2.7.2安装

一、下载jdk8并配置环境变量二、下载hadoop2.7.2解压（tar-zxvf文件名）三、（1）修改相关配置文件hadoop-env.shyarn-env.shmapred-env.sh在其中增加java
我是波哥·2020-08-12 00:03

MAC下Hadoop2.7.2配置

一、检测JDK版本1、java-versionk-MacBook-Pro:~$java-versionjavaversion"1.8.0_60"Java(TM)SERuntimeEnvironment(build1.8.0_60-b27)JavaHotSpot(TM)64-BitServerVM(build25.60-b23,mixedmode)2、若终端无法识别java命令，在百度或google
KirogiYi·2020-08-11 20:59

Hadoop系列之-Hadoop2.7.2的Eclipse插件编译

提供下编译好的jar包：http://download.csdn.net/detail/suzhi921/9594598配置Eclipse：将jar包拷贝到Eclipse目录下的plugins里windows--preferences--HadoopMap/Reduce指向Hadoop安装路径windows-showview-MapreduceTools-Map/ReduceLocations--
suzhi921·2020-08-10 10:22

搭建Hadoop2.7.2开发环境1(编译Eclipse中hadoop插件hadoop2x-eclipse-plugin)

前几篇博文介绍了如何安装Hadoop2.7.2分布式环境，如何启动Hadoop2.7.2以及如何执行hadoop的官方小例子wordcount，今天将着重介绍如何搭建hadoop2.7.2的开发环境，为后期做
fxsdbt520·2020-08-10 09:30

Hadoop2.7.2的eclipse插件编译

在ubuntu14.04.364位系统上编译下载ant并进行配置http://ant.apache.org/bindownload.cgi解压后，sudogedit/etc/profile进行设置：添加exportANT_HOME=/home/hadoop/apache-ant-1.9.7修改exportPATH=${JAVA_HOME}/bin:$ANT_HOME/bin:$PATH然后sour
bubbleblue·2020-08-10 09:34

hadoop之yarn

Hadoop2.7.2默认的资源调度器是CapacityScheduler。
weidajiangjiang·2020-08-10 07:20

阿里云Centos7.3上 Hadoop-2.7.6集群的搭建（ok!!!）

采取的是两台阿里云服务器搭建集群1、首先进行的是ssh免密码登录的操作具体操作在上篇笔记中找里面有2、配置Java环境具体操作上篇笔记中详细记录3、下载Hadoop2.7.2，并进行安装配置环境我是创建文件放在
zhangvalue·2020-08-09 04:45

hadoop学习之HIVE（3）：hadoop2.7.2下安装hive2.1.0并关联mysql数据库

前提是安装好hadoop2.7.2，再往下继续。1，首先安装mysql数据库：详见本人博客：点我进入博客root密码，设为123456，下面会用到。然后通过mysql–uroot–p登陆。
name_s_Jimmy·2020-08-03 21:46

hadoop2.7.2集群运行HQL时，异常Job Submission failed with exception 'org.apache.hadoop.ipc.RemoteException

在运行了接近50天集群（期间集群没有重启过）之后，运行的是HQL脚本，就是一条简单的查询语句，集群报错，以下是报错的具体信息，最终的解决方案是：手动重启集群，解决了。在重启集群时：发现不能运行shstop-all.sh来关闭，会提示：ThisscriptisDeprecated.Insteadusestop-dfs.shandstop-yarn.shStoppingnamenodeson[192.
dear_csdn·2020-08-03 16:23

Linux下Apache Hadoop2.7.2的集群安装以及WordCount示例

摘要：为了研究Hadoop与本系统Linux的兼容性，使用最新的hadoop版本2.7.2进行兼容性测试以及WordCount示例运行。Hadoop简介Hadoop下载首先，根据自己系统的内核情况以及操作系统版本下载所需的软件。此次测试系统的Linux内核：3.10.0-327.el7.x86_64，类似RHEL7.2前往：http://hadoop.apache.org/releases.htm
skymfc·2020-07-30 16:04

Sparkstreaming读取kafka数据写入hive和es

一、主要流程此demo用到的软件如下，软件需先自行安装springboot1.5.9.RELEASE、hadoop2.7.2、spark2.1.1、elasticsearch5.2.2、kafka0.10.2.1
天涯到处跑·2020-07-30 15:35

TIDB 4.0、Hadoop2.7.2、Spark 2.4.0 集群安装部署方案

1.概述为什么这份文档里面我们要安装这么多集群呢？我这里大至说一下原因，TIDB4.0我们主要是用于存储大量数据用的，也就是永久化存储，而Spark是面向内存的。这使得Spark能够为多个不同数据源的数据提供近乎实时的处理计算性能，适用于需要多次操作特定数据集的应用场景。进行我们想要的离线计算，然后生成报表再回写到TIDB之中。2.安装TIDB生成环境硬件要求组件CPU内存硬盘类型网络数量(最低要
叶海无崖·2020-07-28 16:00

Hadoop 2.7.2 集群搭建

版本信息：Centos7+Hadoop2.7.2Hadoop+Spark集群搭建系列文章，建议按顺序参考：Hadoop&Spark集群搭建理念思想Hadoop2.7.2集群搭建－预备工作Hadoop2.7.2
siberiawolf61·2020-07-28 13:27

最新版spark-2.2.0安装教程

1.jdk的安装；（java1.8）2.hadoop安装；(hadoop2.7.2)3.scala安装；(scala2.11.8)4.spark安装。
gavenyeah·2020-07-15 11:50

Window环境下hadoop开发环境配置（含window环境的hadoop编译后压缩包）

Window环境下hadoop开发环境一、java环境准备二、解压window环境编译过的hadoop2.7.2版本（通Linux版本差异是，在bin目录下多了两个文件：winutils.exe、hadoop.dll
xiaomi0329·2020-07-15 10:43

Hadoop-Hbase环境搭建（上）

本教程也适用于Ubuntu14.04作者用的是hadoop2.7.2版本（稳定版本）二、准备工作1、若在安装Ubuntu的时候没有创建“hadoop”用户，则先创建hadoop用户这样就创建了hadoop
小黄人hcy·2020-07-14 11:25

使用命令行编译打包运行自己的MapReduce程序 Hadoop2.7.2

网上的MapReduceWordCount教程对于如何编译WordCount.java几乎是一笔带过…而有写到的，大多又是0.20等旧版本版本的做法，即javac-classpath/usr/local/hadoop/hadoop-1.0.1/hadoop-core-1.0.1.jarWordCount.java，但较新的2.X版本中，已经没有hadoop-core*.jar这个文件，因此编辑和打
小嘎子闯天涯·2020-07-13 23:56

大数据学习——Hadoop完全分布式环境搭建

搭建Hadoop2.7.2完全分布式搭建Hadoop2.7.2完全分布式安装JDK安装Hadoop设置免密钥登录解压Hadoop并配置环境变量配置相应的Hadoop的配置文件分发配置完成的Hadoop到其它节点格式化
王乙已·2020-07-13 16:10

Hadoop2.7.2之集群搭建（单机）

原文地址：http://blog.csdn.net/uq_jin/article/details/51451995如果你还没有虚拟机，请参考：http://blog.csdn.net/uq_jin/article/details/51355124如果你还没有配置JAVA，请参考：http://blog.csdn.net/uq_jin/article/details/51356799参考：http:
_阿坤·2020-07-13 14:24

Hadoop2.7.2之集群搭建（三台）

原文地址：http://blog.csdn.net/uq_jin/article/details/51513307如果你还没有虚拟机，请参考：http://blog.csdn.net/uq_jin/article/details/51355124如果你还没有试过单机模式，请参考：http://blog.csdn.net/uq_jin/article/details/51451995参考：http:
_阿坤·2020-07-12 22:31

Spark读写S3（AWS亚马逊中国区beijing）

首先我们需要引入hadoop-2.7.2的lib中的hadoop-aws-2.7.2.jar，以及aws自己提供的sdk包：aws-java-sdk-1.7.4.jar使用2.7.2的原因是由于hadoop2.7.2
Utopia_1919·2020-07-12 21:13

基于Hadoop2.7.2分布式环境，安装HBase

安装HBase集群之前，请先参考以前的博文，安装好Hadoop分布式集群：Ubuntu16.04安装hadoop2.7.2分布式集群1.下载HBase并解压缩①到官网下载HBase，下载链接HBase官网下载
晓之木初·2020-07-10 05:12

mapreduce运行内存及JVM配置错误running beyond physical

title:Hive1.2.1安装笔记date:2016/8/220:47:36tags:Hivecategories:大数据环境ubuntu16.044台机器的Hadoop2.7.2集群Mysql安装在
Skye_kh·2020-07-06 02:31
上一页 1 2 3 4 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他