hadoop2.7

Hadoop2.7配置

core-site.xmlfs.defaultFShdfs://bigdata/ha.zookeeper.quorum192.168.56.70:2181,192.168.56.71:2181,192.168.56.72:2181-->hadoop.tmp.dir/export/data/hadoop/tmpfs.trash.interval1440io.file.buffer.size13107
不会吐丝的蜘蛛侠。·2024-02-08 08:59

大数据组件部署下载链接

Hadoop2.7下载连接:https://archive.apache.org/dist/hadoop/core/hadoop-2.7.6/Hive2.3.2下载连接：http://archive.apache.org
运维道上奔跑者·2024-02-04 05:13

NameNode瞬时高并发导致短暂不可用，Hadoop2.7二次开发

版本hadoop2.7分段锁优化Namenode的FSNamesystem类中主要有三块。
邵红晓·2024-01-13 06:24

基于centos7的hadoop2.7、zookeeper3.5、hbase1.3、spark2.3、scala2.11、kafka2.11、hive3.1、flume1.8、sqoop1.4组件部署

部署前准备修改主机名1、修改主机名（6台机器都要操作,以Master为举例）hostnamectlset-hostnameMaster（永久修改主机名）reboot（重启系统）修改hosts将第一行127.0.0.1xxxx注释掉，加上：195.168.2.127master195.168.2.128slave1195.168.2.129slave2确认网卡信息vi/etc/sysconfig/n
luoz_python·2023-11-25 19:42

sqoop安装教程

1、由于使用的是hadoop2.7，所以下载sqoop版本为：sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz2、将压缩包放入hadoop目录下，解压tar-zxvfsqoop
linjiajiam·2023-10-12 09:47

hive3.1.4源码编译兼容spark3.0.0 hive on spark hadoop3.x修改源码依赖 步骤详细

hiveonspark的时候，发现官方下载的hive3.1.2和spark3.0.0不兼容，hive3.1.2对应的版本是spark2.3.0，而spark3.0.0对应的hadoop版本是hadoop2.6或hadoop2.7
薛定谔的猫不吃猫粮·2023-08-26 09:49

Hadoop安装

建议使用版本hadoop2.7.1+hbase1.2.1+hive2.0.0+zookeeper3.4.8这里我使用的hadoop2.8，但是hadoop2.8并不支持base1.0之后的版本推荐使用Hadoop2.7
比基尼海滩章鱼哥·2023-04-14 23:05

实践数据湖iceberg 第十七课 hadoop2.7,spark3 on yarn运行iceberg配置

系列文章目录实践数据湖iceberg第一课入门实践数据湖iceberg第二课iceberg基于hadoop的底层数据格式实践数据湖iceberg第三课在sqlclient中，以sql方式从kafka读数据到iceberg实践数据湖iceberg第四课在sqlclient中，以sql方式从kafka读数据到iceberg（升级版本到flink1.12.7）实践数据湖iceberg第五课hivecat
*星星之火*·2023-04-14 03:51

Hadoop集群搭建：11.Spark搭建

mirrors.aliyun.com/apache/spark/，需要按照自己HDFS的版本选择对应的安装包，我的HDFS是2.7版本，可以选择：spark-2.4.6-bin-hadoop2.7.tgz，也可以选择基于hadoop2.7
丶珍视当下·2023-03-31 18:51

Spark-2.3安装配置

下载安装官网下载解压即可环境变量配置SPARK_HOMEPATH启动spark-shell匹配的环境hadoop2.7匹配scala-2.11.*
playman·2023-03-24 16:14

spark下载安装，运行examples(spark一)

1.官方网址http://spark.apache.org/image.png2.点击下载下载最新版本目前是（2.4.3）此spark预设为hadoop2.7或者更高版本，我前面安装的是hadoop3.1.2
dingxiaohuang4790·2022-12-15 11:39

基于Centos7的Hadoop2.7应用一

一：JDK1.8的安装(三台主机都执行)1：下载好jdk1.8的安装包，并解压到到一个目录（本人命名为/opt/module/）2：切换root用户，在/ect/profile.d/下面创建一个xxx.sh文件（本人设定为my_env.ssh）,该文件可以用于存放自己配置的环境变量3：切记，最后一定要执行source/etc/profile命令二：Hadoop的安装说明：主机如下hadoop112
天才少年137·2021-10-11 12:32

hadoop/spark节点动态调整

转自：hadoop2.7动态新增节点和删除节点转自：spark集群动态增加worker节点hadoop安装过程中包括yarn的节点，hadoop有多个节点，spark也是多个节点，也区分master和slave
晴天哥_374·2021-05-13 15:09

idea远程连接hadoop(macOS)

mac上的配置方式.前提是电脑中已经安装有hadoop首先下载安装jdk8官网下载JDK8我的电脑上原本有JDK11,但是hadoop对于JDK9以上的配置对于我这个新手太不友好了,加上远程虚拟机安装的是hadoop2.7
chain_xx_wdm·2020-10-09 13:11

Spark中executor-memory参数详解

文中安装的是Spark1.6.1，安装在hadoop2.7上。1、相关的2个参数1.1yarn.scheduler.maximum-allocation-mb这个参数表示每个container能够
wisgood·2020-09-17 03:38

hadoop maven pom.xml文件的配置

blog.csdn.net/qq_33813365/article/details/70214484http://www.cnblogs.com/Leo_wl/p/4862820.htmlJDK版本的要求Hadoop2.7
Lord_sh·2020-09-17 01:53

Hadoop2.7报It looks like you are making an HTTP request to a Hadoop IPC port. 问题解决

先说下版本：ubuntu14.04Hadoop2.7今天在运行hadoop时，在浏览器上输入http://localhost:9000/，显示以下问题经过思考以及搜索问题原因，发现是单节点的hadoop的问题，正确为http://localhost:8088/cluster具体见下面说明：管理界面：http://localhost:8088NameNode界面：http://localhost:5
超级侠哥·2020-09-16 06:06

idea 本地调试虚拟机中的hadoop2.6.0-cdh5.7.0项目

涉及的软件或文件如下：1.ideamaven2.hadoop.dll,winutils.exe,winutils.pdb适配windows64位操作系统（重要）而且这三个是适合hadoop2.7版本的也适合于
leizhengtao520·2020-09-16 05:03

Hadoop2.7实战v1.0之start-balancer.sh与hdfs balancer数据均衡

Hadoop2.7实战v1.0之start-balancer.sh与hdfsbalancer数据均衡【修正版】适用场景：a.当动态添加或者删除集群的数据节点，必然会使各节点的数据不均衡b.当正常维护时1
crazy_stone0002·2020-09-15 17:57

基于CENTOS7.0的LINUX系统安装HADOOP2.7遇到一些“坑”

注意事项：文件数打开，防火墙关闭，SELINUX关闭，主要是配置无密钥登录，以及HADOOP的内存大小调整等对应的原因。先设置防火墙以及系统环境参数：DEVICE=eth0HWADDR=00:25:90:EC:4A:3CTYPE=EthernetUUID=40839d74-3d20-4333-ae22-0149d6834566ONBOOT=yesIPV4_FAILURE=yesNM_CONTROL
chen5131421·2020-09-15 04:22

windows 10 安装 spark 环境（spark 2.2.1 + hadoop2.7）

不过在安装新版本spark2.2.1（基于hadoop2.7）的配置时，略略有一些不同。
Inside_Zhang·2020-09-14 05:23

Hadoop2.7安装步骤

MapReduce则为海量的数据提供了计算,Hadoop就是个分布式文件系统,用来管理文件的,而NOSQL数据库又是以文件方式存储,所以经常结合来用Hadoop需要java环境,查看Ubuntu下安装java1.下载Hadoop2.7
毛毛派我来巡山·2020-09-11 09:21

centos虚拟机安装spark

选择软件包类型，默认是预编译的Hadoop2.7版本点击超链接，跳到下载镜像列表就用推荐的第一个镜像地址下载，spark-2.4.5-bin-hadoop2.7.tgz，222MB。
qqq83150li·2020-09-11 03:38

Hadoop 2.6.5完全分布式安装

下载Hadoop安装包下载地址：http://archive.apache.org/dist/hadoop/core/hadoop-2.6.5.tar.gzJDK安装Hadoop2.7以及之后的版本需要装
姜子牙疼·2020-09-10 23:02

使用docker部署hadoop集群的详细教程

我安装的是hadoop2.7
·2020-09-08 08:19

windows下安装spark-python

需要下载对应版本的hadoop才行，这个页面有对hadoop的版本要求，点击DownloadSpark:spark-2.3.1-bin-hadoop2.7.tgz就可以下载压缩包了，对应的hadoop版本要在Hadoop2.7
LJasperliet·2020-08-24 15:05

hadoop2.7迁移到hadoop3.1，hive数据迁移

本文采用distcp的方式迁移数据，有关distcp如何使用，请移步如下链接自行学习：https://hadoop.apache.org/docs/r3.1.0/hadoop-distcp/DistCp.html关于distcp的几点说明：1.如果跨版本迁移，官网推荐源目标要使用webhftp协议（此处有坑，hadoop0.x和1.x时时hftp协议，hadoop2.x把hftp协议名改成webh
loveProLife·2020-08-21 14:44

ubuntu16.04LTS下Spark完全分布式搭建

本文章spark是在Hadoop2.7完全分布式环境下搭建的，相关配置如下：1、ubuntu16.04LTS2、jdk1.8._1113、Hadoop2.7.3一工具准备1.spark-2.1.0-bin-hadoop2.7
lpty·2020-08-21 05:16

Hadoop学习笔记01

hadoop-common/ClusterSetup.html1编译一些软件的官网提供了source和binary两个版本source是源码，需要手动编译成可执行文件binary是可执行版，是已经编译好的以hadoop2.7
♂燃烧吧ˇ小宇宙、·2020-08-18 21:31

Install java in linux

1.DownloadJDKfromOfficialsite:JDK6（据说hadoop2.7以后不支持jdk6了）:[url]http://www.oracle.com/technetwork/java
iteye_14557·2020-08-15 23:19

【Hadoop需要的Jar包】Hadoop编程-pom.xml文件

JDK版本的要求Hadoop2.7以及之后的版本，需要JDK7；Hadoop2.6以及之前的版本，支持JDK6；对于Hadoop1.x.x版本，只需要引入1个jar：hadoop-core对于Hadoop2
weixin_33875839·2020-08-11 23:50

Mac单机Hadoop2.7下安装Spark2.2+配置SparkSQL查询Hive表+spark-sql CLI 查询

下面简单记录mac单机spark安装测试的过程已安装好单机的伪分布式Hadoop，见Mac单机Hadoop安装备忘已安装好单机的hive，见Mac-单机Hive安装与测试单机Mac安装spark并做简单yarn模式shell测试配置SparkSQL查询Hivespark-sqlCLI查询Hive一、安装Spark1-下载安装scalahttps://www.scala-lang.org/downl
hjw199089·2020-08-11 21:11

Windows版本Pycharm连接Linux hive

作为一个python新手，任何一个步骤都不能放过，就怕后续遇到同样的问题无从下手，先记录再记忆1，我用的是hadoop2.7，spark-2.4.5-hadoop2.7，Anaconda3.6，Pycharm2
Joseph25·2020-08-11 02:48

阿里云服务器搭建hadoop2.7伪分布式环境

零、写在前面服务器：centos7.6jdk1.8hadoop2.7这个其实没有什么影响，都可以参照这个教程进行搭建一、防火墙设置停止防火墙systemctlstopfirewalld.service禁止防火墙开机自启动systemctldisablefirewalld.service二、修改主机名我将我的主机名修改为masterreboot重启服务器生效三、修改hosts配置文件vim/etc/
qq_302920276·2020-08-10 00:44

阿里云centos7.3配置hadoop2.7伪分布式环境

一、防火墙设置systemctlstopfirewalld.service#停止firewallsystemctldisablefirewalld.service#禁止firewall开机启动二、修改主机名vim/etc/hostname我将主机名修改为masterreboot重启服务器生效三、修改hosts配置文件vim/etc/hosts添加内网ip主机名四、安装SSH客户端（1）安装ssh，
Asher_S·2020-08-08 12:06

Hadoop里的设计模式之单例模式

我们以Hadoop2.7版本中的ShutdownHookManager举例讲解单例模式的几个需要注意的地方：1）将构造方法私有化。
wisgood·2020-08-05 17:13

spark2.1.0完全分布式集群搭建-hadoop2.7.3

搭建spark集群：要求安装JDK，完全分布式HADOOP2.7集群。
sand_clock·2020-07-30 09:52

基于Spark和Hive进行的豆瓣电影数据分析

写在前边的话：算是自己做的一个小课题吧，自己搭建平台，自己爬取数据，自己进行数据清洗和分析，自己进行可视化展示，写这篇博客不为别的，只是记录下自己做这个课题的整个过程，大神们勿喷环境说明：hadoop2.7
weixin_34077371·2020-07-28 18:40

【presto on yarn】解决方案

一.前言项目架构升级，从hadoop2.7升到3.X，需要从批处理转变到实时流。大半年一直在做数据导入，没有很好的方案。
秦拿希·2020-07-28 15:56

apache hadoop2.7的部署安装

1准备工作1.1下载安装包hadoopwgethttp://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gzjdk1.8.0_121下载mysqlwgethttps://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-community-server-5.7.17-1
徐长亮·2020-07-15 15:44

hadoop 2.7伪分布安装

hadoop2.7的“伪”分式安装与“全”分式安装相比，大部分操作是相同的，主要区别在于不用配置slaves文件，而且其它xxx-core.xml里的参数很多也可以省略，下面是几个关键的配置：（安装JDK
youzhouliu·2020-07-15 11:09

Spark中executor-memory参数详解

文中安装的是Spark1.6.1，安装在hadoop2.7上。1、相关的2个参数1.1yarn.scheduler.maximum-allocation-mb这个参数表示每个cont
孤数不证·2020-07-15 08:30

hadoop 2.X 二次开发 搭建环境

下载所需资料:链接：http://pan.baidu.com/s/1eQJd7W2密码：ksjy2、首先查看包里的附件hadoop2.7的源码，hadoop-2.7.0-src.tar.gz(自己要哪个版本自己找
imadxu·2020-07-14 11:35

hadoop2.7集群初始化之后没有DataNode的问题

问题三台机器组成的hadoop2.7集群中，重新初始化之后再次启动启动，发现以下问题：在master节点，用hdfs命令上传文件报错Thereare0datanode(s)runningandnonode
程序员欣宸·2020-07-14 08:45

CentOS7安装Hadoop2.7完整步骤

1、环境，3台CentOS7，64位，Hadoop2.7需要64位Linux，CentOS7Minimal的ISO文件只有600M，操作系统十几分钟就可以安装完成，Master192.168.0.182Slave1192.168.0.183Slave
mangguo909·2020-07-14 02:35

Hadoop基础教程-第1章 环境安装配置（1.7 目录规划）

章环境安装配置1.7目录规划1、总体规划软件安装目录：/opt数据目录：/var/data日志目录：/var/log2、hadoop相关目录按照上面规划，hadoop相关目录如下：软件安装目录：/opt/hadoop2.7
程裕强·2020-07-13 03:06

centos7 hadoop HA高可用集群搭建（ hadoop2.7 zookeeper3.4 ）

目录一、服务器环境二、集群规划三、安装配置Zookeeper四、安装配置Hadoop七、总结上篇文章写了如何用ssh免密登录，当然这些操作都是在hadoop账号上的操作，包括这篇文章也是一样三台主机一、服务器环境主机名IP用户名密码安装目录node1192.168.31.106hadoop123456/home/hadoop/node2192.168.31.175hadoop123456/home
Louis先生·2020-07-10 10:29

spark-2.4.2搭建（配合hadoop2.7及以上环境）

1、spark官网下载spark，可以可以在win系统中下载后上传至linux，也可以linux中直接下载：wgethttp://mirror.bit.edu.cn/apache/spark/spark-2.4.2/spark-2.4.2-bin-hadoop2.7.tgz2、下载后解压至自己要安装的位置：tar-zxvfspark-2.4.2-bin-hadoop2.7.tgz，重命名为spar
村西那条弯弯的河流·2020-07-10 10:40

Hadoop2.7高可用集群搭建步骤

集群节点分配Park01ZookeeperNameNode(active)Resourcemanager(active)Park02ZookeeperNameNode(standby)Park03ZookeeperResourceManager(standby)Park04DataNodeNodeManagerJournalNodePark05DataNodeNodeManagerJournalN
weixin_41070431·2020-07-10 09:01

基于hadoop集群的Hive1.2.1、Hbase1.2.2、Zookeeper3.4.8完全分布式安装

写在前边的话：hadoop2.7完全分布式安装请参考：点击阅读，继任该篇博客之后，诞生了下面的这一篇博客基本环境：Hadoop2.7Java1.7.0_51CentOS6.5预安装：Hive1.2.1下载地址
weixin_34254823·2020-07-10 08:39
上一页 1 2 3 4 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他