Hadoop2

Flink部署-standalone模式

安装环境信息flink-1.6.2-bin-hadoop27-scala_2.11.tgzhadoop-2.7.5java1.8zookeeper3.4.6os:centos6.41、下载直接去flink
Xlucas·2020-06-24 19:13

Eclipse连接hdfs

Eclipse连接Hadoop一、实验目的1.通过Eclipse连接Hadoop2.用Eclipse对HDFS进行操作二、实验原理Eclipse是一个开放源代码的、基于Java的可扩展开发平台。
Vinsmoke -Hou·2020-06-24 18:04

hadoop 2.0 详细配置教程

Hadoop2.0集群配置详细教程前言Hadoop2.0介绍Hadoop是apache的开源项目，开发的主要目的是为了构建可靠，可拓展scalable，分布式的系统，hadoop是一系列的子工程的总和，
ningxinghai·2020-06-24 17:17

spark0.9分布式安装

spark安装包：spark-0.9.0-incubating-bin-hadoop2.tgz操作系统：CentOS6.4jdk版本：jdk1.7.0_211.Cluster模式1.1安装Hadoop用
ericliu2017·2020-06-24 16:03

在centos7.2上Flink1.9.1源码编译（hadoop2.6.0-cdh5.15.1）

编译步骤参照官网：https://ci.apache.org/projects/flink/flink-docs-release-1.9/flinkDev/building.html0.按照官网：InadditionyouneedMaven3andaJDK(JavaDevelopmentKit).FlinkrequiresatleastJava8tobuild.配置好前置条件。1.github获取
muyingmiao·2020-06-24 16:33

Hadoop-2.5.1安装步骤及异常处理

目标在vmware14.1.1中的三个虚拟机上安装hadoop2.5.1稳定版本。由于hadoop2.x.x都是同一个系列，所以其他hadoop2.x.x版本的安装可以参照这篇步骤来做。
钟镇刚·2020-06-24 16:28

flume集群+springboot日志收集简单实现

然后简单体验一下分布式日志收集的一个最简单的demo本项目利用两个节点作为日志收集，一个节点作为总收集节点持久化到hdfs中，整体流程图如下（有点丑）：试验环境：apache-flume-1.7.0、Hadoop2.7.3
Chain .·2020-06-24 15:34

黑猴子的家：Hue 与 Spark 集成 +livy

1、先决条件安装hue、hadoop2、sparkonyarn安装(1)环境变量##JAVA_HOMEexportJAVA_HOME=/opt/module/jdk1.8.0_144exportCLASSPATH
黑猴子的家·2020-06-24 14:50

解决Hadoop2.9.0 在 windows java客户端运行异常 java.io.FileNotFoundException: HADOOP_HOME and...

tar，其他的应该差不多，以下步骤亲测通过）1.将已下载的hadoop-2.9.0.tar这个linux压缩文件解压，放到你想要的位置（任意位置）；2.下载windows环境下所需的其他文件（必须）链接：hadoop2.9.0
Book_csdn_9999·2020-06-24 14:24

Hadoop—关于YARN

YARN被引入Hadoop2，最初是为了改善MapReduce的实现，但它具有足够的通用性，同样可以支持其他的分布式计算模式。YARN提供请求和使用集群资源的API，但这些API很少直接用于用户代码。
Mayny·2020-06-24 13:58

centos7安装部署Spark单机版 不依赖hadoop

sudotar-zxvfspark-3.0.0-preview2-bin-hadoop2.7.tgz修改文件夹的名字，然后将文件夹移动到更容易管理的文件路径中。
matthew_leung·2020-06-24 13:25

hadoop2.7.3-windows下开发环境搭建

hadoop2.7.3-windows下开发环境搭建1、目的在windows操作系统上不依赖cygwin运行hadoop2.7.3；并通过eclipse进行本机调试。
m0_37829074·2020-06-24 12:44

大数据平台搭建(1)

所以将美元符号替换为&涉及技术:JDk1.8+zookeeper-3.4.10+hadoop-2.7.3.tar.gz+hbase-1.3.1+scala-2.11.8.tgz+spark-2.1.0-bin-hadoop2.7
程序员QQ·2020-06-24 11:23

hadoop平台之——下架节点服务器

@杨福星(http://blog.csdn.net/luckystar92/article/details/51935197)一、背景hadoop版本为hadoop2.6；系统centos6.5；集群数
杨福星·2020-06-24 09:08

让你快速认识flume及安装和使用flume1.5传输数据(日志)到hadoop2.2

转自：http://www.aboutyun.com/thread-7949-1-1.html问题导读：1.什么是flume？2.如何安装flume？3.flume的配置文件与其它软件有什么不同？一、认识flume1.flume是什么？这里简单介绍一下，它是Cloudera的一个产品2.flume是干什么的？收集日志的3.flume如何搜集日志？我们把flume比作情报人员（1）搜集信息（2）获取
lskyne·2020-06-24 09:14

zookeeper权威的应用案例

下面是一些使用了ZooKeeper实现的案例：HDFSHA(QJM)Hadoop2.x之前的版本，HDFS集群
lkx94·2020-06-24 08:09

Alluxio 1.6.1的安装部署

Alluxio1.6.1下载下载地址：https://www.alluxio.org/download选择版本：Alluxio1.6.1(Nov32017)AlluxioDistribution(pre-builtforHadoop2.7
Mote Malone·2020-06-24 06:52

Hadoop2.2.0 部署spark 1.0

Hadoop2.2.0部署spark1.02014年7月目录介绍...11集群网络环境介绍及快速部署...22SSH无密码验证配置...62.1配置所有节点之间SSH无密码验证...63JDK安装和Java
liema2000·2020-06-24 04:36

Hadoop2.7.7搭建高可用（HA）集群

一、准备工作1、集群规划49.235.8.131masterNameNode、DataNode、NodeManager、QuorumPeerMain、ResourceManager、DFSZKFailoverController、JournalNode180.76.149.30slave1NameNode、DataNode、NodeManager、QuorumPeerMain、ResourceMa
lichenglong33·2020-06-24 04:42

使用pyspark 分析日志

ApacheSparkisthesmartphoneofBigData后台是三节点spark集群，python的版本是3.5.4，spark版本是spark-2.3.0-bin-hadoop2.7，在windows10
lepton126·2020-06-24 03:36

scala spark hbase 操作案例

s1、软件版本Hadoop2.6.4、HBase1.0.3、spark1.6.0、scala-2.10.5程序jar包版本：hbase-server.1.0.3、spark-core_2.10.1.1.0
小草君·2020-06-24 03:43

Hadoop Yarn资源管理——核心组件详解

相关链接：HadoopYarn资源管理——Hadoop1.0与Hadoop2.0对比YARN是Hadoop2.0的一个通用的资源管理系统，可为上层应用提供统一的资源管理和调度。
雾幻·2020-06-24 02:11

hadoop中使用ACL管理HDFS权限

hadoop中使用ACL管理HDFS权限，ACL的权限划分是在hadoop2.4中新加的权限控制，类似linux的ACL权限1、修改hdfs的权限配置dfs.permissionsfalsedfs.namenode.acls.enabledtrue2
kwu_ganymede·2020-06-24 01:54

CentOS7下Apache kylin2.5.0安装与配置（一篇就够）

三台都需要设置我的三台ip分别为master192.168.0.180slave1192.168.0.181slave2192.168.0.182以下软件均为64位版本1：JDK1.8.0_1612：Hadoop2.7.63
kuaikuai_945·2020-06-24 01:05

CentOS7kylin2.5.0麒麟环境下载汇总

一、JDK1.8.0_161下载网盘链接：https://pan.baidu.com/s/1LnodFA9PMRENQzcTyIOf7g提取码：jmbh二、Hadoop2.7.6下载网盘链接：https
kuaikuai_945·2020-06-24 01:34

使用docker-compose创建hadoop集群

下载docker镜像首先下载需要使用的五个docker镜像dockerpullbde2020/hadoop-namenode:1.1.0-hadoop2.7.1-java8dockerpullbde2020
kongxx·2020-06-24 01:31

log4j+flume+HDFS实现日志存储

1.HDFS配置1.1.Hadoop集群搭建有关HDFS的配置，请参考CentOS7.0下Hadoop2.7.3的集群搭建,为了容易操作，本示例采用单机模式,即解压hadoop到/opt/hadoop/
davide_tian·2020-06-23 23:46

YARN详解

一、YARN基本思想YARN是Hadoop2.0中的资源管理系统，它的基本思想是将JobTracker的两个主要功能(资源管理和作业调度/监控)分离，主要方法是创建一个全局的ResourceManager
仙道Bob·2020-06-23 23:21

hadoop伪分布式安装

Hadoop伪分布模式HDFS+YARN另外补充下:hadoop2.0之后不包含MapReduce;环境搭建准备:1,VMware安装如果你使用的事VirtualBox必须将电脑虚拟化。
jiang_hadoop·2020-06-23 21:43

hadoop2.3.0 配置yarn-site.xml时需要注意的一个细节

在配置hadoop2.3.0集群时，在yarn-site.xml配置文件中需要显示指定resourcemanager的相关信息，否则即使各个节点上启动了nodemanager，也会因为找不到resourcemanager
jerry138133·2020-06-23 21:29

Hadoop2的高可用并取代SecondaryNamenode

在hadoop2.0之前，namenode只有一个，存在单点问题（虽然hadoop1.0有secondarynamenode，checkpointnode，buckcupnode这些，但是单点问题依然存在
天道酬勤厚积薄发·2020-06-23 20:03

Spark 单机安装配置

备注：经验证，spark1.5+hadoop2.5.2+jdk1.7同样适用一下步骤。
天道酬勤厚积薄发·2020-06-23 20:28

Hadoop介绍

下面是Hadoop的版本：HDFS（分布式文件系统）：解决海量数据存储YARN(作业调度和集群资源管理的框架)：解决资源任务调度MAPREDUCE(分布式运算编程框架)：解决海量数据计算其中Hadoop2.0
pp春·2020-06-23 20:00

Hadoop介绍

下面是Hadoop的版本：HDFS（分布式文件系统）：解决海量数据存储YARN(作业调度和集群资源管理的框架)：解决资源任务调度MAPREDUCE(分布式运算编程框架)：解决海量数据计算其中Hadoop2.0
pp春·2020-06-23 20:00

Hive on CDH4部署、调错及测试

环境介绍hadoop是cdh4.2.0的版本，搭建见十分钟搭建自己的hadoop2/CDH4集群hive版本可以是cdh4.2.0的hive-0.10.0，下载包(win直接下载解压会失败，建议linux
iteye_13202·2020-06-23 18:07

Hadoop系列004-Hadoop运行模式（上）

官方网址官方网站：http://hadoop.apache.org/各个版本归档库地址：https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/hadoop2.7.2
云端笑猿·2020-06-23 18:57

YARN资源调度策略

以hadoop2.2.0为准。
iie_libi·2020-06-23 17:32

[置顶] hadoop学习路线之：ant简介及其使用

因为学习hadoop需要编译hadoop2.5.2的eclipse插件，故需要学习下apacheant。
岁月的拓荒者·2020-06-23 17:52

[置顶] Centos环境下：使用ant编译hadoop2.X版eclipse插件及其通用教程

其次，介绍hadoop2.Xeclipse插件的编译。Ant需要jdk环境，jdk的安装及其配置就不说了，网上搜一下很多。
岁月的拓荒者·2020-06-23 17:20

Kerberos安装及与Hadoop搭配提高安全性

选择hadoop1,hadoop2,hadoop3组成分布式的KDC。hadoop1作为Master机
huyuleizj·2020-06-23 16:28

Hadoop 2.2 & HBase 0.96 Maven 依赖总结

由于Hbase0.94对Hadoop2.x的支持不是非常好，故直接添加Hbase0.94的jar依赖可能会导致问题。
驰驰的老爸·2020-06-23 16:30

【学习】Hadoop大数据平台架构与实践--基础篇上

1.初识Hadoop2.Had
黄黄臭臭·2020-06-23 15:41

Azkaban2.5.0与Hadoop2.5.1的集成

Azkaban2.5.0与Hadoop2.5.1的集成2014-10-2917:371042人阅读评论(2)收藏举报分类：Hadoop（1）大数据（4）版权声明：本文为博主原创文章，未经博主允许不得转载
滑过的板砖·2020-06-23 15:17

hadoop2.X HDFS外壳命令

Hadoop2HDFS外壳命令1.HDFSDFS-appendToFile...可同时上传多个文件到HDFS里面2.HDFSDFS-catURI[URI...]查看文件内容3.HDFSDFS-chgrp
先生_吕·2020-06-23 15:39

Kafka集群搭建 以及命令

好久没有写博客了有点懒赶紧补一下Kafka集群搭建测试机三个节点hadoop1hadoop2hadoop3这三个节点安装了独立的zookeeper且我其他hadoophbase等元数据信息都在上面我不用
帅气的程序员·2020-06-23 15:21

Hadoop 的三种调度器FIFO、Capacity Scheduler、Fair Scheduler

目前hadoop2.7默认使用的是CapacityScheduler容量调度器。一、FIFO（先入先出调度器）hadoop1.x使用的默认调度器就是FIFO。
小马哥_编程·2020-06-23 14:46

SSH免密登录

1各集群节点创建用户hadoop,UID、GID设为一致sudogroupadd-g730hadoopsudouseradd-u730-g730-m-s/bin/bashhadoop2添加hadoop到用户组
喝醉酒的小白·2020-06-23 14:05

spark（完全分布式）

1.解压spark-2.4.4-bin-hadoop2.7.tgz包到module[root@hadoop101software]#tar-xvfspark-2.4.4-bin-hadoop2.7.tgz-C
一休祺·2020-06-23 14:56

hbase（完全分布式）

1.解压hbase压缩包到opt/module里面[root@hadoop101software]#tar-xvfhbase-0.98.17-hadoop2-bin.tar.gz-C/opt/module
一休祺·2020-06-23 14:26

HDFS 常用JAVA 操作实战

转自：https://www.cnblogs.com/sunzebo/p/5997755.html目的:学习用java进行的常用hdfs操作参考：[0002]HadoopHDFScmd常用命令练手环境：hadoop2.6.4win7
hemeinvyiqiluoben·2020-06-23 14:28
上一页 54 55 56 57 58 59 60 61 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他