Hadoop2 第55页

windows本地开发flink的maven文件以及简单示例代码

4.0.0com.test.flinktestflink1.01.81.81.8org.scala-langscala-library2.11.8compileorg.slf4jslf4j-log4j121.7.7compilelog4jlog4j1.2.17compileorg.apache.flinkflink-shaded-hadoop21.7.2compileorg.apache

统木木·2020-06-28 20:01

大数据环境搭建--03 Centos7安装hadoop2.8集群

M醉逍遥·2020-06-28 19:45

spark-2.2.0安装和部署——Spark集群学习日记

下载为了方便，我直接是进入到了/usr/local文件夹下面进行下载spark-2.2.0wgethttps://d3kbcqa49mib13.cloudfront.net/spark-2.2.0-bin-hadoop2.7

kwongtailau·2020-06-28 19:59

零基础Ubuntu16.04+Hadoop2.7.3+Spark2.3.4+Zookeeper3.4.14+HBase2.1.6+Kafka2.11大数据集群配置教程

半年后重新整理了大数据集群搭建方案，优化了部分步骤与目录设计目录1、环境搭建虚拟机：系统：节点：2、相关软件版本3、主要参考文章4、搭建步骤4.1安装虚拟机4.2修改hostname与hosts文件4.3创建hadoop用户与hadoop用户4.4配置虚拟机网络，使虚拟机系统之间以及和host主机之间可以通过相互ping通4.5配置Java4.6配置ssh4.6.1安装ssh4.6.2验证ssh是

景雨泽·2020-06-28 19:37

VM+CentOS+hadoop2.7搭建hadoop完全分布式集群

写在前边的话：最近找了一个云计算开发的工作，本以为来了会直接做一些敲代码，处理数据的活，没想到师父给了我一个课题“基于质量数据的大数据分析”，那么问题来了首先要做的就是搭建这样一个平台，毫无疑问，底层采用hadoop集群，在此之上，进行一些其他组件的安装和二次开发hadoop伪分布部署参考：点击打开链接hadoop单机版部署参考：点击打开链接zookeeper,hive,hbase的分布式部署参考

weixin_34357267·2020-06-28 17:51

KYLIN立方体构建详解

2019独角兽企业重金招聘Python工程师标准>>>一、环境准备1.CDH环境Hadoop2.6.0+cdh5.11.1+2400Zookeeper3.4.5+cdh5.11.1+111Hive1.1.0

weixin_34343689·2020-06-28 17:51

hadoop-2.6.0.tar.gz + spark-1.6.1-bin-hadoop2.6.tgz + zeppelin-0.5.6-incubating-bin-all.tgz（master、s.

我这里，采取的是CentOS6.5，当然大家也可以在ubuntu16.04系统里，这些都是小事CentOS6.5的安装详解hadoop-2.6.0.tar.gz+spark-1.5.2-bin-hadoop2.6

weixin_34319999·2020-06-28 16:25

kylin对接hive实现实时查询

前提：安装kylin之前，需要安装hadoop2.0、hbase、hive，并且对版本有要求，可以参照官网链接http://kylin.apache.org/cn/docs/install/index.html

weixin_34214500·2020-06-28 13:07

Beeline使用

>>>背景hadoop2的hive采用了新的hiveserver，称为HiveServer2，HiveServer2中的CLI客户端不建议使用hiveCLI，而是建议使用Beeline这个客户端，今天就说说这个客户端的用法

weixin_34206899·2020-06-28 13:58

CentOS下hadoop2.4.1的伪分布式搭建

liunx环境要求搭建平台搭建平台CentOS6.4Hadoop版本Hadoop2.4.1Java版本java1.7https://pan.baidu.com/s/1ck94gI密码：ofgb准备虚拟机网络设置打开

w_不安分·2020-06-28 13:53

MapReduce处理流程

MapReduce是Hadoop2.x的一个计算框架，利用分治的思想，将一个计算量很大的作业分给很多个任务，每个任务完成其中的一小部分，然后再将结果合并到一起。

weixin_34101784·2020-06-28 11:50

sql审计-tez

www.qubole.com/blog/scaling-tez-application-using-application-timeline-server-v1-5/通过这篇文章可以明白ats1.0的弊端,在hadoop2

wangliang938·2020-06-28 10:16

hadoop+Kylin服务器搭建教程

本教程基于：Hadoop2.9.0HBase1.1.13Hive1.2.2Kylin2.2.0讲解hadoop服务器的搭建流程1.创建hadoop用户//添加hadoop用户sudouseradd-mhadoop-s

weixin_34043301·2020-06-28 10:20

Hadoop Yarn详解

Hadoop2.0对MapReduce框架做了彻底的设计重构，我们称Hadoop2.0中的MapReduce为MRv2或者Yarn。

weixin_34037977·2020-06-28 10:02

flink1.3.3 on hdp 2.6(hadoop 2.7.3)部署指南

2019独角兽企业重金招聘Python工程师标准>>>flink1.3.3onhdp2.6(hadoop2.7.3)部署指南1，从官方下载flink-1.3.3-bin-hadoop27-scala_2.11

weixin_34032779·2020-06-28 10:33

Hadoop的HA机制原理解析，与HA高可用集群环境搭建

2019独角兽企业重金招聘Python工程师标准>>>Hadoop的HA工作机制示意图下面我们开始搭建这一套高可用集群环境hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFSHA、YARN

weixin_34010949·2020-06-28 09:34

hadoop2 作业执行过程之yarn调度执行

YARN是hadoop系统上的资源统一管理平台，其主要作用是实现集群资源的统一管理和调度（目前还不完善，只支持粗粒度的CPU和内存的的调配）；它的基本思想是将Mapreduce的jobtracker拆分成两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。其中ResourceManager负责整个系统资源的管理和分配，而Appl

weixin_33843409·2020-06-28 06:15

apache开源项目 -- tez

Tez是从MapReduce计算框架演化而来的通用DAG计算框架，可作为MapReduceR/Pig/Hive等系统的底层数据处理引擎，它天生融入Hadoop2.0中的资源管理平台YARN，且由Hadoop2.0

weixin_33834137·2020-06-28 06:20

Yarn学习

一、什么是YarnYARN是Hadoop2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序特有的

weixin_30954607·2020-06-28 02:13

hadoop2.7.2单机与伪分布式安装

weixin_30918415·2020-06-28 02:09

利用SparkLauncher 类以JAVA API 编程的方式提交Spark job

一.环境说明和使用软件的版本说明:hadoop-version:hadoop-2.9.0.tar.gzspark-version:spark-2.2.0-bin-hadoop2.7.tgzjava-version

weixin_30849403·2020-06-28 01:26

新闻网大数据实时分析可视化系统项目——16、Spark2.X集群运行模式

2.sparkStandalone模式配置并测试1）jdk1.8已经安装2）scala2.11.8已经安装3）Hadoop2.5.0已经安装4）安装SparkStandalonea）配置slavevislavesbigdata-pro01

weixin_30709061·2020-06-27 23:01

Ubuntu16.04下Kylin的安装与配置

os:Ubuntu16.04LTS64bitjdk:1.8.0_161hadoop:2.6.4mysql:5.7.21hive:2.1.0hbase:0.98.22-hadoop2kylin:

weixin_30515513·2020-06-27 20:46

python spark MLlib

window系统1.anaconda或pythonspark环境变量2.配置sparkhomeD:\Develop\spark-1.6.0-bin-hadoop2.6\spark-1.6.0-bin-hadoop2.63

weixin_30501857·2020-06-27 20:22

大数据平台生产环境部署指南

集群规划假设现在生产环境的信息如下：服务器数量：6操作系统：Centos7Master节点数：2Zookeeper节点数：3Slave节点数：4划分各个机器的角色如下：主机名角色运行进程hadoop1MasterNamenodehadoop2M

weixin_30294021·2020-06-27 15:27

Hadoop安装全教程 Ubuntu14.04+Java1.8.0+Hadoop2.7.6

最近听了一个关于大数据的大牛的经验分享，在分享的最后大牛给我们一个他之前写好的关于大数据和地理应用demo。这个demo需要在Linux环境上搭建Hadoop平台。这次就简单的分享一下我关于在Linux虚拟机上搭建Hadoop平台的一些经验和遇到的一些问题以及问题的解决办法。首先我们这次搭建的环境是hadoop。hadoop实现了分布式文件系统，它可以部署在一些廉价的硬件环境上，并且提供了高吞吐量

weixin_30251829·2020-06-27 15:32

转：HBase的shell命令和JavaAPI详解-挺全的

在hadoop2.

爱萨萨·2020-06-27 14:48

Hadoop2.7.2之Hive-2.1.1的Hiveserver2服务和beeline远程调试

1.开启metastore和hiveserver2服务[root@sht-sgmhadoopnn-01bin]#hive--servicemetastore&[1]31092[root@hadoop-01bin]#hive--servicehiveserver2&[root@hadoop-01bin]#ps-ef|grephiveroot31092218921121:57pts/000:00:15

wdier·2020-06-27 14:37

MapReduce任务参数调优

MapReduce任务参数调优本文主要记录Hadoop2.x版本中MapReduce参数调优，不涉及Yarn的调优。

wangjinyuan161·2020-06-27 13:06

CentOS+eclipse+hadoop2.5.1 运行wordcount

之前上课做过一次Hadoop实验。之后很久都没有再使用。这次又历时两天+看之前的比较+百度才把环境搭好。把之前的截图存起来吧。有点像小孩的简笔画。自己可能比较好理解。环境搭好之后。准备一个Wordcount代码和一个Hadoop-eclipse插件。找到自己eclipse安装目录。将插件拷贝进去。如果拷贝至plugins文件夹下在eclipse中无法打开hdfs。就拷贝至dropins可以参考：h

LEI-LEI·2020-06-27 12:51

Hadoop2.7.3和Spark2.1.0集群详细搭建教程

1.本文介绍本文包括如下内容Ubuntu虚拟机安装过程Ubuntu配置静态IP配置SSH免密登录Ubuntu国内APT软件源的配置JDK，Scala，MySQL软件安装Hadoop集群安装Spark集群安装Anaconda安装使用到的软件的版本及下载地址VMwareWorkstation12.5.2ubuntu-14.04.1-server-amd64XShell5XFTP5JDK1.8Scala

upshi·2020-06-27 10:46

sqoop1.99.4的安装和使用

一.环境介绍：sqoop版本:1.99.4-hadoop200hadoop版本:hadoop2.2.0安装路径是/usr/local/sqoop二.sqoop1.99.4安装1.解压安装文件到/usr/

语旅·2020-06-27 10:29

Oozie4.2 安装部署、以及example测试

编译：使用的环境是：Hadoop2.6.0、Spark1.4.0、Hive0.13.1、Sqoop1.4.4编译Oozie的命令：.

Lucius89·2020-06-27 10:08

Flink HA高可以集群搭建(生产环境Flink Cluster On YARN)

环境为:Flink1.9.0+Hadoop2.8.5+centos7高可用FlinkHA规划主机ip说明centoshadoop1192.168.227.140StandaloneSessionClusterEntrypoint

蜗牛杨哥·2020-06-27 09:59

安装Spark+hadoop，spark、hadoop分布式集群搭建...(亲自搭建过！！)

首先说一下我所用的版本：spark-2.1.1-bin-hadoop2.7.tgzhadoop-2.7.3.tar.gzjdk-8u131-linux-x64.rpm我们实验室有4台服务器：每个节点硬盘

MENG哥·2020-06-27 09:36

Flink-1.9.1集成读写Hive（基于CDH 5.14.2集成成功）

1.9.1使用Hive-1.2.12.Sql-client简单功能测试3.Java提交Flinkjobdemo参考写在前面本文记录了一次在CDH-5.14.2集群中（Hive升级到Hive1.2.1、Hadoop2.6.0

猫不夜行·2020-06-27 09:16

Hadoop源码编译（Hadoop-2.7.0-src）

编译Hadoop-2.7.0-srcHadoop2.7.0源代码（https://hadoop.apache.org/release/2.7.0.html）源码中的BUILDING.txt文件环境要求：

猫不夜行·2020-06-27 09:46

windows上搭建大数据环境之-hadoop2.7不用Cygwin

windows764位上构建大数据环境不用Cygwin-hadoop2.7构建步骤1.软件下载地址2.首先你需要配置环境变量下载对应版本的hadoop.dll,winutils.exe配置相应的xml文件格式化

u014028392·2020-06-27 08:59

Hadoop完全分布式安装教程

最近开始学习大数据课程，便开始自己安装搭建完全分布式，下面是自己一步一步的安装方式，期间会遇到各种问题，但还是自己查找资料解决了：1.在安装hadoop2.0之前，需要准备好以下软件（如下图1）图1：然后将这两个软件共享到

11宁静致远·2020-06-27 08:05

在eclipse上搭建mapreduce开发环境及运行wordcount

1.先说明我的实验环境：win7,eclipse版本是Neon.2Release(4.6.2),hadoop2.7.3部署在1master，3slave的集群上2.需要下载winutils.exe和hadoop-eclipse-plugin

最好的时光就是我·2020-06-27 07:45

hadoop +hbase +zookeeper 完全分布搭建 (版本一)

hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFSHA、YARN等。

u013378306·2020-06-27 06:48

ubuntu安装hadoop详细步骤

这里介绍的方法是用一台机器虚拟多个节点，这个方法已在如下环境中测试通过：OS:Ubuntu13.10Hadoop:2.2.0(2.x.x)个人认为在其他版本上安装Hadoop2.x.x的方法基本相同，因此如果严格按照我给的步骤

Fei_Xia_·2020-06-27 06:20

zookeeper在大数据生态的应用

Znode你应该了解的（1）节点类型（2）节点属性三、基本功能1.文件系统2.集群管理(1)节点的加入和退出(2)Master的选举3.分布式锁机制(1)排他锁(2)共享锁4.监听与通知机制四、实际应用1.hadoop2

喜剧之皇·2020-06-27 06:02

Hadoop2.5细节

Hadoop2.51.COMMON2.HDFS存储数据NameNode(存储文件系统元数据，命名空间)DataNode(存储数据)SecondaryNameNode(辅助NameNode工作，定时合并文件

虎城威威·2020-06-27 06:51

关于hbase中进入shell但是无法使用的问题，以及web界面为什么不能访问。

我之前是Hadoop2.4.1，但使用了hbase-0.94.27，出现问题后，说hbase/lib/hadoop-core-xxx.jar要删掉,用Hadoop/hadoop-core-xxx.jar

慢慢的踏实走·2020-06-27 06:23

Hive集成Hbase

hive2.3.0hbase2.0.21.将hbaselib中的部分jar拷贝到hive的lib下需要拷贝的jar：hbase-client-2.0.2.jarhbase-common-2.0.2.jarhbase-hadoop2

泪痕残·2020-06-27 05:56

Hadoop 2.6.0分布式部署参考手册

Hadoop2.6.0分布式部署参考手册关于本参考手册的word文档，可以到如下地址下载：http://download.csdn.net/detail/u012875880/82914931.环境说明

jack-zhu·2020-06-27 05:40

大数据平台搭建（一）

前言安装大数据平台，为毕设做准备软件OracleVMVirtualBox6.0.14hadoop2.8JDK1.8centOS（CentOS-7-x86_64-Minimal-1804.iso）虚拟机网络配置

灬青春不留白灬·2020-06-27 05:55

学习Hadoop第七课（HDFS架构原理）

首先，我们来看一下Hadoop1.0和Hadoop2.0伪分布式架构下HDFS的组成，如下图所示，我们可以看到，HDFS架构由NameNode(负责管理节点)、DataNode（负责存储数据）、SecondaryNameNode

在京奋斗者·2020-06-27 04:00

Spark单节点安装-VirtualBox-Ubuntu-14.04

1607Virtualbox版本：5.0.22中文版Ubuntu版本：ubuntu-14.04.1-server-amd64Xshell版本：Xshell5Spark版本：Spark-1.5.1-bin-hadoop2.61

Erik_ly·2020-06-27 03:37

推荐频道

Hadoop2