Hadoop2 第42页

org.apache.maven.plugin.MojoExecutionException: protoc failure

buildhadoop23真的是千辛万苦，错误贴出来[ERROR]Failedtoexecutegoalorg.apache.hadoop:hadoop-maven-plugins:3.0.0-SNAPSHOT

逆风飞翔·2020-07-14 23:35

hadoop2.7.3的ftp over hdfs搭建:

1环境准备1.1ubuntu16.041.2hadoop2.7.3安装见:http://blog.csdn.net/tengxing007/article/details/531686481.3IDE自选

牧羊人影视·2020-07-14 23:17

IDEA远程调试Hadoop步骤及出错解决整理

一开发环境本地win10系统Intellijidea14工具虚拟机中hadoop2.6.0伪分布模式二配置步骤(这里笨小葱参考的这篇文章：http://www.cnblogs.com/yjmyzz/p/

笨小葱·2020-07-14 23:00

SparkStreaming 搭建《一》Win10可通用，供参考

编译环境：Spark2.3.1scala2.11.8jdk1.8hadoop2.6.5hive1.2.2kafka1.1.0Hbase1.4.5一、新建工程：File-scala-idea二、指定工程名称

sinat_32176267·2020-07-14 22:09

Windows10下部署开发环境(伪分布式环境)

版本：Oxygen.3aRelease(4.7.3a)Hadoop版本：hadoop-2.8.3插件制作相关的环境：ANT:apache-ant-1.9.12hadooponwindows-masterhadoop2x-eclipse-plugin-master.zip

ZhuiMengren_weijian·2020-07-14 22:16

spark本地开发环境搭建（maven + scala + java）

开发工具和软件版本信息IDEA2019.2JAVA1.8Scala2.11.12Spark2.4.3Hadoop2.7.7WindowsWin10专业版64位Centos7.5部署Spark和Hadoop

克念·2020-07-14 22:01

Hadoop2.7.3+HBase1.2.5+ZooKeeper3.4.6搭建分布式集群环境

Hadoop2.7.3+HBase1.2.5+ZooKeeper3.4.6搭建分布式集群环境一、环境说明个人理解：zookeeper可以独立搭建集群，hbase本身不能独立搭建集群需要和hadoop和hdfs

郑子明·2020-07-14 21:40

阿里云轻量级服务器ubuntu18.04配置Java1.8伪分布式安装Hadoop2.7.x

阿里云轻量级服务器ubuntu18.04配置Java1.8伪分布式安装Hadoop2.7.3前言第一部分：修改主机名和添加新用户1.修改主机名2.添加新用户第二部分：Java1.8的下载和安装第三部分：

天上的西红柿·2020-07-14 21:08

Hadoop-2.7.3完全分布式集群搭建（Centos7系统）

实验环境Centos7使用Hadoop2.7.3和jdk1.8搭建4个结点的完全分布式,一个namenode，3个datanode192.168.159.101master192.168.159.102node1192.168.159.103node2192.168.159.104node31

ζั͡ޓއއއ๓丶坏男孩·2020-07-14 21:56

Centos7 上搭建Hadoop3.1.1集群

Hadoop3.1.1集群基本网络配置不论是虚拟机还是物理机,Hadoop集群需要在网络可以共享,且可以访问外网的主机上搭建IP主机名192.168.100.101Hadoop1192.168.100.102Hadoop2192.168.100.103Hadoop3

mengfill·2020-07-14 21:26

Spark伪分布式环境搭建

这里选择Scala-2.11.12.tgz+spark-2.3.2-bin-hadoop2.7.tgz前提条件：Ubuntu16.04JDK1.8(Ubuntu环境下)安装步骤：1.下载安装包：http

Hadoop_Liang·2020-07-14 20:05

Window使用idea操作spark连接hive

平台环境：hadoop2.6.0-CDH5.7Hive1.1.0Spark1.6.0Scala2.11.5项目环境：jdk1.8scala2.11.01.创建新工程1.创建一个maven工程，不做赘述。

迷迷途小书童·2020-07-14 20:06

【Kylin】Kylin安装与部署

目录前提依赖环境集群规划安装依赖的Hbase1.1.1Kylin安装部署前提1.安装启动Hadoop2.安装启动zookeeper3.安装spark依赖环境软件版本Apachehbase-1.1.1-bin.tar.gz1.1.1spark

没去过埃及的法老·2020-07-14 20:25

Hbase伪分布式的搭建和配置

一、准备工作1.虚拟机环境（CentOS）2.jdk环境（jdk1.7）3.hadoop环境（Hadoop2.4）二、安装hbase1.解压hbasetar-zxvfhbase-0.96.2-hadoop2

write you name·2020-07-14 19:03

Hadoop2.7.0学习——完全分布式搭建

Hadoop2.7.0学习——完全分布式搭建学习参考http://www.07net01.com/2015/07/874408.html在VM上新建两个虚拟机在vm上新建两个虚拟机hadoop-masterhadoop-node1linux

花花花花爸爸·2020-07-14 19:54

Hadoop文件分块

HDFS中的文件在物理上是分块存储（block），块的大小可以通过配置参数(dfs.blocksize)来规定，默认大小在hadoop2.x版本中是128M，老版本中是64M。

qq_36488756·2020-07-14 18:19

Hadoop2.7.6集群搭建

首先，搭建的准备工作：Linux（CentOS）、xshell、至少8G内存。创建几个虚拟机，一主多从，每一个创建的时候，在最后安装前的设置里面，设置网络和主机名的两个地方，一个是IPv4那里，设置好IP地址，端口号和网关；还有一个是在常规那里勾选上第一个。每一个创建完，都要检测是否能够联网。同时检查一下网卡设置，命令为：vi/etc/sysconfig/network-scripts/ifcfg

江南阁·2020-07-14 18:43

大数据学习之路（二）——hadoop伪分布式

1.下载hadoop2.5.2.tar.gz2.解压到目录

recover517·2020-07-14 17:38

Hadoop2.7.6+Spark2.4.4+Scala2.11.12+Hudi0.5.2单机伪分布式安装

Hadoop2.7.6+Spark2.4.4+Scala2.11.12+Hudi0.5.2单机伪分布式安装注意1、本文档使用的基础hadoop环境是基于本人写的另一篇文章的基础上新增的spark和hudi

赵延东的一亩三分地·2020-07-14 17:54

Hadoop2.6.4集群搭建

环境配置：（1）4台配置好的centOs6.5（mini1，mini2，mini3，mini4）,每台机器都新建hadoop用户的用户，授予最高权限；（2）jdk版本：1.7；（3）编译好的hadoop2.6.4

qq_22253209·2020-07-14 17:27

本地搭建hadoop集群--hadoop2.7.6-src在linux上编译解决downloading过慢教程

第一步：工具的准备apache-ant-1.9.9-bin.tar.gzapache-maven-3.0.5-bin.tar.gzhadoop-2.7.6-src.tar.gzjdk1.7就好别用1.8据说用1.8maven编译会报各种错。protobuf-2.5.0.tar.gz以上就是需要的所有工具第二部：linux可以连接外网。第三部：给linux虚拟机至少分配4g以上内存。内存的过低编译会

succes_revenge·2020-07-14 17:03

新手安装hadoop伪分布式教程

安装环境VirtualBox虚拟机CentOS6.9系统hadoop2.6.5（最新版一样，向下兼容低版本jdk）jdk包1.8伪分布式就一台虚拟机第一步在VirtualBox创建一个CentOS虚拟机附上镜像下载地址

Python之简·2020-07-14 16:44

Hadoop2.0的HA介绍

前一篇文章介绍了Hadoop2.0（hadoop2.0架构，具体版本是hadoop2.2.0）的安装和最基本的配置（见http://www.linuxidc.com/Linux/2014-05/101173

寂寞烟·2020-07-14 16:34

hadoop cdh5安装（我是按这个配置安装成功的）

Hadoop-2.2.0集群安装配置实践2013-12-2620:14:42YanjunHadoop2.x和1.x已经大不相同了，应该说对于存储计算都更加通用了。

寂寞烟·2020-07-14 16:01

Hadoop小文件优化

本文个人总结先来了解一下Hadoop中何为小文件：小文件指的是那些文件大小要比HDFS的块大小(在Hadoop1.x的时候默认块大小64M，可以通过dfs.blocksize来设置；但是到了Hadoop2

Mr_249·2020-07-14 16:25

Linux安装Hadoop2.4.1和伪分布式部署

Hadoop平台都是基于Linux系统下的，今天我们来讲解Hadoop的安装教程一.先安装JDK，详情安装清查看我的另一篇文章：点击打开链接二.安装Hadoop（1）先上传hadoop的安装包到服务器上去/usr/local/src（2）解压到指定目录[hadoop@hadoop02src]$tar-zxvfhadoop-2.4.1.tar.gz-C~/app（3）重命名，解决繁杂的版本标识[ha

校长专栏·2020-07-14 15:10

用Apache Spark将数据写入ElasticSearch(spark-shell方式)

spark版本：elaticsearch6.8.2安装传送门：https://blog.csdn.net/mei501501/article/details/100866673spark-2.4.4-bin-hadoop2.7

mei501501·2020-07-14 15:34

Linux环境spark和Scala安装

/spark-2.4.5-bin-hadoop2.6.tgz-C../bigdata/tar-zxvf./scala-2.11.12.tgz-C../bigdata/重命名mv.

坐拥2只猫·2020-07-14 15:31

11、HDFS编程案例

一、Windows环境配置1、准备好hadoop的完全分布式按照，具体按照步骤这里不再赘述此处我的版本为hadoop2.7.6版本，环境配置为Hadoop的完全分布式按照，各个节点具体安排如下1）机器地址映射关系

贝壳里的沙·2020-07-14 14:59

使用Intellij构建spark源码阅读环境

http://spark.apache.org/downloads.html2.下载编译后的spark源码，这里下载根据Hadoop2.3版本编译的。

li9213·2020-07-14 14:26

linux+Hadoop2.7.6环境搭建+ win10+eclipse开发程序

开始linux平台下Hadoop下载、安装、配置第一步，下载安装maven配置环境变量2、下载maven安装包wgetwgethttp://mirrors.hust.edu.cn/apache/maven/maven-3/3.5.4/binaries/apache-maven-3.5.4-bin.tar.gz3、解压缩maventar-zxvfapache-maven-3.5.4-bin.tar.

大树168·2020-07-14 13:43

Mapper输入InputSplit分片数透析

maptask的数量由输入文件总大小和分片大小确定的；hadoop2.2版本hdfs的数据块默认是128M。若一个文件大于128M，通过将大文件分解得到若干个数据块；若一个文件小于

liangjf85·2020-07-14 13:27

hadoop 2.6.0伪分布式安装

本教程基于原生Hadoop2，在Hadoop2.6.0(stable)版本下验证通过，可适合任何Hadoop2.x.y版本

ladeng5225·2020-07-14 13:35

MAC下安装SPARK

@MAC下安装Saprk参考:https://cloud.tencent.com/developer/article/14235081.搭建hadoop2.执行:brewinstallscala终端执行

l_ibrary·2020-07-14 13:02

大数据之hadoop环境搭建笔记

.搭建过程2.1java环境2.2hadoop配置2.3其他配置2.3.1修改host2.3.2关闭防火墙2.3.3克隆虚拟机2.3.4SSH免密登陆2.4启动1.环境选择操作系统：centos7.2hadoop2.7.6jdk1.8

结巴分词·2020-07-14 12:11

Hadoop 2.6 日志文件和MapReduce的log文件研究心得

学习演练Hadoop2.6有一段日子了。现在才大致搞清楚了系统里面各个log的位置和功能，在这里总结一下。

infovisthinker·2020-07-14 12:31

hadoop 2.X 二次开发搭建环境

下载所需资料:链接：http://pan.baidu.com/s/1eQJd7W2密码：ksjy2、首先查看包里的附件hadoop2.7的源码，hadoop-2.7.0-src.tar.gz(自己要哪个版本自己找

imadxu·2020-07-14 11:35

Hadoop-Hbase环境搭建（上）

本教程也适用于Ubuntu14.04作者用的是hadoop2.7.2版本（稳定版本）二、准备工作1、若在安装Ubuntu的时候没有创建“hadoop”用户，则先创建hadoop用户这样就创建了hadoop

小黄人hcy·2020-07-14 11:25

安装配置Hadoop2.7.6集群

安装JDK1.8.0yuminstalljava-1.8.0-openjdk-devel.x86_64-y3、ApacheHadoop官网下载Hadoop2.7.6文件，Master服务器可以SSH免密登录到其它

fishinhouse·2020-07-14 10:52

Hadoop（二）CentOS7.5搭建Hadoop2.7.6完全分布式集群

一完全分布式集群(单点）Hadoop官方地址：http://hadoop.apache.org/1准备3台客户机1.1防火墙,静态IP,主机名关闭防火墙，设置静态IP，主机名此处略，参考Linux之CentOS7.5安装及克隆1.2修改host文件我们希望三个主机之间都能够使用主机名称的方式相互访问而不是IP，我们需要在hosts中配置其他主机的host。因此我们在主机的/etc/hosts下均进

dengshuabi6933·2020-07-14 09:42

跨版本迁移旧集群到新集群

跨版本迁移旧集群到新集群（hadoop2.2移到hadoop2.8），遇到无数问题，历时三周，终于圆满结束，总结如下：一.搭建新集群新集群用了5台实体机，分别安装zookeeper、hadoop、hbase

daiqinge·2020-07-14 09:48

VMware 安装Ubuntu1404虚拟机 + Hadoop2.6.1 安装

通过虚拟机来实施模拟集群环境，虽然说是虚机模拟，但是在虚机上的hadoop的集群搭建过程也可以使用在实际的物理节点中，思想是一样的。安装hadoop的准备条件：1，安装VMwareWorkStation软件2，在虚拟机上安装linux操作系统3，准备三个虚拟机节点其实这一步骤非常简单，如果你已经完成了第2步，此时你已经准备好了第一个虚拟节点，然后在你刚安装好的第一个虚拟机节点，将整个系统目录进行复

cs24k1993·2020-07-14 09:56

macOS Spark 2.4.3 standalone 搭建笔记

basedonjdk1.8Macos1、解压nancylulululu:localnancy$tar-zxvf/Users/nancy/Downloads/spark-2.4.3-bin-hadoop2.7

cqi024442·2020-07-14 09:45

iceiceice-Hadoop应用之旅一

最近学习了hadoop2.2.0的：1,安装，2,编译,3,Eclipse插件的远程访问，4,Zookeeper的安装，5,Hbase的安装，6,使用JAVAapi调用Hbase我们是一共是两台服务器，

碎话慢谈·2020-07-14 09:49

hadoop2.7集群初始化之后没有DataNode的问题

问题三台机器组成的hadoop2.7集群中，重新初始化之后再次启动启动，发现以下问题：在master节点，用hdfs命令上传文件报错Thereare0datanode(s)runningandnonode

程序员欣宸·2020-07-14 08:45

Hadoop2、Mac系统上，Hadoop集群配置，基于Centos7与Hadoop2.7.3

一、安装了一台虚拟机，先安装单机版Hadoop，为克隆做准备首先本地下载Hadoop2.7.3文件，然后打开Mac终端上传文件到服务器上指定位置：上传文件命令：scphadoop2.7.tgz.gzroot

臭臭在奔跑·2020-07-14 08:27

sqoop工具数据迁移

我的环境centos6.5hadoop2.4sqoop-1.4.4.

愤怒的苹果ext·2020-07-14 07:10

Hadoop源码编译环境搭建

环境可以用此工具执行编译命令）下载源码：http://hadoop.apache.org/releases.htmlhttp://mirror.bit.edu.cn/apache/hadoop/common/当前稳定版本为hadoop2.9

anshanzhan4329·2020-07-14 07:49

Hadoop2.0集群、Hbase集群、Zookeeper集群、Hive工具、Sqoop工具、Flume工具搭建总结

实验开发环境所用软件：[root@hadoop11local]#lltotal320576-rw-r--r--1rootroot52550402Mar610:34apache-flume-1.6.0-bin.tar.gzdrwxr-xr-x7rootroot4096Jul1510:46flumedrwxr-xr-x.11rootroot4096Jul1021:04hadoop-rw-r--r--.

安静的技术控·2020-07-14 06:45

Hadoop03：网站日志分析与MapReduce执行详解

一、回顾-》hadoop-》功能-》解决大数据存储：hdfs-》解决大数据计算：MapReduce-》hadoop2-》hdfs-》特点-》分布式：主从namenode：主节点-》存储元数据-》接收处理用户请求

SunlessAbyss·2020-07-14 06:03

推荐频道

Hadoop2