Hadoop2

Hadoop与eclipse连接

上一篇在win7虚拟机下搭建了hadoop2.6.0伪分布式环境。为了开发调试方便，本文介绍在eclipse下搭建开发环境，连接和提交任务到hadoop集群。
jukuistar·2020-07-28 13:41

Hadoop集群配置

src.tar.gz64位linux需要重新编译本地库2．准备环境Centos6.464位，3台hadoop0192.168.1.151namenodehadoop1192.168.1.152datanode1Hadoop2192.168.1.153datanode21
jukuistar·2020-07-28 13:10

CDH5.7.1 Hadoop2.6 HDFS Encryption KMS 实战之功能测试

CDHKMS测试0、用户说明[x]keyAdminUser用户是keyadminuser[x]hdfs用户是hdfssuperuser[x]user_a、user_b是HDFS普通用户1、创建keytab按照下面的办法创建keytabaddprinc-randkeyouruixst-norandkey-kourui.keytabourui2、到keyadmin用户创建给user_a的keykini
笛香幽谷（ouyangshourui）·2020-07-28 13:02

Hadoop 2.7.2 集群搭建

版本信息：Centos7+Hadoop2.7.2Hadoop+Spark集群搭建系列文章，建议按顺序参考：Hadoop&Spark集群搭建理念思想Hadoop2.7.2集群搭建－预备工作Hadoop2.7.2
siberiawolf61·2020-07-28 13:27

SPARK 源码分析技术分享(带视频)

SPARK源码分析技术分享(带视频)【本站点正在持续更新中......】SPARK1.6.0-cdh5.15.0Hadoop2.6.0-cdh5.15.0spark-scala-maven微信(技术交流
thinktotings·2020-07-28 12:20

Hadoop学习笔记（二）设置单节点集群

参考官方文档：HadoopMapReduceNextGeneration-SettingupaSingleNodeCluster.Hadoop版本：ApacheHadoop2.5.1系统版本：CentOS6.5
微wx笑·2020-07-28 12:31

Hadoop Yarn Container 资源分配

在Hadoop2.0中,YARN负责管理MapReduce中的资源(内存,CPU等)并且将其打包成Container.这样可以精简MapReduce,使之专注于其擅长的数据处理任务,将无需考虑资源调度.
小辣椒lllll·2020-07-28 12:45

Ubuntu16.04 上运行 Hadoop2.7.3 自带example wordCount摸索记录

首先最最重要的写在最前面，也是我觉得个人踩得最深的坑，刚接触hadoop的人，缺少的认识：hdfs的理解：它是一个文件系统，跟linux的文件系统是类似的结构，拥有类似的语法，大概就是你在linux上ls查看文件列表，那么hdfs的无非就是hadoopfs-ls。hadoop的输入输出，都是从hdfs读取和写入的，那么比如运行hadoop的wordcount例子的时候，网上各种大坑教程中完全都没有
_ThisIllusion·2020-07-28 11:15

MetaException(message:file:/user/hive/warehouse/xxx is not a directory or unable to create one)

环境:hadoop2.7.6spark2.2.0hive2.3.3问题：编写spark应用保存数据到hive表，之前不存在该表，报如下错：Causedby:MetaException(message:file
struggling_rong·2020-07-28 11:33

使用命令行编译打包运行MapReduce程序 Hadoop2.7.3

网上的MapReduceWordCount教程对于如何编译WordCount.Java几乎是一笔带过…而有写到的，大多又是0.20等旧版本版本的做法，即javac-classpath/usr/local/Hadoop/hadoop-1.0.1/hadoop-core-1.0.1.jarWordCount.java，但较新的2.X版本中，已经没有hadoop-core*.jar这个文件，因此编辑和打
smallcrabonsandbeach·2020-07-28 11:46

Hadoop2.6.4伪分布式环境搭建

1.下载Hadoop2.上传解压3.移动目录4.执行命令vi/etc/profile配置hadoop的环境变量5.执行命令source/etc/profile使配置立即生效6.执行命令hadoopversion
LifeIsForSharing·2020-07-28 11:41

Hadoop学习之shuffle过程最详细讲解

hadoop1.x和hadoop2.x的区别：Hadoop1.x版本：内核主要由Hdfs和Mapreduce两个系统组成，其中Mapreduce是一个离线分布式计算框架，由一个JobTracker和多个
脚丫先生·2020-07-28 11:56

Hadoop 2.6.0 重要特性之 Docker Container Executor (DCE)

DockerContainerExecutor(DCE)是Hadoop2.6.0包含的一个重要特性：至此，大数据的巨人Hadoop也终于可以利用当前虚拟化/云计算领域的宠儿Docker的强大能力了。
LiuQiYun·2020-07-28 10:04

Pacemaker部署

关于Pacemaker的介绍请参考http://blog.csdn.net/rzhzhz/article/details/7104135部署环境虚拟机2台（1G内存，40G硬盘，ubuntu操作系统）hadoop2
rzhzhz·2020-07-28 10:43

基于虚拟机的spark集群开发环境的搭建

Win1064位系统Vmware10Centos6.4jdk-7u80-linux-x64.rpmHadoop-2.7.1.tar.gzscala-2.11.6.tgzspark-2.0.1-bin-hadoop2.7
ronaldo4511·2020-07-28 10:49

大数据介绍（一）

这是个人整理的一些关于大数据的知识，希望对想学大数据的你有点帮助第一方面：大数据离线分析一般处理T+1数据Hadoop2.X：（common、HDFS、MapReduce、YARN）Hadoop并不是什么数据库
double_lifly·2020-07-28 09:43

Hadoop 的三种运行模式_完全分布式运行模式(详解)

完整：https://blog.csdn.net/qq_40794973/article/details/86681941版本：ApacheHadoop2.7.2一、虚拟机环境准备1.克隆虚拟机2.修改克隆虚拟机的静态
嘤 嘤 嘤·2020-07-28 08:55

CentOS 7.6 下利用 Hadoop2.6.0 运行 MapReduce 案例 WordCount

Hadoop安装可以参考文章：CentOS7.6安装Hadoop2.6.0零、前言运行环境CentOS7.6Hadoop2.6.0#一个主节点、一个数据节点jdk1.7.0_75hadoop安装目录：/
渣渣的夏天·2020-07-28 08:24

Hadoop2.7.1版本---标准输出HDFS文件系统中的文件

Hadoop2.7.1版本—本文内容中有关地址的内容要自行根据自身设置修改最近开始全身心的开始学习hadoop了，运行了系统jar文件自带的wordcount(和我们学习编程的第一天输出helloworld
qq_36459106·2020-07-28 07:40

大数据入门（五）windows上搭建单机版Hadoop2.8（踩坑记录）

、下载jdk的包并安装2、配置环境变量3、验证Hadoop安装和配置1、下载Hadoop包及安装2、环境变量配置Hadoop的文件修改1、core-site.xml2、mapred-site.xml（hadoop2.8.5
33 Audrey·2020-07-28 06:23

HDFS执行负载均衡时的threads quota is exceeded;浅谈HDFS的balancer

【告警现象】本人在使用hadoop2.7.3执行hdfsbalancer的时候，出现了以下告警：java.io.IOException:Goterror,statusmessageNotabletocopyblock1073778252to
Tony_仔·2020-07-28 06:42

Spark SQL和Spark Thrift Server安装部署

1.Spark部署下载spark-2.2.0-bin-hadoop2.7.tgz解压$tar-zxvfspark-2.2.0-bin-hadoop2.7.tgz配置环境变量$vim~/.bashrc添加如下内容
FlyGently·2020-07-28 05:45

Hadoop KMS 使用

HadoopKMS配置以hdfs的单机环境为例说明搭建过程1.hdfs配置1）下载hadoop2.6以上的版本，解压之后，配置HADOOP_HOMEexportHADOOP_HOME=/root/hadoop
mnasd·2020-07-28 03:04

hadoop2提交到Yarn： Mapreduce执行过程分析

1概述该瞅瞅MapReduce的内部运行原理了，以前只知道个皮毛，再不搞搞，不然怎么死的都不晓得。下文会以2.4版本中的WordCount这个经典例子作为分析的切入点，一步步来看里面到底是个什么情况。2为什么要使用MapReduceMap/Reduce，是一种模式，适合解决并行计算的问题，比如TopN、贝叶斯分类等。注意，是并行计算，而非迭代计算，像涉及到层次聚类的问题就不太适合了。从名字可以看出
mllhxn·2020-07-28 03:58

(1).hdfs特性及适用场景

并且是分布式的，由很多服务器联合起来实现其功能，集群中的服务器各自负责角色；重要特征：1.HDFS中的文件在物理上是分块存储（block），块的大小可以通过配置参数(dfs.blocksize)来规定，默认大小在hadoop2
毛志荣·2020-07-28 03:43

hadoop2x-eclipse-plugin在hadoop 2.7.5下编译和在hadoop完全分布式下的使用

1.下载pluginsourcecodegitclonegit://github.com/winghc/hadoop2x-eclipse-plugin2.修改相关文件,主要有两个,一个是hadoop2x-eclipse-plugin-master
loliaryx·2020-07-28 02:43

Hadoop的MapReduce和Yarn

1.Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而mapreduce等运算程序则相当于运行于操作系统之上的应用程序；Yarn是hadoop2.0版本新添加的
学海无涯勤为径·2020-07-28 02:59

Hadoop的MapReduce之maptask和reducetask

mapreduce就是一个分布式程序的通用框架：一个完整的mapreduce程序在分布式运行时有三类实例进程：（根据hadoop2.0以后版本进行讲述）1、MRAppMaster：负责整个程序的过程调度及状态协调
学海无涯勤为径·2020-07-28 02:28

Hadoop核心组件之HDFS

分布式文件系统一句话总结一个文件先被拆分为多个Block块（会有Block-ID：方便读取数据），以及每个Block是有几个副本的形式存储1个文件会被拆分成多个Blockblocksize：128M（Hadoop2.0
留歌36·2020-07-28 02:56

hadoop2.6配置文件设置

1.core-site.xmlfs.defaultFShdfs://hadoop01:80202.hdfs-site.xmldfs.namenode.name.dir/grid/hadoop/hdfs/nn,/grid1/hadoop/hdfs/nndfs.datanode.data.dirfile:///grid/hadoop/hdfs/dn,file:///grid1/hadoop/hdfs/
外卖吉他·2020-07-28 02:52

一.SparkSQL中thriftserver和beeline的使用

使用的前提是你已经安装好了spark,在这里我使用的版本是spark-2.0.2-bin-hadoop2.7,建议使用该版本,因为试了几个版本都不理想,最后找到了这个版本感觉挺好的,学习SparkSQL
飞翔的小宇宙·2020-07-28 02:20

spark操作hive

1、下载spark并解压wgethttp://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.3.4/spark-2.3.4-bin-hadoop2.6
Michael-JOE·2020-07-28 01:37

docker安装分布式hadoop

1、安装hadoop镜像1）在docker中查找hadoop镜像dockersearchhadoop2）拉取镜像我们选择star数量最多的镜像拉取dock
k55·2020-07-28 01:25

hadoop+hive三节点环境搭建

201MySql：5.7.25Hadoop：hadoop-2.8.1Hive：apache-hive-1.2.2-binHadoop集群为三个节点：主节点hadoop1192.168.18.171从节点hadoop2192.168.18.172
jmz19910110·2020-07-28 01:32

基于阿里云服务器，一步步详解部署Hadoop2.8.5伪分布式并进行配置及原理解释，命令+图解！！！极其详细！！！

原创声明：近期发现在关键字搜索我的文章时，发现很多文章被其他网站直接一字不落的拿去。在这里我先谢谢大家对我写的内容的肯定，我也会继续努力。但是，很多网站连标明都未标明来源，这就让人很可气，毕竟每一篇文章都是我一个字一个字敲出来的。我也不是在抱怨什么，只是希望那些某些站长在“转载”他人文章时标明来源，注明作者。不要只是简单的一个来源互联网。万分感谢。此外，本站文章如未标注文章来源，则均为作者原创，请
吃土少年8·2020-07-28 00:54

hadoop2.6版本集群环境搭建

一、环境说明1、机器：一台物理机和一台虚拟机2、linux版本：[spark@S1PA11~]$cat/etc/issueRedHatEnterpriseLinuxServerrelease5.4(Tikanga)3、JDK:[spark@S1PA11~]$java-versionjavaversion"1.6.0_27"Java(TM)SERuntimeEnvironment(build1.6.
iteye_6622·2020-07-28 00:24

hadoop 运行自带包的单词计数位置和写法

0准备文件test内容如下，中间用\t间隔[root@hadoop3~]#cattesthelloyouhellome1找到如下路径hadoop2.5.2/share/hadoop/mapreduce:
iteye_3893·2020-07-28 00:08

hadoop本地库与系统版本不一致

hadoop本地库与系统版本不一致引起的错误解决方法(suse11上部署hadoop2.6遇到的问题，网上搜的资料，待验证)集群中设置支持gziplzo压缩后，在对压缩文件进行读取或者对输入文件压缩的时候要使用到
ichsonx·2020-07-28 00:03

Hadoop2.7.1+Hbase1.2.1集群环境搭建(1)hadoop2.7.1源码编译

(1)hadoop2.7.1源码编译http://aperise.iteye.com/blog/2246856(2)hadoop2.7.1安装准备http://aperise.iteye.com/blog
ichsonx·2020-07-28 00:03

记一次hadoop部署之旅

一、环境说明ubuntu14.04LTS64位hadoop2.6.0protocbuf2.5.0二、环境变量配置2.1修改profile文件sudovi/etc/profile添加如下内容#HADOOPVARIABLESSTARTexportHADOOP_INSTALL
ichsonx·2020-07-28 00:02

Hadoop 2.7版本 集群环境搭建实例

1.2Hadoop2.7.2简介与
Running07·2020-07-27 23:38

hadoop2.x中hadoop—core.jar包使用

在hadoop2.X中已经没有hadoop-core.jar包了，由以下取而代之：conf部分在hadoop/common/hadoop-commom-2.2.0.jarorg.apache.hadoop.conf.Configurationorg.apache.hadoop.fs.Pathorg.apache.hadoop.io.IntWritableorg.apache.hadoop.io.T
方成好少年·2020-07-27 23:29

hadoop 2.6.0 安装过程

最先要做的当然是安装hadoop了，在安装hadoop之前需要作以下的一些准备一个linux环境，我使用vmware的虚拟机环境安装了centos这个请自己百度一下吧，确实是太大了jdk1.6以上的linux安装包hadoop2.6.0
hanfeng_1010·2020-07-27 23:27

Windows 10编译Hadoop 2.6.0源码

版本控制@TitleWindows10编译Hadoop2.6.0源码@Versionv1.0@Timestamp2016-08-2216:21@AuthorSamWong@Mailncepuwanghui
远太狼·2020-07-27 22:52

hadoop2.6.5集群安装及mapreduce测试运行

-环境准备系统：centos6.5虚拟机：VMwareWorkstationjdk文件:jdk-7u67-linux-x64.tar.gzhadoop文件：hadoop-2.6.5.tar.gz这里搭建集群包括4个节点，1个Master，3个Salve，需要实现节点间局域网连接，可以相互ping通。规划节点IP地址（可自定义），下面是采用机子原有IP：Master.Hadoop192.168.19
饭饭认认米·2020-07-27 21:39

Hadoop KMS 使用

HadoopKMS配置以hdfs的单机环境为例说明搭建过程1.hdfs配置1）下载hadoop2.6以上的版本，解压之后，配置HADOOP_HOMEexportHADOOP_HOME=/root/hadoop
eyoulc123·2020-07-27 21:53

YARN详解(ResourceManager/ApplicationMaster/NodeManager/Container)

一、YARN基本思想YARN是Hadoop2.0中的资源管理系统，它的基本思想是将JobTracker的两个主要功能(资源管理和作业调度/监控)分离，主要方法是创建一个全局的ResourceManager
Jenson97·2020-07-27 21:16

Hadoop2.6.0子项目hadoop-mapreduce-examples的简单介绍

引文学习Hadoop的同学们，一定知道如果运行Hadoop自带的各种例子，以大名鼎鼎的wordcount为例，你会输入以下命令：[python]viewplaincopyprint?hadooporg.apache.hadoop.examples.WordCount-Dmapreduce.input.fileinputformat.split.maxsize=1/wordcount/input/w
dingguanyi·2020-07-27 21:18

hadoop编写MapReduce例子（附有代码）

开发环境：hadoop2.6.5，jdk1.8.ubuntu14系统1.在本地写好代码（eclipse写的，当时没用maven，直接把jar引到程序里了）2.打成jar包（eclipse右键项目，点击export
璀璨下的一点星辰·2020-07-27 21:44

干货：如何通过Federation将Hadoop存储容量提升4倍？

为了解决这些问题，Hadoop2.0就引入了基于共享存储的HA解决方案和HDFSFederation，HDFSFederation是指HDFS集群可同时存在多个NameNode，这些NameNode分别管理一部分数据
coqonmdrr954803650·2020-07-27 20:37
上一页 35 36 37 38 39 40 41 42 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他