Hadoop2

阿里云服务器上装Hadoop的心得（内附Hadoop2.9.2详细安装教程）

以前装Hadoop-3.1.2是跟着厦大林子雨的详细教程装的，所以遇到的问题不多，自己没怎么思考，导致跟着官网再装了一个Hadoop-2.9.2（为了装Hbase2.2.0）时装了两天，现在把遇到过的问题记下来以免以后再犯。首先，安装软件首先看官网教程。但官网的教程是很简单的，比如Hadoop的安装。默认会创建hadoop用户；给hadoop权限；所有都在hadoop用户下操作（不然会出错）；会更
努力学习的小黄·2019-10-01 08:00

【Hadoop开发环境搭建】三、Hadoop集群搭建

三、Hadoop集群搭建在上篇中记录了Hadoop安装与配置，在本篇中，介绍一下Hadoop集群的搭建1.现有环境三台云服务器（Linux系统、JDK1.8、Hadoop2.2.7）2.关闭防火墙、修改
Nelson_hehe·2019-09-30 21:48

MapReduce之Job提交流程源码和切片源码分析

hadoop2.7.2MapReduceJob提交源码及切片源码分析首先从waitForCompletion函数进入booleanresult=job.waitForCompletion(true);/
kocdaniel·2019-09-29 18:00

MapReduce之Job提交流程源码和切片源码分析

hadoop2.7.2MapReduceJob提交源码及切片源码分析首先从waitForCompletion函数进入booleanresult=job.waitForCompletion(true);/
kocdaniel·2019-09-29 18:00

MapReduce之Job提交流程源码和切片源码分析

hadoop2.7.2MapReduceJob提交源码及切片源码分析首先从waitForCompletion函数进入booleanresult=job.waitForCompletion(true);/
kocdaniel·2019-09-29 00:00

Java Web提交任务到Spark Spark通过Java Web提交任务

http://blog.csdn.net/fansy1990/article/details/48001013相关软件版本：Spark1.4.1，Hadoop2.6，Scala2.10.5,MyEclipse2014
dufufd·2019-09-26 18:42

Hadoop之完全分布式集群

集群环境：centOs6.8：hadoop102，hadoop103，hadoop104jdk版本：jdk1.8.0_144hadoop版本：Hadoop2.7.2首先准备三台客户机（hadoop102
kocdaniel·2019-09-25 00:00

Hadoop2.X/YARN环境搭建--CentOS7.0 JDK配置

Hadoop是Java写的，他无法使用Linux预安装的OpenJDK,因此安装hadoop前需要先安装JDK（1.6以上）原材料：在Oracle官网下载的32位JDK：说明：1、CentOS7.0系统现在只有64位的，但是，Hadoop一般支持32位的，在64位环境下有事会有Warning出现，避免真的有神马问题，选择i586的JDK（即32位的），当然，64位的CentOS7肯定是兼容32位J
·2019-09-23 18:44

Hadoop2.X/YARN环境搭建--CentOS7.0系统配置

一、我缘何选择CentOS7.014年7月7日17:39:42发布了CentOS7.0.1406正式版,我曾使用过多款Linux，对于Hadoop2.X/YARN的环境配置缘何选择CentOS7.0，其原因有
·2019-09-23 18:44

Hadoop MapReduce Spark 配置项

适用范围本文涉及到的配置项主要针对Hadoop2.x，Spark2.x。
walker·2019-09-23 06:59

CentOS7上安装Hadoop2.9.2集群

hadoop2.9.2这这这!!!
风吟丶·2019-09-19 11:58

Hadoop 求单词count数

packagecom.yw.hadoop273;importorg.apache.hadoop.io.IntWritable;importorg.apache.hadoop.io.LongWritable
愿无违·2019-09-19 10:00

安装和配置hadoop2.7.4集群

安装和配置Hadoop2.7.4集群是基于VMware虚拟机软件，CentOS-6.5-x86_64-bin-DVD1.iso光盘映像文件，搭建的Linux系统集群先安装并配置JDK-1.8cd/opt
ho_ll_ow·2019-09-18 21:32

尚学堂大数据学习笔记（二） CentOS6.5 + JDK8 + hadoop2.6.5 搭建Hadoop集群

文章目录尚学堂大数据学习笔记（二）CentOS6.5+JDK8+hadoop2.6.5安装配置HDFS1.安装CentOS6.5系统1.1创建CentOS6.5系统虚拟机1.1虚拟机创建1.2开启ssh
LGX_TvT·2019-09-18 10:33

Spark 系列（二）—— Spark 开发环境搭建

下载并解压官方下载地址：http://spark.apache.org/downloads.html，选择Spark版本和对应的Hadoop版本后再下载：解压安装包：#tar-zxvfspark-2.2.3-bin-hadoop2.6
heibaiying·2019-09-18 08:15

Spark集群安装部署

details/100856388安装软件版本为：JDK:jdk-8u181-linux-x64.tar.gzHadoop:hadoop-3.1.2.tar.gzSpark:spark-2.3.1-bin-hadoop2.6
Jeremy_Lee123·2019-09-17 20:37

HDFS API编程 (Eclipse Maven工程）

前提条件：Linux系统下安装好Hadoop2.7.3Windows系统下安装好eclipse和MavenEclipse配置好Maven步骤：新建Ma
Hadoop_Liang·2019-09-17 17:35

Structured Streaming + Kafka 统计Window模型

spark版本：spark-2.4.4-bin-hadoop2.7.tgz（https://www.apache.org/dyn/closer.lua/spark/spark-2.4.4/spark-2.4.4
zhexiao27·2019-09-16 15:30

记一次Spark中 Container killed by YARN for exceeding memory limits的解决过程

kill，导致任务失败，查看日志：ContainerkilledbyYARNforexceedingmemorylimits使用spark命令：/opt/software/spark-2.2.0-bin-hadoop2.6
微步229·2019-09-16 10:55

[转]大数据环境搭建步骤详解（Hadoop，Hive，Zookeeper，Kafka，Flume，Hbase，Spark等安装与配置）

原文链接：https://blog.csdn.net/pig2guang/article/details/85313410大数据环境安装和配置（Hadoop2.7.7，Hive2.3.4，Zookeeper3.4.10
JackieZhengChina·2019-09-16 09:45

大数据：Hadoop2.0---HDFS读取数据

初始化FileSystem，然后客户端(client)用FileSystem的open()函数打开文件FileSystem用RPC调用元数据节点，得到文件的数据块信息，对于每一个数据块，元数据节点返回保存数据块的数据节点的地址。FileSystem返回FSDataInputStream给客户端，用来读取数据，客户端调用stream的read()函数开始读取数据。DFSInputStream连接保存
JinChao94·2019-09-16 01:31

大数据：Hadoop2.0---HDFS的java接口

packagecn.itcast.hadoop.hdfs;importjava.io.FileInputStream;importjava.io.IOException;importjava.io.InputStream;importjava.io.OutputStream;importjava.net.URI;importjava.net.URISyntaxException;importorg
JinChao94·2019-09-15 23:14

大数据：Hadoop2.0---HDFS介绍

HDFSHadoop建议存储大文件，如果是大量的小文件，会消耗大量内存。同时map任务的数量是由splits来决定的，所以用MapReduce处理大量的小文件时，就会产生过多的map任务线程管理开销将会增加作业时间。处理大量小文件的速度远远小于处理同等大小的大文件的速度。NameNode整个文件系统的管理节点，维护着整个文件系统的文件目录树，文件/目录的元信息和每个文件对应的数据块列表。运行时所有
JinChao94·2019-09-15 22:54

Yarn&TimeLine&JHS Web UI中显示的最大任务数配置

YarnRMWebUI中保存的最大的运行完成(completed)的任务数yarn.resourcemanager.max-completed-applicationshadoop2中默认值为10000
看得出的就是·2019-09-15 10:45

大数据开发-HDFS-web页面权限不足问题

在hadoop2.7.4(hadoop2.X)中通过hdfs管理界面查看/tmp目录出现如下错误：Permissiondenied:user=dr.who,access=READ_EXECUTE,inode
farAway·2019-09-14 00:00

Hadoop 系列（二）—— 集群资源管理器 YARN

一、hadoopyarn简介ApacheYARN(YetAnotherResourceNegotiator)是hadoop2.0引入的集群资源管理系统。
heibaiying·2019-09-13 17:20

Hadoop 系列（二）—— 集群资源管理器 YARN

一、hadoopyarn简介ApacheYARN(YetAnotherResourceNegotiator)是hadoop2.0引入的集群资源管理系统。
黑白影·2019-09-13 00:00

Structured Streaming + Kafka 统计模型（输入kafka，输出console）

spark版本：spark-2.4.4-bin-hadoop2.7.tgz（https://www.apache.org/dyn/closer.lua/spark/spark-2.4.4/spark-2.4.4
zhexiao27·2019-09-12 14:33

Structured Streaming 词频统计模型

spark版本：spark-2.4.4-bin-hadoop2.7.tgz（https://www.apache.org/dyn/closer.lua/spark/spark-2.4.4/spark-2.4.4
zhexiao27·2019-09-12 14:02

Hadoop学习笔记（四）

Windows下的eclipse远程连接Linux下的Hadoop添加jar包：D:\Hadoop2.6.4\hadoop-2.6.4\share\hadoop\hdfs下的三个jar包以及D:\Hadoop2.6.4
寂天风·2019-09-12 13:00

大数据技术栈_HDFS(zookeeper、hadoop)环境搭建

高可用HDFS集群部署集群规划说明：在hadoop2.0中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。
AnEra·2019-09-12 10:59

java 简单操作HDFS

创建java项目packagecom.yw.hadoop273;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs
愿无违·2019-09-11 23:00

Hadoop学习笔记（三）

Hadoop2.xx中默认块大小为128MB，当数据大小小于128MB也是单独存一个块。
寂天风·2019-09-11 23:00

Hadoop学习笔记（二）

配置Hadoop2.6.4：https://hadoop.apache.org/docs/r2.6.4/hadoop-project-dist/hadoop-common/SingleCluster.html
寂天风·2019-09-11 20:00

大数据组件原理

.Driver组件：该组件包括：Compiler、Optimizer、Executor,它可以将Hive的编译、解析、优化转化为MapReduce任务提交给Hadoop1中的JobTracker或者是Hadoop2
flylynne·2019-09-11 16:00

Spark系列文章（二）:Spark伪分布式安装

studytime原文：https://www.studytime.xin/下载Spark安装包官网下载http://spark.apache.org/downloads.html安装前准备Java8已安装hadoop2.7.5
baihe·2019-09-11 00:00

sparkSQL 连接Oracle

注意要将oracle.jdbc.OracleDriverojdbc8.jar放到spark目录D:\Users\lill001\projects\spark-2.4.3-bin-hadoop2.7\jars
银灯玉箫·2019-09-10 15:06

Hadoop HA

HA概述所谓HA（HighAvailable），即高可用（7*24小时不中断服务）实现高可用最关键的策略是消除单点故障，HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HAHadoop2.0
灰白世界·2019-09-08 22:57

Yarn

1Hadoop1.x和Hadoop2.x架构区别在Hadoop1.x时代，Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度，耦合性较大。在Hadoop2.x时代，增加了Yarn。
不稳定记忆·2019-09-08 20:31

记录第一次搭建hadoop(hadoop2.9.2版本by虚拟机CentOS-6.5)

前期准备.对虚拟机的网络和ip进行设置使用root用户进入操作系统关闭防火墙-chkconfigiptablesoff禁用selinuxvim/etc/sysconfig/selinux将SELINUX设置为disabled修改主机名vim/etc/sysconfig/networkHOSTNAME=hadoop修改机名与ip的对应关系vim/etc/hosts新开一行并添加格式为（IP机名）重启
KobeSacre·2019-09-07 16:13

Hadoop2-8-0的环境搭建

阅读更多此文为在centos7下安装Hadoop集群前期准备Hadoop下载Hadoop的下载本文下载的是2.8.0版本的Hadoop安装3个虚拟机并实现ssh免密码的登录安装3个centos7虚拟机安装方法：安装3个机器，机器分别叫masterslave1slave2如图：ps：为了免去后面一系列授权的麻烦，这里直接使用root账户登录和操作了。使用ifconfig命令，查看着三台机器的ip。我
wx1567764797·2019-09-06 18:00

Hadoop2-8-0的环境搭建

阅读更多此文为在centos7下安装Hadoop集群前期准备Hadoop下载Hadoop的下载本文下载的是2.8.0版本的Hadoop安装3个虚拟机并实现ssh免密码的登录安装3个centos7虚拟机安装方法：安装3个机器，机器分别叫masterslave1slave2如图：ps：为了免去后面一系列授权的麻烦，这里直接使用root账户登录和操作了。使用ifconfig命令，查看着三台机器的ip。我
wx1567764797·2019-09-06 18:00

spark安装

1、下载地址http://spark.apache.org/downloads.html2、解压tar-zxvfspark-2.4.4-bin-hadoop2.7.tgz-C/opt/module/3、
我是属车的·2019-09-05 11:00

一、hive介绍和安装

如果能用Sql语句操作hadoop的MR，这是多么酷的一件事版本介绍:hadoop2.7.2hive2.1.0centos7一、hive介绍基于hadoop的mr，就是对hadoop的job的封装使用二
诛仙89·2019-09-03 17:54

企业级大数据平台

Apache、CDH（tar包、rpm包、parcel包，必须由clouderamanager进行管理）、HDP注意：大数据框架内禁用IPV6；同时要修改用户的最大进程数、单个进程打开的最大文件数量；Hadoop2
perfectgum·2019-09-03 11:59

Centos7.0配置Hadoop2.7.0伪分布式

一、ssh免密登录1.命令ssh-keygen、overwrite输入y一路回车2.将生成的密钥发送到本机ssh-copy-idlocalhost中间会询问是否继续输入“yes”3.测试免密登录是否成功sshlocalhost二、Java配置新建一个文件夹存放java和hadoop这里我在~目录下新建了一个app文件夹下面。命令行移动文件到新建的app文件夹下。解压jdk压缩包。创建软连接或重命名
wei-xiao·2019-09-02 18:00

k8s kubernetes 安装

base.app.dev.yfzk1hadoop1master1mastersparkmasterk8s-master10.156.50.36yanfabu2-36.base.app.dev.yfzk2hadoop2master2sparkwork1k8s-node110.156
knight_black_bob·2019-08-31 18:00

k8s kubernetes 安装

base.app.dev.yfzk1hadoop1master1mastersparkmasterk8s-master10.156.50.36yanfabu2-36.base.app.dev.yfzk2hadoop2master2sparkwork1k8s-node110.156
knight_black_bob·2019-08-31 18:00

linux spark 安装

10.156.50.35yanfabu2-35.base.app.dev.yfzk1hadoop1master1mastersparkmaster10.156.50.36yanfabu2-36.base.app.dev.yfzk2hadoop2master2sparkwork110.156.50.37yanfabu2
knight_black_bob·2019-08-31 17:00

linux spark 安装

10.156.50.35yanfabu2-35.base.app.dev.yfzk1hadoop1master1mastersparkmaster10.156.50.36yanfabu2-36.base.app.dev.yfzk2hadoop2master2sparkwork110.156.50.37yanfabu2
knight_black_bob·2019-08-31 17:00
上一页 65 66 67 68 69 70 71 72 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他