Hadoop2

Hadoop生态架构之Hadoop2.7.3全分布式集群搭建

本节将来介绍一下Hadoop2.x全分布模式的环境搭建过程。
勇于自信·2019-12-13 02:38

大数据入门(四) - 分布式资源调度——YARN框架

1YARN产生背景YARN是Hadoop2.x才有的，所以在介绍YARN之前，我们先看一下MapReduce1.x时所存在的问题：单点故障节点压力大不易扩展1.1MapReduce1.x时的架构可以看到
金光闪闪耶·2019-12-12 23:19

源码|HDFS之NameNode：启动过程

源码版本：ApacheHadoop2.6.0可参考猴子追源码时的速记打断点，亲自debug一遍。
猴子007·2019-12-12 17:56

hadoop单机模式部署

单机模式1.创建hadoop用户groupaddhadoop#创建用户组useradd-ghadoop-m-s/bin/bashhadoop#创建用户passwdhadoop#设置hadoop密码为hadoop2
Youngmon·2019-12-12 15:28

Archlinux/Manjaro 安装 MariaDB Hadoop Hive (伪分布式)

Hadoop2.x.y（伪分布式）参考官网对应版本的文档的singlenodesetup部分https://hadoop.apache.org/docs/首先要有ssh和rsync然后下载bin包并解压
wine99·2019-12-12 00:52

spark streaming + kafka

sparkstreaming+kafka官网下载sparkspark-2.0.1-bin-hadoop2.7java代码测试packagedouzi.risk;importjava.util.HashMap
Jerry_Hao·2019-12-11 22:03

第一章 Yarn简介

简介Yarn是Hadoop生态圈中的一个通用资源管理系统和调度平台，产生于Hadoop2。可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。
super_wing·2019-12-11 10:55

本地spark连接hive相关问题总结

hive首先需要下载spark，下载地址：http://mirror.bit.edu.cn/apache/spark/spark-3.0.0-preview/spark-3.0.0-preview-bin-hadoop2.7
小豆侠·2019-12-10 19:18

spark streaming + kafka +python(编程)初探

一、环境部署hadoop集群2.7.1zookeerper集群kafka集群：kafka_2.11-0.10.0.0spark集群：spark-2.0.1-bin-hadoop2.7.tgz环境搭建可参考我前面几篇文章
玄月府的小妖在debug·2019-12-08 14:17

YARN基础一：基本架构和启动过程

：集群操作系统–为应用程序提供了基本服务来更好地利用大的、动态的、并行的基础设施资源负责集群的资源管理和调度使得多种计算框架可以运行在一个集群中在Yarn中，Job的概念换成了application在hadoop2.0
张凯_9908·2019-12-08 05:39

Linux下安装spark

进入到安装目录cd/home/用户名/文件夹名2.下载压缩包wgethttp://mirror.bit.edu.cn/apache/spark/spark-2.2.1/spark-2.2.1-bin-hadoop2.7
喵星宝·2019-12-07 23:25

CentOS 7 集群部署 Hadoop 2.7.3

二、安装虚拟机（本文采用CentOS7）1.本文采用CetnOS7安装部署  2.jdk1.8  3.Hadoop2.7.3hostnameipmaster10.10.1.3slave110.10.1.4
Minty_·2019-12-07 15:34

checkpoint

scala>sc.textFile("hdfs://hadoop21:9000/wc/").flatMap(_.split("")).map((_,1)).reduceByKey(_+_)res10:org.apache.spark.rdd.RDD
lehuai·2019-12-07 14:12

源码|HDFS之DataNode：写数据块（3）

源码版本：ApacheHadoop2.6.0结论与实现都相对简单。可仅阅
猴子007·2019-12-07 10:47

Hadoop2.7.7安装配置

hadoop2.8.5NameNode高可用HA配置/etc/hosts配置192.168.56.100master192.168.56.101node1192.168.56.102node2192.168.56.103node3192.168.56.104node4etc
陈文瑜·2019-12-07 10:12

CentOS7安装Hadoop2.7完整流程

1、环境，3台CentOS7，64位，Hadoop2.7需要64位Linux，CentOS7Minimal的ISO文件只有600M，操作系统十几分钟就可以安装完成，Master192.168.1.12Slave1192.168.1.13Slave21
0o失魂鱼o0·2019-12-07 07:12

Windows上的PyCharm 远程连接调试pyspark

1.设置环境变量在Linux中/usr/local/spark/spark-2.2.0-bin-hadoop2.7/python/l
Michaelhbjian·2019-12-06 17:42

spark集群安装部署

事先搭建好zookeeper集群1、下载安装包https://archive.apache.org/dist/spark/spark-2.3.3/spark-2.3.3-bin-hadoop2.7.tgzspark
木子三少·2019-12-06 14:00

官网_2.6.5_HDFS高可用性使用仲裁日志管理器（HDFS HA QJM）

背景（Background）在Hadoop2.0.0之前，NameNode是HDFS集群中的单点故障（SPOF）。
宾果go·2019-12-04 11:58

Hadoop2.0架构

对于很多人来说，大数据=Hadoop，大数据的相关技术源自Google的分布式计算和分布式文件系统（GFS），基于Google提出的分布式计算和文件系统，ApacheHadoop实现了自己的MapReduce和HDFS（HadoopFileSystem），并将其分享出来形成开源社区。如今Hadoop的开源社区发展地如火如荼，在MapReduce和HDFS的基础上ApacheHadoop发展出了更完
姜戈·2019-12-02 06:24

hadoop（3）：简单运行和count小例子

常见运行模式本地模式也就是一台机器，一个hadoop伪分布式也就是一台机器，存储用hdfs集群模式也就是多台机器，namenode和ResourceManager，做ha配置下载到hadoop官网下载对应的包这里用的src带源码的hadoop2.7.1
dodo_lihao·2019-12-02 06:44

《Hadoop权威指南》书摘-关于YARN

/zhuanlan.zhihu.com/ghoststories简介ApacheYARN(YetAnotherResourceNegotiaor的缩写)是Hadoop的集群资源管理系统，YARN被引入Hadoop2
GhostStories·2019-12-01 19:51

使用sqoop将mysql数据导入到hive中

首先准备工具环境：hadoop2.7+mysql5.7+sqoop1.4+hive3.1准备一张数据库表：接下来就可以操作了。。。
不像话·2019-12-01 16:00

Flink集群部署详细步骤

CDH集群环境hadoop2.6，Scala2.11，所以下载：flink-1.5.0-bin-hadoop26-scala_2.11.tgz2.解压[root@hadoop2opt]#tar-zxfflink
尼小摩·2019-12-01 13:16

搭建hadoop2 HA

1.2hadoop2.0对hadoop1.0单点问题的解决为了解决hadoop1中的单点问题，在hadoo
露亦子·2019-12-01 00:19

docker安装kylin0.7.2.md

1.拉取docker镜像注意：这个kylin是0.7.2版本的，集成了ambari1.7和hdpHadoop2.2，镜像大约6Gdockerpullsequenceiq/kylin:0.7.22.启动kylin
未然猜·2019-11-30 22:49

windows pycharm spark

安装py4jpipinstallpy4j2.配置pycharm在PYTHON_HOME\lib\site-packages下新建pyspark.pth文件内容为:E:\spark-1.5.1-bin-hadoop2.4
东皇Amrzs·2019-11-30 09:21

每日一读 11.15

资源：spark2.3.0安装包下载【对应hadoop2.7.1版本】http://www.aboutyun.com/thread-23314-1-1.html深入Python3【617页】http:/
Vicor·2019-11-29 13:29

HDFS架构

1.hadoop1.xhdfs架构图image2.hadoop2.xhdfs架构图image3.hdfs写流程客户端要向HDFS写数据，首先要跟namenode通信以确认可以写文件并获得接收文件block
miss幸运·2019-11-29 09:38

大数据学习day18----第三阶段spark01--------1. spark(standalone模式)的安装 2. Spark各个角色的功能 3.SparkShell的使用，spark编程入门（wordcount案例）

spark(standalone模式)的安装（1）下载spark安装包（spark官网）（2）上传spark安装包到Linux服务器上（3）解压spark安装包tar-zxvfspark-2.3.3-bin-hadoop2.7
一y样·2019-11-28 10:00

Hadoop2.6 集群部署automaticHA+Federation+Yaran

一.目标搭建Hadoop2.6.4集群automaticHA+Federation+Yaran二.环境jdk1.7hadoop2.2centos6.564位zookeeper3.4.5三.集群规划集群主机名
在路上_Rogge·2019-11-28 05:55

Hadoop2.6 集群部署automaticHA+Federation+Yaran

一.目标搭建Hadoop2.6.4集群automaticHA+Federation+Yaran二.环境jdk1.7hadoop2.2centos6.564位zookeeper3.4.5三.集群规划集群主机名
在路上_Rogge·2019-11-28 05:55

《日子》.分布式-Hadoop2.6 cluster

master.hadoop192.168.0.10slave1.hadoop192.168.0.11slave2.hadoop192.168.0.12二、ssh无密钥登录参考《日子》.分布式之开篇－SSH无密认证三、jdk安装及hadoop2.6
14de179c3a39·2019-11-27 22:09

大数据DMP画像系统

大数据结合业务场景落地系统开发要求涉及的技术要点：spark、elasticsearch、hadoop、hive、LRGBDT等机器学习算法开发工具：idea、eclipse开发环境：spark2.2、hadoop2.7
13157330443·2019-11-27 22:27

Hadoop2.6 集群部署automaticHA+Federation+Yaran

一.目标搭建Hadoop2.6.4集群automaticHA+Federation+Yaran二.环境jdk1.7hadoop2.2centos6.564位zookeeper3.4.5三.集群规划集群主机名
在路上_Rogge·2019-11-27 18:08

windows下大数据开发环境搭建（4）——Spark环境搭建

一、所需环境·Java8·Python2.6+·Scala·Hadoop2.7+二、Spark下载与解压http://spark.apache.org/downloads.html按照以下截图提示，点击下载
JasonCeng·2019-11-25 22:00

《Hadoop》大数据技术开发实战学习笔记（二）

搭建Hadoop2.x分布式集群1、Hadoop集群角色分配2、上传Hadoop并解压在centos01中，将安装文件上传到/opt/softwares/目录，然后解压安装文件到/opt/modules
zonkidd·2019-11-24 14:00

Linux命令(自己工作常用)

添加用户--root角色才有权限useradd-d主目录-musernameuseradd-d/home/hadoop2-mhadoop2;删除用户userdel-fusernamesu#切换rootsuusername
Daniel_陈·2019-11-22 18:00

Eclipse集成hadoop插件开发环境

首先在win10下搭建好hadoop的环境，hadoop可以运行解压hadoop2.7.7的安装包和源码包，解压后创建一个空的目录，把解压的源码包，安装包下share/hadoop下的除了kms的目录包外其他包下的所有
马仔里德尔·2019-11-19 18:00

分享一份关于Hadoop2.2.0集群环境搭建文档

目录一，准备环境三，克隆VM四，搭建集群五，Hadoop启动与测试六，安装过程中遇到的问题及其解决方案一，准备环境PC基本配置如下：处理器：Intel(R)Core(TM)[email protected]安装内存（RAM）:12.0GB系统类型：64位操作系统初始化四台Ubuntu-14.04_x64虚拟机，配置如下：内存：2GB处理器：1硬盘：40G网络适配器：NAT系统：Li
天堂的鸽子·2019-11-14 21:00

hadoop yarn中常见问题以及解决方案

本文汇总了几个hadoopyarn中常见问题以及解决方案，注意，本文介绍解决方案适用于hadoop2.2.0以及以上版本。
黑马程序员广州·2019-11-14 16:39

hadoop面试问题

不定期更新0x00什么是hadoop我们通常说的hadoop有两种意思，一种是hadoop生态圈，包含hadoop、hive、hbase等组件，另一种单纯指hadoop，包含hdfs、mapreduce，另外hadoop2
曹操a·2019-11-13 23:04

Hadoop2.7.3+Ubuntu14完全分布式集群搭建

案例说明：1.本例使用了两台pc作为实验对象；2.本例中的master的ip为192.168.1.103；slave2的ip为192.168.1.102；一、新建用户1.linux如何创建新用户：sudouseradd-mhadoop-s/bin/bash2.新建用户设置密码：sudopasswdhadoop3.增加管理员权限：sudoadduserhadoopsudo4.更新apt：sudoap
至极L·2019-11-07 17:19

Flink与HDFS结合flink用IDEA本地运行可以读取HDFS数据，然后把项目打包提交到flink集群，无法读取HDFS数据，出现以下错误及解决方案：

1、环境CDH3.5.12flink1.7.2hadoop2.6.02、错误类型，flink结合了HDFS读写文件报错内容报错内容3、解决方案，以上两种错误都是因为依赖冲突引起。
文儿哥·2019-11-07 17:01

在MacOS编译Hadoop2.6.0

准备工作HomebrewHadoop2.6.0编译前准备的环境JDK_7CMake3.0+(brewinstall)ProtocolBuffer2.5.0(brewinstall)Zlib(brewinstall
赖biubiu·2019-11-07 07:49

Spark快速入门-1-Spark on Yarn Job的执行流程简介

准备2017-12-19-Hadoop2.0架构及HA集群配置（1）2017-12-24-Hadoop2.0架构及HA集群配置（2）2017-12-25-Spark集群搭建2017-12-29-Hadoop
Yezhiwei·2019-11-07 00:55

Ubuntu Hadoop2.7下使用Eclipse编译运行MapReduce程序

/install-hadoop/http://www.powerxing.com/hadoop-build-project-using-eclipse/环境#本文基于Ubuntu14.0464bit，Hadoop2.7Hado
超越爱迪生·2019-11-06 20:14

spark2.0.0安装部署指南

scala获取scala安装包:wgethttp://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.tgz我们选择spark-2.0.0-bin-hadoop2.7
哈利罗乎·2019-11-06 05:28

大数据初步：带你了解Hadoop-ha

Hadoop2.0是怎样产生的？早期的hadoop版本，NN(namenode)是HDFS集群的单点故障点，每一个集群只有一个NN,如果这个机器或进程不可用，整个集群就无法使用。
值得一看的喵·2019-11-04 22:55

Hadoop2.7.3 部署。

1下载最新安装包2解压到具体路径补充·：建立hdfs文件目录，对应/hadoop/hdfs/name|data|tmp三个目录。分别对应如下配置文件里的配置项路径。3vietc/hosts，将主机和结点的hostname配置进去如:/etc/hosts4配置core-site.xmlcore-site.xml5配置mapred-site.xmlmapred-site.xml6配置hdfs-site
迈克乔丹·2019-11-04 10:58
上一页 63 64 65 66 67 68 69 70 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他