Hadoop2

hadoop-集群

..为slave1..2..3/opt/module/opt/software文件所有者为px//sudochownpx:px/opt/module/opt/software保证opt/module/hadoop2.7.2
winner66·2019-12-29 20:00

【原创】第零篇大数据学习介绍

本系列全部采用hadoop2.5.2的版本，下面大概介绍一下打算写的内容大纲：如何安装和搭建虚拟机网络hadoop2.5.2的伪分布式搭建hadoop2.5.2+centos6.5编译源码HDFS的讲解
wind001·2019-12-29 16:01

hadoop（五）—进阶HDFS原理

首先，我们来看一下Hadoop1.0和Hadoop2.0伪分布式架构下HDFS的组成，如下图所示，我们可以看到，HDFS架构由NameNode(负责管理节点)、DataNode（负责存储数据）、SecondaryNameNode
文子轩·2019-12-29 14:54

flink集成yarn（flink on yarn）

一：组件1、hadoop（包含了yarn和hdfs），hadoop2.8.5版本2、flink，版本flink-1.7.2-bin-hadoop28-scala_2.11.tgz3、centos7二：步骤
会飞的大公鸡·2019-12-28 21:30

大数据高可用集群环境安装与配置（09）——安装Spark高可用集群

执行命令下载并安装cd/usr/local/src/wgethttp://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.4.4/spark-2.4.4-bin-hadoop2.7
AllEmpty·2019-12-28 21:00

spark2.0集群安装

如果没有配置好Hadoop的分布式集群环境，Hadoop2.7分
hz82114280·2019-12-28 18:33

CentOS7安装Hadoop集群

安装Hadoop之前，请先安装好zookeeper集群并启动参考CentOS7安装Zookeeper集群我这里准备了三台服务器，一台主机名为hadoop1(做NameNode)，一台主机名为hadoop2
sphsyv·2019-12-27 19:57

源码|HDFS之DataNode：写数据块（2）

源码版本：ApacheHadoop2.6.0本文内容虽短，却是建立在前文的基础之上。对于前文已经说明的内容，本文不再赘述，建议读者按顺序阅读。开始之前总览根据源码|HDFS之D
猴子007·2019-12-27 14:48

flink on yarn部署

flinkonyarn需要的组件与版本如下Zookeeper3.4.9用于做Flink的JobManager的HA服务hadoop2.7.2搭建HDFS和Yarnflink1.3.2或者1.4.1版本（
林夕_Yume·2019-12-27 05:55

Spark 操作hbase(构建一个支持更新和快速检索的数据库)

组件如下：1.Spark2.02.hbase1.23.hadoop2.6因而提出以下几个问题：1.如何使用Spark大批量地、快速地导入初始化数据？2.如何从Hbase快速地、大批量地查询数据？
阿海与蜗牛·2019-12-27 04:56

【sqoop-部署】快速入门（安装与使用）

一、安装测试环境：centos7、JDK8、hadoop2.7.2step1:下载安装到官网选择适合镜像地址下载
粮忆雨·2019-12-27 01:15

Hadoop2.0架构

Hadoop2.0产生背景一、Hadoop1.0中HDFS和MapReduce在高可用、扩展性等方面存在问题1、HDFS存在问题NameNode单点故障，难以应用于在线场景NameNode压力过大，且内存受限
topwqp·2019-12-26 11:53

Hadoop实战（4）_Hadoop的集群管理和资源分配

系列目录：Hadoop实战（1）_阿里云搭建Hadoop2.x的伪分布式环境Hadoop实战（2）_虚拟机搭建Hadoop的全分布模式Hadoop实战（3）_虚拟机搭建CDH的全分布模式DataNode
padluo·2019-12-26 06:38

Spark 2.3.0 安装

1、下载二进制安装包wgethttp://apache.mesi.com.ar/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgztarzxvfspark-2.3.0
范正辰·2019-12-26 05:48

Hadoop机架感知配置

2、hadoop2.7.2策略第一个副本在client所处的节点上。如果客户端在集群外，随机选一个。第二个副本和第一个副本在相同的机架。第三个副本位于不同机架。二、自定义机架感知步
pinghengxing·2019-12-26 00:00

zookeeper安装遇到的error和解决方案

配置：全分布式（master、slave1、slave2均为虚拟机）CentOS7VM全分布式集群安装可参考资料：Hadoop,master和slave简单的分布式搭建centos7搭建hadoop2.7.3
glassyw·2019-12-25 22:28

Hadoop2.4,2.6防止误删机制Trash测试

Hadoop2.6.5测试1、新建文件-rw-r--r--1hadoopsupergroup232017-11-2910:19/test/a.log-rw-r--r--1hadoopsupergroup252017
倾听内心的声音·2019-12-25 07:09

大数据入门(四) - 分布式资源调度——YARN框架

1YARN产生背景YARN是Hadoop2.x才有的，所以在介绍YARN之前，我们先看一下MapReduce1.x时所存在的问题：单点故障节点压力大不易扩展1.1MapReduce1.x时的架构可以看到
JavaEdge·2019-12-25 00:49

hadoop伪分布式的安装

1.解压缩hadoop.tartar-zxvfhadoop2.5.2.tar.gz-C/opt/install2.修改配置文件6个HADOOP_HOME/etc/hadoop/...2.1hadoop-evn.shexportJAVA_HOME
竹二木·2019-12-24 20:00

flume-kafka-spark streaming(pyspark)-hdfs实时日志实时计算

至于为什么要这样，当然是方便咯参考某博客一、环境部署hadoop集群2.7.1zookeerper集群kafka集群：kafka_2.11-0.10.0.0spark集群：spark-2.0.1-bin-hadoop2.7
玄月府的小妖在debug·2019-12-24 14:59

secondary namenode，checkpoint新旧版本配置对比

core-site.xml：fs.checkpoint.period3600两次checkpoint的时间间隔为3600秒fs.checkpoint.size67108864edtis文件大小达到64M时hadoop2
博弈史密斯·2019-12-24 05:00

Hadoop2.7.3+Hive2.1.1+Spark2.1.0环境搭建

搭建环境：Ubuntu12.04（比这个版本高应该都可以）首先搭建的是Spark。先用ping确保用外网IP可以互相连通。然后可以修改各个工作节点的主机名。vim/etc/hostname修改主机名称，我将主节点设置为master，另一个节点设置成slave1。重启两台主机。之后修改master节点的hosts文件vim/etc/hosts在其中加入master_ipmasterslave_ips
iamsonormal2333·2019-12-23 20:49

大数据DMP画像系统

png4.png5.png系统开发要求涉及的技术要点：spark、elasticsearch、hadoop、hive、LRGBDT等机器学习算法开发工具：idea、eclipse开发环境：spark2.2、hadoop2.7
小红牛·2019-12-22 22:38

Flink使用（三）——记一次Flink Session任务反复重启

前言环境：JDK1.8+Flink1.6+Hadoop2.7.3文中若有表述不正确，欢迎大伙留言指出，谢谢！
BraveWg·2019-12-22 22:00

Windows下搭建Spark开发测试环境

软件环境Hadoop2.7.7Spark2.4.0Scala2.11Java8配置HadoopWindows环境下需要先配置Hadoop环境变量，如图所示：同时在PATH环境变量中添加Hadoop信息：
sungoshawk·2019-12-21 14:33

10. Sqoop介绍

1.大数据协作框架：大数据协作框架是Hadoop2.x生态系统中几个辅助框架。
奉先·2019-12-20 22:53

从零开始搭建Hadoop2.7.1的分布式集群

Hadoop2.7.1，Hadoop的环境配置不是特别的复杂，但是确实有很多细节需要注意，不然会造成许多配置错误的情况。尽量保证一次配置正确防止反复修改。
mmmwhy·2019-12-20 20:33

Hadoop2.0架构

Hadoop2.0架构-我的学习成长日记-博客频道-CSDN.NEThttp://blog.csdn.net/onlyqi/article/details/50484527打开Hadoop的官网，我们可以看到
葡萄喃喃呓语·2019-12-20 04:46

spark集群环境搭建

spark集群环境搭建date:2017-03-1911:04:40tags:[spark,集群,环境搭建]1、运行环境配置1、软件环境scala-2.11.7.tgzspark-1.6.0-bin-hadoop2.6
九之天·2019-12-20 02:41

源码|HDFS之NameNode：创建目录

源码版本：ApacheHadoop2.6.0可参考猴子追源码时的速记打断点，亲自debug一遍。
猴子007·2019-12-20 02:36

Windows平台安装配置Hadoop

Windows平台安装配置Hadoop步骤：1.JDK安装2.下载hadoop2.5.2.tar.gz，自行去百度下载。
pinghengxing·2019-12-20 00:00

MapReduce

MapReduce简写MR本文主要概述了hadoop1.x与hadoop2.x区别  HDFS区别federation  MR区别yarnMR的shuffle过程image.pnghadoop1.ximage.pnghadoop
爱老虎油王可爱·2019-12-19 04:04

Hadoop - yarn notes2

这里描述的是一个256M的文件上传过程①由客户端向NameNode节点节点发出请求②NameNode向Client返回可以可以存数据的DataNode这里遵循机架感应原则③客户端首先根据返回的信息先将文件分块（Hadoop2
raincoffee·2019-12-18 19:24

namenode和datanode的高可用性和故障处理

Hadoop2.0内核由三个分支组成，分别是HDFS、MapReduce和YAR
hdc520·2019-12-18 11:00

docker中安装hadoop过程及错误解决

自己写的Dockerfile文件，可以参考学习下：#Createspseudodistributedhadoop2.7.1##dockerbuild-tsequenceiq/hadoop.FROMlocalhost
分享放大价值·2019-12-18 02:25

hadoop中yarn

一、yarn的概述ApacheYarn（YetAnotherResourceNegotiator的缩写）是hadoop集群资源管理器系统，Yarn从hadoop2引入，最初是为了改善MapReduce的实现
hdc520·2019-12-17 18:00

hadoop2.x 远程调试

hadoop要实现远程调试需要在配置文件添加参数【1】添加参数,$HADOOP_HOME/etc/hadoop/hadoop-env.sh文件#远程调试namenodeexportHADOOP_NAMENODE_OPTS="-agentlib:jdwp=transport=dt_socket,address=8888,server=y,suspend=y"#远程调试datanodeexportHA
先生_吕·2019-12-17 04:20

[flume]1.5传输数据(日志)到hadoop2.2

让你快速认识flume及安装和使用flume1.5传输数据(日志)到hadoop2.2-lskyne的专栏-博客频道-CSDN.NEThttp://blog.csdn.net/lskyne/article
葡萄喃喃呓语·2019-12-17 01:18

Hadoop HDFS 源码解析记录

文本参考书籍《Hadoop2.xHDFS源码剖析》编写。一、HDFS体系结构1、数据块Block最小存储单元，默认128MB，适合大文件存储，减少寻址和内存开销。2、Namenode文件系统命名空间
mikevictor·2019-12-16 15:00

spark-1.3.0的编译及三种运行模式的配置

最近安装spark1.3.0并与Hadoop2.5.0集成，在Spark的历史资源管理中心没有找到对应的版本，而且在网上也没有找到对应版本的编译教程，于是只能根据Spark官网提供的教程自己来手动编译对应的版本
z小赵·2019-12-16 13:12

Hadoop2.6.0 单机、伪分布式部署

系统环境：操作系统：CentOS6.5Hadoop：2.6.0为了方便起见，打印当前系统状态当前系统状态vim/etc/hosts，host信息如下：127.0.0.1localhostlocalhost.localdomainlocalhost4localhost4.localdomain4::1localhostlocalhost.localdomainlocalhost6localhost6
dzgdp888·2019-12-16 07:55

HDFS海量数据存储-Hadoop分布式文件存储系统

3.Block文件块:hadoop1.0:64MBhadoop2.0:128MB(这个值是固定的，不会高于这个值)4Secondary
ssttIsme·2019-12-16 03:29

Windows下使用Intellij 搭建Spark开发环境

*下载IntellijIDEA下载SparkPre-buildforhadoop2.6andlater.http://spark.apache.org/downloads.html搭建Spark开发环境
超越爱迪生·2019-12-15 21:33

伪分布，单节点

虚拟机系统Ubuntu版本：ubuntu-14.04.5-server-amd64.iso;实验环境创建hadoop用户，SSH免密登录，安装JDK，教程点我；安装Hadoop2.7.3#获取hadoop
书北·2019-12-14 20:31

大数据学习笔记——Spark完全分布式完整部署教程

1.安装准备部署Spark时，我们使用的版本如下所示：2.正式安装1.将spark-2.4.3-bin-hadoop2.7.tg
终极菜鸡·2019-12-14 12:00

macOS 下体验 Hadoop

1.安装Hadoopbrewinstallhadoop2.配置exportHADOOP_HOME=/usr/local/Cellar/hadoop/3.0.0/默认情况下，你安装的hadoop配置目录在
Lucups·2019-12-14 02:48

Hadoop学习资源整理

windows下配置和启动hadoopWindows下搭建Hadoop伪分布式Linux下安装Hadoop环境(虚拟机)Hadoop体系和计算过程Idea创建maven项目IntellijIDEA2.6+Hadoop2.9.0
天线嘟嘟茄·2019-12-14 00:54

ubuntu下安装配置hadoop2.9

1、确保系统中安装配置好jdk，配置了JAVA_HOME2、去镜像网站下载hadoop稳定版http://mirror.bit.edu.cn/apache/hadoop/common/或https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common下载名称为hadoop-2.9.0-src.tar.gz和hadoop-2.9.0.tar.gz两个
辰若寒·2019-12-13 23:20

Ubuntu14.04搭建Hbase1.1.1伪分布式环境

承接上一篇文章已经创建了的Hadoop2.6的伪分布式环境，这里记录一下创建HBase伪分布式环境的过程,使用的HBase版本是1.1.1。
heamon7·2019-12-13 17:04

源码|HDFS之DataNode：启动过程

源码版本：ApacheHadoop2.6.0可参考猴子追源码时的速记打断点，亲自debug一遍。开始之前总览HDFS-2.x与1.x的核心区别：为支持Federation，会为每个namespace
猴子007·2019-12-13 13:15
上一页 62 63 64 65 66 67 68 69 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他