Hadoop2

hadoop2.*学习笔记三（YARN+ MapReduce+Eclipse Demo）

关于hadoophdfs配置请参考hadoop学习笔记二内容概括：在笔记二所在的环境上配置YARN和MapReduce。然后在eclipse中远程连接hdfs并运行一个简单的demo。这有一篇IBM的文章写得非常好关于YARN的值得一看。个人观点：由于我们平时使用的服务器上大多有多个网卡也就是可能会有多个ip所以在配置关于ip时还是配置特定的ip比较保险，在多网卡环境下不同网卡可能处在不同的网络中
Notput·2020-03-31 07:45

基于docker的Spark分布式搭建

dockerspark1.准备工作三个docker容器，操作系统为：Ubuntu14.04ip机器名称集群节点登录用户17.172.192.108Hadoop1master/slavetank17.172.192.123Hadoop2slavetank17.172.192.124Hadoop3slavetank2
你妈平砍连击带顺劈·2020-03-30 13:20

hadoop distcp hftp hdfs跨集群拷贝常见问题归总

在工作中遇到部门间数据合作，需跨不同版本集群拷贝数据，从hadoop2.6.0-cdh5.7.0拷贝数据到hadoop2.7.1，记录所碰到的问题及解决方案。
westfire·2020-03-30 13:27

hadoop2.7.2集群搭建

前言搭建hadoo集群是学习大数据不可或缺的一步,然而自己练习又没有那么多台主机,只能在虚拟机上搭建了,自己也是第一次搭建,所以在这进行一些必要步骤的记录,下面开始吧.官网下载软件很慢,所以下面提供的都是我的百度云盘下载地址安装vmwarevmware10.0下载地址,然后就是傻瓜式安装,这里就不详细说了.安装linux(我用的是CentOS6.8)CentOS6.8下载地址,如果自己不需要设置分
Joahcy·2020-03-30 12:41

每日一读 10.18 精华

hadoop生态系统零基础入门【新增人工智能】深入理解HadoopHA机制http://www.aboutyun.com/thread-22935-1-1.html1、Hadoop1.x和Hadoop2
Vicor·2020-03-30 08:38

hadoop2.7.3伪分布式环境搭建详细安装过程

hadoop的安装新建hadoop目录，并创建source文件夹用来存放相关的软件。mkdir/opt/hadoopmkdir/opt/hadoop/source#解压安装tar-xzvf/usr/local/hadoop-2.7.3.tar.gz#将解压后的文件夹移动到hadoop目录下mvhadoop-2.7.3/opt/hadoop配置环境变量编辑配置文件vim/etc/profile#添加
夏无忧阳·2020-03-30 03:55

hadoop缩减datanode

1、配置NameNode的hdfs-site.xml，适当减小dfs.replication副本数，增加dfs.hosts.exclude配置dfs.hosts.exclude/usr/local/hadoop2
桩i·2020-03-29 08:08

Hadoop实战（5）_Hadoop的运维经验

系列目录：Hadoop实战（1）_阿里云搭建Hadoop2.x的伪分布式环境Hadoop实战（2）_虚拟机搭建Hadoop的全分布模式Hadoop实战（3）_虚拟机搭建CDH的全分布模式Hadoop实战
padluo·2020-03-29 04:00

Hapoop 搭建 （十一）spark（HA）+Hbase（HA）+zookeeper+hadoop 集群

article/details/85918135spark下载地址：http://spark.apache.org/downloads.htmlspark版本：spark-3.0.0-preview2-bin-hadoop2.7
桥头堡洗脚城·2020-03-28 21:00

HDFS HA 原理

HDFSHA原理标签：HDFSHA概述在Hadoop2.x版本中，Hadoop实现了HDFS的HA功能，从而解决了HDFS中NameNode单点问题。
神仙CGod·2020-03-28 17:33

Centos7 下面hadoop2.7.2分布式配置

一、配置环境centos7hadoop2.7.2javajdk1.7二、修改hostname和ip配置ip地址和hostname如下所示：192.168.186.1master192.168.186.2slave1192.168.186.3slave2
raincoffee·2020-03-28 15:34

Linux创建普通用户

作者：帅气陈吃苹果1、创建用户，-m表示同时创建用户家目录sudouseradd-mhadoop2、为创建的hadoop用户设置密码sudopasswdhadoop3、为hadoop用户添加对/etc/
帅气陈吃苹果·2020-03-28 08:50

大数据技术原理与应用实验五

2.实验平台·Hadoop2.7.1·Eclipse·jdk3.实验内容·在eclipse软件（或者其他JavaIDE），使用java语言编写能实现下面功能的程序：在hdfs上，创建新文件夹如input
@阿证1024·2020-03-27 14:57

搭建Spark1.5集群(一)-Hadoop2.7.1的单节点安装

服务器环境：Ubuntu15.04、jdk1.7、Hadoop2.7.11.创建spark用户####为了隔离Hadoop和其它软件，创建了可以登陆的spark用户，并使用/bin/bash作为shell
TyiMan·2020-03-27 09:38

hadoop集群完全分布式安装（亲测有效）

centos6.7+hadoop2.6.4+jdk1.7.0_45+vmware1、centos虚拟环境配置：先将虚拟机的网络模式选为NAT；vmware下安装centos6.7，选择“稍后安装操作系统
兵_·2020-03-27 02:35

红象云腾CRH 一键部署大数据平台

平台：arm类型：ARM模板软件包：azkabanhadoop2.6hbasehivekafkasparkzeppelinazkabanbasicsoftwarebigdatahadoop2.6hbasehivekafkasparkzeppelin
ITknight·2020-03-26 07:22

使用Maven搭建Hadoop2.7.3项目

参考：win10+maven+idea15+Hadoop2.7.3开发环境配置参考：用Maven构建Hadoop项目官方文档：http://maven.apache.org/pom.xml:4.0.0myHadoopmyHadoop1.0
予早·2020-03-25 23:46

HADOOP 备份至 S3

hadoop2.6对于hadoop2.7以前的版本，通过jets3t读写s3。如果使用s3/s3a去
zczhuohuo·2020-03-25 22:14

Hadoop2.9.0+VMware+ubuntu16.04完全分布式安装指南-超详细记录

hadoop2.9+vmware完全分布式环境搭建环境概要Linux：Ubuntu16.04hadoop：Hadoop2.9.0jdk：1.8.0vmware：14.0pro第一部分Linux环境安装第一步配置
吴凡Eric·2020-03-25 19:02

Hadoop实战（6）_搭建Apache Hadoop的Eclipse开发环境

系列目录：Hadoop实战（1）_阿里云搭建Hadoop2.x的伪分布式环境Hadoop实战（2）_虚拟机搭建Hadoop的全分布模式Hadoop实战（3）_虚拟机搭建CDH的全分布模式Hadoop实战
padluo·2020-03-25 18:46

spark-2.1.1-hadoop2.7+Ubuntu14完全分布式集群搭建

需要先安装Hadoop2.7完全分布式集群搭建。
至极L·2020-03-25 17:54

Linux下搭建PySpark环境

tgzlinux/windows通用版spark：https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.4.5/spark-2.4.5-bin-hadoop2.7
嘿凤梨·2020-03-25 17:00

Hadoop2.6 Namenode HA 原理

Hadoop2.6Namenode的高可用原理可以表示为以下过程：NN-HA原理下面把各个组件的作用说明如下：ActiveNameNode和StandbyNameNode：两台NameNode形成互备，
yannhuang·2020-03-25 04:27

CentOS6.5安装Hadoop2.7

一、环境说明：VmWare两台虚拟机，各安装CentOS6.5，部署单Master单Slave结构的Hadoop集群。二、下载JDK与hadoop安装包jdk-8u92-linux-x64.gzhadoop-2.7.4.tar.gz三、修改系统hosts文件（两台机器）：使用管理员执行编辑sudovi/etc/hosts添加以下内容192.168.76.128hd01192.168.76.129h
quickcoder·2020-03-24 16:50

CDH5.9.2 整合TEZ

1.安装配置TEZ1.1环境要求CDH5.9.2(hadoop2.6.0)编译环境：gcc,gcc-c++,make,buildNodejs、npm(Tez-ui需要)Gitpb2.5.0maven3Tez0.8.51.2
Jack_Wonng·2020-03-24 10:23

【一小步】spark的first try，用intellij打包并spark-submit

记录常用脚本scp-r~/opt/hadoop-2.6.3/etc/hadoopspark@slave01:~/opt/hadoop-2.6.3/etc/scp-r~/opt/spark-1.6.0-bin-hadoop2.6
丁不想被任何狗咬·2020-03-23 08:45

HDFS详解

Hadoop2.X后可以划分为三部分：HDFS、MapReduce和Yarn，本篇主要看一下HDFS。
忘净空·2020-03-22 16:45

hbase分布式的安装配置

node1,node2是主节点，node2是备份节点node3,node4,node5是从节点一、上传hbase压缩包，解压缩tar-zxvfhbase-0.98.12.1-hadoop2-bin.tar.gz
wendy0101·2020-03-22 07:53

Hadoop2.x的集群搭建与配置（七）——Hadoop安装与配置

这一步开始正式搭建hadoop，但是要确保前面的每一步都完成首先要下载一个一些工具：1.hadoop的安装包，linux版本的，后缀名市是tar.gz的这种2.跨平台数据传输工具，这里推荐使用xshell和xftp，xshell用来链接linux，而xftp则用来将一些文件从本机传到linux中（这个是在本机安装的，不要放到虚拟机里）第一步：将hadoop的安装包传输到master中，然后解压：t
铭chen·2020-03-21 14:00

Spark集群安装

pan.baidu.com/s/1NpN6moRiNU2quh878UaRYw密码:askm1.安装spark单节点>1.安装spark单节点解压安装包tar-zxvfspark-2.4.5-bin-hadoop2.7
TZX_0710·2020-03-20 23:55

Ubuntu搭建Hadoop

环境服务器(虚拟机)：vm-master10.211.55.23vm-slave110.211.55.25vm-slave210.211.55.24软件环境：Hadoop2.7JDK1.8Ubuntu14.04Step1
Charles__Jiang·2020-03-20 16:29

华为云服务器centos7.2下spark的local模式 ,standalone模式

无需修改,默认local1.配置spark_home[[email protected]hadoop2.7]#vim/etc/profileSPARK_HOME=/usr/local
HUAWEIMate20·2020-03-20 13:34

2018-09-25 参考博客Hadoop

lib/jvm/jdk-8-oracle-arm-vfp-hflt/jre/exportJAVA_HOME=/usr/lib/jvm/jdk-8-oracle-arm32-vfp-hflt/jre/坑2hadoop2
阿群1986·2020-03-20 13:00

about云论坛版块--大数据常用框架和范围

NoSQL型数据库MapReduceHDFSHBaseStormHadoop2|YARNFlume*(1)*Hive*(5)*ZooKeeperCDHPigSqoopKafkaSparkOoziescalaSolr
Albert陈凯·2020-03-20 11:05

使用Eclipse构建Spark Java集成开发环境

一.软件准备1.spark1.5.1这里选择了已经为Hadoop2.4编译好的版本，为了能和Hadoop2.4更好的结合。当然有能力你可自己编译。
墨加·2020-03-20 05:58

Spark安装以及配置

01上传cd/downlocals02解压安装修改配置文件tar-zxvfspark-2.0.2-bin-hadoop2.7.tgz-C/usr/local/src/mvspark-2.0.2-bin-hadoop2.7
葡小萄家的猫·2020-03-19 23:58

配置 Hadoop 时遇到的一些问题

hadoop安装/启动步骤中常见问题Hadoop2.x命令及可执行文件目录的变化：在1.x中，所有的命令文件，都是放在bin目录下，没有区分客户端和服务端命令，并且最终命令的执行都会调用hadoop去执行
阿群1986·2020-03-19 08:22

hadoop改错

环境：Ubuntu16.04+Hadoop2.7.3+java1.81.CallFrom127.0.1.1tolocalhost:9000failedonconnectionexception:java.net.ConnectiException
Zhang_JunJ·2020-03-19 02:25

Hadoop实战（7）_Apache Hadoop安装和配置Hue

系列目录：Hadoop实战（1）_阿里云搭建Hadoop2.x的伪分布式环境Hadoop实战（2）_虚拟机搭建Hadoop的全分布模式Hadoop实战（3）_虚拟机搭建CDH的全分布模式Hadoop实战
padluo·2020-03-18 07:34

Spark Streaming性能优化: 如何获得和持续使用足够的集群计算资源

Yarn的使用:运行在yarn上和其他计算框架共享资源,会有不稳定情况,hadoop2.6推出lable-based-scheduling机制.给不同的计算的node打上标签,定义不同的队列的时候标记上不同的标签
曹振华·2020-03-18 06:01

虚拟机下CentOS7.3配置hadoop2.7.0集群

环境：主机配置：win7旗舰版64位，i5处理器，8G内存，500G固态+1T机械虚拟机软件：VMwareworkstation_full_12.1.0.2487.1453173744CentOS镜像：CentOS-7-x86_64-Everything-1611SSH工具：SecureCRT-v8.0.4jdk：jdk-8u131-linux-x64hadoop:hadoop-2.7.0.tar
Acamy丶·2020-03-18 03:16

编译Hadoop 2.6.0

0x01准备OS:CentOS664位Hadoop版本：2.6.0Hadoop2.6.0源码下载地址：http://archive.apache.org/dist/hadoop/common/ha
明月的味道·2020-03-18 00:16

Win10下搭建PySpark环境

官网有说明各软件版本对应：http://spark.apache.org/downloads.htmlhadoop镜像下载地址：hadoop-2.7.7.tar.gzspark镜像下载地址：spark-2.4.5-bin-hadoop2.7
嘿凤梨·2020-03-17 21:00

配置安装Hadoop

将hadoop2.7.1打包下载上传到需要安装的服务器上，解压（pwd显示目录）Zip文件的解压不能使用tar，要使用unzip[root@master~]#unziphadoop-mapreduce-wyz-projects.zip
辉格食品·2020-03-17 15:26

【Geekband】系统设计.md

第一周1.分布式系统2.CAP理论3.数据库系统3.1ACID与BASE3.2具体结构设计4.异步通信5.一致性定义第二周1.系统设计基本意识2.Hadoop与MapReduce2.1Hadoop2.2MapReduce2.3BigTableThisisGoogle'sscalabledatabase.Itprovidesawaytocreatem
读书行路风雨兼程·2020-03-17 03:15

Hadoop2.7.4+Spark2.2.0滴滴云分布式集群搭建过程

1.在滴滴云申请三台服务器（CentOS系统64位7.3）MasterWorker1Worker2公网116.85.9.118公网116.85.9.117公网116.85.9.119内网10.254.0.58内网10.254.0.94内网10.254.0.88单核2G内存单核1G内存单核1G内存2.修改hosts文件修改三台服务器的hosts文件,vim/etc/hosts(需要权限加上sudov
14142135623731·2020-03-17 01:24

1.3.4HADOOP-HA理论篇

2.Hadoop1.X和Hadoop2.X的区别Hadoop1.X就是一个老大，一帮
寒暄_HX·2020-03-16 18:32

2018-09-10

SCALA_HOMEPATH2、环境小测试spark-shell窗口简单测试必要条件:2.1启动hadoop集群start-all.sh（建议配到环境变量里面，快速启动）2.2启动spark集群：spark-1.5.2-bin-hadoop2.6
basicGeek·2020-03-16 17:35

Hive 1.2.1 本地模式安装笔记

环境ubuntukylin14.04Hadoop2.7.2Hive1.2.1mysql安装与配置安装mysqlsudoapt-getinstallcmakelibncurses5-devsudoapt-getinstallmysql-servermysql-client-y
Mr_Curiosity·2020-03-16 02:33

Hadoop HA及Failover搭建

基于以上致命的缺点，Hadoop2.X提出了HA（HighAvailable）来改进单点故障；另外，通过使用Zookeeper的分布式通知协调功能实现HA
z小赵·2020-03-15 23:33
上一页 58 59 60 61 62 63 64 65 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他