Hadoop2

hadoop2.4.1伪分布式搭建

1.准备Linux环境1.0点击VMware快捷方式，右键打开文件所在位置->双击vmnetcfg.exe->VMnet1host-only->修改subnetip设置网段：192.168.1.0子网掩码：255.255.255.0->apply->ok回到windows-->打开网络和共享中心->更改适配器设置->右键VMnet1->属性->双击IPv4->设置windows的IP：192.16
·2019-08-30 00:00

好程序员大数据学习路线分享Hadoop阶段的高可用配置

大数据学习路线分享Hadoop阶段的高可用配置，什么是Hadoop的HA机制Ha机制即Hadoop的高可用（7*24小时不中断服务）正式引入HA机制是从hadoop2.0开始，之前的版本中没有HA机制hadoop-ha
wx5d42865f47214·2019-08-28 15:15

单机部署spark环境

sprak环境，分享一下： 1.首先准备软件包下载地址：https://www.apache.org/dyn/closer.lua/spark/spark-2.4.3/spark-2.4.3-bin-hadoop2.7
Alex_81D·2019-08-27 14:27

厦门大学林子雨老师大数据实验环境搭建索引

博客首页在Windows中使用VirtualBox安装UbuntuJava和SSH的安装配置Hadoop2.7分布式集群环境搭建Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04Spark
学习真是太快乐了呀·2019-08-26 22:39

flink linux安装 单机版

https://flink.apache.org/downloads.html2.选择存放目录解压flink-1.7.2-bin-hadoop28-scala_2.11.tar存放目录:/usr/local
愿无违·2019-08-26 20:00

flink本地安装

yumlistinstalled卸载：yumremovejava-1.8.0-openjdk.x86_64解压flinkcd/etc/user/flinksudotarzxvfflink-1.7.0-bin-hadoop27
devcy·2019-08-26 10:10

Hadoop生态系统各个时期主要架构图

原文链接：https://blog.csdn.net/c929833623lvcha/article/details/812206121hadoop1.0时期架构2hadoop2.0时期架构3hdfs架构
IMezZ·2019-08-23 10:54

Hive基本语句及函数用法汇总

Hadoop2.Hive基础sql语法2.1DDL操作2.1.1建表2.1.2创建简单表：2.1.3创建外部表：2.1.4建分区表2.1.5建分桶表2.1.6创建表并创建索引字段ds2.1.7复制一个空表
Seven_0507·2019-08-20 10:59

大数据：Hadoop入门经典案例wordcount单词统计Java代码实现

本例基于Hadoop2.8.3，Windows10（64位）。开发环境是Windows下的IntelliJIDEA。1，首先需要为IntelliJIDEA增加maven
zhangphil·2019-08-16 23:27

Hadoop安装

1.安装jdk（如已安装，则跳过此步骤）这里可以参照博主另一篇文章—>JDK在Linux下的安装2.安装hadoop2.1创建hadoop目录mkdirhadoop2.2进入hadoop目录cdhadoop2.3
时年、·2019-08-16 16:49

Hadoop2.6 Balance运行速度优化

Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况，比如集群中添加新的数据节点。当HDFS出现不平衡状况的时候，将引发很多问题，比如MR程序无法很好地利用本地计算的优势，机器之间无法达到更好的网络带宽使用率，机器磁盘无法利用等等。随着HDFS集群规模的不断增大，默认的配置参数，不能满足快速balancer的要求，需要对参数进行调优。一、修改hdfs-site.xml配置文件
sh_qd·2019-08-14 17:44

Hadoop之YARN学习总结之架构

一、yarn产生背景YARN是Hadoop2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序特有的
Happybigman·2019-08-14 16:03

Hadoop2.x的集群搭建与配置（七）——Hadoop安装配置

终于进入了最核心，同样也是为以后打的最基础的操作——hadoop的集群安装与配置要问那之前的算什么emmm充其量算是虚拟机啦，linux啦，基础环境什么的准备工作话不多说，正式开始。首先，我们需要去官网下载个hadoop的包，要linux版本的压缩包，应该是以tar.gz为结尾的，至于版本，不要最新的，因为最新的话很可能会出现生态圈开发不完全，与低版本不匹配等情况，我们这里以2.5.2为例我们将下
铭chen·2019-08-13 14:23

Hadoop学习笔记1

Hadoop学习笔记11大数据概述1.1什么是大数据1.2大数据典型应用1.2.1影视推荐系统1.2.2精准营销系统2Hadoop概述2.1Hadoop简介2.2Hadoop1.x与Hadoop2.x的区别
ChengZi~·2019-08-11 14:28

Hadoop版本升级（2.7.6 => 3.1.2）

自己的主机上的Hadoop版本是2.7.6，是测试用的伪分布式Hadoop，在前段时间部署了HiveonSpark，但由于没有做好功课，导致了Hive无法正常启动，原因在于Hive3.x版本不适配Hadoop2
buildings·2019-08-09 22:00

hadoop版本变更记录

阅读更多ApacheHadoop2.0.3发布ApacheHadoop2.0.3发布了，在这次版本更新中，主要增加了以下几个特性：1.引入一种新的HDFSHA解决方案QJM之前NameNodeHA已经有两种解决方案
XMaster·2019-08-09 15:00

hadoop版本变更记录

阅读更多ApacheHadoop2.0.3发布ApacheHadoop2.0.3发布了，在这次版本更新中，主要增加了以下几个特性：1.引入一种新的HDFSHA解决方案QJM之前NameNodeHA已经有两种解决方案
XMaster·2019-08-09 15:00

windows10 下Spark+Hadoop+hive+pyspark安装

一、准备工作（之前踩过的坑）1、需要安装java的jdk，scala，spark，hadoop2、jdk的版本一定要是1.8的，1.9的会报错。
鼓鼓06·2019-08-06 10:46

Hadoop 系列（二）—— 集群资源管理器 YARN

一、hadoopyarn简介ApacheYARN(YetAnotherResourceNegotiator)是hadoop2.0引入的集群资源管理系统。
黑白影·2019-08-06 09:00

redis创建集群至少需要几个节点？至少需要几个master节点？

个主节点对应几个从节点，那么我就做了如下的测试，想要达到的效果就是有6个节点，然后2个master节点，每个master节点对应2个slave节点，不就正好是6个节点了吗，但是在执行的时候报错：[aiprd@hadoop2src
QA-3K·2019-08-02 12:00

从CentOS到Hadoop（Linux CentOS 7 安装配置Hadoop伪分布过程详解）

一开始想安装的linux版本是ubuntu14和hadoop2.x版本，但是安装完成后发现操作wi
AD稳稳·2019-07-31 22:52

hadoop2.7作业提交详解之文件分片

在前面一篇文章中（hadoop2.7之作业提交详解（上））中涉及到文件的分片。
一寸HUI·2019-07-31 15:00

hadoop2.7之作业提交详解（下）

接着作业提交详解（上）继续写：在上一篇（hadoop2.7之作业提交详解（上））中已经讲到了YARNRunner.submitJob()[WordCount.main()->Job.waitForCompletion
一寸HUI·2019-07-31 14:00

idea远程连接hadoop并进行文件操作

idea远程连接hadoop部署完高可用集群之后，尝试idea远程连接hadoop进行操作配置windows中的hadoop环境下载hadoop2.6.5到windows中并放在一个纯英文目录下配置环境变量
瓜不田·2019-07-30 13:12

Spark学习笔记02：Spark下载与入门

Sparkhttp://spark.apache.org/downloads.html2、安装Spark将安装包解压缩在/home/software目录下：[[email protected]hadoop2.7
howard2005·2019-07-28 19:47

【Hadoop】CDH、Presto配置问题

1、hive.properties配置如下connector.name=hive-hadoop2hive.metastore.uri=thrift://node001.XXXX.com:9083hive.config.resources
咸鱼翻身·2019-07-25 10:00

Hadoop HA集群搭建

HadoopHA集群简介本教程用于搭建HadoopHA集群，关于HA集群有以下几点说明：在hadoop2.0中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。
CharlesCheung·2019-07-25 00:00

hadoop2.7之作业提交详解（上）

根据wordcount进行分析：importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.Path;importorg.apache.hadoop.io.IntWritable;importorg.apache.hadoop.io.Text;importorg.apache.hadoop.mapreduce.Job;
一寸HUI·2019-07-24 17:00

flink 读取kafka数据，并写入hbase

1.8.1Flink1.8.1集群部署kafka_2.12-2.2.0kafka_2.12-2.2.0集群部署hbase2.1hbase2.1环境搭建–完全分布式模式Advanced-FullyDistributedhadoopHadoop2
快乐崇拜234·2019-07-23 18:41

Hadoop2.x的集群搭建与配置（六）——JDK安装配置

这一步需要一个小工具，用来来连接主机和虚拟机之间，毕竟你要上网下载jdklinux版本的安装包（推荐jdk8，各方面条件都不错，还是那句话，最新的不是最好的），然后要在linux上安装配置。毕竟你的虚拟机不能上网（主要是我之前也没告诉你们怎么弄，主要是因为虚拟机上我个人认为不方便，不安全，不适合联网），所以我们要在windows上下载，然后通过小工具传输到linux上。我所使用的小工具叫XShel
铭chen·2019-07-23 15:05

Hadoop2.x的集群搭建与配置（五）——ssh免密钥登录

最后一步了（忘记是第几次说了，不过这次应该是真的），ssh免密钥登录毕竟分布式工作的时候要不停的相互访问，但是每个结点都像一个独立的家庭，串门的话首先要相互都认识才行（能够相互ping通），然后还要相互熟悉到一定程度，以至于可以肆无忌惮的相互进门访问（这不现实，除非你有我家门的钥匙，能够直接进来），ssh相互免密钥登录就是这个意思。每个虚拟机都有一个公钥和私钥（id_rsa为私钥，id_rsa.p
铭chen·2019-07-23 14:48

centos7搭建hadoop2.8.4集群

1、安装Java，三台机器均需做（也可先安装一台，通过scp拷贝到其他机器上，这里是安装三台）搜索jdkyum源jdk文件，命令为"yumsearchjdk"安装需要版本的jdk，命令如"yum-yinstalljava-1.8.0-openjdk*"配置Java环境：通过在命令行中输入"vi/etc/profile"，在/etc/profile文件中加入如下内容：#setjavavarsexpo
elisa0413·2019-07-22 18:11

-大数据入门-2-Hadoop-课程整理

1.MapReducemap映射行数不变reduce规约行数变化示例如MySQL中运用groupby分组函数2.版本hadoop1.x需部署进程JobTrackTaskTrackhadoop2.x不需要部署
吾..二..二·2019-07-19 16:40

Spark单机安装

spark-env.sh文件六.进入BIN目录启动服务七.启动成功显示实现步骤：一.下载wgethttp://bj-yzjd.ufile.cn-north-02.ucloud.cn/spark-2.0.1-bin-hadoop2.7
萌新Java程序猿·2019-07-16 16:43

hadoop2.0 副本冗余策略和hadoop3.0 纠删码技术

hadoop2.0采用副本冗余(一般是3副本)策略而hadoop3.0引入了纠删码技术，现在就来分析两者的差别。
hitits·2019-07-15 07:45

spark submit 提交任务报错

原文链接：http://www.cnblogs.com/itBulls/articles/11185349.html/opt/module/spark-2.1.1-bin-hadoop2.7/bin/spark-submit
dizaoshen1316·2019-07-14 19:00

CentOS7下Hadoop2.9.2完全分布式安装

一、服务器规划HostNameIPAddressNodeTypehadoop1192.168.100.161DataNode/NodeManager/NameNodehadoop2192.168.100.162DataNode
盛桃云·2019-07-14 14:54

环境搭建（1）

NOTE：穷鬼一个，用的虚拟机1.安装前应准备VMwareCentOS7.isoJDK8hadoop2.9.2Xshell6[非必要]2.安装步骤安装VMware安装CentOS7配置网络，保证主机、外网以及三台虚拟机之间是联通的安装
疯魔雪梨·2019-07-14 07:24

HDFS文件目录结构详解

本文基于Hadoop2.6版本介绍HDFSNamenode本地目录的存储结构和Datanode数据块存储目录结构，也就是hdfs-site.xml中配置的dfs.namenode.name.dir和dfs.datanode.data.dir
Alex_Sheng_Sea·2019-07-12 18:33

使用Deployment控制器创建Pods并使Service发布到外网可访问

由于NFS支持节点共同读取及写入,所以可使用Deployment控制器创建多个Pod，并且每一个Pod都共享同一个目录k8s-masterkubnet@hadoop2volumes]$vimpod-deploy.ymlapiVersion
k-free·2019-07-11 15:00

Pods应用NFS存储

Volumes选择NFS服务器：条件:1.k8s集群,目前为(hadoop1,hadoop2,hadoop3)2.另起一台服务器做专门的NFS服务器3.NFS需要在K8S的各个节点安装部属：1.NFS-Node
k-free·2019-07-11 15:00

如何正确在IDEA 里maven构建的项目中引入lib的jar包（图文详解）

问题详情以下是我，maven构建出来的最新spark2.2.0-bin-hadoop2.6的项目。有些依赖包，maven还是无法一次性满足，所以，得手动加入lib的jar包。
柯上将·2019-07-08 15:07

hadoop3版本的兼容性简单调研

hadoop3版本的兼容性简单调研目录：1.与其他组件的兼容性版本2.与hadoop2版本的客户端兼容性一.与其他组件的兼容性版本目前依赖hadoop的常用组件有spark、hive、hbase等.目前只调研
风筝Lee·2019-07-08 15:02

Hadoop 2.7.3之后到最新的Hadoop3.2.0的主要新特性

目录:1.ApacheHadoop2.8.22.ApacheHadoop2.9.03.ApacheHadoop3.0.04.ApacheHadoop3.1.05.ApacheHadoop3.2.0一.ApacheHadoop2.8.2Hadoop2.8.2
风筝Lee·2019-07-08 14:00

Hadoop2.0 | Tez绪

绪Tez是Apache开源的支持DAG作业的计算框架直接源于MapReduce框架，核心思想是将Map和Reduce两个操作进一步拆分Map被拆分成Input、Processor、Sort、Merge和OutputReduce被拆分成Input、Shuffle、Sort、Merge、Processor和OutputTez数据处理引擎Tez数据处理引擎实现了一些常见的组件Tez数据处理引擎的基础是S
icebreakeros·2019-07-06 12:38

Apache Hadoop YARN 的架构与运行流程

YARN产生的背景Yarn是Hadoop2.X版本中的一个新的特性。它的出现其实是为了解决第一代MapReduce编程框架的不足，提高集群环境下的资
javageektech·2019-07-06 09:00

hadoop2.9.2集群配置及运行

前言hadoop版本为2.9.2oraclejava1.8三台centos7官方文档对于三台机器，编辑/etc/hosts，在最后加上下面几句话10.61.8.247master.wsxiot.cn10.61.8.245slave1.wsxiot.cn10.61.8.246slave2.wsxiot.cn对于三台机器，编辑/etc/profile配置环境变量并重启exportJAVA_HOME=/
wsx_iot·2019-07-02 21:10

spark 2.x在windows环境使用idea本地调试启动了kerberos认证的hive

2环境Jdk1.8.0Spark2.1.0Scala2.11.8Hadoop2.6.0-cdh5.12.1H
XIAO的博客·2019-07-01 18:00

超详细 Hadoop2.0高可用集群搭建方案

Hadoop完全分布式中的概念在Hadoop完全分布式的安装配置中，可以配置多个Namenode（两个）形成互为热备的状态，解决Namenode单节点故障的问题两个Namenode直接通过JN集群来共享数据，基本原理和Zookeeper类似，处于Active状态的Namenode通过将元数据的更新发送给大部分JN机器，保证只要JN集群大部分的机器存活，处于StandBy状态的Namenode可以同
未来属于你·2019-07-01 11:40

大数据、云计算系统顶级架构师课程学习路线图

大数据之Linux+大数据开发篇JavaLinux基础Shell编程Hadoop2.xHDFSYARNMapReduceETL数据清洗HiveSqoopFlume/Oozie大数据WEB工具HueHBaseStormScalaKafkaSparkSpark
乐姐·2019-06-30 22:14
上一页 66 67 68 69 70 71 72 73 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他