Hadoop2 第40页

Spark2.4.0 SparkSession 源码分析

github.com/opensourceteams/spark-scala-maven-2.4.0时序图前置条件Hadoop版本:hadoop-2.9.2Spark版本:spark-2.4.0-bin-hadoop2.7JDK

chongqueluo2709·2020-07-27 20:56

Hadoop2.2.0中配置SecondaryNameNode

在Hadoop1.x.x的版本中，masters文件里记录SecondaryNameNode的机器列表，每行一个slaves文件里记录启动datanode和tasktracker的机器列表，hadoop2.2.0

陈振阳·2020-07-27 20:15

Hadoop2.6.4搭建笔记

一、在UBuntu下创建hadoop用户和用户组1.首先新建hadoop用户组sudoaddgrouphadoop2.创建hadoop用户sudoadduser-ingrouphadoophadoop3

cptbtptpss·2020-07-27 19:50

HDFS之Qurom Journal Manager（QJM）实现机制分析

1.前言1.1背景自从hadoop2版本开始，社区引入了NameNode高可用方案。NameNode主从节点间需要同步操作日志来达到主从节点元数据一致。

风筝Lee·2020-07-27 19:29

Hadoop2.6.0运行mapreduce之Uber模式验证

前言在有些情况下，运行于Hadoop集群上的一些mapreduce作业本身的数据量并不是很大，如果此时的任务分片很多，那么为每个map任务或者reduce任务频繁创建Container，势必会增加Hadoop集群的资源消耗，并且因为创建分配Container本身的开销，还会增加这些任务的运行时延。如果能将这些小任务都放入少量的Container中执行，将会解决这些问题。好在Hadoop本身已经提供

泰山不老生·2020-07-27 19:47

hadoop2以及各组件学习

starRunner·2020-07-27 19:10

Hadoop的SecondaryNameNode和HA（高可用）区别

在Hadoop2.0之前，NameNode只有一个，存在单点问题（虽然Hadoop1.0有SecondaryNameNode，CheckPointNode，BackupNode这些，但是单点问题依然存在

andyguan01_2·2020-07-27 18:31

Flink高可用集群搭建

1.5.1masters1.5.2slaves1.5.3flink-conf.yaml1.6拷贝配置文件1.7远程发送文件2.WordCount程序2.1java版本2.2scala版本安装节点要求：jdk1.8hadoop2.7.6scala2.11.8zookeeper3.4.10

DanielMaster·2020-07-27 18:04

学习大数据过程中遇到的问题1

首先说明下学习过程中所用到的系统及软件的版本：ubuntu16.04jkd1.8.0_131hadoop2.7.3hbase1.2.5如果在ubuntu14.04上配置hadoop不顺利的话，建议换ubuntu16.04

a76847784·2020-07-27 18:59

大数据软件之Linux环境安装hadoop操作葵花宝典一，堪称完美

的安装包上传到Linux系统上，进行解压tar-zxfhadoop安装包我个人习惯把安装的软件安装到soft文件夹下，把安装解压好的hadoop移动到soft文件夹下mv/opt/hadoop/opt/spft/hadoop2602

Clozzz·2020-07-27 15:47

大数据软件之搭建完全分布式Hadoop

集群准备准备三台客户机（关闭防火墙、静态ip、主机映射、主机名称），主机名分别为Hadoop2，Hadoop3，Hadoop4（具体虚拟机安装步骤在我之前的博客有写到）安装jdk，配置环境变量（具体步骤在我之前的博客里也有写到

Clozzz·2020-07-27 15:47

大数据基础之Spark——Spark的安装教程

/pan.baidu.com/s/1Kn0-UnZ8AMLiHF4l2YGcLQ提取码：ao3w2.将压缩包上传到Linux系统，并进行解压和安装//解压tar-zxfspark-2.3.4-bin-hadoop2.6

Clozzz·2020-07-27 15:16

Spark性能调优-总结分享

环境：服务器600+，spark2.0.2，Hadoop2.6.02、调优结果调优随机选取线上9条SQL，表横轴是调优测试项目，测试在集群空闲情况下进行，后一个的测试都是叠

打怪的蚂蚁·2020-07-27 14:54

Hadoop核心组件之HDFS的安装与配置

教程目录0x00教程内容0x01Hadoop的获取1.官网下载2.添加微信：shaonaiyi8883.关注公众号：邵奈一0x02上传安装包到集群1.上传安装包到虚拟机0x02安装与配置Hadoop1.解压Hadoop2

邵奈一·2020-07-27 13:29

hadoop-mapreduce-examples

/mapreduce/hadoop-mapreduce-examples-2.3.0-cdh5.1.0.jarpi25[[email protected]]#hadoopversionHadoop2.3.0

hzdxw·2020-07-27 12:28

Hadoop2.6.0子项目hadoop-mapreduce-examples的简单介绍

引文学习Hadoop的同学们，一定知道如果运行Hadoop自带的各种例子，以大名鼎鼎的wordcount为例，你会输入以下命令：hadooporg.apache.hadoop.examples.WordCount-Dmapreduce.input.fileinputformat.split.maxsize=1/wordcount/input/wordcount/output/result1当然，有

泰山不老生·2020-07-27 11:27

计算速率极快的Hadoop3.0 到底有哪些实用新特性？

Hadoop3.0简介Hadoop2.0是基于JDK1.7开发的，而JDK1.7在2015年4月已停止更新，这直接迫使Hadoop社区基于JDK1.8重新发布一个新的Hadoop版本，而这正是hadoop3.0

菜鸟级的IT之路·2020-07-27 11:51

hadoop2.7.7使用小记

下载打开官方下载链接：http://www.apache.org/dyn/closer.cgi/hadoop/common/，打开页面上推荐的最上面的那个链接。显示的内容如下：打开上图中红框选中的hadoop-2.7.7文件夹，下载后缀名为tar.gz的文件软件要求必须安装jdk，且版本在java7以上。必须安装ssh，而且sshd服务需要在运行中，这样hadoop脚本就可以远程管理hadoop进

九号自行车司机·2020-07-21 16:45

Hive命令行操作 hive2.3

前提准备：搭建Hive2.3→hadoop2.7+Mysql8.0下Hive2.3的安装hive的基本命令行操作命令输入hive进入Hive的命令行客户端!!!!!

萌萌哒的理工男·2020-07-16 07:04

Windows单机jdk + scala + spark + hadoop + pycharm开发环境的搭建

安装步骤折腾好久，主要是网上教程太散了有的地方还没说全版本jdk1.8scala2.10.7spark1.6.0（依赖hadoop2.6）hadoop2.6.5spark1.6还是比较稳定好用的，下载链接自己找放一下

计算机动物·2020-07-16 07:18

源代码：spark-shell解读

masterlocal[4]--jarscode.jar2.错误：Systemmemory239075328mustbeatleast471859200[[email protected]hadoop2.7

FOCUS_ON_AI·2020-07-16 05:26

Machine Learning With Spark--读书笔记

-基于YARN：即Hadoop2，它是一个与Hadoop关联的集群计算和资源调度框架。1.1Spark的本地安装与配置推荐阅读Spark

L.Jeremy·2020-07-16 05:30

Hadoop3.1.2 高可用安装Yarn (ResourceManager High Availability)

在Hadoop2.4之前，ResourceManager是YARN集群中的单点故障。高可用性功能以Active/

陈平寨黄山赵子龙·2020-07-16 05:37

hadoop2.7.1运行wordcount时NullPointerException

hadoop2.7.1运行wordcount时报错：java.lang.NullPointerExceptionatorg.apache.hadoop.mapreduce.lib.input.FileInputFormat.getBlockIndex

我爱棒棒糖·2020-07-16 05:04

Ubuntu16.04安装CDH Hadoop2.6单机版

与安装ApacheHadoop2.6单机版类似，搭建虚拟机环境就不介绍了，直接介绍下载和安装CDHHadoop2.6单机版，此处我安装的是hadoop-2.6.0-cdh5.10.0版本。

hufengreborn·2020-07-16 04:15

Linux搭建Kafka+Spark实时处理系统

服务器要求：jdk-8u121-linux-x64.tar.gz、kafka_2.12-0.10.2.1.tgz、spark-1.3.1-bin-hadoop2-without-hive.tgz1、生产者

高寒竹林·2020-07-16 02:30

Hbase入门（二）——Hbase安装部署

环境项内容版本hbase-1.4.9hadoop版本hadoop2.6.5安装包https://mirrors.cnnic.cn/apache/hbase/1.4.9/安装目录/data/hbase-1.4.9

江湖小小虾·2020-07-16 02:17

最值得参阅的大数据的技术图谱

现在大数据有三个发展方向：平台搭建/优化/运维/监控大数据开发/设计/架构数据分析/挖掘目录0.前言1.初识Hadoop2.SQLOnHadoop之Hive3.数据采集到Hadoop4.Hadoop结果集提取

布道·2020-07-16 00:14

windows安装hadoop

hadoop下载地址：http://www.powerxing.com/install-hadoop/windows下安装并启动hadoop2.7.264位windows安装hadoop没必要倒腾Cygwin

iloveyangyi·2020-07-16 00:55

hadoop libhdfs的使用方法

本文主要介绍libhdfs.so使用1.使用环境如下：hadoop2.7.2idk1.7centos2.libhdfs.s

ellende·2020-07-15 22:09

Spark客户端安装

1、减压安装包tar-zxvfspark-1.6.2-bin-hadoop2.6.tgz2、到解压包下的conf下spark-env.sh下设置环境变量（根据自己的安装目录设置）exportJAVA_HOME

无忌孩儿·2020-07-15 20:42

return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

运行环境：Hadoop2.8.0、Hive1.2.2，一共三台服务器，master是8G内存，两个slaver是4G内存（很寒酸），在Hive的命令行中执行count()和insert的时候总是报错，比如执行

渭水飞熊·2020-07-15 19:48

spark学习笔记-spark集群搭建（7）

安装spark包11、将spark-1.3.0-bin-hadoop2.4.tgz使用WinSCP上传到/usr/local目录下。

aams46841·2020-07-15 19:58

Hadoop实践（三）---MapReduce中的Counter

在Hadoop的MapReduce框架中包括6种Counters，每一种包含若干个Counter，分别对Map和Reduce任务进行统计Tips：图片中是Hadoop2.7.3Counters略有更新注意区分其实根据字面意思大概就知道这个

狮锅艺·2020-07-15 19:22

服务器搭建hadoop集群

环境使用centos作为系统环境，基于原生Hadoop2，在Hadoop2.7.x版本下验证通过，可适合任何Hadoop2.x.y版本，例如Hadoop2.7.1，Hadoop2.4.1等。

gyl2016·2020-07-15 18:05

使用spark.sql导入hive数据库的内容

/hive-site.xml/home/hao/Pictures/spark-2.4.3-bin-hadoop2.7/confcp.

ILovePythonhao·2020-07-15 17:36

zookeeper与hadoop整合

在Hadoop2.X版本之后提供了Hadoop的高可用，namenode可以配置两个，由Zookeeper管理，一个namenode处于

GuiFuShenGong123·2020-07-15 17:36

apache hadoop2.7的部署安装

1准备工作1.1下载安装包hadoopwgethttp://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gzjdk1.8.0_121下载mysqlwgethttps://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-community-server-5.7.17-1

徐长亮·2020-07-15 15:44

编译hive2.3.2源码并搭建环境

（1）hive1.2之后需要java1.7或者更高的版本，建议用1.8；（2）hadoop版本2.x以上，hive2.0.0之后不再支持1.x；在本文之前，hadoop环境已经安装，具体可见文章《编译hadoop2.9

后端老鸟·2020-07-15 15:27

初识大数据——20180608

90%的大数据框架都是java写的MySQL：SQLonHadoopLinux：大数据的框架安装在Linux操作系统上二、需要学什么第一方面：大数据离线分析一般处理T+1数据Hadoop2.X：（common

会敲代码的鲨鱼·2020-07-15 13:27

hadoop 2.x 安装及使用

一、准备要求安装好hadoop2.x版本的三节点集群,并配置好JAVA_HOME和HADOOP_HOME两个环境变量。

cherish-zp·2020-07-15 13:20

Hadoop第一篇:hadoop2.7.5单机版安装

Hadoop第一篇:hadoop2.7.5单机版安装简介Hadoop主要完成两件事，分布式存储和分布式计算。Hadoop主要由两个核心部分组成：1.HDFS：分布式文件系统，用来存储海量数据。

牧竹子·2020-07-15 12:31

Hadoop2.7.1+Hbase1.2.1集群环境搭建(1)hadoop2.7.1源码编译

(1)hadoop2.7.1源码编译http://aperise.iteye.com/blog/2246856(2)hadoop2.7.1安装准备http://aperise.iteye.com/blog

aperise·2020-07-15 12:23

Hadoop2.7.1+Hbase1.2.1集群环境搭建(10)基于ZK的Hadoop HA集群安装