hadoop2.7

Spark学习之路 （二）Spark2.3 HA集群的分布式安装

mirrors.hust.edu.cn/apache/3、从清华的镜像站下载https://mirrors.tuna.tsinghua.edu.cn/apache/二、安装基础1、Java8安装成功2、zookeeper安装成功3、hadoop2.7
weixin_33811961·2020-07-10 07:51

hadoop2.7入门-java访问hdfs文件

hadoop2.7入门-java访问hfs文件1、hdfs文件存储系统2、解决hadoop集群的访问权限2.1、关闭hadoop权限检查2.2、使用kerberos进行权限配置2.3、把整个hadoop
peace_dove·2020-07-09 21:21

Hadoop2.7实战v1.0之JVM参数调优

Hadoop正式上线之前，首先要调整的是各个进程的JVM参数设置，特别是对于HDFSNamenode来说。HDFS的JVM参数配置文件:hadoop-env.shNamenode进程的JVM配置:HADOOP_NAMENODE_OPTSDatanode进程的JVM配置:HADOOP_DATANODE_OPTSclient命令行的JVM配置:HADOOP_CLIENT_OPTS对于Namenode而
crazy_stone0002·2020-07-09 14:45

Spark安装部署及相关文件说明

Spark安装包：类别：与Hadoop打包在一起的安装包，如spark-2.3.0-bin-hadoop2.7.tgz，spark版本为2.3.0，与hadoop2.7集成在独立安装包：spark-2.3.0
游骑小兵·2020-07-09 10:45

Hadoop2.7实战v1.0之start-balancer.sh与hdfs balancer数据均衡

转发：http://www.aboutyun.com/thread-17612-1-1.html适用场景：a.当动态添加或者删除集群的数据节点，必然会使各节点的数据不均衡b.当正常维护时1.对hdfs负载设置均衡，因为默认的数据传输带宽比较低，可以设置为64M，即hdfsdfsadmin-setBalancerBandwidth67108864即可[root@sht-sgmhadoopnn-01~
weixin_42868638·2020-07-08 21:24

hdfs文件写入详情

一,首先我把写入流程图放在这，这些都是看hadoop中的源码得到的，可以说是很详细的流程图了，本文由版本hadoop2.7为主二，我们把里面的一下细节详细讲一下:首先我们要了解block,paket,chuck
zxzLife·2020-07-08 19:19

centos7下的 impala安装及与hive集成

1.环境：1.首先得先装好的环境：centos7,hadoop2.7，jdk1.8，hive,mysql；2.三台机子名称映射为：127.0.0.1localhostlocalhost.localdomainlocalhost4localhost4
panrhenry·2020-07-08 01:42

hadoop2.7完全分布式集群搭建以及任务测试

要想深入的学习hadoop数据分析技术，首要的任务是必须要将hadoop集群环境搭建起来，本文主要讲述如何搭建一套hadoop完全分布式集群环境。环境配置：2台64位的redhat6.5+1台64位centos6.9+Hadoop+java7一、先配置服务器的主机名Namenode节点对应的主机名为masterDatanode节点对应的主机名分别为node1、node21、在每一台服务器上执行vi
shop_ping·2020-07-04 06:16

基于并行计算（MapReduce）的PM2.5数据集处理

（对于每个月份数据缺失大于1/2的平均值用NaN表示，对于月份数据缺失小于1/2的计算已有天数的平均值）实现环境Hadoop2.7
HAHAJustin·2020-07-01 01:00

windows配置hadoop（详细）

一、环境windows764位hadoop2.7二、安装java1.8，并配置环境变量下载地址：http://www.oracle.com/technetwork/java/javase/downloads
花青色·2020-06-30 03:52

通过mongo-hadoop(pymongo_spark)从PySpark保存数据到MongoDB

一、背景PySparktoconnecttoMongoDBviamongo-hadoop二、配置步骤（注意版本作相应调整，spark-2.4.3，hadoop2.7，Scala2.11）1.
wengyupeng·2020-06-29 17:00

PredictionIo 0.12.1 安装详解

Ubuntu14.04软件版本：以下为安装测试过程中，使用的软件版本：必须安装：Java：64-Bit“1.8.0_171”Hadoop:2.7.6Scala:2.12.6Spark:2.1.1(支持hadoop2.7
weixin_42082627·2020-06-29 03:12

windows上搭建大数据环境之-hadoop2.7不用Cygwin

windows764位上构建大数据环境不用Cygwin-hadoop2.7构建步骤1.软件下载地址2.首先你需要配置环境变量下载对应版本的hadoop.dll,winutils.exe配置相应的xml文件格式化namenode启动hadoopbat脚本启动构建步骤如果你想最近需要经常在大数据平台上做些实验，所以需要一个就在本地的开发环境，但是又不想在虚拟机里面捣鼓，这样子的话，效率太慢了，网上搜了
u014028392·2020-06-27 08:59

spark1.6升级到spark2.4的常见问题

查看hadoop版本hadoop2.7可支持最新的spark2.4.0版本，下载地址为http://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.4.0
savorTheFlavor·2020-06-26 07:06

《Pyflink》Flink集群安装，Python+Flink调研

Flink集群安装，Python+Flink调研Flink集群部署下载对应版本安装包：https://flink.apache.org/downloads.html实验环境为hadoop2.7，scala2.11
ihoge·2020-06-25 20:41

Hadoop2.7+Mysql8.0下Hive2.3的安装

搭建准备：Hadoop2.7,hdfs全分布式搭建https://blog.51cto.com/12924846/2351478Mysql8.0搭建https://blog.csdn.net/qq_38924171
萌萌哒的理工男·2020-06-25 15:19

python+sparkStreaming+kafka之大数据实时流

首先需要的是环境，我安装的是spark2…1,kafka0-10,hadoop2.7,scala2.11,因为spark是Scala语言写的，所以这个必须的安装，大数据传输存储需要用到Hadoop，HDFS
pyswt·2020-06-24 20:24

Hadoop 的三种调度器FIFO、Capacity Scheduler、Fair Scheduler

目前hadoop2.7默认使用的是CapacityScheduler容量调度器。一、FIFO（先入先出调度器）hadoop1.x使用的默认调度器就是FIFO。
小马哥_编程·2020-06-23 14:46

HADOOP 备份至 S3

hadoop2.6对于hadoop2.7以前的版本，通过jets3t读写s3。如果使用s3/s3a去
zczhuohuo·2020-03-25 22:14

spark-2.1.1-hadoop2.7+Ubuntu14完全分布式集群搭建

需要先安装Hadoop2.7完全分布式集群搭建。
至极L·2020-03-25 17:54

CentOS6.5安装Hadoop2.7

一、环境说明：VmWare两台虚拟机，各安装CentOS6.5，部署单Master单Slave结构的Hadoop集群。二、下载JDK与hadoop安装包jdk-8u92-linux-x64.gzhadoop-2.7.4.tar.gz三、修改系统hosts文件（两台机器）：使用管理员执行编辑sudovi/etc/hosts添加以下内容192.168.76.128hd01192.168.76.129h
quickcoder·2020-03-24 16:50

Hadoop集群执行start-all.sh后没有namenode没有启动

Date:2019/09/08Version:Hadoop2.7，ubuntu16.04LTSHadoop集群配置好后，执行start-all.sh启动集群后，然后执行jps查看java进程，发现没有namenode
pluo1717·2020-03-13 17:11

org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Ljava/lang/String;I)问题

最后的解决方案是下载hadoop2.7的hadoop.dll文件和对应的winutils.exe文件放入
Super~me·2020-03-11 13:00

通过Loadrunner连接操作Hadoop HDFS

HDFS的文件操作测试，由于LoadRunner11只支持JDK1.6，所以Hadoop选择的Jar包也只能用Hadoop2.6.0，但是这不影响连接高版本的hadoop-HDFS（本次测试就实现了连接操作hadoop2.7
smooth00·2020-02-26 02:42

Hadoop安装教程_单机/伪分布式配置

本教程适用于原生Hadoop2.7，主要参考了官方安装教程，按照步骤，基本能够顺利安装并体验Hadoop的精彩之处。
羽恒·2020-02-21 23:07

windows下安装spark-python

需要下载对应版本的hadoop才行，这个页面有对hadoop的版本要求，点击DownloadSpark:spark-2.3.1-bin-hadoop2.7.tgz就可以下载压缩包了，对应的hadoop版本要在Hadoop2.7
阿布gogo·2020-01-10 00:00

spark2.0集群安装

如果没有配置好Hadoop的分布式集群环境，Hadoop2.7分
hz82114280·2019-12-28 18:33

大数据DMP画像系统

png4.png5.png系统开发要求涉及的技术要点：spark、elasticsearch、hadoop、hive、LRGBDT等机器学习算法开发工具：idea、eclipse开发环境：spark2.2、hadoop2.7
小红牛·2019-12-22 22:38

CentOS7安装Hadoop2.7完整流程

1、环境，3台CentOS7，64位，Hadoop2.7需要64位Linux，CentOS7Minimal的ISO文件只有600M，操作系统十几分钟就可以安装完成，Master192.168.1.12Slave1192.168.1.13Slave21
0o失魂鱼o0·2019-12-07 07:12

大数据DMP画像系统

大数据结合业务场景落地系统开发要求涉及的技术要点：spark、elasticsearch、hadoop、hive、LRGBDT等机器学习算法开发工具：idea、eclipse开发环境：spark2.2、hadoop2.7
13157330443·2019-11-27 22:27

Ubuntu Hadoop2.7下使用Eclipse编译运行MapReduce程序

本文不生产内容，只是以下内容的搬运工http://www.cnblogs.com/kinglau/p/3794433.htmlhttp://www.powerxing.com/install-hadoop/http://www.powerxing.com/hadoop-build-project-using-eclipse/环境#本文基于Ubuntu14.0464bit，Hadoop2.7Hado
超越爱迪生·2019-11-06 20:14

集群搭建Hadoop 环境为CentOS7/JDK1.8

这边单机部署采用的是hadoop3这边我们回归到hadoop2.7去搭集群，其实都一样。1.准备本次要求准备三台服务器，这边演示使用VMware开了三个环境。192.168.20.3Master192
AceCream佳·2019-10-30 14:39

厦门大学林子雨老师大数据实验环境搭建索引

博客首页在Windows中使用VirtualBox安装UbuntuJava和SSH的安装配置Hadoop2.7分布式集群环境搭建Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04Spark
学习真是太快乐了呀·2019-08-26 22:39

hadoop2.7作业提交详解之文件分片

在前面一篇文章中（hadoop2.7之作业提交详解（上））中涉及到文件的分片。
一寸HUI·2019-07-31 15:00

hadoop2.7之作业提交详解（下）

接着作业提交详解（上）继续写：在上一篇（hadoop2.7之作业提交详解（上））中已经讲到了YARNRunner.submitJob()[WordCount.main()->Job.waitForCompletion
一寸HUI·2019-07-31 14:00

hadoop2.7之作业提交详解（上）

根据wordcount进行分析：importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.Path;importorg.apache.hadoop.io.IntWritable;importorg.apache.hadoop.io.Text;importorg.apache.hadoop.mapreduce.Job;
一寸HUI·2019-07-24 17:00

Sqoop全量同步mysql/Oracle数据到hive

也介绍了如何在这个搭建好的伪分布式环境安装配置sqoop工具以及安装完成功后简单的使用过程中出现的错误及解决办法，前面说的文章连接清单如下：Hadoop+Hive+HBase+Kylin伪分布式安装指南sqoop1.4.7的安装及使用(hadoop2.7
赵延东的一亩三分地·2019-03-19 10:52

sqoop1.4.7的安装及使用(hadoop2.7环境)

一、sqoop简介Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如：MySQL,Oracle,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。说明：本测试hadoop是单机伪分布式环境，如果读者想要学习如何搭建伪分布式hadoop环
赵延东的一亩三分地·2019-03-18 14:53

Hadoop 2.7 伪分布式环境搭建（超详细）

一台LinuxCentOS6.7系统hostnameipaddresssubnetmaskgetewayNode1192.168.139.150255.255.255.0192.168.139.2②、hadoop2.7
Vincent(Hao Li)·2018-12-14 15:40

大数据DMP画像系统

大数据结合业务场景落地系统开发要求涉及的技术要点：spark、elasticsearch、hadoop、hive、LRGBDT等机器学习算法开发工具：idea、eclipse开发环境：spark2.2、hadoop2.7
java_66666·2018-11-12 00:00

搭建Hadoop环境之伪分布式

配置HDFS配置/opt/app/hadoop2.7/etc/hadoop/core-site.xmlfs.defaultFShdfs://hadoop01:8020hadoop.tmp.dir/var
M_23_J·2018-10-25 17:42

hadoop2.7第一个python实例（超详细）

没有任何基础，第一次跑hadoop实例，遇到不少问题，记录下来以便自查和帮助同样情况的hadoop学习者。参考博客：https://www.cnblogs.com/end/archive/2012/08/13/2636175.html集群组成：VMwawre14.1+CentOS6.5+hadoop2.7, 3个虚拟机节点，分别为master、slave1，slave2hadoop安装目录：/op
acecai01·2018-09-16 17:42

Hadoop2.7运行自带的wordcount

目录1、准备数据文件2、把文件上传到HDFS上3、执行命令4、原理解析1、准备数据文件word1.txtilovetheworldword2.txtilovetheworld,hellonihao2、把文件上传到HDFS上hadoopfs-mkdir/inputhadoopfs-putword1.txt/inputhadoopfs-putword2.txt/input3、执行命令hadoopjar
哎呦、不错哦·2018-09-09 21:10

Hadoop2.7集群环境搭建

目录一、安装Hadoop前的准备二、安装Hadoop1、安装Hadoop2、配置Hadoop的环境变量3、修改Hadoop的配置文件4、启动1）、启动HDFS2）、启动yarn3、启动全部5、Hadoop常用命令说明三、安装过程可能遇到的问题一、安装Hadoop前的准备服务器目录约定：所有的按照文件均放在/export下/export/package放置下载的安装包（只在主节点下，其他几点通过sc
哎呦、不错哦·2018-09-08 18:46

Ambari2.6安装部署Hadoop2.7

ApacheAmbari是一种基于Web的工具，支持ApacheHadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、Sqoop和Hcatalog等。ApacheAmbari支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、Sqoop和Hcatalog等的集中管
三杯水·2018-07-09 11:49

hadoop2.7及spark伪分布式集群搭建

准备布一个hadoop的伪分布式集群(三台虚拟机master，slave1，slave2)1.操作系统：Linux：CentOS764BitJava：1.8(自己下载了tar包，自带的配置起来较麻烦)Hadoop：2.7.5(下载地址：https://blog.csdn.net/qq_36434219/article/details/80669692)Spark：2.2.1(下载地址：https:
qq_36434219·2018-06-17 00:05

Spark中executor-memory参数详解

文中安装的是Spark1.6.1，安装在hadoop2.7上。1、相关的2个参数1.1yarn.scheduler.maximum-allocation-mb这个参数表示每个cont
xiaodf·2018-06-15 15:43

Spark中executor-memory参数详解

文中安装的是Spark1.6.1，安装在hadoop2.7上。1、相关的2个参数1.1yarn.scheduler.maximum-allocation-mb这个参数表示每个cont
xiaodf·2018-06-15 15:43

Spark-- docker + spark +hadoop进行搭建本机的伪集群

docker-spark：https://github.com/houshuai0816/docker-spark这个项目中当前使用的是Spark2.3.0和hadoop2.7和jdk8构建进行检出仓库内容
喜欢雨天的我·2018-05-29 16:30

Centos云服务器搭建Hadoop2.7完全分布式集群

一安装环境：三台云服务器，我使用的是华为云一台为centos7，主机名:master，ip：192.168.0.1另外两台为centos6.5，主机名分别为node1、node2，ip分别为192.168.0.2，192.168.0.3。hadoop版本：hadoop-2.7.6.tar.gzjavajdk版本：jdk-8u171-linux-x64.tar.gz大家根据实际情况自行选择，linu
钟离龙·2018-05-15 09:16
上一页 1 2 3 4 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他