Hadoop2 第59页

SSH免密登录

1各集群节点创建用户hadoop,UID、GID设为一致sudogroupadd-g730hadoopsudouseradd-u730-g730-m-s/bin/bashhadoop2添加hadoop到用户组

喝醉酒的小白·2020-06-23 14:05

spark（完全分布式）

1.解压spark-2.4.4-bin-hadoop2.7.tgz包到module[root@hadoop101software]#tar-xvfspark-2.4.4-bin-hadoop2.7.tgz-C

一休祺·2020-06-23 14:56

hbase（完全分布式）

1.解压hbase压缩包到opt/module里面[root@hadoop101software]#tar-xvfhbase-0.98.17-hadoop2-bin.tar.gz-C/opt/module

一休祺·2020-06-23 14:26

HDFS 常用JAVA 操作实战

转自：https://www.cnblogs.com/sunzebo/p/5997755.html目的:学习用java进行的常用hdfs操作参考：[0002]HadoopHDFScmd常用命令练手环境：hadoop2.6.4win7

hemeinvyiqiluoben·2020-06-23 14:28

win10搭建spark本地开发环境

下载spark-2.2.2-bin-hadoop2.7，解压到目录下载hadoop-2.7.7scala-2.11.8.msi下载安装，尽量自定义路径，避免类似于C:\ProgramFiles存在路径包含空格的情况下载

hayaqi0504·2020-06-23 13:15

mac安装hbase伪分布式集群

1.安装jdk略2.hadoop伪分布式2.1下载解压hadoop2.7.7https://archive.apache.org/di...2.2修改etc/hadoop下文件core-site.xmlhadoop.tmp.dir

ch123·2020-06-23 13:51

Hadoop3.1.2三节点环境搭建

两者主要有下面几点区别：Hadoop2.xHadoop3.x1.Java版本6是最低要求。最低要求是Java版本8。因为大多数依赖库文件都来自java8。2.HDFS支持复制以实现容错功能。

freesOcean·2020-06-23 10:12

java.net.SocketTimeoutException: 60000 millis timeout while waiting for channel to be ready for read

环境：-Spark2.11-2.0.2-Hadoop2.6.5使用Spark连接HDFS，在高并发的时候，偶尔会遇到以下异常：2017-01-2610:30:29,079ERRORorg.apache.hadoop.hdfs.server.datanode.DataNode

煉心_·2020-06-23 09:24

Spark2.1.0完全分布式环境搭建

1）下载二进制包spark-2.1.0-bin-hadoop2.7.tgz2）解压并移动到相应目录3）修改相应的配置文件vi~/.bash_profile添加：exportSPARK_HOME=/home

gakki_smile·2020-06-23 09:14

TensorflowOnSpark遇到的几个问题和解决方法

我的版本如下：Hadoop2.7Spark2.3.1Python3.6.3Tensorflow1.5遇到的问题如下：（1）将文件转为csv格式时，就出现错误，错误位置为sc=SparkContext(conf

程序媛的小笔记·2020-06-23 09:20

虚拟机上的Hadoop伪分布式和完全分布式的搭建

目录一、Hadoop1.Hadoop的组成1.1HDFS架构概述1.2YARN架构概述1.3MapReduce架构概述二、Hadoop的搭建1.运行环境1.1安装JDK1.2安装Hadoop2.伪分布式运行模式

fseast·2020-06-23 09:00

Hadoop软件栈(生态系统)

现在已经重构到Yarn(Hadoop2.0)！Mapreduce是一个批处理框架用于大数据集的计算，它简单而且强大！使用Hadoop系统可以简单的实现对大量数据的有效管理！

苟雨·2020-06-23 09:45

（一）HDFS的认识及使用Java对其的简单操作

HDFS的Shell操作三、HDFS客户端操作1.环境准备2.HDFS的API操作3.HDFS的I/O流操作四、HDFS的数据流1.HDFS写数据流程2.1剖析文件写入2.2网络拓扑-节点距离计算2.3Hadoop2.7.2

fseast·2020-06-23 09:28

Flink on Yarn配置

Flink1.9.1与Yarn（hadoop2.6.2）结合使用，将flink的任务运行在Yarn上。

月下独酌100·2020-06-23 08:29

Hive 环境搭建

Hive搭建模式远程服务器模式版本说明：hadoop2.6.5解释远程？谁1远程谁2？谁1是metastore,谁2是MysqlServer。

foreverlove_ty·2020-06-23 08:15

大数据串讲-从日志文件分析访问量最高的10个接口及响应访问量

安装软件Hadoop安装Hadoop2.6.1参考：http://www.powerxing.com/install-hadoop/Hive安装Hive2.1.1参考：https://my.oschina.net

fight4gold·2020-06-23 08:14

hadoop jar运行hbase相关jar包的classpath问题

版本：hadoop2.6，HBase1.0.1.1在使用HBase进行数据导入时（使用MapReduce的模式）：hadoopjar$HBASE_HOME/lib/hbase-server-1.0.1.1

fansy1990·2020-06-23 07:11

Kafka 学习 -- Topic的创建

/kafka-topics.sh--create--zookeeperhadoop221:2181,hadoop222:2181--replication-factor2--partitions2--topicTEST_TTT

eyoulc123·2020-06-23 06:49

Hive安装配置（集成mysql数据库）

开发环境Ubuntu18.04+Hadoop2.7.7+Hbase1.3.3+Hive1.2.2+MySQL5.7.26安装1.下载hive安装包下载地址将安装包复制到/usr/local中，执行命令sudocpapache-hive

eioway·2020-06-23 06:47

HBase伪分布式安装

开发环境Ubuntu18.04+Hadoop2.7.7+HBase1.3.3安装下载hbase安装包，下载地址将安装包复制到/usr/local中，执行sudocphbase-0.94.6.tar.gz

eioway·2020-06-23 06:46

入门篇：从零到一搭建大数据开发平台（五）Hive安装部署教程(derby单机版不推荐强烈推荐集群式)

环境：VMware15.5Pro【安装传送门】CentOS6.9【安装传送门】JKD1.8【安装传送门】Hadoop2.6-CDH5.15【安装传送门】一、derby单机版（了解即可不推荐学习）1、上传安装包和

BigData攻城狮·2020-06-23 05:39

Hadoop2.7.3+Spark2.1.0完全分布式集群搭建过程

1.选取三台服务器（CentOS系统64位）114.55.246.88主节点114.55.246.77从节点114.55.246.93从节点之后的操作如果是用普通用户操作的话也必须知道root用户的密码，因为有些操作是得用root用户操作。如果是用root用户操作的话就不存在以上问题。我是用root用户操作的。2.修改hosts文件修改三台服务器的hosts文件。vi/etc/hosts在原文件的

dhgr33280·2020-06-23 04:36

Kylin 环境搭建成功

Hive1.2.1HBase0.98Kylin1.5.1Hadoop2.5.1http://bigdatacloud:7070/kylin/adminServerConfigkylin.hbase.region.cut.large

dgsdaga3026010·2020-06-23 04:27

怎么在CentOS Linux 8上安装Hadoop？安装配置Hadoop的详细步骤

2、怎么给CentOSLinux8升级内核并开启BBR手里有一台DellR620服务器，共有8块硬盘，通过VMware将虚拟机分布在这8块硬盘上，模拟8台服务器，在一个机架上：编号：/BJ0/LG0/hadoop22

9Tristone·2020-06-23 03:36

初步掌握HDFS的架构及原理

目录HDFS是做什么的HDFS从何而来为什么选择HDFS存储数据HDFS如何存储数据HDFS如何读取文件HDFS如何写入文件HDFS副本存放策略Hadoop2.x新特性1、HDFS是做什么的HDFS（HadoopDistributedFileSystem

dengdun2029·2020-06-23 03:58

Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04

本教程基于原生Hadoop2，在Hadoop2.6.0(stable)版本下验证通过，可适合任何Hadoop2.x.y版本

汪酱0110·2020-06-23 02:34

Yarn资源调度系统详解

1、Yarn介绍ApacheHadoopYARN是apacheSoftwareFoundationHadoop的子项目，为分离Hadoop2.0资源管理和计算组件而引入。

冰上浮云·2020-06-22 23:17

Hadoop三节点大数据环境安装教程（2）

教程中出现字体加粗和加红的说明需要大家仔细阅读，按照步骤进行安装，都是比较重要的细节，如果有同学忘记或者跳过说明的步骤，环境大家的过程中问题会非常的多.2.本教程中安装的是hadoop3.x版本,后续我们还需要安装hadoop2

队列人生·2020-06-22 23:05

spark1.63升级到spark2.3.1环境变量配置

具体方式见测试用例1.修改个人用户配置文件.bashrc，注释以前的spark环境与java环境，添加vi~/.bashrc#exportSPARK_HOME=/opt/core/spark-1.6.3-bin-hadoop2.6

cjlion·2020-06-22 23:08

基于Java+SparkStreaming整合kafka编程

三、实际例子spark的安装包里面有好多例子，具体路径：spark-2.1.1-bin-hadoop2.7\examples。

chuowen140381·2020-06-22 23:04

Flink-1.8.1踩坑记录 - HDFS的scheme不支持问题

前置环境说明：centos6.10hadoop2.7.3oraclejdk1.8flink1.8.1scala2.11安装完集群之后提交一个jar包中的类运行报错,（这个类里面写了操作HDFS的内容）2019

chuba5570·2020-06-22 23:20

python模拟MapReduce的感受

此例子简单，但能帮助快速体会Map和Reduce到底在干什么目的是求出每个年份的最大值[zhangyuxia@hadoop234~]$cattest.dat19500515070049999999N9+

chongjiapi1753·2020-06-22 22:52

spark+mongodb大数据框架搭建

spark依赖环境1.jdk1.82.scala2.113.hadoop2.7(本文用mongodb取代HadoopHDFS，不需要安装)安装JDK略。。

JoeyDTChen·2020-06-22 21:25

hadoop2.2.0集群搭建 centos6.4 32位

centos6.432位hadoop2.2.0搭建参考传智播客hadoop1.0的视频以及《Hadoop技术内幕深入解析YARN架构设计与实现原理》中的配置和网友帖子环境：VMware10，jdk:jdk

chen820655096·2020-06-22 21:24

Flink on yarn遇到的问题

flink.apache.org/downloads.html我是分开部署的，部署了hadoop3.1.2所以下载两个文件ApacheFlink1.9.1forScala2.12和Pre-bundledHadoop2.8.3

帅入膏肓·2020-06-22 20:26

storm on yarn 如何支持 storm 0.9.2

github.com/yahoo/storm-yarn.git默认stormonyarn使用的hadoop和storm的版本：0.9.0-wip212.1.0-beta这里我们要做的是让stormonyarn支持hadoop2.3

caodaoxi·2020-06-22 20:56

Hadoop小兵笔记【四】hadoop2.2.0伪分布式环境搭建问题-ssh登录失败

本文记录了基于Hadoop2.2.0搭建伪分布式环境过程中遇见的疑难问题，并给出解决方案，详记于此，以为后观。

网埠头·2020-06-22 19:50

h3c

1产品简介H3C大数据平台（DataEngine）采用开源社区ApacheHadoop2.0和MPP分布式数据库混合计算框架为用户提供一套完整的大数据平台解决方案，具备高性能、高可用、高扩展特性，可以为超大规模数据管理提供高性价比的通用计算存储能力

bingoabin·2020-06-22 18:05

Hadoop2.6.0运行mapreduce之推断（speculative）执行（上）

前言当一个应用向YARN集群提交作业后，此作业的多个任务由于负载不均衡、资源分布不均等原因都会导致各个任务运行完成的时间不一致，甚至会出现一个任务明显慢于同一作业的其它任务的情况。如果对这种情况不加优化，最慢的任务最终会拖慢整个作业的整体执行进度。好在mapreduce框架提供了任务推断执行机制，当有必要时就启动一个备份任务。最终会采用备份任务和原任务中率先执行完的结果作为最终结果。由于具体分析推

泰山不老生·2020-06-22 17:20

windows下pyspark访问hive所需的环境搭建

文章目录简介环境搭建与效果演示更细节的搭建方法搭建HDFS、Spark或hive的前提已经有了远程可访问的测试集群搭建hadoop2.7.2修改hadoop配置格式化hdfs测试搭建spark-2.4.5

代码实体·2020-06-22 15:15

HBase 开发环境搭建（Eclipse+Maven）

Maven项目，编辑pom.xml并更新下载jar包4.0.0fulong.bigdatamyHbase0.0.1-SNAPSHOTorg.apache.hbasehbase-client0.96.2-hadoop2org.apach

andrewgb·2020-06-22 14:04

Spark-安装配置：伪分布式安装和全分布式安装

0.准备工作：安装JDK，配置主机名，免密登陆一.伪分布模式搭建：1.解压tar-zxvfspark-2.1.0-bin-hadoop2.7.tgz-C/opt/module2.修改配置文件：(1)修改

Movle·2020-06-22 12:09

大数据||HDFS HA 设计

背景Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。

明明德撩码·2020-06-22 11:40

云上是时候丢掉Hadoop混合部署概念了

Hadoop2.

a52654·2020-06-22 11:26

Hadoop2.7.1 集群部署及自动化脚本

实验环境操作系统：ubuntu14.0464位主机名IPnamenode10.107.12.10datanode110.107.12.20datanode210.107.12.50datanode310.107.12.60jdk安装实验安装的是jdk1.7.0_71版本，具体安装步骤及环境变量设置参考这里。SSH无密登录下面是我写的一个自动化SSH无密登录脚本，运行脚本前需要安装expect包，u

白杨·2020-06-22 09:27

Spark on yarn和Hadoop on yarn的区别

ApacheSpark的高性能一定程度上取决于它采用的异步并发模型（这里指server/driver端采用的模型），这与Hadoop2.0（包括YARN和MapReduce）是一致的。

YQlakers·2020-06-22 09:44

Flink on Yarn HA模式部署

1.配置yarn最大重试次数yarn-site.xml：yarn.resourcemanager.am.max-attempts42.配置Yarn重试次数[root@hadoop2flink-1.5.0

With__Sunshine·2020-06-22 08:46

Kylin安装部署

NTP、Chrony3、用户创建hadoop组和hadoop用户，并做ssh免密码登录4、HadoopHA集群Hadoop2.7.35、HBasehbase1.x6、HiveHive1.2.1，使用mysql