Hadoop2 第60页

HBase 开发环境搭建（Eclipse+Maven）

Maven项目，编辑pom.xml并更新下载jar包4.0.0fulong.bigdatamyHbase0.0.1-SNAPSHOTorg.apache.hbasehbase-client0.96.2-hadoop2org.apach

andrewgb·2020-06-22 14:04

Spark-安装配置：伪分布式安装和全分布式安装

0.准备工作：安装JDK，配置主机名，免密登陆一.伪分布模式搭建：1.解压tar-zxvfspark-2.1.0-bin-hadoop2.7.tgz-C/opt/module2.修改配置文件：(1)修改

Movle·2020-06-22 12:09

大数据||HDFS HA 设计

背景Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。

明明德撩码·2020-06-22 11:40

云上是时候丢掉Hadoop混合部署概念了

Hadoop2.

a52654·2020-06-22 11:26

Hadoop2.7.1 集群部署及自动化脚本

实验环境操作系统：ubuntu14.0464位主机名IPnamenode10.107.12.10datanode110.107.12.20datanode210.107.12.50datanode310.107.12.60jdk安装实验安装的是jdk1.7.0_71版本，具体安装步骤及环境变量设置参考这里。SSH无密登录下面是我写的一个自动化SSH无密登录脚本，运行脚本前需要安装expect包，u

白杨·2020-06-22 09:27

Spark on yarn和Hadoop on yarn的区别

ApacheSpark的高性能一定程度上取决于它采用的异步并发模型（这里指server/driver端采用的模型），这与Hadoop2.0（包括YARN和MapReduce）是一致的。

YQlakers·2020-06-22 09:44

Flink on Yarn HA模式部署

1.配置yarn最大重试次数yarn-site.xml：yarn.resourcemanager.am.max-attempts42.配置Yarn重试次数[root@hadoop2flink-1.5.0

With__Sunshine·2020-06-22 08:46

Kylin安装部署

NTP、Chrony3、用户创建hadoop组和hadoop用户，并做ssh免密码登录4、HadoopHA集群Hadoop2.7.35、HBasehbase1.x6、HiveHive1.2.1，使用mysql

With__Sunshine·2020-06-22 08:46

hive性能调优及问题排查

软件环境：Hive1.2.1／Hadoop2.6.4；直接使用HiveCli模式运行；1.设置执行引擎sethive.execution.engine=mr;sethive.execution.engine

W609392362·2020-06-22 07:20

Spark1.6.0编译（Hadoop版本2.6.0-cdh-5.7.0）

提供的版本，但是官方编译的版本运行起来各种错误，所以先码一片文章，发扬奉献精神，走你>>>开始入坑：（直接上编译步骤）1.环境介绍：CentOS6.8-64位JDK7Spark1.6.0Scala2.10.5Hadoop2.6.0

移动的红烧肉·2020-06-22 07:40

Hadoop+Kylin集群部署过程和问题

2.3.0kylin：2.0.0jdk：1.8.01.新建用户和组>groupaddhadoop>useradd-d/home/hadoop-ghadoop-m-s/bin/bashhadoop>passwdhadoop2

Cloud_Leung·2020-06-22 06:01

CDH5.8.4-Hadoop2.6.0安常见报错及解决方法

1.cdh2.6.0安装完成时报错启动hadoop集群时报错，如下:20/01/2322:27:03WARNutil.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform...usingbuiltin-javaclasseswhereapplicable原因：导致该问题的改版本是因为${HADOOP_PREFIX}/lib

SimpleSimpleSimples·2020-06-22 05:46

hadoop 参考

本教程适合于原生Hadoop2，包括Hadoop2.6.0,

承接各种编程私活·2020-06-22 05:36

让你快速认识flume及安装和使用flume1.5传输数据(日志)到hadoop2.2

问题导读：1.什么是flume？2.如何安装flume？3.flume的配置文件与其它软件有什么不同？一、认识flume1.flume是什么？这里简单介绍一下，它是Cloudera的一个产品2.flume是干什么的？收集日志的3.flume如何搜集日志？我们把flume比作情报人员（1）搜集信息（2）获取记忆信息（3）传递报告间谍信息flume是怎么完成上面三件事情的，三个组件：source：搜集

承接各种编程私活·2020-06-22 05:36

大数据实战项目之新闻话题分析学习笔记（一）——实战前hadoop2.X必修课

文章目录学习资源（仅供参考）第2章：实战前hadoop2.X必修课hadoop2.x概述hdfs分布式文件系统框架原理详解mapreduce架构设计和原理详解YARN资源管理架构原理详解学习资源（仅供参考

爱学习的Neehong·2020-06-22 05:19

《网络安全态势感知》读书笔记

文章目录Ⅰ基础知识1开启网络安全态势感知的旅程2大数据平台和技术2.1大数据基础2.1.1大数据关键技术2.1.2大数据计算模式2.2大数据主流平台框架2.2.1Hadoop2.2.2Spark2.2.3Storm2.3

Alst0n·2020-06-22 04:24

Storm案例实战

实时计算的解决方案：Storm0.8.2+Hadoop2.2.0+JDK1.7+ZooKeeper3.4.6架构设计数据文件A：用户，手机号，手机MAC地址，上网地址，访问网站，网址类型，上行数据包数量

SmartBrain·2020-06-22 03:08

spark 安装详细步骤

安装包选择自己Hadoop对应的版本，不然会不兼容spark下载链接2.解压tar-zvxfspark.2.33.删除安装包，修改解压后的文件名字rm-rf安装包名mvspark-2.3.4-bin-hadoop2.7spark4

Nurbiya_K·2020-06-22 02:30

Hadoop学习之路 --- YARN（资源管理系统）

YARN被引入Hadoop2，最初是为了改善MapReduce的实现，但它具有足够的通用性，同样可以支持其他的分布式计算模式。

Mai_Noe·2020-06-22 01:47

Hadoop2.x三节点大数据环境安装教程

说明:1.教程中出现字体加粗和加红的说明需要大家仔细阅读，按照步骤进行安装，都是比较重要的细节，如果有同学忘记或者跳过说明的步骤，环境大家的过程中问题会非常的多.2.本教程主要引导同学进行hadoop2

队列人生·2020-06-21 23:43

Hadoop安装教4程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.0

Hadoop安装教4程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.0当开始着手实践Hadoop时，安装Hadoop往往会成为新手的一道门槛。

LLy_Alex·2020-06-21 23:08

hadoop2.x安装maven SVN gcc等步骤

1、下载mavenhttp://mirror.bit.edu.cn/apache/maven/maven-3/到该地址下下载tar.gz文件将该文件解压tar-zxf.....tar.gzmvapache-maven-3.3.9//app/lib/(或者/usr/lib/下，没有测试)2、修改系统变量的配置文件profilesudo/etc/profile在JDK配置文件下方添加如下命令expor

supory·2020-06-21 23:54

Hadoop 之 yarn 笔记整理

YARN概述YARN是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序YARN是Hadoop2.x版本中的一个新特性

夜古诚·2020-06-21 22:35

基于docker1.7.03.1单机上部署hadoop2.7.3集群

基于docker1.7.03.1单机上部署hadoop2.7.3集群基于docker17031单机上部署hadoop273集群声明docker版本与hadoop版本说明docker中配置构建hadoop

yzwall_·2020-06-21 22:56

Hadoop完全分布式集群搭建+Centos7配置连通外网和主机

文章目录一、Hadoop是什么二、Hadoop组成1、Hadoop1.x2、Hadoop2.x四、Hadoop集群搭建所需工具（链接如下，自行下载）三、Hadoop集群配置前期准备四、Hadoop运行环境搭建五

IronmanJay·2020-06-21 22:59

ubuntu16.04安装NVIDIA及CUDA，配置OpenCL

ubuntu16.04安装NVIDIA及cuda说明：拟使用ubuntu16.04LTS，NVIDIAdriver384及cuda9.0，jdk1.8，scala2.11.8，hadoop2.7.6，spark2.1.0

Fortuna_i·2020-06-21 20:03

大数据Hadoop2.x与Hadoop3.x相比较有哪些变化

我们将讨论Hadoop2.x与Hadoop3.x之间的比较。Hadoop3版本中添加了哪些新功能，Hadoop3中兼容的Hadoop2程序，Hadoop2和Hadoop3有什么区别？

honesty_zhang·2020-06-21 20:26

如何解决Cannot execute /home/hadoop/hadoop2.8/libexec/hadoop-config.sh.的方法

/hadoopversion遇到了一个错误：Cannotexecute/home/hadoop/hadoop2.8/libexec/hadoop-config.sh.首先要知道/home/hadoop是一个不存在的路径解决方法

Eider1998·2020-06-21 19:04

Hadoop2.5.1完全分布式安装

机器类型，64位centos；列表：masterslave1slave2slave3slave40准备工作0.1修改每台机器的hostname为列表中的名字如master就做如下修改：[root@master~]#vi/etc/sysconfig/networkNETWORKING=yesHOSTNAME=master[root@master~]#vi/etc/hosts#127.0.0.1loc

猫又全宗·2020-06-21 19:13

hadoop2.6.5 scala2.11.12 spark2.3.0安装配置及出现的问题（单机版伪分布式）

hadoop2.6.5scala2.11.12spark2.3.0安装配置及出现的问题（单机版伪分布式）操作系统是deepinlinux１．安装配置Hadoop、JDK、SSH服务可参考以下链接超详细单机版搭建

Can96·2020-06-21 18:28

Win10+python3.6+jdk1.8+spark2.4.3+hadoop2.7.6

Win10+python3.6+jdk1.8+spark2.4.3+hadoop2.7.61.下载安装jdk（1）创建oracle账户：用户名******、密码：******；https://download.oracle.com

CX_Sunshine·2020-06-21 18:42

【Hadoop】（三）资源管理器 YARN 和分布式计算框架 MapReduce

文章目录前言一、MapReduce介绍1.基本介绍2.MR数据流程方向3.MR核心思想4.MR运行原理5.块、切片、map、reduce、组、分区、输出文件之间的关系6.计算框架二、Hadoop2.x-MapReduce1

云祁·2020-06-21 17:32

Hadoop学习之yarn

YARN是Hadoop2.x版本中的一个新特性。是为了解决第一代MapReduce编程框架的不足，提高集群环境下的资源利用率，使

Quinto0·2020-06-21 13:33

Hadoop YARN学习之核心概念（2）

HadoopYARN学习之核心概念（2）1.Hadoop2.XYARN引入的新服务1.1新的ResourceManager纯碎作为资源调度器，是集群资源的唯一仲裁者；1.2用户应用程序（包括MapReduce

weixin_34409741·2020-06-21 12:29

小型大数据平台搭建

目录前言一、搭建环境1.1集群规划二、集群的相关配置2.1新建用户hadoop2.2更改主机名2.3主机和IP做相关映射2.4SSH免密码登录2.5时间配置2.6整体安装目录安排三、HadoopHA环境搭建

weixin_34113237·2020-06-21 11:43

TEZ计算引擎部署

timeline服务是apachehadoop2.6.0之后加入作为yarn的一个子服务。j

weixin_33973600·2020-06-21 11:18

新闻实时分析系统 Spark2.X集群运行模式

2.sparkStandalone模式配置并测试1）jdk1.8已经安装2）scala2.11.8已经安装3）Hadoop2.5.0已经安装4）安装SparkStandalonea）配置slavevislavesbigdata-pro01

weixin_30730151·2020-06-21 10:41

Hadoop2.5.1完全分布式搭建

搭建环境：Vmware12+Centos6.4备注：基于虚拟机搭建hadoop完全分布式集群（没有截图！！！）&&前期准备工作：将vmware设置为桥接模式（即直接同外网连接，不用通过主机上网）vmware中克隆虚拟机后，会出现以下三个问题：网络的配置和源机一样用户名称与源机一样用户的hosts与源机一样1)修改网络配置1）vim/etc/udev/rules.d/70-persistent-ne

安多的风ch·2020-06-21 09:55

HBase操作（Shell与Java API）

http://blog.csdn.net/u013980127/article/details/52443155下面代码在hadoop2.6.4+hbase1.2.2+centos6.5+jdk1.8上运行通过

影夜life·2020-06-21 09:12

docker安装spark、pyspark环境

1.下载spark：spark-2.4.4-bin-hadoop2.7.tgz，以当前最高版本为准2.解压后找到kubernetes/dockerfiles/spark目录，查看Dockerfile文件

随风*惊云·2020-06-21 09:22

浅谈spark yarn模式的问题调试

我在调试spark程序的时候，采用如下命令启动spark驱动程序：/usr/local/spark-1.3.1-bin-hadoop2.6/bin/spark-submit--supervise--classspark_security.Sockpu

heayin123·2020-06-21 08:44

Spark-利用SparkLauncher 类以JAVA API 编程的方式提交spark job

一.环境说明和使用软件的版本说明:hadoop-version:hadoop-2.9.0.tar.gzspark-version:spark-2.2.0-bin-hadoop2.7.tgzjava-version

sj206327327206·2020-06-21 08:39

在VM虚拟机上搭建Hadoop2.7.3+Spark2.1.0完全分布式集群

1.选取三台服务器（CentOS系统64位）114.55.246.88主节点114.55.246.77从节点114.55.246.93从节点之后的操作如果是用普通用户操作的话也必须知道root用户的密码，因为有些操作是得用root用户操作。如果是用root用户操作的话就不存在以上问题。我是用root用户操作的。2.修改hosts文件修改三台服务器的hosts文件。vi/etc/hosts在原文件的

windflyhuang·2020-06-21 08:52

Yarn学习（一）YARN的资源调度

Yarn是Hadoop2.x版本中的一个新特性。它的出现其实是为了解决第一代MapReduce编程框架的不足，提高集群环境下的资源利用率，这些资源包括

匿名啊啊啊·2020-06-21 06:29

Spark大数据分布式机器学习处理实战

有关框架介绍和环境配置可以参考以下内容：大数据处理框架Hadoop、Spark介绍linux下Hadoop安装与环境配置linux下Spark安装与环境配置本文的参考配置为：Deepin15.11、Java1.8.0_241、Hadoop2.10.0

大数据之眸·2020-06-21 05:06

Spark大数据分布式图计算处理实战