Hadoop2

CentOS7环境下Hbase集群的配置

0.前提jdk1.8.0hadoop2.9.0zookeeper3.4.61.下载解压缩hbase-1.2.6-bin.tar.gz2.修改配置文件/home/hadoop/hbase-1.2.6/conf
翱翔的江鸟·2020-08-24 18:52

hadoop2.6.0中配置hbase比较简单的

我没有配置hbase的ha。我使用的是集群中的zk，而不是hbase中自带的zk下载好hbase解压配置hbase-env.shjavahomezk配置hbase-site.sh配置全局变量exporthbasehome分发scp-rhbase目录hadoop02（目标主机）：路径启动集群start-hbase.sh查看webuihadoop01:160101总结hbase是依赖于hdfs，和zk
董世森 学习·2020-08-24 17:31

sqoop从mysql导入数据到hive

sqoop从mysql导入数据到hive环境：hadoop2.7.2hive2.3.6sqoop1.4.7安装Sqoopsqoop-1.4.7下载地址下载下来解压后配置cd$SQOOP_HOME/confmvsqoop-env-template.shsqoop-env.shvisqoop-env.sh
懒的执行力度无敌·2020-08-24 17:59

史上最详细、最全面的Hadoop环境搭建

本文的思路是：以安装部署ApacheHadoop2.x版本为主线，来介绍Hadoop2.x的架构组成、各模块协同工作原理、技术细节。安装不是目的，通过安装认识Hadoop才是目的。
民工哥·2020-08-24 17:10

scala加载spark MLlib等所有相关jar的问题

1、找到spark安装目录E:\spackLearn\spark-2.3.3-bin-hadoop2.7\jars里面放的是spark的所有依赖jar包2、从idea里面javalib导入即可调用里面的
weixin_30933531·2020-08-24 17:04

hbase环境搭建,启动之后HMaster挂掉,或者是集群里,只启动了HMaster节点,HRegionServer节点没有启动的问题

版本是hbase0.98.13-hadoop2,总结一下问题!第一:htrace-core的问题!
yingziorg·2020-08-24 16:40

spark-on-yarn作业提交缓慢优化

uploadingfile太慢17/05/0910:13:28INFOyarn.Client:Uploadingresourcefile:/opt/cloudera/parcels/spark-1.6.3-bin-hadoop2.6
松龄·2020-08-24 16:02

Java HotSpot(TM) 64-Bit Server VM warning: You have loaded library /usr/local

警告信息如下：JavaHotSpot(TM)64-BitServerVMwarning:Youhaveloadedlibrary/usr/local/hadoop252/lib/native/libhadoop.sowhichmighthavedisabledstackguard.TheVMwilltrytofixthestackguardnow.It'shighlyrecommendedthat
shenming98·2020-08-24 15:47

Hadoop 2.x 原理详解

在Hadoop2.x结构解决上述两个的问题：1）解决单点故障：通过HA高可用，主备Namenode切换解决。
shenming98·2020-08-24 15:47

windows下安装spark-python

™下载相应版本的spark，因为spark是基于hadoop的，需要下载对应版本的hadoop才行，这个页面有对hadoop的版本要求，点击DownloadSpark:spark-2.3.1-bin-hadoop2.7
LJasperliet·2020-08-24 15:05

【Hadoop】Hadoop2.7.3执行job下来几个bug和解决思路

转载著名文章来自：http://blog.csdn.net/lsttoy/article/details/52400193最近执行hadoop的job下来，发现三个问题。基本条件：name服务器和node服务器都正常。WEBUI中显示都是OK，都是存活。执行现象之一：总是job运行中，毫无反应。16/09/0109:32:29INFOmapreduce.Job:Runningjob:job_147
乐扣老师lekkoliu·2020-08-24 14:24

Hadoop参数汇总

本篇问转载于文章http://segmentfault.com/a/1190000000709725关于hadoop2的参数配置相当全，感谢作者timgerHadoop参数汇总@(hadoop)[配置]
顾晓艳·2020-08-24 14:18

SparkLauncher 1.6 版本bug

环境：Hadoop2.6；Spark1.6SparkLauncher类概览该类通过主要包含一些设置SparkJob参数相关的成员变量与函数，另外，还包括启动SparkJob的两个函数（
taiyangdixiasj·2020-08-24 14:15

Hadoop数据操作系统YARN全解析

  为了能够对集群中的资源进行统一管理和调度，Hadoop2.0引入了数据操作系统YARN。YARN的引入，大大提高了集群的资源利用率，并降低了集群管理成本。
CoXie·2020-08-24 14:42

YARN and MapReduce的【内存】优化配置详解

在Hadoop2.x中,YARN负责管理MapReduce中的资源(内存,CPU等)并且将其打包成Container。
anbashi7271·2020-08-24 13:26

oozie的job一直在running或者SUSPENDED,任务单独执行不报错

环境：自己刚搭建完Oozie之后：hadoop2.6.5和apache的oozie3.4.1问题：运行案例中的mapreduce任务，和sell任务都会一直在runing，过很长时间就会SUSPENDED
花掏尽·2020-08-24 12:03

HBase Java API: hbase-client

操作hbase的客户端有以下几种方式：hbase-client比较底层，需要自己进一步封装api，而且版本号和安装的hbase也要匹配，否则会报错spring-data-hadoop2019年4月5停止维护
vbirdbest·2020-08-24 12:57

进阶3： zookeeper-3.4.9.tar.gz和hbase-1.2.4-bin.tar.gz 环境搭建(hbase 伪分布式)

前提条件：成功安装了jdk1.8,hadoop2.7.3注意条件：zookeeper,hbase版本必须要和hadoop安装版本相互兼容，否则容易出问题；本次：安装包zookeeper-3.4.9.tar.gz
weixin_30247781·2020-08-24 12:24

教你Windows平台安装配置Hadoop2.5.2(不借助cygwin)

那就继续往下看啦~步骤：1.JDK安装（不会的戳这）2.下载hadoop2.5.2.tar.gz，或者自行去百度下载。
黑精灵·2020-08-24 09:02

spark配置：spark集群

http://www.cnblogs.com/onetwo/p/5424377.html1.软件版本scala-2.11.8.tgzspark-1.6.1-bin-hadoop2.6.tgz2.scala
LandscapeMi·2020-08-24 01:15

Alluxio部署（集群模式）

下载（pre-buildforHadoop2.7)http://www.alluxio.org/download`解压tar-xvfalluxio-1.3.0-hadoop2.7-bin.tar生成配置文件
puroc·2020-08-24 00:12

hadoop2.4.0源码编译

2.安装依赖在编译Hadoop2.
jiangzeyun·2020-08-24 00:35

HBase部署入门指南

1环境准备1）安装jdk1.7或以上版本2）安装hadoop-2.2.0开发环境2HBase安装包下载下载地址：点击进入下载界面下载界面.png本次教程中使用的hbase-0.98.23-hadoop2
_和_·2020-08-24 00:20

基于Spark ALS在线推荐系统

所用技术：Bootstrap、flat-ui、Servlet、Spark1.4.1、Hadoop2.6.0、JDK说明：本系统不涉及ssh相关内容，只有简单的Servlet和JSP、HTML页面，系统架构相对简单
fansy1990·2020-08-24 00:18

Hadoop单机环境配置 ubuntu10.04

分类：Linux学习Hadoop2011-04-2113:22169人阅读评论(0)收藏举报转自：http://www.cnblogs.com/ventlam/archive/2010/11/24/hadoop.html
iteye_5985·2020-08-23 17:55

Linux 修改主机名 和 ip 映射关系

1.修改主机名vim/etc/sysconfig/networkNETWORKING=yesHOSTNAME=hadoop2.修改主机名和IP的映射关系vim/etc/hosts192.168.0.2hadoop
wickedvalley·2020-08-23 15:31

PySpark学习 | 常用的 68 个函数 | 解释 + python代码

实验环境可以按照在windows上面安装并用jupyter运行pyspark进行配置：python3Hadoop2.7PySpark2.2.3Windows10打开cmd命令窗口，输入pyspar
蠡1204·2020-08-23 11:51

Hbase分布式非关系型数据库安装与部署

Hbase安装部署根据自身jdk等版本问题,前往官网安装合适的版本完全分布式1下载安装包并解压2/hbase-0.98.12.1-hadoop2/conf/regionservers,修改conf目录下的
瓶中怪·2020-08-23 11:24

[DSL]Cascading 2.5 支持 Hadoop 2

Cascading2.5支持Hadoop2http://www.infoq.com/cn/news/2014/01/cascading你不妨问问自己这个问题：有谁愿意写一堆Java代码来完成一句SQL语句就能实现的操作
葡萄喃喃呓语·2020-08-23 10:53

Kafka-常见问题

1Kafka-0.8.2.11.1Consumer报错问题描述：WARN[console-consumer-23149_hadoop2-1476872289945-6edaec5e-leader-finder-thread
迷路剑客·2020-08-23 09:48

Hadoop学习-错误记录：namenode、datanode、secondarynamenode未启动

1、在ubuntu16.04系统中，采用伪分布配置，在账户A上启动hadoop2.7.3失败，namenode、datanode、secondarynamenode未启动，查看hadoop-hadoop-namenode-ubuntu.log
摘果子的人·2020-08-23 05:09

HDFS HA 高可用

3）Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。4）NameNode主要在以下两个方面影响HDFS集群NameNode机器发生意外，如宕机，集群将无法使用，
白纸糊·2020-08-23 04:17

MapReduce工作机制

首先遍历第一个文件获取文件的大小获取切片大小上面的源码就是切片大小的计算公式，blocksize为块的大小；如果job运行在本地，默认块大小是32M；如果job运行在yarn上，hadoop1.x默认块大小是64M；hadoop2
TmisuCno·2020-08-23 03:51

Flink 任务打包、提交

一、Flink版本flink-1.6.1-bin-hadoop26-scala_2.11二、Flink任务打包笔者将写好的flink计算任务代码发到服务器(ubuntu16.04)，在服务器端进行任务的打包
浅然言而信·2020-08-23 03:57

hadoop报错： Operation category READ is not supported in state standby

（1）在hadoop2.0中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。ActiveNameNode对
千里风雪·2020-08-23 03:50

Spark快速入门

交互式分析BasicsMoreonRDDOperationsCaching二、编写独立运行的应用程序本文主要内容来源于官方SparkQuickStart，spark版本为spark-2.4.6-bin-hadoop2.7
天一涯·2020-08-23 00:02

Hadoop——HDFS HA部署

所需软件：JDK1.8、Hadoop2.7.6、zookeeper3.4.11节点部署情况：NNDNJNZKZKFCmasterlllslave1lllllslave2lllslave3ll基于完全分布式搭建
Devin01213·2020-08-23 00:57

HDFS的HA机制

，即高可用（7*24小时不中断服务），实现高可用最关键的是消除单点故障hadoop-HA严格来说应该分成各个组件的HA机制——HDFS的HA、YARN的HAHDFS的HA机制架构HDFS的HA机制详解Hadoop2
Enzo_bigdata·2020-08-22 23:47

HDFS-HA自动故障转移工作机制

Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。NameNode主
娃哈哈、·2020-08-22 23:47

HDFS-HA高可用集群配置

3）Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。4）NameNode主要在以下两个方面影响HDFS集群NameNode机器发生意外，如宕机，集群将无法使用，直
月正明·2020-08-22 23:59

Hadoop HA自动故障转移搭建

PriortoHadoop2.0.0,theNameNodewasasinglepointoffailure(SPOF)inanHDFScluster.EachclusterhadasingleNameNode
hidecode·2020-08-22 22:47

大数据开发基础下学习笔记

1.HBase原理与开发实例Hbase是hadoop下的一个面向列存储的数据库读写示意图在hadoop2下安装hbase0.98.23并成功启动进入hbaseshell编写put程序在hbase表中插入数据编写
52d6e6e954b4·2020-08-22 22:27

HDFS HA系列实验之七：NN故障转移处理

hadoop2.2.0提供了NNHA，提高了NN的可用性。但如果发生了NN故障转移，那么需要处理故障点。
mmicky20110730·2020-08-22 20:00

hadoop生态系统（三）—— hbase搭建

一、解压安装包tar-zxvfhbase-0.98.6-hadoop2.tar.gz二、修改配置文件cd.
丶大荡·2020-08-22 20:25

国内最全最详细的hadoop2.2.0集群的HA高可靠的最简单配置

hadoop2就解决了这个问题。图1hadoop2.2.0中HDFS的高可靠指的是可以同时启动2个NameNode。其中一个
吴超沉思录·2020-08-22 20:10

Linux安装Hbase详细步骤

一、准备工作安装好虚拟机（ubuntu16.04)安装好Hadoop2.7.3hadoop安装好winscp（window向linux文件传输用)安装好jdk1.8jdk1.8下载好hbasehbase
谢同学咯·2020-08-22 19:11

Hbase学习1_CentOS6.5下Hbase1.1.2安装

经试验此教程在centos7.2+hadoop2.7.2+hbase1.1.13下可以使用Hbase一、安装Hbase在两台虚拟机Master和Slave1上安装Hbase所需条件：Hadoop和Zookeeper
魏大宾·2020-08-22 19:33

Hadoop学习笔记（一）

Hadoop2ubuntu安装和配置1.安装hadoop前的准备工作安装jdk安装openssl-server免密码登陆2.安装hadoop>https://hadoop.apache.org/releases.html
赵大龙·2020-08-22 18:07

Hbase入门

Hadoop1.0时代的生态系统如下：Hadoop2.0时代的生态系统如下：1.HBase简介–HBase–HadoopDatabase，是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库–
shanvlang·2020-08-22 18:58

Linux安装Hbase(CentOS7+Hbase1.4.9+Hadoop2.8.0)

https://blog.csdn.net/pucao_cug/article/details/722292231下载和解压缩1.1下载1.2解压缩2配置2.1环境变量配置2.2conf目录下的配置2.2.1修改hbase-env.sh文件2.2.2修改配置文件hbase-site.xml2.2.3修改regionservers文件3启动和测试3.1启动3.2测试3.2.1用浏览器访问Hbase状
奔跑者runner·2020-08-22 18:47
上一页 21 22 23 24 25 26 27 28 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他