Hadoop2

解决hbase部署过程中出现的bug--hbase-0.98.12.1-hadoop2/bin/hbase-daemon.sh: line 207: core: command not found

一、hbase部署1.将hbase的tar包上传至linux的/home下，然后解压缩2.然后修改hbase/conf/下的hbase-env.sh中JAVA_HOME的java路径配置/JAVA_HOEM可以快速定位到需要修改的位置3.不使用HBase的默认zookeeper配置：HBASE_MANAGES_ZK=false4.修改配置hbase/conf下面的hbase-site.xml文件，
simple_chenc·2020-07-12 11:27

hbase安装(使用外置zookeeper)

1，准备工作:1),jdk1.82),hadoop2.7.43),hbase1.2.64),zookeper3.4.9(这些都是互相兼容版本)5,)4台机器(t124,t125,t126,t127)2，
zxzLife·2020-07-12 11:27

hadoop 新增datanode 扩容

image.png我们的机器由于日志量大又开始了扩容，hadoop2.8不支持diskvolumelevelrebalance，hadoop3.0支持，可是我们安装的是2.8，所以只能通过添加新的数据节点来完成数据容器的扩容和负载均衡
Helen_Cat·2020-07-12 07:29

关于hadoop中The method XXXX is not applicable for the arguments问题的解决

在学习进行mapreduce时候，按照教程写了一个程序，结果在下图中报错上网查了下是因为使用的新版的hadoop2.7.3，导入的包与旧版本的不相同，需要导入新的包，具体修改如下：使用importorg.apache.hadoop.mapreduce.lib.input.FileInputFormat
八维·2020-07-12 05:06

hadoop3 提交任务出错（找不到类）

hadoop3提交任务出错（找不到类）hadoop3的配置和hadoop2的配置基本相同，但还是有一定的差距hadoop3的配置注意事项1.首先要一堆环境变量（HADOOP_PREFIX不要配）exportJAVA_HOEM
周天祥·2020-07-12 04:30

Hadoop单机模式的配置

内容：1.设置SSH无密码登录；2.下载&安装Hadoop2.5.0；3.Hadoop配置文件的配置；4.创建HDFS目录并格式化；5.启动&验证前置条件：1.已安装VirtualBox虚拟机，本案例VirtualBox
文刀鑫·2020-07-12 02:52

mac 配置hadoop2.9.0+hive-2.3.3

1.安装jdk2.安装hadoop2.9.0;3.安装hive-2.3.3；（一）配置JDK环境首先是安装jdk,下载地址：http://www.oracle.com/technetwork/java/
youli_wyp·2020-07-12 02:39

Hadoop2.X学习笔记--搭建

一搭建环境列表操作系统：centos6.564位JDK环境：jdk1.7.0_71hadoop版本：社区版本2.7.2，hadoop-2.7.2-src.tar.gz主机名ip角色用户master1192.168.204.202Namenode;secondarynamenode;resourcemanagerhadoopslave1192.168.204.203Datanode;nodemana
treacle田·2020-07-12 00:37

Hadoop入门教程 详细的入门实战教程

本文的思路是：以安装部署ApacheHadoop2.x版本为主线，来介绍Hadoop2.x的架构组成、各模块协同工作原理、技术细节。安装不是目的，通过安装认识Hadoop才是目
songlh1234·2020-07-11 23:35

基于Hadoop批量图像特征提取和检索查询的思考

1.问题描述在Hadoop2.x中，HDFS默认分块大小为128M。
Mr_Lei先生·2020-07-11 22:37

hadoop2.5.2 启动成功后，用jps查看节点：发现少了DataNode

使用less~/hadoop-2.5.2/logs/hadoop-zkpk-datanode-pxe01.log查看日志得知：datanode的clusterID和namenode的clusterID不匹配。解决办法:1.找到~/hadoopdata/dfs/name/current/VERSION里的clusterID2.复制clusterID到各个没有启动的节点的~/hadoopdata/df
holomain·2020-07-11 16:11

Hive 1.1.0 集群安装配置

Hive使用系统CentOS6.5集群环境组件versionHadoop2.6.0Zookeeper3.4.6Hive1.1.0Hive配置解压这里就不讲解了进入Hive根目录cd/home/hadoop
ZeroTeam_麒麟·2020-07-11 16:58

CentOS 7.0安装HBase1.3.1

环境CentOS7hadoop2.7.3CentOS7.0安装flumehbase1.3.1zookeeper3.4.11CentOS7.0安装flume下载HBase并上传解压下载链接：https:/
iccool-cc·2020-07-11 15:30

mac安装配置hive2.0

/blog.csdn.net/an342647823/article/details/46048403http://andrewliu.in/2015/04/25/Mac下安装Hive及使用/##配置hadoop2.6.0
铁头乔·2020-07-11 14:59

【HDFS篇11】HA高可用

Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。NameNode主要在以下两个方面影响HDFS集群NameNode机器发生意外，如宕机，集
focusbigdata·2020-07-11 13:07

HBase入门（三）——HBase远程连接+HBase常用命令

IDSW集群中Hbase的访问环境项内容版本hbase-1.4.9hadoop版本hadoop2.6.5安装目录/data/hbase-1.4.9机器10.111.25.140（主）10.111.25.13810.111.25.139zookeeper
江湖小小虾·2020-07-11 11:42

Hadoop〖一〗Hadoop3.2.1版本本地安装伪集群实现词频统计案例

安装Hadoop在虚拟机上1.1准备一台虚拟机1.2安装JDK1.3安装Hadoop二.接下来进行配置伪分布式（上面的Hadoop只是单机模式）2.1创建文件夹2.2修改hadoop配置文件2.3启动Hadoop2.4
ktoking·2020-07-11 10:34

MAC 系统安装 Hadoop2.7.3

MAC系统安装Hadoop2.7.31.查看是否安装了Java使用Item工具，运行java-version命令，可以查看java版本。
jiangyonggang1·2020-07-11 09:39

Mac系统下，Hadoop集群的搭建

macOSHighSierra10.13.3虚拟机软件：ParallelsDesktop从节点操作系统：Centos7Centos7jdk版本：1.8.0_144Macjdk版本：1.8.0_171Hadoop版本：Hadoop2.8.1
涛哥带你学编程·2020-07-11 07:49

spark on yarn和mapreduce on yarn的区别

ApacheSpark的高性能一定程度上取决于它采用的异步并发模型（这里指server/driver端采用的模型），这与Hadoop2.0（包括YARN和MapReduce）是一致的。
guaniu_zsx·2020-07-11 06:01

MacOS10编译Hadoop2.7.4

一、背景Hadoop官网提供的编译包如hadoop-2.7.4.tar.gz为Linux32位环境编译，其中nativelibrary在64位环境中运行会出现异常。因而在64位生产环境中使用的Hadoop是需要下载源代码并在64位系统中进行成功编译后的版本。二、环境PC:MacBookPro(Retina,13-inch,Mid2014)OS:macOSSierra三、编译软件依赖gccGNUAu
仁者无敌1987·2020-07-11 06:23

免费分享一套搭建好直接可用的基于Hadoop的大数据环境（集成了Hadoop、Hive、Zookeeper、Kafka、Flume、Hbase、Spark等）

本套大数据环境是作者亲手一步步搭建好的直接可用的基于hadoop的大数据环境，系统CentOS7.6，包含三个节点，集成了如下大数据组件：Hadoop2.7.7，Hive2.3.4，Zookeeper3.4.10
原来浙小商啊·2020-07-11 06:15

kafka_2.12-2.2.0 集群部署

文章目录zk搭建kafka下载配置启动服务测试创建一个topic“my-test-topic”测试消息的发送与接收zk搭建zk集群需要优先搭建起来，这里使用Hadoop2.8.5完全分布式HA高可用安装
快乐崇拜234·2020-07-11 06:45

使用最新的 hbase-client 2.1 操作 hbase

引入依赖配置文件编写测试代码概述springboot2.1集成hbase2.1环境说明：hbase：2.1.5springboot：2.1.1.RELEASEhadoop:2.8.5java:8+hadoop环境：Hadoop2.8.5
快乐崇拜234·2020-07-11 06:45

hadoop2.9.2源码编译

1、环境准备centos7、maven-3.6.1、jdk1.8.0、apache-ant-1.9.9、protobuf-2.5.0、hadoop-2.9.2-src将maven-3.6.1、jdk1.8.0、apache-ant-1.9.9、protobuf-2.5.0的压缩包下载好，解压到指定的目录其中protobuf-2.5.0需要重新编译安装gcc编译器和make构建：yuminstall
fengchengwu2012·2020-07-11 05:19

Windows下配置Hadoop2.6-eclipse-plugin插件

.tar.gzant的环境变量配置，jdk和eclipse安装略过path中添加ANT_HOMEhadoop-eclipse-plugin插件地址：https://github.com/winghc/hadoop2x-eclipse-plugin
Rindy_RR·2020-07-11 05:38

Hadoop2.7.3+Hbase-1.2.6完全分布式安装部署

Hadoop安装部署基本步骤：1、安装jdk，配置环境变量。jdk可以去网上自行下载，环境变量如下：编辑vim/etc/profile文件，添加如下内容：exportJAVA_HOME=/opt/java_environment/jdk1.7.0_80（填写自己的jdk安装路径）exportCLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/d
dd321211·2020-07-11 04:20

Ubuntu 16.04-HBase1.3.1+Hadoop2.6.5 单机环境搭建

1.首先下载hbase下载地址：hbase1.3.1-bin.tar.gz解压到任意目录，例如我的是/opt/hbase-1.3.1并为HBase配置环境变量2.配置HBasecd/opt/hbase-1.3.1/conf/2.1.修改hbase-env.shsudovimhbase-env.sh配置JAVA环境变量exportJAVA_HOME=/usr/jdk1.8.0_121把exportH
DogeAndCat·2020-07-11 03:10

Hive-1.2.2安装（本地模式）

Hive-1.2.2安装（本地模式）必要条件Java1.7(Hive1.2及以上版本需要Java1.7或更高版本)Hadoop2.x(推荐),1.x(不支持Hive2.0.0以上版本).配置好环境变量HADOOP_HOME
chennaihuan0842·2020-07-11 03:37

执行hadoop jar命令时报Not a valid JAR

hadoop-lzo.jar\com.hadoop.compression.lzo.LzoIndexer/user/hive/warehouse/access_lzo图中的$HADOOP_HOME/***表示hadoop260
蔡大远·2020-07-11 03:30

win10 64位+Eclipse mars 4.5.1+hadoop2.7.3开发环境搭建

（1）eclipse下载maven插件，放到eclipse下的plugin文件夹。安装maven。http://maven.apache.org/download.cgi（2）下载hadoo-2.7.3插件，hadoop-eclipse-plugin-2.7.3.jar，放到eclipse下的plugin文件夹。http://pan.baidu.com/s/1i5yRyuh密码：ms91或者：ht
texture_texture·2020-07-11 03:29

spark安装

1、下载地址http://spark.apache.org/downloads.html2、解压tar-zxvfspark-2.4.4-bin-hadoop2.7.tgz-C/opt/module/3、
b078109·2020-07-11 02:51

SecureCRT远程连接Linux---终端中文字符出现乱码的解决方式

今天用SecureCRT远程连接linux时，发现终端中的中文字符总是出现乱码的现象，如下所示：首先我先查看了一下LANG这个参数：[root@hadoop22~]#echo$LANGen_US.UTF
安静的技术控·2020-07-11 01:56

Hadoop2.2集群搭建与配置 例子WordCount成功运行

对于初学者来说，Hadoop的搭建与配置有两个核心：HDFS（hadoopdistributefilesystem，hadoop分布式文件系统）hdfs是整个hadoop生态的基础，它具有很多优点和特性，不再多提，我们的目的是让hdfs在我们的集群上跑起来。Yarn（YetAnotherResourceNegotiator，另一种资源协调者）反正是一次大改版出现的事物，从那以后不再有jobTrac
抠脚Q太郎·2020-07-10 23:37

在idea中使用spark

安装scala所需文件:scala-intellij-bin-2016.3.9.ziphadoop2.6test1.txt本文默认是idea已经可以打开其他maven项目运行了。
wu_9f41·2020-07-10 23:27

解决：MacOS下配置Hadoop及Hive单机遇到的问题(们)

MacOSSierra10.12.1Hadoop2.7.3Hive1.2.1前言本来安逸搞个local的spark算了，但是过几天我还要搞个网易云音乐的大新闻，没有hive不得劲，遂装，期间遇到的问题，
哈士奇说喵·2020-07-10 22:39

《Hadoop》"呶呶不休"（五）Windows10下的Eclipse搭建Hadoop2.7.3开发环境

在这一章里，我们来学习如何在Windows操作系统下，搭建Hadoop2.7.3集群的Eclipse开发环境。
从明老师·2020-07-10 22:49

Hadoop2.x完全分布式配置详解

完全分布式的集群环境，一个namenode和三个datanode，四台机器上安装的都是UbuntuServer14.04LTS系统；JDK版本1.7.0_75，安装详情下面有介绍；Hadoop版本为最新稳定版本hadoop2.6.0.2
Aircraftxjd·2020-07-10 20:38

杀死Linux下顽固的僵尸进程

杀死Linux下顽固的僵尸进程今天使用oozie源码编译hadoop2.7.1,hive1.0.1以及spark1.6,1一直都都通过，不是下不来jar包就编译出错。
suiyuan0808·2020-07-10 18:00

Hbase与MapReduce集成

mapreduce的输出hbase作为输入和输出将hbase的jar包拷贝到hadoop的lib（一般不采取），可配置环境变量exportHBASE_HOME=/opt/modules/hbase-0.98.6-hadoop2exportHADOOP_C
柳仁儿·2020-07-10 17:03

Mac 安装 hadoop+hive+hbase+spark

如下述流程有误，欢迎批评指正一、hadoop1.安装JDK和Hadoopmac自带jdk，用homebrew安装hadoop，注意brew安装的文件都在/usr/local/Cellar/下brewinstallhadoop2
GZGlenn·2020-07-10 17:47

【HDFS篇11】HA高可用

Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。NameNode主要在以下两个方面影响HDFS集群NameNode机器发生意外，如宕机，集
focusbigdata·2020-07-10 16:00

Apache flink的安装应用-大数据处理1-Flink自己的jar包example运行

jdk1.8.0_74，电脑win7旗舰版安装下载包https://flink.apache.org/downloads.html#apache-flink-180下载得到flink-1.6.2-bin-hadoop28
zhyl4669·2020-07-10 15:35

Hadoop2.7.5高可用zookeeper搭建

集群规划hadoopHA集群的搭建依赖zookeeper，所以选取三台当作zookeeper集群，这次准备了4台主机，分别是hadoopm,hadoopsm,slave1,slave2,其中hadoopm和hadoopsm做namenode的主备切换，slave1，slave2做resourcemanager的主备切换集群规划hadoop'mhadoop's'mslave1slave2nameno
zhbzhbzhbbaby·2020-07-10 14:43

hadoop2.7.5 集群搭建（高可用）

附录hadoop所有版本下载地址：https://archive.apache.org/dist/hadoop/common/由于需要用到hadoop的服务器配置特写出来分享此文档。服务器：hostnameip系统node1192.168.3.21centos7.2node2192.168.3.22centos7.2node3192.168.3.23centos7.2node4192.168.3.
zhaishujie·2020-07-10 14:30

Spark——部署详解及问题解决

本节目标：掌握Spark的部署方式所需软件：spark-2.2.1-bin-hadoop2.7NNDNJNZKZKFCRMNMMasterWorkermaster(192.168.85.10)llllslave1
Devin01213·2020-07-10 13:21

虚拟机ubuntu18.04环境下hadoop2.9和hive3.0安装

一、基础环境和下载环境：ubuntu18,64位虚拟机：virtualbox5.2下载hadoop2.9.1https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop
花青色·2020-07-10 13:43

mapreduce与spark的区别--内容详细

HadoopMapReduce采用了多进程模型，而Spark采用了多线程模型：ApacheSpark的高性能一定程度上取决于它采用的异步并发模型（这里指server/driver端采用的模型），这与Hadoop2.0
奔跑的小鲫鱼·2020-07-10 12:06

7台机器的hadoop2.4.1高可用（HA）集群搭建

hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFSHA、YARN等。
wzcwmhp·2020-07-10 12:06

hadoop2.0生产环境高可用集群原理和搭建

非高可用集群搭建可以参看我写的博客http://blog.csdn.net/wyl6019/article/details/528747791体系架构图集群节点分配情况192.168.100.200wangyl-0ActiveNameNode192.168.100.201wangyl-1StandbyNamenode192.168.100.202wangyl-2ActiveResourceMana
豹变·2020-07-10 12:25
上一页 41 42 43 44 45 46 47 48 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他