hadoop+Hbase

项目十八-Hadoop+Hbase分布式集群架构“完全篇”

本文收录在Linux运维企业架构实战系列前言：本篇博客是博主踩过无数坑，反复查阅资料，一步步搭建，操作完成后整理的个人心得，分享给大家~~~1、认识Hadoop和Hbase1.1hadoop简单介绍Hadoop是一个使用java编写的Apache开放源代码框架，它允许使用简单的编程模型跨大型计算机的大型数据集进行分布式处理。Hadoop框架工作的应用程序可以在跨计算机群集提供分布式存储和计算的环境
weixin_33724059·2023-11-26 19:52

Hadoop+Hbase 分布式集群架构“完全篇”

1.认识Hadoop和Hbase1.1Hadoop简单介绍Hadoop是一个使用Java编写的Apache开放源代码框架，它允许使用简单的编程模型跨大型计算机的大型数据集进行分布式处理。Hadoop框架工作的应用程序可以在跨计算机群集提供分布式存储和计算的环境中工作。Hadoop旨在从单一服务器扩展到数千台机器，每台机器都提供本地计算和存储。1.2Hadoop架构Hadoop框架包括以下四个模块：
架构文摘·2023-11-26 19:22

hadoop+hbase部署，phoeni的安装和使用(二)

1.Hbase的部署（单机）1.1下载安装将下载的hbase-1.2.2-bin.tar.gz文件解压安装到/opt目录下:sudotar-zxvfhbase-1.2.2-bin.tar.gz#解压缩sudomvhbase-1.2.2hbase#文件夹重命名sudochown-Rhadoop:hadoophbase#修改hbase目录所属的用户和用户组1.2配置环境变量vim/etc/profil
枕溪研书·2023-06-12 17:56

Hadoop+Hbase分布式集群架构“完全篇”

本文收录在Linux运维企业架构实战系列前言：本篇博客是博主踩过无数坑，反复查阅资料，一步步搭建，操作完成后整理的个人心得，分享给大家~~~1、认识Hadoop和Hbase1.1hadoop简单介绍Hadoop是一个使用java编写的Apache开放源代码框架，它允许使用简单的编程模型跨大型计算机的大型数据集进行分布式处理。Hadoop框架工作的应用程序可以在跨计算机群集提供分布式存储和计算的环境
weixin_30510153·2023-04-04 09:28

Springboot集成Hadoop+Hbase实现企业能源消耗监测大数据分析系统

企业硬件设备较多，不利于快速发现设备故障及能源消耗异常。依托于hadoop、hbase搭建大数据分析平台，采用Springboot开发框架搭建一套完善的企业能源监控检测数据分析可视化平台。本次毕设程序基于前后端分离开发模式，搭建企业设备监控，数据管理汇总，大屏分析可视化于一体的企业能源检测系统，实现设备异常状态的及时发现预警，减少故障反应时间。一、程序设计本次能源损耗监控分析平台系统主要内容涉及：
Q计算机程序优异哥_2934918046·2023-04-02 06:08

虚拟机centos7上的hadoop+hbase伪分布安装

简单了解下hadoop与hbaseHadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量
简单。就好·2023-03-28 20:14

3台机器配置hadoop集群_Hadoop+Hbase 分布式集群架构

安装搭建Hadoop1、配置说明本次集群搭建共三台机器，具体说明下：主机名IP说明nn01192.168.1.51DataNode、NodeManager、ResourceManager、NameNodedn01192.168.1.52DataNode、NodeManager、SecondaryNameNodedn02192.168.1.53DataNode、NodeManager2、安装前准备2
张狂年少·2023-01-06 11:04

搭hadoop+hbase（mac单机）

摘要单机搭hadoop+hbase流程记录引用学习：1、hadoop2.7.4单机版安装2、HBase环境搭建安装程序准备：hadoop-2.7.7:https://mirrors.tuna.tsinghua.edu.cn
死鱼姐姐·2021-05-18 02:43

Hadoop + HBase （自带zookeeper 也可单独加） 集群部署

Hadoop+HBase搭建云存储总结PDFhttp://www.linuxidc.com/Linux/2013-05/83844.htmHBase结点之间时间不一致造成regionserver启动失败
weixin_34258078·2020-09-15 06:07

HBase-2.0 MOB解决海量图片存储方案

hadoop+hbase适合存储海量小图片吗?这是典型的大
小giaogiao·2020-08-22 15:25

设置Hadoop+Hbase集群pid文件存储位置

基于java开发的程序，想要停止程序，必须通过进程pid来确定，而hadoop和hbase默认的情况下，会把pid文件存储在Linux上的/tmp目录的某个目录下，进程名命令规则一般是框架名-用户名-角色名.pid，而默认情况下，linux的tmp里面的东西，一天会删除一次，所以把pid文件放在这里面，并不是长久之计，为了安全起见，我们还是放到一个固定的目录下最好，当然不能放在/tmp下如何配置避
海盗船长u010662668·2020-08-14 02:06

关于Ubuntu的那些事（Hadoop，Hbase环境搭建有感）

想到自己现在有4个白嫖的云服务器，心血来潮就打算在服务器上跑hadoop+hbase。
hannibal_lecter_·2020-08-10 19:56

java api远程操作hbase

之前在服务器上部署了hadoop+hbase结果被利用hadoop的漏洞注入了挖矿的病毒…不想重新安装所有服务也没法完全清除病毒,于是就重装系统，愉快的下了一个docker…)~~2.本地(mac)代码连接服务器主要参考
hannibal_lecter_·2020-08-10 19:56

【超详细】从VMware安装到Hadoop+Hbase完全分布式搭建到音乐排行榜综合实验

目录一、VMware安装二、VMwareTools安装三、更新apt四、安装配置SSH五、安装JAVA环境六、Hadoop安装七、克隆一台slave八、修改主机名和测试连通九、SSH无密码登录Slave十、配置集群/分布式环境十一、Hbase的安装与配置十二、MapReduce与Hbase集成环境十三、Eclipse安装与配置十四、音乐排行榜综合实验一、VMware安装注意：如果选择的系统是64位
Duck_Duck_·2020-08-10 13:48

centos 下 Hadoop+Hbase 安装手册

安装前必看因为Hadoop本身的优势的将文件的存储和任务处理分布化，Hadoop分布式架构中有如下两种负责不同功能的服务器，master服务器和slave服务器。所以，本安装手册将从二者的共体到个体的说明。安装假定安装时假设要为2台服务器安装Hadoop架构，那么我们假设：1、两台服务器名称为master和slave；2、两台服务器操作系统均为centos5.*且版本数大于等于5.4；3、Mast
HermanLiu·2020-08-07 23:37

设置Hadoop+Hbase集群pid文件存储位置

有时候，我们对运行几天或者几个月的hadoop或者hbase集群做停止操作，会发现，停止命令不管用了，为什么呢？因为基于java开发的程序，想要停止程序，必须通过进程pid来确定，而hadoop和hbase默认的情况下，会把pid文件存储在Linux上的/tmp目录的某个目录下，进程名命令规则一般是框架名-用户名-角色名.pid，而默认情况下，linux的tmp里面的东西，一天会删除一次，所以把p
zhangketuan·2020-07-29 02:58

Hadoop+HBase完全分布式安装

记录下完全分布式HBase数据库安装步骤准备3台机器：10.202.7.191/10.202.7.139/10.202.9.89所需准备的Jar包：jdk-7u65-linux-x64.tar.gz(下载：http://www.oracle.com/technetwork/java/javase/downloads/index.html)zookeeper-3.4.8.tar.gz（下载：http
Dobbin Soong·2020-07-28 14:19

Hadoop+HBase高可用环境测试

Hadoop和HBase高可用环境运行正常，由于修改Hadoop的相关配置文件，所以需要重启Hadoop集群。本次测试的目的是：确保Hadoop和HBase都可用的前提下，重启Hadoop集群。原因：修改core.xml、mapred-site.xml、yarn-site.xml并同步至集群中的所有服务器；主要测试步骤：1、单纯修改这些配置文件，对运行中的集群是不产生影响的——Hadoop集群仍然
初级以上·2020-07-15 19:16

Hadoop+Hbase 分布式集群架构“完全篇”，纯干货分享！

1.认识Hadoop和Hbase1.1Hadoop简单介绍Hadoop是一个使用Java编写的Apache开放源代码框架，它允许使用简单的编程模型跨大型计算机的大型数据集进行分布式处理。Hadoop框架工作的应用程序可以在跨计算机群集提供分布式存储和计算的环境中工作。Hadoop旨在从单一服务器扩展到数千台机器，每台机器都提供本地计算和存储。1.2Hadoop架构Hadoop框架包括以下四个模块：
000000000000000000生活·2020-07-15 11:55

Hadoop+Hbase集群环境搭建

Hadoop+Hbase集群环境搭建修改用户名配置Hosts安装Java环境下载Hadoop+Hbase配置节点之间免密码登录核心配置配置Hadoop配置Hbase传递配置启动修改用户名所有人用户名保持相同
埃菲尔上の铁塔梦·2020-07-15 07:45

WIN10下安装HBASE教程

工作需要，现在开始做大数据开发了，通过下面的配置步骤，你可以在win10系统中，部署出一套hadoop+hbase，便于单机测试调试开发。
weixin_30256505·2020-07-15 02:42

hadoop+hbase海量小图片处理

1.方法原理：系统借鉴Hbase存储的基本原理，提出以“状态标记位”的方法为当前并不能完美支持追加处理的HDFS的Mapfile文件提供了一种有效的解决方法，既解决了HDFS小文件存储的问题，又解决了Mapfile即时修改的问题。2.方法介绍：在海量图片背景中，图片的存储形式探讨就成为了保证系统性能的重要部分。HDFS存在普遍的小文件存储的通病，对小文件的读取通常会造成大量从datanode到da
good_mpj·2020-07-14 10:39

Hadoop+Hbase高可用集群搭建

Hadoop配置1、core-site.xml配置：fs.defaultFShdfs://ns1hadoop.tmp.dir/usr/local/hadoop-2.7.6/tmpha.zookeeper.quorumhadoop02:2181,hadoop03:2181,hadoop04:2181ipc.client.connect.max.retries20Indicatesthenumbero
骑码学GIS·2020-07-10 10:08

hadoop+hbase导致报错（NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration）

Exceptioninthread"main"java.io.IOException:Erroropeningjobjar:./ADReport2Hbase_0309.jaratorg.apache.hadoop.util.RunJar.main(RunJar.java:90)Causedby:java.util.zip.ZipException:errorinopeningzipfileatja
Garry1115·2020-06-30 20:47

内存小于16GG搭建Hadoop集群的一些个人观点

分享给大家：1、使用apache原生的hadoop来搭建集群，除了配置繁琐之外，还可能会有很多版本兼容性的问题(这很是头疼的问题)，当然在一些组件的官网有明确的版本依赖性说明，搭建haddop+hive或者hadoop
紧到长卜帅·2020-06-27 00:43

hadoop+hbase部署，phoeni的安装和使用(一)

介绍：hadoop是大数据使用的平台，而hbase是一个非关系型数据库，是hadoop下的应用。Phoenix的功能是可以像关系型数据库SQL语言一样操作非关系型数据库hbase。1.环境Ubuntu环境下，需要先安装JDK和SSH1.1JDK，即java的安装安装vim：sudoapt-getinstallvim解压：tar-zxvfjdk-8u181-linux-x64.tar.gz建夹：mk
枕溪研书·2019-12-16 14:20

Java连接HBase数据库，操作HBase数据库

一、前提Hadoop+HBase环境已经装好，然后利用JavaHBaseAPI操作HBase的话，最好将虚拟机中的HBase版本对应起来，我们从虚拟机中把HBase文件下载下来，利用Xftp软件。
FLEMMINGS·2019-04-16 15:14

Hadoop+HBase环境搭建(单机版伪分布式)

一、准备工作下载Hadoop：https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/下载HBase:https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/Linux版本：任选（我选择的是Centos7）下载时，注意查看官方HBase版本与Hadoop版本两者支持的版本，然后下载相应的版本。二
FLEMMINGS·2019-04-16 13:09

Hadoop+hbase节点删除和添加

本分档主要分四个部分，安装部署hadoop_hbase、hbase基本命令、移除一个hadoop+hbase节点、添加一个移除一个hadoop+hbase节点1、安装配置Hadoop1.0.3+hbase
Darren_Chen·2019-04-14 22:10

Hadoop+Hbase分布式集群架构“完全篇”

本文收录在Linux运维企业架构实战系列前言：本篇博客是博主踩过无数坑，反复查阅资料，一步步搭建，操作完成后整理的个人心得，分享给大家~~~1、认识Hadoop和Hbase1.1hadoop简单介绍Hadoop是一个使用java编写的Apache开放源代码框架，它允许使用简单的编程模型跨大型计算机的大型数据集进行分布式处理。Hadoop框架工作的应用程序可以在跨计算机群集提供分布式存储和计算的环境
alonghub·2019-03-08 16:00

Hadoop+HBase 集群搭建

Hadoop+HBase集群搭建Hadoop+HBase集群搭建1.环境准备说明：本次集群搭建使用系统版本Centos7.5，软件版本V3.1.1。
惨绿少年·2019-01-21 19:00

hadoop+hbase部署，phoeni的安装和使用(三)

1.安装1.1下载Phoenix从Apache下载Phoenix（下载链接），从4.8.0到4.10.0各版本都有，本地安装的Hbase版本为1.1.9，所以选择对应Hbase是1.1版本的下载。这里我下载的是4.9.0版本，资源包apache-phoenix-4.9.0-HBase-1.1-bin.tar.gz(Hbase1.1.9版本下载链接)这里注意，使用的phoeni版本一定要和hbase
枕溪研书·2018-11-10 09:42

大数据学习系列之三 ----- HBase Java Api 图文详解

引言在上一篇中大数据学习系列之二-----HBase环境搭建(单机)中，成功搭建了Hadoop+HBase的环境，本文则主要讲述使用Java对HBase的一些操作。
虚无境·2017-12-14 18:00

大数据学习系列之三 ----- HBase Java Api 图文详解

引言在上一篇中大数据学习系列之二—–HBase环境搭建(单机)中，成功搭建了Hadoop+HBase的环境，本文则主要讲述使用Java对HBase的一些操作。
虚无境·2017-12-14 18:39

hadoop+hbase 伪分布式安装

基本环境及软件：软件版本软件包centos-6.xJDK-1.8jdk-8u112-linux-x64.tar.gzhadoop-2.7hadoop-2.7.4.tar.gzhbase-1.2.6hbase-1.2.6-bin.tar.gzjava基础环境和hadoop为分布式安装请点击，跳转至"hadoop+spark伪分布式安装"，参考解压&安装hadoop小节。HBase安装：1、键入如下命
cooze·2017-10-17 17:43

Hadoop2.7.0学习——phoenix-4.8.0和squirrel的安装及使用

Hadoop2.7.0学习——phoenix-4.8.0和squirrel的安装及使用前提已搭建好hadoop+hbase集群主节点：hadoop-master子节点1：hadoop-node1子节点2
-贫寒豌豆·2016-09-21 18:20

快速搭建hadoop+hbase分布式集群

阅读更多hadoop集群部署1.准备三台机器，如`10.8.177.23`,`10.8.177.24`,`10.8.177.25`2.修改主机名称，配置`hosts`文件(root用户下操作)：#每台机器执行，我这里hd开头，后边的数字与机器ip的最后一个组一致hostnamectlset-hostnamehd-23hostnamectlset-hostnamehd-23--static#修改ho
290434409·2016-07-25 16:00

快速搭建hadoop+hbase分布式集群

阅读更多hadoop集群部署1.准备三台机器，如`10.8.177.23`,`10.8.177.24`,`10.8.177.25`2.修改主机名称，配置`hosts`文件(root用户下操作)：#每台机器执行，我这里hd开头，后边的数字与机器ip的最后一个组一致hostnamectlset-hostnamehd-23hostnamectlset-hostnamehd-23--static#修改ho
290434409·2016-07-25 16:00

Hadoop+Hbase集群数据迁移问题

数据迁移或备份是任何一个公司都有可能到遇到的一件事，有关hbase数据迁移，官网也给出了几种方案，这里比较推荐使用hadoopdistcp这种方式迁移。比较适合大数据量或者跨版本集群之间的数据迁移服务。版本Hadoop2.7.1Hbase0.98.12今天在迁移同版本的hbase数据时，在使用Hadoopdistcp时发现下图的一个问题：这个错误时，是由于源文件的大小与目标文件大小不一致造成的，出
qindongliang1922·2016-03-24 19:12

Hadoop+Hbase集群数据迁移问题

阅读更多数据迁移或备份是任何一个公司都有可能到遇到的一件事，有关hbase数据迁移，官网也给出了几种方案，这里比较推荐使用hadoopdistcp这种方式迁移。比较适合大数据量或者跨版本集群之间的数据迁移服务。版本Hadoop2.7.1Hbase0.98.12今天在迁移同版本的hbase数据时，在使用Hadoopdistcp时发现下图的一个问题：这个错误时，是由于源文件的大小与目标文件大小不一致造
qindongliang1922·2016-03-23 21:00

Hadoop+Hbase集群数据迁移问题

阅读更多数据迁移或备份是任何一个公司都有可能到遇到的一件事，有关hbase数据迁移，官网也给出了几种方案，这里比较推荐使用hadoopdistcp这种方式迁移。比较适合大数据量或者跨版本集群之间的数据迁移服务。版本Hadoop2.7.1Hbase0.98.12今天在迁移同版本的hbase数据时，在使用Hadoopdistcp时发现下图的一个问题：这个错误时，是由于源文件的大小与目标文件大小不一致造
qindongliang1922·2016-03-23 21:00

如何监控你的Hadoop+Hbase集群？

前言监控hadoop的框架有不少，如CDH的CM组件和Ambari都可以监控他们自己的hadoop，但是它不能监控apache的hadoop，如果你是使用原生的ApacheHadoop，那么也没关系，原生的Hadoop天生就提供了非常详细的对接Ganglia的jmx接口，里面包含了各个核心组件metrics获取功能，这一点你可以查看hadoop和hbase包括spark的conf下面的metric
qindongliang1922·2016-03-23 07:24

如何监控你的Hadoop+Hbase集群？

阅读更多前言监控hadoop的框架有不少，如CDH的CM组件和Ambari都可以监控他们自己的hadoop，但是它不能监控apache的hadoop，如果你是使用原生的ApacheHadoop，那么也没关系，原生的Hadoop天生就提供了非常详细的对接Ganglia的jmx接口，里面包含了各个核心组件metrics获取功能，这一点你可以查看hadoop和hbase包括spark的conf下面的me
qindongliang1922·2016-03-21 16:00

如何监控你的Hadoop+Hbase集群？

阅读更多前言监控hadoop的框架有不少，如CDH的CM组件和Ambari都可以监控他们自己的hadoop，但是它不能监控apache的hadoop，如果你是使用原生的ApacheHadoop，那么也没关系，原生的Hadoop天生就提供了非常详细的对接Ganglia的jmx接口，里面包含了各个核心组件metrics获取功能，这一点你可以查看hadoop和hbase包括spark的conf下面的me
qindongliang1922·2016-03-21 16:00

Apache Phoenix安装使用

阅读更多前提Hadoop+Hbase集群已经能够正常运转，如果不知道如何安装，请查看如下两篇文章：Hadoop安装http://qindongliang.iteye.com/blog/2222145Hbase
qindongliang1922·2016-01-08 16:00

Apache Phoenix安装使用

前提Hadoop+Hbase集群已经能够正常运转，如果不知道如何安装，请查看如下两篇文章：Hadoop安装http://qindongliang.iteye.com/blog/2222145Hbase安装
qindongliang1922·2016-01-08 16:00

hadoop2.4.1+hbase0.98.3实现的分布式网盘系统初步（已开源）

应大家的强烈要求，现在开源该项目：http://git.oschina.net/weir/weirWQ 直接上图片 web端用spring mvc4.0.5 hadoop+hbase 伪分布实验环境
·2015-11-13 11:07

设置Hadoop+Hbase集群pid文件存储位置

有时候，我们对运行几天或者几个月的hadoop或者hbase集群做停止操作，会发现，停止命令不管用了，为什么呢？ 因为基于java开发的程序，想要停止程序，必须通过进程pid来确定，而hadoop和hbase默认的情况下，会把pid文件存储在Linux上的/tmp目录的某个目录下，进程名命令规则一般是 框架名-用户名-角色名.pid，而默认情况下，linux的tmp里面的东西，一天会删除一次，所以
九劫散仙·2015-10-20 13:00

设置Hadoop+Hbase集群pid文件存储位置

有时候，我们对运行几天或者几个月的hadoop或者hbase集群做停止操作，会发现，停止命令不管用了，为什么呢？因为基于java开发的程序，想要停止程序，必须通过进程pid来确定，而hadoop和hbase默认的情况下，会把pid文件存储在Linux上的/tmp目录的某个目录下，进程名命令规则一般是 框架名-用户名-角色名.pid，而默认情况下，linux的tmp里面的东西，一天会删除一次，所以把
qindongliang1922·2015-10-20 13:00

设置Hadoop+Hbase集群pid文件存储位置

阅读更多有时候，我们对运行几天或者几个月的hadoop或者hbase集群做停止操作，会发现，停止命令不管用了，为什么呢？因为基于java开发的程序，想要停止程序，必须通过进程pid来确定，而hadoop和hbase默认的情况下，会把pid文件存储在Linux上的/tmp目录的某个目录下，进程名命令规则一般是框架名-用户名-角色名.pid，而默认情况下，linux的tmp里面的东西，一天会删除一次，
qindongliang1922·2015-10-20 13:00
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他