HBase、Parrot 第57页

LSM树原理、应用与优化（转载）

kudu为什么比hbase更适合支持OLAP查询？上一篇场景和挑战提到数据系统最基本的需求就是数据存取，多数情况下数据是一条条记录，每条记录包含key和value。

胖虎大哥·2023-03-25 00:06

Hbase - 预分区的技巧

>可以用两行代码搞定Hbase的预分区设计，我们在新建一张表的时候有没有发现，做预分区其实也是要计算的，如果没有写上工具类那可惨了，需要自己用手指头算了，在这给大家提供了一个10进制跟16进制的版本，会根据

kikiki4·2023-03-24 20:55

HBase shell命令

基础操作#createtablecreate'tableName',{NAME=>'f'}#scanatablescan'my_test',{COLUMNS=>['f1:a1','f1:b1']}#getlinedatabyrowkeyget'tablename','rowkey'#deletetabledisable'tableName'drop'tableName'预分区UniformSpli

望山不是山·2023-03-24 18:08

小草莓子桑·2023-03-24 17:43

交叉编译android环境下opencv+ffmpeg工具

/bin/shBASE=`pwd`BUILD_HOST=aarch64-

yuhongjiu·2023-03-24 17:14

spark源码阅读之shuffle模块②

在spark源码阅读之shuffle模块①中，介绍了spark版本shuffle的演化史，提到了主要的两个shuffle策略：HashBasedShuffle和SortedBasedShuffle，分别分析了它们的原理以及

invincine·2023-03-24 03:12

HBase伪分布式环境部署（mac）

最近办公电脑换成了mac，想在mac上部署一下HBase伪分布式环境用于HBase相关成功的调试和开发，折腾了2个小时才能弄个好。一切的原因都是因为java版本的问题，折腾了很久。

飞鸿无痕·2023-03-24 01:09

grafana/telegraf/opentsdb搭建监控平台

一、组件介绍1.opentsdbOpenTSDBisadistributed,scalableTimeSeriesDatabase(TSDB)writtenontopofHBase.OpenTSDBwaswrittentoaddressacommonneed

SloanChang·2023-03-24 00:48

HBase表Major&Minor Compaction无法结束问题排查

首先对X集群上的HBase表A做一次MajorCompaction(Y集群的表由X集群上的表每天加工完成之后复制到Y集群上，由于Y集群对外提供查询服务，为保证服务稳定因此修复表的操作都在X集群上

ad4d39659223·2023-03-23 23:25

Application 初始化流程

Application的onCreate和attachBaseContextApplication的onCreate和attachBaseContext是Application的两个回调方法，通常我们会在其中做一些初始化操作

emmmmsuperdan·2023-03-23 14:46

HBase常用命令（超全超详细）

目录连接HBase连接HBase并查看版本帮助命令查看服务器状态查看当前数据库中有哪些表命名空间列出所有命名空间新建命名空间删除命名空间修改命名空间创建表列举表表结构查询表添加数据更新数据检查插入情况.

未来在这儿·2023-03-23 13:11

使用Docker搭建伪分布式Hbase(外置Zookeeper)

本文是为了记录项目搭建一个可用的Hbase镜像的过程，由于项目中还有独立的kafka和zookeeper，所以不能使用常见的集成zk的Hbase镜像，故手动搭建了一个。本文记录在整个搭建过程的Bug。

CheckChe·2023-03-23 02:54

docker 安装yum源

[docker-ce-stable]name=DockerCEStable-$basearchbaseurl=https://download.docker.com/linux/centos/$releasever

小马666·2023-03-22 18:50

LSM Tree 日志结构合并树

它其实是一种存储结构，目前hbaseclickhous等数据存储都是使用这种存储结构的。

zqjjy·2023-03-22 11:49

六千字长文:大数据框架(分区，分桶，分片),建议收藏

建议收藏目录Hive分区与分桶ES分片Kafka分区HBase分区Kudu分区HiveHive分区是按照数据表的某列或者某些列分为多区，在hive存储上是hdfs文件，也就是文件夹形式。

大数据左右手·2023-03-22 11:42

Hive与HBase的区别及应用场景

当数据量达到一定量级的时候，存储和统计计算查询都会遇到问题，今天了解一下Hive和Hbase的区别和应用场景。

6个日的梦想·2023-03-22 10:30

Parrot ANAFI GroundSDK（安卓）在Ubuntu 18.04上的部署

目录一、前言二、环境准备1、Ubuntu18.042、AndroidStudio3.4及以上3、JDK1.8.0_321(只要是JDK8都可)4、AndroidNDKRevision17cforLinux5、下载安装编译好的LLVM附：到这里我们的环境变量已经全部完成了，/etc/profile文件内容为6、下载GroundSDK三、运行程序一、前言接下来我们将在linux环境下进行GroundS

BeYoung0623·2023-03-22 07:08

ddia 第六章分区

定义分区:在Mongo/ES和Solr被称为分片(shard),在HBase中称为区域(Region),Bigtable中是表块(tablet),Cassandra和Riak中是虚节点(vnode),Counchbase

寻找傅里叶·2023-03-21 20:44

HBase-2.0.2 分布式数据库实验示例

今天我给大家分享的是HBase-2.0.2版本的实验示例。首先用一段文字简介HBase：2006年Google发表论文BigTable。

Iggi_128·2023-03-21 19:13

HBase 基础架构

架构图如下image.pngzookeeperHBase在zookeeper中存储节点/hbase的子节点如下图:image.png/hbase/backup-mastersMaster:节点的备份节点

莱布尼茨不会求导·2023-03-21 14:39

es百万行写入jg性能优化

优化前1小时写入未完成表1：400万es438万行0.3kb/行，8节点6分片1副本，写入到jghbase表同样的8节点50region，再反写到es原index中spark100executor，2min

水他·2023-03-21 13:50

用户画像解决方案

https://fgk.pw/i/bMDNFAJ0916视频+源码+详细课件规划全面：内容涵盖用户标签指标体系、数据分析、数据开发、ETL、搭建开发环境、kafka和hbase等常用大数据组件的介绍、画像的产品形态

无涯2016·2023-03-21 13:08

APACHE HBASE 1.2.0 CODE REVIEW

导语1.Put、Delete、Increment如何基于行锁以及mvcc实现事务以及事务的可见性?2.Get、Scan如何实现高效的查询?3.Flush、Split、Compact如何实现RegionStore的管理?4.LoadBalancer、RegionSplitPolicy、CompactionPolicy各策略算法实现?//TODO:5.CombinedBlockCache(LRUBlo

hnail·2023-03-21 11:41

Hive 数据导入 HBase

https://segmentfault.com/a/1190000011616473一、Hive跑批1.建表createtableoriginal_tmp_db.hbase_hfile_table(keyString

alaya_c09d·2023-03-21 11:38

hadoop之Hbase

Hbase特点：海量存储：适合PB级别的海量数据，，hbase有良好的扩展性列式存储：根据列族来存储数据的极易扩展：高并发：稀疏存储：数据为空的情况下不占用存储空间Hbase架构图：4.pngHbase

USTC_IT·2023-03-21 06:00

spark on hbase 读写

本文主要讲述了spark对hbase进行独写的两种方式，这两种方式分别为：1.利用spark提供的newAPIHadoopRDDapi对hbase进行读写2.SparkOnHbase，这种方式其实是利用

Ivan_030c·2023-03-21 04:47

12 Spark Streaming作为kafka的消费者【scala】

1系统、软件以及前提约束CentOS764工作站作者的机子ip是192.168.100.200，主机名为danji，请读者根据自己实际情况设置已完成spark访问Hbasehttps://www.jianshu.com

张力的程序园·2023-03-20 23:06

Hadoop集群安装部署

学习大数据的基础，就得从hadoop开始，后续要学习到的kafka、Hbase、Hive、flink等，都会多少使用到这个hadoop的相关内容，特别是HDFS和YARN两大组件功能。

路过的南国风·2023-03-20 22:53

happybase简单使用

之前工作中用到了kafka和hbase进行数据实时同步，用的javaAPI，这边自己想用python简单实现下。hbase是目前大数据领域比较火的列存储数据库，提供了原生的JavaAPI。

truezqx·2023-03-20 21:02

HBase Export命令 Binary String格式的rowkey起点终点参数不生效问题

今天遇到一个问题，需要把现场HBase的数据导回本地，用本地环境的界面去解析数据。也为了保存好故障数据，现场HBase的数据过段时间会清理。

Tankilo·2023-03-20 20:23

HBase运维基础——元数据逆向修复原理

介绍相信很多自建HBase的企业会经常碰到各种各样的hbase运维问题。

达微·2023-03-20 20:32

hbase权威指南

前言hbase是一个列式存储数据库（以列为单位聚合数据，然后将列值顺序地存入磁盘；它的有点是减少IO以及利于压缩；它基于对于一个查询，并不是所有的值都是必须的），可存储海量数据，解决大数据中的实时处理的问题

496f92d634c1·2023-03-20 19:18

opentsdb过kerberos认证

opentsdb是依赖hbase做数据落地的，当集群添加认证组件后就需要对opentsdb添加通过集群认证的模块。

SloanChang·2023-03-20 17:56

hbase-region split剖析

hbaseregion切分是hbases水平扩展一个重要因素，将一个region切分为两个小region，并将切分后的region放在不同的节点上，以达到将负载进行均衡到其他节点。

Demo_zfs·2023-03-20 17:24

Hbase三节点集群搭建

Mac下利用vmwarefushion安装centos服务器，然后搭建Hbase集群环境。

HideOnStream·2023-03-20 17:30

CDH6.3.1 hue 配置hbase

对于hbase的可视化界面，目前比较好用的就是hue的了，刚好cdh自带了hue所以配置器来比较方便，这里记录一下配置步骤按照这篇文章的配置已经后还需要进行HBaseThriftServer的配置https

胖子捏肚子·2023-03-20 16:20

zookeeper总结

zookeeper的应用案例：Hbase：使用zookeeper进行master选举，服务间协调。Solr：使用zookeeper进行集群管理，leader选举，配置管理。

Figo_OU·2023-03-20 05:59

zookeeper源码分析系列一开篇基础知识剖析

ZooKeeper总体介绍1.1、什么是zookeeperZooKeeper是一个分布式的，开放源码的分布式应用程序协同服务+存储系统,同时是一款世界级的优秀开源产品，在大数据生态系统中Hadoop、Storm、HBase

meng_philip123·2023-03-20 04:40

hbase之hbase shell

hbase公司用的是阿里云的，有自带的web网页版可以查看相关的一些数据，但是并不能查看具体表中的数据。

卡萨布兰卡ginger·2023-03-20 03:06

hbase flush

region-serverregionServer的全局memstore的大小，超过该大小会触发flush到磁盘的操作,默认是堆大小的40%,而且regionserver级别的flush会阻塞客户端读写（hbase.regionserver.global.memstore.size.lower.limit

siyongshuai·2023-03-19 19:28

【Apache Phoenix简介、存储结构、基本操作、安装】

ApachePhoenix简介、存储结构、基本操作、安装（附安装包）1.简介、概述1.1phoenix特点1.2存储结构1.3Phoenix与Hbase之间的表映射关系1.4Phoenix数据类型2.基于

yuhh_·2023-03-19 11:45

Hbase手动split、compact、merge、批量合并分区

Hbase手动split、compact、merge、批量合并分区hbaseshell命令手动Split://手动splitregionsplit'TABLENAME'split'REGIONNAME'split'ENCODED_REGIONNAME'split'TABLENAME

yuhh_·2023-03-19 11:14

数据清洗平台Streamsets

Mysql到Hbase数据如何实时同步，强大的Streamsets告诉你Java小可爱2小时前很多情况大数据集群需要获取业务数据，用于分析。

华木公子·2023-03-19 08:14

postgrsql-安装和初步配置

PGDGRedHatEnterpriseLinux/CentOSstablerepositories:[pgdg12]name=PostgreSQL12forRHEL/CentOS$releasever-$basearchbaseurl

wo是大富·2023-03-19 05:19

iOSApp换肤(主题换肤、深浅色、自动换肤）

XHThemeTool.framework2、引入头文件:建议在pch中（全局使用）#import3、启用[[XHThemeManagersharedThemeManager]startThemeWithBaseFileName

会飞的夜良·2023-03-18 21:20

一个由TimeZone引发的BUG

从数据流水线来看只有两种可能：1.从MQ上消费数据存入HBase的过程有遗漏；2.从HBase中导入数据到Impala中时数据有遗漏。

Caoyun·2023-03-18 20:07

Linux环境下zookeeper的安装教程

1.什么是zookeeperzooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。

小道士写程序·2023-03-18 17:17

用户画像3：标签数据存储

主要有Hive、MySQL、HBase、Elasticsearch。

一只森林鹿Luluzeng·2023-03-18 15:19

Nginx配置hbaseweb转发

目标为了公司集群的安全考虑，hadoop和hbase的web访问只能供有限的人访问而要实现内网机器给外网访问，要解决的问题是：1.hadoop、hbase页面上的url替换成外网能访问的url2.通过有限的端口

有梦想的人不睡觉_4741·2023-03-18 10:49

Hbase之使用Phoenix连接

本文介绍了如何使用Phoenix来连接Hbase并完成增删改查1.概述Phoenix作为应用层和HBASE之间的中间件,以下特性使它在大数据量的简单查询场景有着独有的优势二级索引支持(globalindex

阿坤的博客·2023-03-18 08:38

推荐频道

HBase、Parrot