--------HBase

编程资料汇总

一、大数据大数据入门资料介绍：Hadoop、Hive、Spark、Storm、Flink、Hbase、Kafka、Zookeeper、Flume、Sqoop、Azkaban的简介、使用、基本结构组成。
v2hoping·2023-08-10 13:28

搭建一个高可用的Zookeeper环境

根据MapReduce，于是我们有了Hadoop；根据GFS，于是我们有了HDFS；根据BigTable，于是我们有了HBase；而在这三篇论文里都提及Google的一个lockservice---Chubby
Vernon·2023-08-10 11:30

借助hive快速导数据到hbase（02）

上一篇咱们讲了通过hive映射为hbase表导数据，这儿我么再讲一下通过hive，使用hbase原生jar生成hfile再bulkload到hbase，可以做到hive解偶本篇适用于适用于数据量较大的场景
大酱游说大数据·2023-08-10 11:11

JAVA实战（一）IDEA用maven创建springMVC项目和配置

最近做用户画像需要使用API的方式访问hbase表，这里构建使用javaweb项目使用java语言进行API开发，这里简单回顾下javaweb的构建方式。
sheep8521·2023-08-10 09:45

移植ffmpeg到arm(ffmpeg x264 x265)

/bin/shBASE=`pwd`BUILD_HOST=arm-linux-gnueabihfOUTPUT_PATH=${BASE}/arm-installOTHER_LIB=${OUTPUT_PATH
sdsszk·2023-08-10 04:03

系统学习Linux-Redis基础

、redis概述NoSQL（非关系型数据库、内存存储）类型文档型数据库（Document-orienteddatabase）如MongoDB；列族数据库（Column-familydatabase）如HBase
李维佳1212·2023-08-10 03:51

OceanBase-一款功能无敌的多模数据库

列式NoSql（代表----HBase）：支持海量无限级数据源的存储。运维复杂文档型NoSq
小强的进阶之路·2023-08-09 16:47

14_基于Flink将pulsar数据写入到HBase

3.7.基于Flink将数据写入到HBase3.7.1.编写Flink完成数据写入到Hbase操作,完成数据备份,便于后续进行即席查询和离线分析3.7.1.1.HBase基本介绍hbase是基于Google
涂作权的博客·2023-08-09 10:30

HBase API

环境准备新建Maven项目，导入Maven依赖org.apache.hbasehbase-client2.4.171、创建连接HBase的客户端连接由ConnectionFactory类来创建（工厂模式直接创建
让线程再跑一会·2023-08-09 10:59

Ambari架构源码解析【转载】

Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、Hbase、Zookeeper、Sqoop和Hcatalog等。
岁月的眸·2023-08-09 01:31

HBase-组成

region的拆分RegionServer负责数据cell的处理，例如写入数据put，查询数据get等拆分合并Region的实际执行者，由Master监控，由regionServer执行ZookeeperHBase
青云游子·2023-08-09 01:01

HBase Shell 操作

1、基本操作1.1、进入HBase客户端命令行前提是先启动hadoop集群和zookeeper集群。
让线程再跑一会·2023-08-09 01:00

HBase-写流程

写流程顺序正如API编写顺序，首先创建HBase的重量级连接（1）读取本地缓存中的Meta表信息；（第一次启动客户端为空）（2）向ZK发起读取Meta表所在位置的请求；（3）ZK正常返回Meta表所在位置
青云游子·2023-08-09 01:00

详解kafka消息分区机制原理

比如monogodb,es里面叫做shard;hbase叫region,cassdra叫vnode;消息的三层结构如下图：即topic->partition->message;topic是逻辑上的消息容器
Danial Shen·2023-08-08 07:24

基于大数据框架的协同过滤算法餐饮推荐系统【Update2023-6-25】

Github地址：https://github.com/share23/Food_Recommender他的系统采用实时大数据技术组件，具体有SparkStreaming，HDFS分布式存储，Hbase
程序终结者·2023-08-08 06:47

开源数据同步工具——datax

开源数据同步工具——dataxDataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、
MrAnderson·2023-08-08 00:02

HBase-读流程

创建连接同写流程。（1）读取本地缓存中的Meta表信息；（第一次启动客户端为空）（2）向ZK发起读取Meta表所在位置的请求；（3）ZK正常返回Meta表所在位置；（4）向Meta表所在位置的RegionServer发起请求读取Meta表信息；（5）读取到Meta表信息并将其缓存在本地；（6）先从写缓存中读取数据，如果没有就从读缓存中读取数据，如果没有就从磁盘中读取数据，并将读取的数据放到读缓存中
青云游子·2023-08-07 22:23

Hbase-热点问题（数据存储倾斜问题）

1.危害某一台regionserver消耗过多，承受过多的并发量，时间长机器性能下降，甚至宕机2.解决可以通过设计rowkey+预分区的方法解决比如可以预分区120个，1月的数据存到1-10分区，每个月的数据存到10个分区，而这10个分区是归不同的regionserver管的，所以不会产生数据倾斜。那怎么让1月的数据存到1-10分区呢？就需要对rowkey进行设计了，设计的规则如下：rowkey设
青云游子·2023-08-07 22:23

Hbase-面试题

1.Hbase-region切分自动切分，默认情况下2.0版本，第一次region的数据达到256M，会进行切分，以后就是每达到10G切分一次，切分完成后，会进行负载均衡，均衡到其他regionserver
青云游子·2023-08-07 22:52

大数据导论题库

默认保存几份:(A)A.3份B.2份C.1份D.不确定3.下面哪个程序负责HDFS数据存储:(C)A.NameNode B.Jobtracker C.Datanode D.secondaryNameNode4.HBase
啊是可莉·2023-08-07 14:07

重磅一款极具潜力的开源免费数据库管理工具！

最近看到一个冷门的数据库管理工具：slashbase。这个工具是开源免费的，由于开源不久，目前才900+的Star，但用下来还是非常不错的，DD觉得这款工具还是非常有潜力的，所以给大家推荐一下。
程序猿DD·2023-08-07 09:53

squirrel 连接phoenix，当配置了支持事物后无法连接问题

由于配置phoenix事物时，需要配置phoenix.schema.isNamespaceMappingEnabled选项vihbase-site.xmlp
suolemen·2023-08-07 09:44

基于Java的新闻全文搜索引擎的设计与实现

该搜索引擎通过Scrapy网络爬虫工具获取新闻页面，将新闻内容存储在分布式存储系统HBase中，并利用倒排索引及轮排索引等索引技术对新闻内容进行索引，实现了常用的新闻搜索功能，如短语查询、布尔查询、通配符查询等
阿坨·2023-08-07 08:42

JanusGraph基于Spark on yarn 的OLAP

环境配置：19个RegionServer组成的HBase集群。
wq3435·2023-08-06 12:25

大数据面试题：HBase的读写缓存

面试题来源：《大数据面试题V4.0》大数据面试题V3.0，523道题，679页，46w字参考答案：HBase上RegionServer的cache主要分为两个部分：MemStore&BlockCache
蓦然_·2023-08-06 09:59

clickhouse集群安装部署

集群简介概述HDFS、Spark、HBase和Elasticsearch这类分布式系统，都采用了Master-Slave主从架构，由一个管控节点作为Leader统筹全局。
隐0士·2023-08-06 08:43

大数据课程G2——Hbase的基本架构

文章作者邮箱：[email protected]地址：广东惠州▲本章节目的⚪掌握Hbase的基本架构；⚪掌握Hbase的读写流程；⚪掌握Hbase的设计与优化；一、基本架构1.HRegion1.在HBase
伟雄·2023-08-06 08:30

HBASE报错 Master is initializing

删除zookeeper下的hbase注：指定ip和端口打开（
细水长流永不粹·2023-08-05 23:57

Kettle8.2的安装及简单使用

下安装案例1：MySQLtoMySQL案例2：使用作业执行上述转换，并且额外在表stu2中添加一条数据案例3：将hive表的数据输出到hdfs案例4：读取hdfs文件并将sal大于1000的数据保存到hbase
落幕7·2023-08-05 23:45

HBase常用脚本

建表--create表名,列簇，只有列簇定义，无列定义，可以多个列，不要求每行的列相同create'user','basicinfo'插入数据--put表名,rowkey,列簇:列,列值put'user','1001','basicinfo:name','roy'put'user','1001','basicinfo:age',18put'user','1001','basicinfo:salar
mac2099·2023-08-05 16:53

《Hadoop权威指南》学习笔记（4）——关于YARN

YARN运行在集群存储层（HDFS和HBase）上，一些分布式计算框架（如MapReduce和Spark等）作为YARN应用运行在集群计算层（YARN）和集群存储层上。
啜晓伟·2023-08-05 13:08

第61天

hbase安装。学习vue，bootstrap
StudyDayByDay·2023-08-05 11:51

三、HBase的优化

3.1、高可用在HBase中Hmaster负责监控RegionServer的生命周期，均衡RegionServer的负载，如果Hmaster挂掉了，那么整个HBase集群将陷入不健康的状态，并且此时的工作状态并不会维持太久
码农GG·2023-08-05 10:30

HBase几种安装方式

HBase几种安装方式一、前提说明二、具体安装步骤一、前提说明Hadoop已经完成安装（如伪分布式、全分布式等）zookeeper已经完成安装（全分布式和HA模式需要）环境对应关系如下：hbase环境对应
若兰幽竹·2023-08-05 08:05

【基于HBase和ElasticSearch构建大数据实时检索项目】

基于HBase和ElasticSearch构建大数据实时检索项目一、项目说明二、环境搭建三、编写程序四、测试流程一、项目说明利用HBase存储海量数据，解决海量数据存储和实时更新查询的问题；利用ElasticSearch
若兰幽竹·2023-08-05 08:30

PriorLane:纯transformer的车道线检测方法

原文连接：[2209.06994]PriorLane:APriorKnowledgeEnhancedLaneDetectionApproachBasedonTransformer(arxiv.org)这篇论文作为第一个以纯
秋冬晚归客·2023-08-05 08:55

小程序：将 wx.request 封装为 promise

具体封装如下:classRequest{constructor(parms){this.withBaseURL=parms.withBaseURLthis.baseURL=parms.baseURL}get
神無月拾·2023-08-05 07:41

Hbase - 预分区的技巧

>可以用两行代码搞定Hbase的预分区设计，我们在新建一张表的时候有没有发现，做预分区其实也是要计算的，如果没有写上工具类那可惨了，需要自己用手指头算了，在这给大家提供了一个10进制跟16进制的版本，会根据
kikiki5·2023-08-05 04:41

2018-05-14

Quora经济学人crunchbase.com：美国公司信息https://www.statista.com/[email protected]论坛类：人大经济论坛http://bbs.pinggu.org
Covfefe·2023-08-05 02:43

大数据课程G1——Hbase的概述

文章作者邮箱：[email protected]地址：广东惠州▲本章节目的⚪了解HIve的概念；⚪了解HIve与数据库的区别；⚪了解HIve的特点；一、简介1.概述1.HBase原本是由Yahoo!
伟雄·2023-08-04 23:41

Spark RDD详解

它可以通过YARN或Spark的Standalone在Hadoop集群中运行，并且可以处理HDFS、Hbase、Cassandra、Hive和任何HadoopInputFormat中的数据。
丿沐染烟忱丶·2023-08-04 18:03

新旧库切换流程

数据库迁移流程包含但不限于MySQL、HBASE、MongoDB、Redis等。1.双写读旧新库刚初始化还没有数据，所以要
bxp1321·2023-08-04 17:50

docker搭建hbase环境

第一步：拉取镜像dockerpullharisekhon/hbase第二步：启动镜像dockerrun-d--namehbase-p2181:2181-p16010:16010-p16020:16020
Appreciate(欣赏)·2023-08-04 15:40

基于OpenCV的双目测距系统实现

TheBinocularMeasureSystemBasedonOpenCVAbstract:Thispassagemainlydescribeshowtomeasuredistancebytwocamera,whichbasesonOpenCVlibrary.Keywords
懒懒小道长·2023-08-04 14:49

HBase Compaction 原理与线上调优实践

作者：vivo互联网存储技术团队-HangZhengbo本文对HBaseCompaction的原理、流程以及限流的策略进行了详细的介绍，列举了几个线上进行调优的案例，最后对Compaction的相关参数进行了总结
vivo互联网技术·2023-08-04 13:11

spring-cache框架使用笔记

spring-cache是spring框架中的一个缓存抽象层，它提供了一种简便的方式来集成不同的底层缓存实现，如内存缓存(concurrentMap/ehcache/caffeine)/分布式缓存(redis/couchbase
Inspire2023·2023-08-04 12:38

Spark项目案例实战和分布式部署

前面讲到Hbase的时候可以通过JavaAPI的方式操作Hbase数据库，由于Java和Scala可以互相调用，本节使用Scala语言通过Spark平台来实现分布式操作Hbase数据库，并且打包部署到Spark
充电了么·2023-08-04 03:00

sqoop

一、bg可以在关系型数据库和hdfs、hive、hbase之间导数导入：从RDBMS到hdfs、hive、hbase导出：相反sqoop1和sqoop2(1.99.x)不兼容，sqoop2并没有生产的稳定版本
zdkdchao·2023-08-03 23:02

实时数仓分层介绍

可存储在HBase中。DWM:对于部分数据对象进行进一步加工，比如独立访问、跳出行为，也可以和维度进行关联，形成宽表，依旧是明细数据。DWS:根据某个主题将多个事实数据轻度聚合，形成主题宽表。
csdn-延·2023-08-03 20:21

Android通过代码实现多语言切换、createConfigurationContext、attachBaseContext、getResources、updateConfiguration

updateConfiguration过时兼容处理@OverridepublicResourcesgetResources(){//此方法会多次调用Configurationconfiguration=newConfiguration();configuration.smallestScreenWidthDp=900;//updateConfiguration过时兼容处理if(Build.VERS
Mars-xq·2023-08-03 15:07
上一页 32 33 34 35 36 37 38 39 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他