HBase性能调优

Hbase - 表导出CSV数据

MR考查了Hbase的各种MR，没有发现哪一个是能实现的，如果有请通知我，我给他发红包。所以我们只能自己来写一个MR了，编写一个Hbase的MR，官方文档上也有相应的例子。
kikiki1·2023-12-30 11:36

想要学会JVM调优，先掌握JVM内存模型和JVM运行原理

1、前言今天将和你一起探讨Java虚拟机（JVM）的性能调优。JVM算是面试中的高频问题了，通常情况下总会有人问到：请你讲解下JVM的内存模型，JVM的性能调优做过？
cxzm_1024·2023-12-30 08:56

共享单车之数据分析

统计共享单车在指定地点的每天平均次数第3关：统计共享单车指定车辆每次使用的空闲平均时间第4关：统计指定时间共享单车使用次数第5关：统计共享单车线路流量第1关：统计共享单车每天的平均使用时间任务描述本关任务：使用Hbase
柔雾·2023-12-30 07:10

三台CentOS7.6虚拟机搭建Hadoop完全分布式集群（三）

9安装hbase温馨提示：安装hbase先在master主节点上配置，然后远程复制到slave01或slave02，在配置环境即可。
666-LBJ-666·2023-12-30 07:56

Hbase详解

Hbase概念base是分布式、面向列的开源数据库（其实准确的说是面向列族）。
武昌库里写JAVA·2023-12-30 05:41

性能测试之Mysql数据库调优

一、前言性能调优前提：无监控不调优，对于mysql性能的监控前几天有文章提到过，有兴趣的朋友可以去看一下二、Mysql性能指标及问题分析和定位1、我们在监控图表中关注的性能指标大概有这么几个：CPU、内存
测试老哥·2023-12-30 03:01

性能测试之Mysql数据库调优

一、前言性能调优前提：无监控不调优，对于mysql性能的监控前几天有文章提到过，有兴趣的朋友可以去看一下二、Mysql性能指标及问题分析和定位1、我们在监控图表中关注的性能指标大概有这么几个：CPU、内存
软件测试果冻·2023-12-29 21:29

HBASE的应用场景

2018/08/31HBase是如何与Hadoop嵌入在一起的，那么他的作用又是什么。这显然跟我原来理解的那些个数据库不太一样，就比如mango这种。现在比较关注的就是他的数据导入，是怎么样的。
VChao·2023-12-29 16:49

couchbase的使用（springboot连接couchbase，node.js连接couchbase）

网上的couchbase资料十分有限，这无疑给我们学习增加了难度。
caibixyy·2023-12-29 13:49

简单的 MapReduce 程序的示例代码，用于统计 HBase 中的成绩表中的单科排名和总分排名，并将结果上传到 HDFS 中。...

下面是一个简单的MapReduce程序的示例代码，用于统计HBase中的成绩表中的单科排名和总分排名，并将结果上传到HDFS中：```importjava.io.IOException;importorg.apache.hadoop.conf.Configuration
weixin_42601702·2023-12-29 10:19

统计 HBase 中的成绩表中的单科排名和总分排名，并将结果上传到 HDFS 中的完整代码...

这是一个使用HBaseJavaAPI统计成绩表中的单科排名和总分排名的完整代码示例。首先，你需要在pom.xml中添加HBase依赖：org.apache.hbasehbase-client2.3.2
轮胎技术Tyretek·2023-12-29 10:18

读取HBase的表数据，然后将数据写入到hdfs上面去

读取HBase的表数据，然后将数据写入到hdfs上面去1、MapperpublicstaticclassmapHdfsextendsTableMapper{@Overrideprotectedvoidmap
a大数据yyds·2023-12-29 10:48

HBase Java API编程实例

在本实例中，首先创建一个学生成绩表scores，用来存储学生各门课程的考试成绩，然后向scores添加数据。表scores的概念视图如图1所示，用学生的名字name作为行键，年级grade是一个只有一个列的列族，score是一个列族，每一门课程都是score的一个列，如english、math、Chinese等。score的列可以随时添加。例如，后续学生又参加了其他课程的考试，如computing
大数据基础入门教程·2023-12-29 10:47

利用hbase来两张表的联立，求出一个班学生的总分并把结果写到hbase（java 代码实现）

importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.HColumnDescriptor;importorg.apache.hadoop.hbase.HTableDescriptor
CC072615·2023-12-29 10:14

datax

DataXDataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、SQLServer、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS等各种异构数据源之间高效的数据同步功能
jerry-89·2023-12-29 09:24

Hbase - kerberos认证异常

>之前怎么认证都认证不上，问题找了好了，发现它的异常跟实际操作根本就对不上，死马当活马医，当时也是瞎改才好的，给大家伙记录记录。```KrbException:ServernotfoundinKerberosdatabase(7)-LOOKING_UP_SERVER>>>KdcAccessibility:removestorm1.starsriver.cnatsun.security.krb5.K
kikiki5·2023-12-29 05:54

2022-02-24-Spark-44(性能调优通用调优)

1.应用开发的原则原则一：坐享其成我们应该尽可能地充分利用Spark为我们提供的“性能红利”，如钨丝计划、AQE、SQLfunctions等等。AQE可以让Spark在运行时的不同阶段，结合实时的运行时状态，周期性地动态调整前面的逻辑计划，然后根据再优化的逻辑计划，重新选定最优的物理计划，从而调整运行时后续阶段的执行方式。AQE功能默认是关闭的，如果我们想要充分利用自动分区合并、自动数据倾斜处理和
冰菓_lam·2023-12-29 03:14

Hbase - 自定义Rowkey规则

>在Flink中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢，这时候我们就可以定制`TableInputFormat`来实现我们的需求了，我们还可以采用Flink的`DataSet`的方式读取,另外下面还有`Spark`读取的例子。##使用教程Md5Util.java```importorg.apache.commons.codec.binary.Hex;importjav
kikiki5·2023-12-29 01:49

【转】idea设置JVM运行参数

对JVM运行参数进行修改是JVM性能调优的重要手段，下面介绍在应用程序开发过程中JVM参数设置的几种方式。
全栈测试笔记·2023-12-28 23:56

Hbase BulkLoad用法

要导入大量数据，Hbase的BulkLoad是必不可少的，在导入历史数据的时候，我们一般会选择使用BulkLoad方式，我们还可以借助Spark的计算能力将数据快速地导入。
kikiki2·2023-12-28 23:55

Java开发框架和中间件面试题(10)

113.如何进行JVM性能调优？115.GC调优策略有哪些？116.介绍下单点登
龙贝子·2023-12-28 19:04

Flink on K8s 企业生产化实践

平台从Hive、Hbase、关系型数据库等大数据ODS(OperationalDatastore)层进行快速的数据ETL，将数据抽取到特征平台进行管理，并统一了数据出口，供数据科学
house.zhang·2023-12-28 15:00

【HBase】——安装部署

1规划&前提Zookeeper、HDFS正常部署规划如下2解压并重命名cd/opt/software/tar-zxvfhbase-2.4.11-bin.tar.gz-C/opt/module/cd/opt
那时的样子_·2023-12-28 14:59

关于netty kafka hdfs hbase性能调研记录

1.netty调研记录项目中准备用netty框架来实现socket接口，对于netty的性能做了个初步调研，大致过程如下：1.1调用socket接口的客户端为了让客户端快速发送数据，我们已经提前将需要传输的数据通过java的ObjectInputStream写数据到了一个文件，主要是节省客户端接口的编码，然后让客户端不断循环发送数据一段时间(比如20分钟，时间是可以指定)，客户端代码如下：impo
aperise·2023-12-28 13:09

HBase BlockCache简介

MemStore作为HBase的写缓存，保存着数据的最近一次更新，响应的BlockCache作为HBase的读缓存，保存着最近被访问的数据块。
Alex90·2023-12-28 13:17

2023 云原生编程挑战赛收官：1.8 万人报名，冠军花落北京邮电大学、电子科技大学、旷识科技

大赛专家评审团认为，三大赛道的冠军团队，方案思路清晰，提出的技术优化点具有可落地性，在多个常见问题以及性能调优中的解决思路具有很高的借鉴意义，能深入到
阿里云云原生·2023-12-28 12:56

Spring Boot 2.X 实战教程（16）使用NoSQL 技术

技术SpringData提供了其他项目，可帮助您访问各种NoSQL技术，包括：MongoDB，Neo4J，Elasticsearch，Solr，Redis，Gemfire，Cassandra，Couchbase
大华博客·2023-12-28 12:03

SpringBoot学习笔记-集成其他组件框架记录

集成了一些常用的组件框架Mybatis、Redis、Rabbitmq、Kafka、Quartz、Swagger、ElasticSearch、OAuth、SMS、InstantMessaging、Mongodb、HBase
人生偌只如初见·2023-12-28 12:09

Linux系统性能的四个指标：CPU、内存、磁盘、网络

一、CPU性能调优工具1.vmstat命令vmstat(virtualmemorystatistics虚拟内存统计)的缩写。
运维仙人·2023-12-28 10:53

Flink--DataSink学习

基于flink-1.8.1概述flink流式计算中需要经计算的结果进行输出（可以是msyql/hbase/ES等常见的DB或者filesystem，也可以是钉钉/邮件/短信等通知类信息），官网上成为connector
李小李的路·2023-12-28 09:36

JVM 性能调优——HotSpot VM 调优记录

宿主机硬件：8核/16G内存/50G磁盘，系统：CentOS7.7，Docker单实例。1.JDK默认启动参数硬件：4核/8G内存/256G磁盘，系统：Windows7。查看JDK1.8默认启动参数命令：#java-XX:+PrintCommandLineFlags-version返回：-XX:InitialHeapSize=126504256//等价于-Xms1g，JVM堆初始大小（新生代+老年
一叶知秋V·2023-12-28 08:22

jsqlparser:基于抽象语法树(AST)遍历SQL语句的语法元素

com.github.jsqlparserjsqlparser4.5'1980-01-01'在MySQL中执行没有任何问题，但是如果用phoenix在HBase数据库中执行，语法是过不去的。
10km·2023-12-28 06:31

数据存储与数据库性能调优：原理与实践

1.背景介绍随着数据的增长和复杂性，数据库性能调优成为了一个重要的话题。数据库性能调优可以帮助我们更有效地存储和查询数据，从而提高系统的性能和可用性。
一枚可爱的程序女孩·2023-12-28 05:14

Oracle统计信息的魔力

Oracle统计信息的概述二、统计信息主要包括以下内容三、收集统计信息的方法使用dbms_stats程序包手动收集收集的是系统统计信息四、案例一、Oracle统计信息的概述Oracle统计信息是数据库性能调优的关键组成部分
无情白·2023-12-28 04:48

2020重新出发，NOSQL，MongoDB是什么？

与HBase相比，MongoDB可以存储具有更加复杂的数据结构的数据，具有很强的数
夜雨流云·2023-12-28 03:54

大数据开发之Sqoop详细介绍

用户可以在Sqoop的帮助下，轻松地把关系型数据库的数据导入到Hadoop与其相关的系统(如HBase和Hive)中；同时也可以把数据从Hadoop系统里抽取并导出到关系型数据库里。
lcz-2000·2023-12-27 23:31

【大数据存储与处理】开卷考试总复习笔记

文章目录实验部分一、HBase的基本操作1.HBaseShell入门2.HBase创建数据库表3.HBase数据操作4.HBase删除数据库表5.HBasePython基本编程before二、HBase
friklogff·2023-12-27 20:31

大数据库分析

ElasticSearch和impala首先，对于两个数据库作出说明，有hive查询比较慢，hbase会针对于列的查询不太友好，所以CDH推出了impala搜索引擎，都是基于HDFS的。
靈08_1024·2023-12-27 19:00

Hive 执行计划 & 性能调优

一、执行计划explain，查看基本信息explaindependency，查看依赖信息explainauthorization，查看权限信息1.explain用法--explain+执行语句例如：explainselects2.s_id,avg(s2.s_score)asavg_scorefromedu.studentsjoinedu.scores2ons.s_id=s2.s_idwheres.
巷子里的猫X·2023-12-27 18:51

【Hive】性能调优 - Map JOIN

Hive版本:hive-3.1.3map-sideJOIN和MapJOIN的区别map-sideJOIN就是预聚合，在map阶段先聚合一下，这样数据到了reduce有可能就不倾斜了MapJOIN就是缓存小表，没有shuffle，没有reduce概述如果表关联时，有一张表很小，那么可以在大表通过mapper时将小表完全加载到内存中，Hive可以在map端完成关联过程，这就是所谓的map-sideJO
青云游子·2023-12-27 18:21

Flink实时电商数仓之Doris框架（七）

主要实现的功能有：实时看板面向企业内部分析师和管理者的报表面向用户或者客户的高并发报表分析即席查询统一数仓构建：替换了原来由Spark,Hive，Kudu,Hbase等旧框架数据湖联邦查询：通过外表的方式联邦分析位于
十七✧ᐦ̤·2023-12-27 16:47

HBase基础知识（六）：HBase 对接 Hive

1.HBase与Hive的对比1．Hive(1)数据仓库Hive的本质其实就相当于将HDFS中已经存储的文件在Mysql中做了一个双射关系，以方便使用HQL去管理查询。
依晴无旧·2023-12-27 14:49

HBase基础知识（七）：HBase 性能优化示例全解

1.高可用在HBase中HMaster负责监控HRegionServer的生命周期，均衡RegionServer的负载，如果HMaster挂掉了，那么整个HBase集群将陷入不健康的状态，并且此时的工作状态并不会维持太久
依晴无旧·2023-12-27 14:46

超详细的Canal入门，看这篇就够了！

但是很多时候不单止要保存在数据库中，还要同步保存到ElasticSearch、HBase、Redis等等。这时我注意到阿里开源的框架Canal，他可以很方便地同步数据库的增量数据到其他
Zal哥哥·2023-12-27 13:59

HBase 创建不分裂的表 ( 禁止 Table Split )

注意：由于HBase版本众多，配置表的语法在不同版本上会有差异，本文介绍的配置方法是在1.4.9版本上测试的，使用HBase2.0+的版本需要核实并修改相关配置方法！
　Laurence·2023-12-27 12:06

Hbase - 迁移数据[导出,导入]

有没有这样一样情况，把一个集群中的某个表导到另一个群集中，或者hbase的表结构发生了更改，但是数据还要，比如预分区没做，导致某台RegionServer很吃紧，Hbase的导出导出都可以很快的完成这些操作
大猪大猪·2023-12-27 11:57

Hadoop-Hbase集群搭建

1.下载http://archive.cloudera.com/cdh5/cdh/5/hbase-1.2.0-cdh5.7.0.tar.gz2.解压#解压到指定的文件夹tarxzvfhbase-1.2.0
GuangHui·2023-12-27 07:17

华为机顶盒系统时间同步服务器,华为悦盒主时间同步服务器地址

华为悦盒主时间同步服务器地址相关内容为了确保HBase日常数据安全，或者系统管理员需要对HBase进行重大操作(如升级或迁移等)，需要对HBase业
weixin_39654352·2023-12-27 04:27

数据库的介绍

数据库是什么  存放数据的仓库分类  关系型：MySQLOracleSQLite  非关系型：RedisMongoDBHBaseMemcacheER图：  E说的是实体  R说的是关系  描述实体的属性和实体与实体的关系
郭祺迦·2023-12-27 03:32

银行业国产数据库现状

非关系型数据库（NOSQL）：包括文档数据库(MongoDB)、列簇数据库（HBase）、图数据库（Neo4j）和值数据库（
annapei·2023-12-26 23:07
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他