HBase调优

Hbase官方文档中文版

http://abloz.com/hbase/book.html#quickstarthttp://yankaycom-wordpress.stor.sinaapp.com/hbase/book.html
blue_jjw·2024-01-05 09:20

Hive实战处理（二十三）hive整合phoenix

背景：业务表使用hbase存储,使用hive整合phoenix，使用sql语句进行数据查询（如果可以的话使用网关API对外提供服务）统一接口调用，查询上线比较高效。
sheep8521·2024-01-05 08:13

大数据学习方向

一、大数据运维之Linux基础打好Linux基础，以便更好地学习Hadoop，hbase,NoSQL，Spark，Storm，docker,openstack等。
乐姐·2024-01-05 08:18

XGBoost参数调优完全指南（附Python代码）

1.简介如果你的预测模型表现得有些不尽如人意，那就用XGBoost吧。XGBoost算法现在已经成为很多数据工程师的重要武器。它是一种十分精致的算法，可以处理各种不规则的数据。构造一个使用XGBoost的模型十分简单。但是，提高这个模型的表现就有些困难(至少我觉得十分纠结)。这个算法使用了好几个参数。所以为了提高模型的表现，参数的调整十分必要。在解决实际问题的时候，有些问题是很难回答的——你需要调
婉妃·2024-01-05 06:16

【HBase】——原理简介

1Master1.1Meta表全称hbase：meta，只是在list命令中被过滤掉了，本质上和HBase的其他表格一样。
那时的样子_·2024-01-05 06:44

计算机视觉入门与调优

大家好啊，我是董董灿。在CSDN上写文章写了有一段时间了，期间不少小伙伴私信我，咨询如何自学入门AI，或者咨询一些AI算法。90%的问题我都回复了，但有时确实因为太忙，没顾得过来。在这个过程中，我发现很多小伙伴问的问题都类似：比如如何入门计算机视觉，某某算法是做什么的，有什么作用。之前写的文章由于过于分散，不成体系，很多知识点没有串联起来。于是我做了个合集，计划系统的从传统计算机视觉，到基于深度学
董董灿是个攻城狮·2024-01-05 05:19

HBase 和 Hive 的差别是什么，各自适用在什么场景中？

转载自（爱我的程序人生）Hbase和Hive在大数据架构中处在不同位置，Hbase主要解决实时数据查询问题，Hive主要解决数据处理和计算问题，一般是配合使用。
杰在天涯·2024-01-05 05:23

浅谈web性能测试

性能测试，简而言之就是模仿用户对一个系统进行大批量的操作，得出系统各项性能指标和性能瓶颈，并从中发现存在的问题，通过多方协助调优的过程。
测试界的路飞·2024-01-05 04:18

「美团面试系列」面试加分项，这样说你会JVM，面试官还能问什么

Java性能调优都是老生常谈的问题，特别当“糙快猛”的开发模式大行其道时，随着系统访问量的增加、代码的臃肿，各种性能问题便会层出不穷。
java架构师联盟·2024-01-05 03:27

Nginx(十八) 性能调优之 - 哪些层面可以进行优化

Nginx三大优势，动静分离、反向代理、负载均衡1、线程worker2、http/tcptcp_nopushtcp_nodelay3、Buffer调整请求体缓存区大小、将请求体缓存到一个缓冲区，降低CPU负载4、连接队列5、超时时间6、静态文件缓存open_file_cache7、gzip压缩gzip配合gzip_static一起使用。代理服务时，注意设置gzip_http_version版本为1
Eisen戴·2024-01-05 03:36

记录一次线上Hbase2.1.0版本RegionServer节点无故挂掉，且无日志输出

记录一次线上Hbase2.1.0版本RegionServer节点无故挂掉，且无日志输出环境问题描述Hbase上线大半年一直稳定运行，最近发现每天都会有RgionServer节点无故挂点，从日志可以看到Hbase
yzw_ai_sx·2024-01-05 02:11

Navicat 技术干货 | 如何查看关系型数据库（MySQL、PostgreSQL、SQL Server、 Oracle）查询的运行时间

无论你是数据库管理员、开发人员或是参与性能调优的人员，知道如何查看查询运行时间能为你的数据库操作提供有价值的参考。
Navicat中国·2024-01-05 00:32

Hbase - 自定义Rowkey规则

在Flink中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢，这时候我们就可以定制TableInputFormat来实现我们的需求了，我们还可以采用Flink的DataSet的方式读取,另外下面还有Spark读取的例子。使用教程Md5Util.javaimportorg.apache.commons.codec.binary.Hex;importjava.security.M
kikiki2·2024-01-05 00:48

kudu介绍和使用

kudu架构同hdfs和Hbase相似,kudu使用单个的master节点，用来管理集群的元数据，并且使用任意数量的tabletserver节点来存储实际数据。
古城的风cll·2024-01-04 23:12

Impala查询详解

而Impala可以说是一个MPP计算引擎，它需要处理的数据存储在HDFS、Hbase或者Kudu之上，这些存储引擎都是独立于Impala的，可以称之为第三方存储引擎，Impala使
weixin_34234823·2024-01-04 23:41

kudu NoSQL数据库详解

一、Hbase、Kudu和ClickHouse对比Hadoop生态圈中HDFS一直用来保存底层数据。
wespten·2024-01-04 23:09

物流实时数仓：数仓搭建（DWS）一

物流实时数仓：数仓搭建（DWD）一物流实时数仓：数仓搭建（DWD）二物流实时数仓：数仓搭建（DWS）一文章目录系列文章目录前言一、代码编写1.文件创建1.主程序2.实体类3.自定义触发器4.自定义聚合函数5.在HbaseUtil
超哥--·2024-01-04 22:56

单测结果不稳定的终极解决方案(Maven单测参数调优)

一、前言近期，在公司平台执行单测任务时，我发现到一个显著的问题：我们的一个应用，在公司平台上执行单测时，即使是相同的代码，每次的执行结果（包括行覆盖率以及单测通过率）都存在差异。更具体地说，许多在本地环境中能够成功执行的测试用例，在公司平台上却遭遇了失败。为了解决这个问题，我进行了广泛的信息搜索，咨询了ChatGPT，并尝试了多种可能的解决方案。经过不懈的努力，我终于找到了问题的根源并成功解决了它
程序员Daddy·2024-01-04 22:23

未来智安XDR入选《CCSIP 2022中国网络安全产业全景图》

相较于《CCSIP2021中国网络安全产业全景图》（第三版），该版本对原有展示的87个细分安全领域进行调优，新增XDR、MSS、SASE、OTP等7个细分领域，最终展示94个细分安全领域，收录862家安全厂商
XDRSEC·2024-01-04 21:40

我的2023年度回顾

对arrow的改动算是非常多，涉及到batch的计算、流模型acero的算子新增与重写、单元测试的bug修复、plan性能调优、算子调优、计算调优等等。从arrow项目中剥离出了一
guangcheng0312q·2024-01-04 20:17

性能测试之Mysql数据库调优

一、前言性能调优前提：无监控不调优，对于mysql性能的监控前几天有文章提到过，有兴趣的朋友可以去看一下二、Mysql性能指标及问题分析和定位1、我们在监控图表中关注的性能指标大概有这么几个：CPU、内存
测试小贝·2024-01-04 18:09

hbase编程

importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.hbase.
SunsPlanter·2024-01-04 15:23

（十一）数据分片(Sharding)和数据分区(PARTITIONing)简述

虽然可能跟其它的例如HBase、Hive之类的比有些差异和不足，但并不影响壮志。
紫狐挽诗·2024-01-04 14:36

HBase基本概念与基本使用

1.HBase简介1.1什么是HBaseHBASE是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBASE技术可在廉价PCServer上搭建起大规模结构化存储集群。
Yobhel·2024-01-04 08:28

Java技术栈 —— Hadoop入门（一）

第一印象二、安装Hadoop三、Hadoop解析3.1Hadoop生态介绍3.1.1MapReduce-核心组件3.1.2HDFS-核心组件3.1.3YARN-核心组件3.1.4其它组件3.1.4.1HBase3.1.4.2Hive3.1.4.3Spark
键盘国治理专家·2024-01-04 08:02

文章解读与仿真程序复现思路——电网技术EI\CSCD\北大核心《计及源荷不确定性的综合能源系统日前-日内协调优化调度》

具体已有的论文与论文源程序可翻阅本博主的专栏栏目《论文与完整程序》这个标题指的是一个综合能源系统（包括多种能源资源和负荷需求），在考虑到源（能源供给）和荷（能源需求）的不确定性的情况下，进行日前和日内的协调优化调度
电网论文源程序·2024-01-04 07:11

50 个 Redis 必备知识总结

本文包括：30个Redis基础知识；10个Redis架构和运维必懂的知识；Redis调优、监控知识和10个具体应用难点。30个Redis基础知识1、Redis支持哪几种数据类型？
一棵树～·2024-01-04 00:22

增量预训练经验积累（2）

1、并行策略选择1.1并行方式验证和调优这个和集群很相关例如我目前在16台A800集群（每台机器8张80G显卡）上测的最佳3D并行策略的具体partition配置就和L40s集群不一样（和集群有关，和具体的模型也有关
GUANYX~·2024-01-03 22:24

启动Hbase后HMaster老是掉的原因

1.启动Hbase之前先启动hdfs,zookeeper,再启动Hbase,但是隔一会就发现HMaster掉线了,但是hregionserver还在.2.解决:重新启动Hbase之前,先kill掉hregionserver
夺命大翻斗·2024-01-03 22:12

Spark向Hbase中写数据报异常:org.apache.hadoop.hbase.client.RetriesExhaustedWithDetailsException: Failed 5

解决:将第二行代码中的表名写全,并指定在哪个名称空间valtable:Table=con.getTable(TableName.valueOf("info:tb_order"))
夺命大翻斗·2024-01-03 22:12

JVM常用参数配置

jvm实际可配参数已经有1000多个了，其中GC和内存配置就多达600多个，你可以看出JVM问题排查和性能调优重点领域还是GC和内存。
程序无涯海·2024-01-03 21:08

电商数仓可视化1--数据导入

、商品信息、店铺信息、订单数据、订单支付信息、活动信息、物流信息等2、埋点数据埋点日志相对业务数据是用于数据分析、挖掘需求，一般以日志形式存储于日志文件中，随后通过采集落地分布式存储介质中如hdfs、hbase
bigdata从入门到放弃·2024-01-03 18:53

一文说清Elasticsearch的核心概念

核心概念集群（Cluster）分片（Shards）副本（Replicas）映射（Mapping）ES的基本使用安装使用集群健康状态ES机制原理写索引原理存储原理性能优化存储设备内部索引优化调整配置参数JVM调优本文小结概述本篇主要是做一个总结
wh柒八九·2024-01-03 16:51

单机Nginx性能优化

静态文件的缓存优化了网页加载，超时机制会让Client与Server的响应不会长时间阻塞，GZIP压缩提升IO效率、减少我们发送的数据量，限流来预防DOS攻击，TCP参数调优提升传输效率。
JacksonY·2024-01-03 15:52

HBase Java API 03：HBase与MapReduce整合

HBase版本：1.2.61.案例说明现有hbase表"student"，其中内容如下：hbase(main):025:0>scan'student'ROWCOLUMN+CELL0001column=info
CoderJed·2024-01-03 14:14

认真学SQL——MySQL入门之环境准备

关系型数据库:必须遵循SQL规范,强调以二维表格的形式存储数据举例:MySQLORACLEDB2SqlServerSQLite非关系型数据:NoSQL不仅仅是SQL,强调以key-value形式存储数据举例:HBaseRedisMongoDB
困了就倒头睡·2024-01-03 13:47

linux参数调优

查看文件句柄数ulimit-a临时修改文件句柄数（退出shell将重置）ulimit-n65535永久修改文件句柄数使用root账号vi/etc/security/limits.conf末尾新增以下内容*softnofile65535*hardnofile65535*softnproc65535*hardnproc65535修改用户可用最大进程数使用root账号vi/etc/security/li
芸尚非·2024-01-03 13:44

HBASE基础

1、NoSQL非关系型数据库2、hbase是面向列存储结构，即类似于hashmap3、hbase是以hdfs作为基础存储4、官网http://hbase.apache.org/5、hbase的逻辑结构是由行与列族构成的
xinxinyydss·2024-01-03 12:25

【HBase】——Shell操作

1基本操作1.1进入HBase客户端命令行bin/hbaseshell1.2查看帮助命令能够展示HBase中所有能使用的命令，主要使用的命令有namespace命令空间相关，DDL创建修改表格，DML写入读取数据
那时的样子_·2024-01-03 12:51

【HBase】——Java API

1环境1.1依赖org.apache.hbasehbase-client2.4.111.2配置文件hbase-site.xmlhbase.zookeeper.quorumhadoop102:2181,hadoop103
那时的样子_·2024-01-03 12:47

MicroPython性能调优

MicroPython开发高性能代码一般遵循以下阶段：设计时就要考虑性能优化代码及性能调试性能调优的步骤：确定代码中最慢的部分提高Python代码执行效率使用本机代码发射器使用viper代码发射器针对硬件进行优化在设计时就考虑性能问题性能问题应该一开始就应该考虑
原子星·2024-01-03 09:14

聊一下JVM调优

闲聊一下：这个JVM相信大家都了解过但是很少用这个东西但是面试一些高级架构师又是必问的一些问题之前一直不了解这个东西感觉就是面试造火箭实际拧螺丝用于筛选人才毕业这么多年也是很少接触这些就大学的时候学过简单了解过一些底层，找工作面试倒是背过一些相关的甲骨文。项目背景：先简单说一下写这个的原因，我目前做的这个项目有一个备份还原的功能，备份就是把整个数据库备份一下还原就是执行一下这个sql文件，其实这个
Owen_Number_One·2024-01-03 08:10

HBase从入门到精通11：HBase数据保存过程和Region分裂

本节来介绍一下HBase的数据保存过程和Region分裂过程的相关知识。
金字塔下的小蜗牛·2024-01-03 07:35

独一无二的「MySQL调优金字塔」相信也许你拥有了它，你就很可能拥有了全世界。

开发俏皮话【让我996不算啥，我只怕测试也996给我提bug！】技术金字塔本篇文章会按照自上而下以及自下而上的两种方向去“游览”【MySQL技术金字塔】，两个方向分别是从成本出发的（潜台词就是便宜越好，照顾公司成本哦！），本章内容，可能有点多，希望大家慢慢消化，实在不行来片“吗丁啉”，哈哈，开玩笑了！技术梗概主要技术分布为6大部分，如下图金子图所示：image研发成本角度从软件的【研发成本】的角度
洛神灬殇·2024-01-03 06:25

python操作hdfs及hbase

如果存在权限不足，可以通过命令行对上层目录权限进行修改：hadoopdfs-chmod-R777/tmp或者hdfs的配置文件中，将dfs.permissions修改为False（出方法暂未尝试）操作Hbase
佛系小懒·2024-01-03 04:26

JVM的垃圾回收机制详解和调优

JVM的垃圾回收机制详解和调优1.JVM的gc概述gc即垃圾收集机制是指jvm用于释放那些不再使用的对象所占用的内存。java语言并不要求jvm有gc，也没有规定gc如何工作。
裘马轻狂大帅·2024-01-03 03:20

Hbase - kerberos认证异常

>之前怎么认证都认证不上，问题找了好了，发现它的异常跟实际操作根本就对不上，死马当活马医，当时也是瞎改才好的，给大家伙记录记录。```KrbException:ServernotfoundinKerberosdatabase(7)-LOOKING_UP_SERVER>>>KdcAccessibility:removestorm1.starsriver.cnatsun.security.krb5.K
kikiki4·2024-01-03 03:27

HBase 容错和高可用

HBase是一个没有单点故障的分布式系统，计算层和存储层都有各自的保障了服务的可用性。
Alex90·2024-01-03 02:45

Spark源码——Shuffle过程

shuffle很重要，调优的重点、性能的杀手未优化的shuffle：(图片来源：北风网）未优化的shuffle有两个特点：spark早期版本中，shuffleMapTask将所有数据写入bucket缓存后
阿松0311·2024-01-03 02:59

Shuffle Read Time调优

先看第一张Spark任务执行时间轴的图：红色部分是任务反序列化时间，黄色部分是shuffleread时间，绿色是实际计算任务执行时间，这里我们先不讨论任务反序列化时间长，下一篇文章说任务反序列化时间长怎么解决1、首先shufflereadtime是什么？shuffle发生在宽依赖，如repartition、groupBy、reduceByKey等宽依赖算子操作中，在这些操作中会对Dataset数据
初心江湖路·2024-01-03 02:59
上一页 21 22 23 24 25 26 27 28 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他