HBase调优

完全分布式安装Hadoop,Hive,Hbase,Hwi,Zookeeper

完全分布式安装Hadoop,Hive,Hbase,Hwi,Zookeeper其他部分见：HDFSYARNzookeeperHBASEHIVEHIVEhwi的启动HDFS和HBASE动态增加和减少节点一.
ljtyxl·2023-11-25 09:45

【北亚数据恢复】分布式存储hbase和hive数据库底层文件被误删除的数据恢复案例

分布式存储环境：DellPowerEdge机架式服务器；数据库类型：Hbase、Hive；16台物理服务器。
北亚数据恢复·2023-11-25 09:41

【分布式存储数据恢复】hbase和hive数据库底层文件被误删怎么恢复数据？

分布式存储数据恢复环境：16台物理服务器，每台物理服务器上有数台虚拟机；虚拟机上配置分布式，上层部署hbase数据库和hive数据库。分布式存储故障&分析：误删除数据库底层文件，数据库不能使用。
北亚数据恢复·2023-11-25 09:10

Mysql到Hbase数据实时增量同步案例（框架：MySQL-binlog+Maxwell+Kafka+python+Hbase）

导语有童鞋私信我，问我如何通过MySQLbinlog数据同步到其他数据库（比如：Hbase、Hive等），之前写过几篇博客（canal与Maxwell比较、Kafka、hbase、python等），今天我就这里做一个案例实践操作
AllenGd·2023-11-25 09:09

HBase数据模型杂谈

1.概述HBase是一个稀疏、多维度、排序的映射表，这张表的索引是行键、列族、列限定符和时间戳。每个值是一个未经解释的字符串，没有数据类型。用户在表中存储数据，每一行都有一个可排序的行键和任意多的列。
灵海之森·2023-11-25 09:38

分布式数据恢复-hbase+hive分布式存储误删除如何恢复数据？

hbase+hive分布式存储数据恢复环境：16台某品牌R730XD服务器节点，每台物理服务器节点上有数台虚拟机，虚拟机上配置的分布式，上层部署hbase数据库+hive数据仓库。
北亚数据恢复·2023-11-25 09:37

6 Elasticsearch 优化

本文从性能和稳定性两方面，从linux参数调优、ES节点配置和ES使用技巧三个角度入手，介绍ES调优的基本方案。当我们发现es使用还是非常慢，需要优先关注在以下这两类的运行情况。
静艺·2023-11-25 08:48

ElasticSearch索引、查询和写入性能调优

注：部分概念介绍来源于网络一、Elasticsearch部署建议1.选择合理的硬件配置尽可能使用SSDElasticsearch最大的瓶颈往往是磁盘读写性能，尤其是随机读取性能。使用SSD（PCI-E接口SSD卡/SATA接口SSD盘）通常比机械硬盘（SATA盘/SAS盘）查询速度快5~10倍，写入性能提升不明显。对于文档检索类查询性能要求较高的场景，建议考虑SSD作为存储，同时按照1:10的比例
努力者Mr李·2023-11-25 08:41

ES03# Elasticsearch性能调优点梳理

引言本文主要梳理了Elasticsearch集群常见优化点，就一些主要项能够在实践中指导使用，本文主要内容有：JVM参数调优系统参数调优写性能调优点读性能调优点分片均衡优化案例一、JVM参数调优1.参数设置修改
瓜农老梁·2023-11-25 08:10

Elasticsearch集群调优

文章目录一、服务器硬件以及内存调优1、调整交换区的swap大小2、调整普通用户打开文件数以及线程数的限制3、调整ES的JVM堆内存大小二、ES的参数调优1、集群自动发现机制2、集群的主节点选举3、集群的故障检测
TUJC·2023-11-25 08:38

18-Sqoop、DataX和Azkaban的介绍

Sqoop10.4Sqoop的简介10.4.1Sqoop产生背景对于工作中经常遇到的问题的提出如何将关系型数据库中某张表的数据抽取到Hadoop（HDFS/Hive/HBase）上；如何将Hadoop上的数据导出到关系型数据库中对于问题的传统的解决通常情况下是通过开发
大数据下的画像人·2023-11-25 07:07

基于linux服务器的远程访问及控制

文章目录前言SSH是什么SSH原理SSH客户端APP以及服务端APPssh服务端主要包括两个服务功能ssh远程登录方式故障解决办法服务配置与管理服务配置安全调优加强安全级别的操作sshd服务支持两种验证方式密码验证密钥对验证
一色股大跌·2023-11-25 07:06

23、Flink 的table api与sql之流式聚合（性能调优）

Flink系列文章1、Flink部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink的tableapi与sql的基本概念、通用api介绍及入门示例14、Flink的tableapi与sql之数据类型:内置数据类型以及它们的属性15、Flink的tableapi与sql之流式概念-详解的介绍了动态表、时间属性配置（如何处理
一瓢一瓢的饮 alanchan·2023-11-25 06:39

Java虚拟机（JVM）的调优技巧和实战2

在JVM的默认设置下，可能存在一些性能问题，因此需要进行调优。在本次分享中，作者将介绍一些实用的JVM实战调优技巧，以提高Java应用程序的性能和可靠性。
wondream322·2023-11-25 06:29

亚马逊云科技向量数据库助力生成式AI成功落地实践探秘（二）

向量数据库选择哪种近似搜索算法，选择合适的集群规模以及集群设置调优对于知识库的读写性能也十分关键，主要需要考虑以下几个方面：向量数据库算法选择在OpenSearch里，提供了两种k-NN的算法：HNSW
焦点快讯·2023-11-25 06:55

JVM调优参数配对

转自：http://blog.csdn.net/zhongwen7710/article/details/39213377第一部分：相关的概念数据类型Java虚拟机中，数据类型可以分为两类：基本类型和引用类型。基本类型的变量保存原始值，即：他代表的值就是数值本身；而引用类型的变量保存引用值。“引用值”代表了某个对象的引用，而不是对象本身，对象本身存放在这个引用值所表示的地址的位置。基本类型包括：b
weixin_34270865·2023-11-25 05:25

Azure 云平台用 SQOOP 将 SQL server 2012 数据表导入 HIVE / HBASE

MynameisFarooqandIamwithHDinsightsupportteamhereatMicrosoft.InthisblogIwilltrytogivesomebriefoverviewofSqoopinHDinsightandthenuseanexampleofimportingdatafromaWindowsAzureSQLDatabasetabletoHDInsightclu
aotun7642·2023-11-25 05:17

hbase读取hdfs文件到hbase表中

准备数据:上传到hdfs编写mapper：编写reducer:编写driver：打包运行主类：yarnjarhbase-1.0-SNAPSHOT.jarorg.filemr.FileDriver最后运行结果
嗨_人心深似海·2023-11-25 04:37

性能测试 —— Tomcat监控与调优：Jconsole监控

JConsole的图形用户界面是一个符合Java管理扩展(JMX)规范的监测工具，JConsole使用Java虚拟机(JavaVM)，提供在Java平台上运行的应用程序的性能和资源消耗的信息。在Java平台，标准版(JavaSE平台)6，JConsole的已经更新到目前的外观，类似于Windows和GNOME桌面(其他平台，将目前标准的Java图形的外观和感觉)，在这个文件中提出的屏幕截图是从Wi
测试界媛姐·2023-11-25 03:52

Table——高淇JAVA300讲笔记之Guava

1packagecom.bjsxt.others.guava;23importjava.util.Map;4importjava.util.Set;56importcom.google.common.collect.HashBasedTable
weixin_30354675·2023-11-25 03:07

Table和HashBasedTable的使用案例

-------------------1.普通使用packageorg.example.testhashbasedtable;importcom.google.common.collect.HashBasedTable
zfoo-framework·2023-11-25 03:02

jvm调优(纯jdk工具)

一.常用jdk工具在java_home/bin目录下,jdk提供了丰富的基础工具,用于排查问题,jvm调优.市面上多个调优工具都是基于这些基础工具实现的.1.1jmap命令此命令可以用来查看内存信息，实例个数以及占用内存大小命令
乔_帮_主·2023-11-25 03:24

如何开启MySQL慢查询日志

如何开启MySQL慢查询日志：慢查询日志就是sql运行慢的sql语句都记录下来，方便我们sql调优！
【JAVA】玩家·2023-11-25 02:31

spark submit——yarn模式参数调优

spark官网上的参数默认值设置：https://spark.apache.org/docs/latest/configuration.html#spark-streaming此处记录一下最近整理的spark集群模式提交yarn的部分常用参数设置（友情提示：以下代码块中注释部分未加注释标#）spark-submit--masteryarn-cluster\yarn模式--name${APP_NAM
凌寒独自开·2023-11-25 01:16

《性能调优之JVM》❤️01深入了解JVM类加载机制

《性能调优之JVM》❤️01深入了解JVM类加载机制前言一、类加载运行全过程二、类加载的主要过程三、类加载器四、类加载器初始化过程五、双亲委派机制六、为什么要设计双亲委派机制？七、怎么自定义类加载器？
爱喝皮蛋瘦肉粥的小饶·2023-11-25 00:31

《好的沟通就是好的教育》第四天收获

强调优点，并不是
石姐说书·2023-11-24 20:33

大数据之Hadoop流存储

通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS、MapReduce处理过程，以及数据仓库工具Hive和分布式数据库Hbase的介绍，基本涵盖了Hadoop分布式平台的所有技术核心。
陌名_9b41·2023-11-24 18:01

Spark事件监听总线流程分析-Spark商业环境实战

Spark商业环境实战及调优进阶系列Spark商业环境实战-Spark内置框架rpc通讯机制及RpcEnv基础设施Spark商业环境实战-Spark事件监听总线流程分析Spark商业环境实战-Spark
weixin_34268753·2023-11-24 16:38

【黑马甄选离线数仓day02_数据采集】

1.数仓工具使用-DataX1.1DataX介绍DataX是阿里推出的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP
LKL1026·2023-11-24 16:02

Doris系列之高级功能-Rollup操作

系列注：大家觉得博客好的话，别忘了点赞收藏呀，本人每周都会更新关于人工智能和大数据相关的内容，内容多为原创，PythonJavaScalaSQL代码，CVNLP推荐系统等，SparkFlinkKafkaHbaseHiveFlume
陈万君Allen·2023-11-24 16:31

Doris系列之物化视图操作

系列注：大家觉得博客好的话，别忘了点赞收藏呀，本人每周都会更新关于人工智能和大数据相关的内容，内容多为原创，PythonJavaScalaSQL代码，CVNLP推荐系统等，SparkFlinkKafkaHbaseHiveFlume
陈万君Allen·2023-11-24 16:31

Hadoop集群环境下HBase集群slave节点总是掉问题

HBase表格设计：create'DATA',{NAME=>'0',VERSIONS=>3,BLOCKSIZE=>'65535',BLOCKCACHE=>'false',IN_MEMORY=>'true
拉普达男孩·2023-11-24 15:50

Zookeeper集群的选举机制

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。
攀登者-刘小懒·2023-11-24 14:36

软件测试中性能调优的过程解析

软件测试中性能调优的过程解析前言业界衡量一个软件系统性能的三个指标：TPS(TransactionsPerSecond)，QPS(QueryPerSecond)以及RT(ResponseTime)，其实前二者可以等价于写操作和读操作
不是金川·2023-11-24 09:44

Hbase - 预分区的技巧

>1可以用两行代码搞定Hbase的预分区设计，我们在新建一张表的时候有没有发现，做预分区其实也是要计算的，如果没有写上工具类那可惨了，需要自己用手指头算了，在这给大家提供了一个10进制跟16进制的版本，
kikiki5·2023-11-24 09:40

HBase本地安装Snappy

笔者最近要调试一个线上的HBasebug，所以需要做到本地配置等跟线上完全一样。其它的都还好说，但是到了Snappy这儿却碰了一鼻子灰。
AlstonWilliams·2023-11-24 09:08

Spark数据倾斜解决方案

数据倾斜的解决，跟之前讲解的性能调优，有一点异曲同工之妙。性能调优，跟大家讲过一个道理，“重剑无锋”。
000X000·2023-11-24 09:52

spark 数据倾斜 解决思路

数据倾斜调优-绝大多数task执行得都非常快，但个别task执行极慢。
maketubu7·2023-11-24 09:44

《好的沟通就是好的教育》第四天收获

强调优点，并不是
石姐说书·2023-11-24 09:56

优化 AIX 7 网络性能:NFS 监控和调优

http://cloud.csdn.net/a/20110211/291647.html简介在考虑NetworkFileSystems(NFS)时，通常性能调优是您会想到的最后一件事。
islandstar·2023-11-24 09:25

nginx的性能调优

系统层面：增大文件句柄打开数。临时修改ulimit–SHn永久生效vim/etc/security/limits.conf服务层面：每个进程的最大文件打开数设置的高一点。worker_rlimit_nofilecpu的亲和设置，把nginx的进程绑定到不同的cpu，减少进程频繁切换cpu带来的资源损耗。worker_processes8最多开启8个，8个以上性能不在提升，稳定性也会变差。1.9版本
Papi是蓝猫·2023-11-24 08:49

pyspark使用hbase详解

pyspark使用hbase详解一、测试代码：defwrite2hbase():frompyspark.sqlimportSparkSessionfrompysparkimportSparkContext
小码良·2023-11-24 06:06

重新使用hbase前

启动关闭Hadoop和HBase的顺序一定是：启动Hadoop—>启动HBase—>关闭HBase—>关闭Hadoop1.挂载共享文件夹到挂载点sudomount-tvboxsfvirtualmachineShare
北辰Charih·2023-11-24 06:19

轻雨新晴

雨悄无声息的模样，是无需渲染的水墨，是黑稠神秘的夜晚，也是春天的淡绿，有一种低调优雅的姿态。雨落时，燕子仍在雾蒙蒙的天空上回旋，翻飞，恣意游走，如烟岚般变幻莫测。
秦至作品·2023-11-24 05:47

Hbase模型与框架分享(1)—互联网思维

第一，用户思维“独孤九剑”第一招是总诀式，意思是第一招学不会，后面的招数就很难领悟。互联网思维也一样。互联网思维，第一个，也是最重要的，就是用户思维。用户思维，是互联网思维的核心。其他思维都是围绕用户思维在不同层面的展开。没有用户思维，也就谈不上其他思维。用户思维，是指在价值链各个环节中都要“以用户为中心”去考虑问题。以用户为中心，不是刚刚冒出来的概念，很多传统品牌厂商都在叫嚷着“以用户为中心”、
nucheima·2023-11-24 03:51

Impala-大数据时代快速SQL引擎

Impala介绍ApacheImpala是由Cloudera开发并开源的一款基于HDFS/Hbase的MPPSQL引擎，它拥有和Hadoop一样的可扩展性、它提供了类SQL（类Hsql）语法，在多用户场景下也能拥有较高的响应速度和吞吐量
盛装吾步·2023-11-24 02:30

Spring Cloud 学习(25) --- Zuul(七) Zuul 优化、Zuul 工作原理

如：与上层负载均衡器(Nginx等)、性能、调优等。
laiyy0728·2023-11-24 02:34

成为AI产品经理——模型构建流程（下）

1.模型训练模型训练就是要不断地训练、验证、调优直至让模型达到最优。那么怎么达到最优呢？就是要绘制一条比较好的决策边界。决策边界就是在符合某种条件做出某种选择的条件，根据这个条件可以将结果进行划分。
爱学习的时小糖·2023-11-24 02:07

成为AI产品经理——模型构建过程(上)

处理文本特征）网络关系型数据③特征选择④训练集/测试集一、背景虽然产品经理不需要参与到模型构建工作中，但是我们需要对模型构建过程有一定的了解，有点两点好处：1.对内配合算法同学进行数据收集、模型训练、参数调优
爱学习的时小糖·2023-11-24 02:37

大数据学习教程SD版第十三篇【Clickhouse】

Clickhouse列式数据库快，简单，yandex开源，C++编写，分析型数据库，SQL查询，列操作快，多样化引擎，高吞吐写入（LSMTree），多版本数据（Hbase），顺序Append写，数据分区
道-闇影·2023-11-24 01:37
上一页 38 39 40 41 42 43 44 45 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他