HBase集群搭建

Hbase - 预分区的技巧

>可以用两行代码搞定Hbase的预分区设计，我们在新建一张表的时候有没有发现，做预分区其实也是要计算的，如果没有写上工具类那可惨了，需要自己用手指头算了，在这给大家提供了一个10进制跟16进制的版本，会根据
kikiki4·2023-11-19 09:51

大数据开发：kafka集群搭建步骤示例

基于Hadoop的大数据技术生态当中，kafka在日志采集这个环节，提供重要的支持。今天的大数据开发学习分享，我们主要来讲讲在Hadoop集群上如何搭建和配置kafka集群。一、集群规划首先看一下集群规划，3台节点都搭建kafka,并且每个节点都需要提前安装有zookeeper集群。二、kafka安装和配置1、下载安装包并解压缩下载地址：http://kafka.apache.org/downlo
成都加米谷大数据·2023-11-19 08:53

基于Docker搭建大数据集群（七）Hbase部署

基于Docker搭建大数据集群（七）Hbase搭建一、安装包准备Hbase官网下载微云下载|在tar目录下二、版本兼容三、角色分配节点MasterRegionservercluster-masteryesnocluster-slave1backupyescluster-slave2noyescluster-slave3noyes
njpkhuan·2023-11-19 08:55

ES优化实战 - 小操作节省百分之三十以上的磁盘空间

然后选用Hbase这样的数据库联动。Hbase擅长的是根据key来取值，花费的是磁盘。不占太多其它资源。
水的精神·2023-11-19 07:09

zookeeper简单应用&分布式锁实现

的客户端原生客户端的使用Curatorzk简单的分布式锁实现Zookeeper的作用ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase
Life journey·2023-11-19 04:06

Spark学习——1.代表性大数据技术

HDFS分布式文件管理系统Hive数据仓库数据仓库，借助底层HDFS和HBase完成存
楓尘林间·2023-11-18 23:37

redis持久化储存（RDB、AOF）和主从复制

redis持久化储存（RDB、AOF）和主从复制一、持久化储存RDB触发方式优势与劣势AOFAOF持久化流程频率设置优势与劣势二、主从复制概念准备工作薪火相传反客为主哨兵模式设置哨兵哨兵服务集群搭建使用命令启动集群服务命令故障恢复优点
见面吃火锅·2023-11-18 22:13

Rockdb简介

背景最近在使用flink的过程中，由于要存储的状态很大，所以使用到了rockdb作为flink的后端存储，本文就来简单看下rockdb的架构设计Rockdb设计Rockdb采用了LSM的结构，它和hbase
lixia0417mul2·2023-11-18 18:51

Linux系统Redis的集群搭建

redis的集群搭建此案例在3台虚拟机上每台机搭建一个master主节点和一个slave从节点，共3个master节点，3个slave从节点，共计6个redis节点；（集群至少需要存在3个主节点，如果只有
云·泽·2023-11-18 18:44

redis大全

redis-cli常用命令redis常用命令redis数据结构redis数据结构redis持久化存储持久化存储redis事务redis事务redis管道管道redis7集群搭建集群redis常见问题以及解决方案常见问题以及解决方案
BACKWASH2038·2023-11-17 18:22

hbase的学习逻辑_Hadoop学习笔记之十六——HBase框架学习（基础知识篇）

HBase是ApacheHadoop的数据库，能够对大型数据提供随机、实时的读写访问。HBase的目标是存储并处理大型的数据。
weixin_39574140·2023-11-17 16:02

大数据开发学习笔记

前言：本文介绍了各个大数据开发框架及数据库的学习记录链接有什么问题欢迎大家留言或者私信交流~Hadoophadoop集群搭建+hive安装_hadoop集群安装hive-CSDN博客Hadoop基础入门
THE WHY·2023-11-17 16:01

mysql 海量数据迁移_Canal解决MySQL海量数据迁移问题

要分析海量数据，您需要将mysql中的数据同步到其他海量数据存储介质(HDFS，hbase)。如何出口呢？sqoop解决方案一:使用sqoop定期将mysql数据导出到hbase或hdfsSqoop导
麦子9014·2023-11-17 12:42

mysql怎么迁移到hadoop_Mysql 与 hadoop 数据同步（迁移），你需要知道 Sqoop

上篇文章Mysql到Hbase数据如何实时同步，强大的Streamsets告诉你我们说到了如何使用Streamsets来进行mysql到hbase的数据实时同步(迁移)。
铑慇獬廌·2023-11-17 11:40

【腾讯云 TDSQL-C Serverless 产品测评】Serverless集群高可用测评

【腾讯云TDSQL-CServerless产品测评】Serverless集群高可用测评一、前言二、Serverless介绍三、TDSQL-CServerlessMysql介绍四、集群可用性测试4.1、集群搭建
请你不要再迷恋哥·2023-11-17 11:16

HBase中的数据表是如何用CHAT进行分区的？

问CHA：HBase中的数据表是如何进行分区的？CHAT回复：在HBase中，数据表是水平分区的。每一个分区被称为一个region。
慕斯女神·2023-11-17 11:46

数据库表字段以表格形式写入Word

maven项目需要先引入依赖com.google.guavaguava27.0-hbaseorg.apache.poipoi-ooxml5.0.
梦想不会灭·2023-11-17 04:14

大数据系列-Hadoop集群搭建（2）集群配置

上篇已经把Hadoop安装到各虚拟机（大数据系列-Hadoop集群搭建（1）），本篇通过认识Hadoop，规划虚拟机部署。
zhm6422107·2023-11-17 03:59

4hadoopHDFS集群搭建-伪分布式模式

hadoop旧版网址：http://hadoop.apache.org/old/2.6.5版本ssh协议在免密登陆其他机器的时候，不会加载其他机器的环境变量。就是不会加载/etc/profile文件在免密登陆别的机器时，如果需要环境变量可以先加载环境变量，然后在执行命令。例如：[email protected]’source/etc/profile;echo$PATH’即可伪分布式模式：单
没有女朋友的程序员·2023-11-17 03:28

大数据分布式集群搭建（5）

下面我们来操作大数据中的重头戏Hadoop1.HADOOP背景介绍1.1什么是HADOOP1.HADOOP是apache旗下的一套开源软件平台2.HADOOP提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理3.HADOOP的核心组件有A.HDFS（分布式文件系统）B.YARN（运算资源调度系统）C.MAPREDUCE（分布式运算编程框架）4.广义上来说，HADOOP通
KongX_B·2023-11-17 03:25

Datawhale AI夏令营第三期 - 脑PET图像分析和疾病预测挑战赛——Baseline修改及优化

（一）DatawhaleAI夏令营第三期-脑PET图像分析和疾病预测挑战赛——环境搭建及PyTorchBaseline跑通上期完成Baseline跑通后，这期主要是对Baseline的优化，整队图像分类问题
cs6182890·2023-11-17 03:41

九、Nacos集群搭建

Nacos集群搭建1.集群结构图官方给出的Nacos集群图：其中包含3个nacos节点，然后一个负载均衡器代理3个Nacos。这里负载均衡器可以使用nginx。
qing_ti_xx·2023-11-17 03:00

k8s集群搭建（ubuntu 20.04 + k8s 1.28.3 + calico + containerd1.7.8）

环境&需求服务器：10.235.165.21k8s-master10.235.165.22k8s-slave110.235.165.23k8s-slave2OS版本：root@vms131:~#lsb_release-aNoLSBmodulesareavailable.DistributorID:UbuntuDescription:Ubuntu20.04.5LTSRelease:20.04Code
zpsimon·2023-11-16 22:10

flume与kafka应用场景解析

而flume是定位数据传输，相比下，flume是一个专用工具被设计为旨在往HDFS，HBASE发送数据。它对HDFS有特殊的优化，并且集成了hadoop的安全特性。
wuyue_fighting·2023-11-16 22:39

elasticsearch集群搭建

elasticsearchARM架构集群搭建一、搭建环境搭建服务器IP环境es版本号路径20.10.0.xxCentOSLinuxrelease7.9.2009(AltArch)elasticsearch
xjl_bk·2023-11-16 21:11

关系型数据库与非关系型数据库的详细对比和说明

OracleSQLServerSybaseInformixAccessDB2mysqlvfpIngersFoxPro非关系型数据库：MongoDBCassandraCouchDBHypertableRedisRiakNeo4jHadoopHBaseCouchbaseMemcacheDBREVENDBVoldemort
CharsonYang·2023-11-16 20:48

4. hdfs高可用集群搭建

简介前面把hadoop机器已经准备好了，zk集群搭建好了，本本就是开始搭建hdfs环境hadoop环境准备创建hadoop用户三台机器都创建hadoop用户useraddhadoop-d/home/hadoopecho
shura1014·2023-11-16 20:11

K8S 集群搭建

一、基础环境搭建1、前置要求一台或多台机器，操作系统CentOS7.x-86_x64硬件配置：2GB或更多RAM，2个CPU或更多CPU，硬盘30GB或更多集群中所有机器之间网络互通可以访问外网，需要拉取镜像禁止swap分区2、部署步骤1、在所有的节点上安装Docker和kubeadm2、部署KubernetesMaster3、部署容器网络插件4、部署KubernetesNode，将节点加入Kub
拾 -.-·2023-11-16 17:33

Kubernetes（K8S）集群搭建基础入门教程

上一篇文章讲了K8s相关组件知识点，这篇文章主要是搭建一个Master节点和多个Node节点的集群环境。Kubernetes(K8s)基本概念前期准备1、准备3台centos7或者更高版本的虚拟机，主要用来安装K8s集群，下面是3台虚拟机的配置情况：IP操作系统主机名称配置网络192.168.2.124centos7.9k8s-master4vCPU/8G内存/20G硬盘NAT或者桥接模式192.
养歌·2023-11-16 17:32

搭建kubernetes_k8s集群搭建

kubernetes_k8s主要内容1、kubernetes简介（1）kubernetes基本介绍（2）k8s集群架构组件（3）k8s核心概念2、kubernetes集群搭建（1）搭建k8s集群部署方式
羽帝·2023-11-16 17:02

docker+k8s本地搭建集群，并用Dashboard实现集群的图像界面

docker+k8s本地搭建k8s集群的搭建有二进制方式和kubeadm方式，kubeadm方式搭建比较简单，但二进制方式有助于帮助理解集群搭建过程中更加细节的部分，本文采用kubeadm方式，有兴趣和能力的同学看完本篇后可以去了解二进制方式
weixin_44806034·2023-11-16 17:31

2 二进制方式搭建K8S集群

本文介绍基于二进制方式，进行单Master、多Master的K8S集群搭建全过程。经本人手动测试无误后整理成下文，建议先查看目录详情了解整体流程，后进行实操。
银河猎户悬臂·2023-11-16 17:01

轻量高可用的 K8s 集群搭建方案：MicroK8s

MicroK8s是CNCF认证的Kubernetes发行版，由Ubuntu背后的商业公司Canonical开发和维护。它和完整版的Kubernetes一样支持高可用特性（HA），支持快速组建K8s集群。适合用于边缘计算、IoT、以及使用KubeFlow的MLOps机器学习场景。当然，也适合用于开发者本地环境，以轻量的资源消耗、简单的运维成本获得几乎完整的Kubernetes生态体验。本篇文章，我们
soulteary·2023-11-16 17:00

k8s集群搭建

k8s集群搭建虚拟机环境准备vagrant初始化三台sentos/7环境(需要先安装vagrant)Vagrantfile文件:Vagrant.configure("2")do|config|(1..3
TakeMyHandNow·2023-11-16 17:57

【k8s集群搭建(二)：基于虚拟机的linux的k8s集群搭建_超详细_可视化界面Dashboard安装_记录全过程踩坑记录及解决方法】

在master执行#根据在线配置文件创建资源kubectlapply-fhttps://raw.githubusercontent.com/kubernetes/dashboard/v2.3.1/aio/deploy/recommended.yaml设置访问端口#修改配置文件找到type，将ClusterIP改成NodePortkubectleditsvckubernetes-dashboard-
2020. 12.13·2023-11-16 17:55

rabbitmq 集群搭建

RabbitMQ集群介绍RabbitMQ集群是一组RabbitMQ节点（broker）的集合，它们一起工作以提供高可用性和可伸缩性服务。RabbitMQ集群中的节点可以在同一物理服务器或不同的物理服务器上运行。RabbitMQ集群的工作原理是，每个节点在一个虚拟主机中提供服务，并通过网络进行通信和数据同步。当一个节点在集群中宕机时，其他节点可以接管其未处理的消息和队列，并尝试恢复数据同步，从而确保
liuyunshengsir·2023-11-16 15:53

K8S 集群搭建

1、搭建清单2台linux服务器（一个master节点，一个node节点），建议搭3台（一个master，两个node）我使用的是腾讯云，节点与节点使用公网IP通信确保2台服务器都安装了docker2、服务器前置工作如果是本机启动多个linux虚拟机，可忽略建议学习阶段关闭防火墙及安全策略如果需要添加安全组端口放行，我这里附上我的端口放行列表放行端口如下：8080：选择性放行，这个在证书会使用到，
睡竹·2023-11-16 12:30

达梦集群搭建

一、数据库安装###（一）安装前准备版本准备[root@localhost~]#uname-aLinuxlocalhost.localdomain3.10.0-1160.el7.x86_64#1SMPMonOct1916:18:59UTC2020x86_64x86_64x86_64GNU/Linux将镜像文件传到/opt目录下[root@localhost100~]#cd/opt/[root@lo
EOPG·2023-11-16 10:54

redis-5.0.8主从集群搭建、不重启修改配置文件

一、环境准备192.168.5.100redis-01192.168.5.101redis-02192.168.5.102redis-03关闭防火墙、能够通网二、安装redis[root@localhost~]#wgethttp://download.redis.io/releases/redis-5.0.8.tar.gz[root@localhost~]#tarxfredis-5.0.8.tar
我还能再学点·2023-11-16 07:13

ubuntu22.04下hadoop3.3.6+hbase2.5.6+phoenix5.1.3开发环境搭建

一、涉及软件包资源清单1、java这里使用的是openjdk2、hadoop-3.3.6.tar.gz3、hbase-2.5.6-hadoop3-bin.tar.gz4、phoenix-hbase-2.5
ls_elect·2023-11-16 07:31

大数据Hadoop之——部署hadoop+hive+Mysql环境（Linux）

目录一、JDK的安装1、安装jdk2、配置Java环境变量3、加载环境变量4、进行校验二、hadoop的集群搭建1、hadoop的下载安装2、配置文件设置2.1.配置hadoop-env.sh2.2.配置
爱吃面的猫·2023-11-16 06:51

从零开始，掌握Nacos搭建的艺术(单点、集群、docker-compose)

：你只管努力，剩下的交给时间：小破站从零开始，掌握Nacos前言：前提：建表语句第一：单节点搭建：第二：集群搭建：第三：使用docker-compose搭建目录结构Docker-compose.ymlconf.d
一只牛博·2023-11-16 04:43

数据的存储--MongoDB文档存储

列存储数据库：代表有Cassandra、HBase和Riak等。文档型数据库：代表有CouchDB和Mon
Bruce_Liuxiaowei·2023-11-16 02:32

关系型数据库的瓶颈 与 优化

SQLServer以及PostgreSQL;MySQL是国内使用最广泛的数据库,Oracle在传统行业应用最为广泛,PostgreSQL性能和功能都比较完善,但目前文档和社区还有待成长.非关系型数据库,如HBase
BUG弄潮儿·2023-11-15 23:12

HBase的Compaction理解

本文是对自己了解到的HBaseCompaction机制做个总结。为什么需要Compaction:因为HBase使用了LSM树，将写数据和索引时的随机写转变成了顺序写磁盘，提高了写入时的性能。
淡定一生2333·2023-11-15 17:25

HBase之WAL与Flush

目录WriteAheadLog(WAL)WALProviderWALSplittingsplitting步骤Flush触发条件相关参数WriteAheadLog(WAL)用于记录所有数据的更改。正常写入流程下，不需要wal，因为数据会通过memstoreflush成storefile，但如果在memstoreflush时RegionServer崩溃或不可用，WAL此时会确保可以回放整个数据的更改。
zincooo·2023-11-15 17:25

Compaction的原理与Hbase Compaction实现

HBase中的用户数据在LSM树体系架构中最终会形成一个一个小的HFile文件。我们知道，HFile小文件如果数量太多会导致读取低效。
晓之以理的喵~~·2023-11-15 17:52

HBase—Compaction之详解

1.概述Compaction核心功能是合并小文件，HBase的Compaction分为MinorCompaction和majorCompaction两类MinorCompaction选取部分小的，相邻的
大树1993·2023-11-15 17:19

HBase Compaction机制

Compaction介绍Compaction是buffer->flush->merge的Log-StructuredMerge-Tree模型的关键操作，主要起到如下几个作用：1）合并文件2）清除删除、过期、多余版本的数据3）提高读写数据的效率Minor&MajorCompaction的区别1）Minor操作只用来做部分文件的合并操作以及包括minVersion=0并且设置ttl的过期版本清理，不做
小东升职记·2023-11-15 17:48

HBase Compaction

文章目录1.Compaction1.1.基本原理1.2.Compaction的核心作用1.2.1.副作用1.3.Compaction基本流程1.3.1.Compaction触发时机1.3.2.待合并HFile集合选择策略1.3.2.1.RatioBasedCompactionPolicy1.3.2.2.ExploringCompactionPolicy1.3.3.挑选合适的执行线程池1.3.4.H
初阳zz·2023-11-15 17:18
上一页 24 25 26 27 28 29 30 31 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他