E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
HBase集群搭建
大数据小白初探
Hbase
从零到入门
目录1.前言2.初识
Hbase
2.1有了HDFS为什么还需要
HBase
呢?2.2
HBase
主要做什么的?2.3
HBase
架构特点?2.4
HBase
的适用场景?2.5
HBase
的数据模型和物理储存格式?
北京-景枫
·
2024-01-18 09:10
hbase
大数据
列簇式存储
HBASE
学习一:原理架构详解
1、架构原理1.1、基本概念
HBase
是一款面向列存储,用于存储处理海量数据的NoSQL数据库。它的理论原型是Google的BigTable论文。
Studying!!!
·
2024-01-18 08:34
中间件
hbase
学习
架构
beego的控制器Controller篇 — Session控制
session配置及使用beego内置了session模块,目前session模块支持的后端引擎包括memory、cookie、file、mysql、redis、couc
hbase
、memcache、postgres
leellun
·
2024-01-18 08:50
beego从入门到实践
beego
ElasticSearch学习之一:基础知识+单节点/
集群搭建
一、ES相关知识ES基于RESTfulweb接口并且构建在Apachelucene之上的开源分布式搜索引擎。同时ES是一个分布式文档数据库,每个字段均可被索引、每个字段数据均可被搜索,能够横向扩展数以百计的服务器存储以及处理PB级的数据。1.可以在极短时间内存储、搜索和分析大量的数据2.通常作为具有复杂搜索场景下的核心发动机ES高可用且高扩展。一方面同升级硬件完成系统扩展,称为垂直或向上扩展,另一
HackQ_sxj
·
2024-01-18 08:39
JAVA
WEB
Elasticsearch8
集群搭建
(一)基础篇
记录下工作中搭建Elasticsearch8集群的过程,此篇为第一部分,后续会陆续更新其他部分。前提:安全组配置:确保集群内所有服务器在同一安全组内。(或在不同安全组但互相可以通信)以下步骤需要在每台要安装Elasticsearch的服务器上执行。1、创建Elasticsearch专属用户Elasticsearch禁止以root身份启动,必须创建一个专属用户来运行:图片来源:Elasticsear
要薪贫气和哦
·
2024-01-18 08:38
Elasticsearch
elasticsearch
大数据
Elasticsearch8
集群搭建
(二)配置篇:(1)节点和集群配置
安装完Elasticsearch后,需要对其进行配置,包括以下几部分:节点和集群配置、系统配置、安全配置。此篇记录节点和集群配置的内容,后续将更新系统配置和安全配置。节点和集群配置:通过编辑/usr/local/elasticsearch-8.10.2/config/elasticsearch.yml文件进行配置,在集群内每个节点上都要进行配置。1、Cluster部分:cluster.name:设
要薪贫气和哦
·
2024-01-18 08:38
Elasticsearch
elasticsearch
大数据
LINUX上新建用户无法进入
hbase
进行操作 2020-08-26
1.在LINUX上新建用户coscp用户,coscp用户没有权限,进入
hbase
进行操作,调用脚本在
hbase
上新建表,会提示没有权限解决方法给用户授权:grant'coscp','RWXCA'2.使用
1edee8a22fc9
·
2024-01-18 07:04
Spark—shell,
Hbase
—shell
Spark:SPARKSQLresults=spark.sql("SELECT*FROMpeople")//读取JSON文件valuserScoreDF=spark.read.json("hdfs://master:9000/people.json")Spark内置函数的使用除select()外,还可以使用filter()、groupBy()等方法对DataFrame数据进行过滤和分组,比如:df
꧁༺朝花夕逝༻꧂
·
2024-01-18 07:21
spark
大数据
分布式
Hbase
必背面试题
1,
hbase
读流程首先通过meta表找到要读数据的region所在的RegionServer,然后去BlockCash中读取,如果没有就去Memstore中读取,如果也没有,那就去Hfile中去读(1
写scala的老刘
·
2024-01-18 06:09
【centos7系统】Redis-6.2.2版本
集群搭建
前redis最新版本已经是6.2.4,在
集群搭建
上和redis3.x、redis4.x区别很大。
SRE成长记
·
2024-01-18 05:16
数据库
redis
数据库
缓存
部署
【远程访问】
Hbase
+Phoenix(伪分布式部署)
目录Server端部署
Hbase
+Phoenix环境下载安装包安装JDK并配置环境变量配置ssh免密登录(可选)安装并启动zookeeper安装
hbase
安装phoenix启停
hbase
验证
hbase
是否启动
itachi-uchiha
·
2024-01-18 02:46
数据库
hbase
分布式
big
data
standalone
RabbitMQ常见问题之高可用
文章目录一、集群分类二、普通
集群搭建
1.准备2.配置3.运行三、镜像集群1.介绍2.启用方式3.测试四、仲裁队列1.介绍2.创建五、Java连接RabbitMQ集群方式一、集群分类RabbitMQ的是基于
木子dn
·
2024-01-18 01:31
Server架构
#
RabbitMQ
rabbitmq
ruby
分布式
Ceph分布式文件系统
集群搭建
详解
1、Ceph分布式文件系统简介Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。Ceph独一无二地在一个统一的系统中同时提供了对象、块、和文件存储功能。基开发目标是:可轻松扩展到数PB容量支持多种工作负载的高性能(每秒输入/输出操作[IOPS]和带宽)高可靠性Ceph不仅仅是一个文件系统,还是一个有企业级功能的对象存储生态环境。中文学习网址:CEPH中文学习网2.Ceph
蔚蓝色天空sky
·
2024-01-18 00:11
分布式
ceph
分布式文件系统
Ceph分布式文件系统
集群搭建
目录一、规划设计二、环境准备三、部署ceph集群四、开启Dashboard一、规划设计准备四台虚拟机(部署三台服务器和一台计算机更好),分别安装centos-7-x86_64操作系统,使用的ceph的版本minic版,网络地址及规划随机。节点名称IP地址系统版本部署进程数据盘Ceph1192.168.239.150Centos-7-x86_64MON+mgr+OSD/dev/sdbCeph2192
疯狂运维的树懒
·
2024-01-18 00:10
ceph
云存储
云计算
七牛云存储
linux
运维
Hbase
--读取数据快还是写数据快
首先,需要明确的是,
Hbase
写入速度比读取速度要快,根本原因LSM存储引擎从存储引擎的角度分析
Hbase
底层的存储引擎为LSM-Tree(Log-StructuredMerge-Tree)。
李小李的路
·
2024-01-17 21:20
Windows下
HBase
的搭建
@[TOC]Windows下
HBase
的搭建
HBase
下载与设置(Windows)本人刚刚接触
HBase
,为了配置
HBase
,参考了一些博客,按照操作顺序执行后存在一些问题,解决后,得出了有效的步骤,并一定对所有情况都适用
qq_42725437
·
2024-01-17 17:51
经验
ZooKeeper 原理及其在 Hadoop 和
HBase
中的应用
简介ZooKeeper是一个开源的分布式协调服务,由雅虎创建,是GoogleChubby的开源实现。分布式应用程序可以基于ZooKeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能。基本概念本节将介绍ZooKeeper的几个核心概念。这些概念贯穿于之后对ZooKeeper更深入的讲解,因此有必要预先了解这些概念。集群角色在
Java程序员YY
·
2024-01-17 15:08
【Flink-1.17-教程】-【二】Flink
集群搭建
、Flink 部署、Flink 运行模式
【Flink-1.17-教程】-【二】Flink
集群搭建
、Flink部署、Flink运行模式1)集群角色2)Flink
集群搭建
2.1.集群启动2.2.向集群提交作业3)部署模式3.1.会话模式(SessionMode
bmyyyyyy
·
2024-01-17 12:16
Flink
flink
大数据
#flink集群搭建
#flink部署
#flink运行模式
#flink1.17
#flink1.17教程
Zookeeper
集群搭建
目录1、下载并解压zookeeper2、修改配置文件zoo.cfg3、创建myid文件4、启动zookeeper服务5、可能存在的问题1、下载并解压zookeeperhttps://www.apache.org/dyn/closer.lua/zookeeper/zookeeper-3.7.0/apache-zookeeper-3.7.0-bin.tar.gz2、修改配置文件zoo.cfg上面红色框
程序员张同学
·
2024-01-17 11:16
zookeeper
zookeeper
apache
分布式
ActiveMq由浅入深讲解+面试题50道讲解-张立坤-专题视频课程
基于队列的生产者和消费者,基于发布-订阅的生产者和消费者,消息的同步消费和异步消费,消息的数据类型,身份认证,持久化配置与实现,事务,死信队列,ACK策略,消息的丢失,重复重复消费,消息重发,springmvc集成,
集群搭建
zlkwork
·
2024-01-17 11:12
视频教程
面试题
activemq
张立坤
消息队列
消费者
Hbase
- 自定义Rowkey规则
在Flink中我们有时候需要分析数据1点到2点的范围,可是经过Region又比较慢,这时候我们就可以定制TableInputFormat来实现我们的需求了,我们还可以采用Flink的DataSet的方式读取,另外下面还有Spark读取的例子。使用教程Md5Util.javaimportorg.apache.commons.codec.binary.Hex;importjava.security.M
kikiki2
·
2024-01-17 11:48
Hbase
- kerberos认证异常
>之前怎么认证都认证不上,问题找了好了,发现它的异常跟实际操作根本就对不上,死马当活马医,当时也是瞎改才好的,给大家伙记录记录。```KrbException:ServernotfoundinKerberosdatabase(7)-LOOKING_UP_SERVER>>>KdcAccessibility:removestorm1.starsriver.cnatsun.security.krb5.K
kikiki4
·
2024-01-17 10:29
HBase
当中的二级索引的基本介绍
由于
HBase
的查询比较弱,如果需要实现类似于selectname,salary,count(1),max(salary)fromusergroupbyname,salaryorderbysalary等这样的复杂性的统计需求
临界爵迹
·
2024-01-17 06:44
大数据
数据库
hbase
HBase
的协处理器
1、起源
Hbase
作为列族数据库最经常被人诟病的特性包括:无法轻易建立“二级索引”,难以执行求和、计数、排序等操作。
临界爵迹
·
2024-01-17 06:43
大数据
数据库
hbase
HBase
三个重要机制
1、flush机制当MemStore达到阈值,将Memstore中的数据Flush进Storefile涉及属性:
hbase
.hregion.memstore.flush.size:134217728即:
临界爵迹
·
2024-01-17 06:13
大数据
hbase
HBase
的预分区
1、手动指定预分区
hbase
(main):001:0>create'staff','info','par
临界爵迹
·
2024-01-17 06:13
大数据
hbase
HBASE
学习四:常用命令汇总梳理
1、服务状态2、问题排查3、运维操作、命令积累#基础判断业务状态命令#自动均衡region命令
Studying!!!
·
2024-01-17 05:59
中间件
HBase
kylin集群负载均衡(kylin3,
hbase
RIF问题)
hbase
历险记目录
hbase
历险记寻找问题分析原因解决方案方案1(资源问题、失败)方案2(成功)寻找问题不知道你是不是有这样的疑惑。
向他一样rap
·
2024-01-17 05:52
kylin
hbase
kylin
负载均衡
大数据
HBase
基础
HBase
基础
HBase
1.
HBase
简介1.1
HBase
定义1.2
HBase
数据模型1.2.1
HBase
逻辑结构1.2.2
HBase
物理存储结构1.2.3数据模型1.3
HBase
基本架构2.
HBase
奇妙的代码
·
2024-01-17 05:21
大数据
#
Java
hbase
数据库
大数据
【教程】
集群搭建
准备工作全流程
基于VMware创建虚拟机进行
集群搭建
,适用于hadoop/GreenPlum等集群之前已经创建了三台虚拟机hadoop102,hadoop103,hadoop104来搭建hadoop集群,因为目前学习到了
THE WHY
·
2024-01-17 04:12
大数据
大数据
分布式
运维
hadoop
学习
HBase
集群写入出现大量毛刺排查
一名10年以上大数据架构&研发经验从业者,目前主要从事云原生大数据方向设计,擅长云原生技术、数据架构、数据平台构建、大数据组件性能调优问题现象查看监控,业务请求量正常,但是server端毛刺严重近期在
HBase
KubeData
·
2024-01-17 02:12
大数据技术
大数据
架构
hbase
00-初识MySQL
非关系型数据库:MongoDB,Redis,
HBase
等。MySQL是一个关系型数据库管理系统,是IT界使用
绿色的小苹果
·
2024-01-16 21:51
Linux搭建 Kubernetes(K8S)集群详情教程
当搭建Kubernetes集群时,涉及的详细步骤可能较多,以下是详细的Kubernetes单节点
集群搭建
步骤:步骤1:准备工作确保满足以下基本要求:一台运行Ubuntu18.04或更高版本的机器。
二当家的素材网
·
2024-01-16 17:17
运维
linux
kubernetes
运维
HBase
实践 |
HBase
TB级数据规模不停机迁移最佳实践
背景有关
HBase
集群如何做不停服的数据迁移一直都是云
HBase
被问的比较多的一个问题,目前有许多开源的工具或者
HBase
本身集成的方案在性能、稳定性、使用体验上都不是很好,因此阿里云提供了BDS迁移服务
王知无(import_bigdata)
·
2024-01-16 16:38
HBase
集群管理
通过之前文章的描述,我们已经有能力设计并部署搭建
HBase
集群了当我们的
HBase
集群开始运行的时候,新的挑战又来了例如,我们可能会遇到在集群运行的时候添加或者删除节点又或者需要拷贝/备份整个集群的数据等等如何在集群运行的时候以最小的代价来执行这些操作呢
xiaohei.info
·
2024-01-16 16:08
HBase
hbase
集群
管理
运维
zookeeper
集群搭建
软件下载官网首页:ApacheZooKeeper
集群搭建
准备三台服务器服务器1192.168.206.135服务器2192.168.206.136服务器3192.168.206.137软件安装解压压缩包
喝水的鱼.
·
2024-01-16 14:58
软件安装
zookeeper
zookeeper
DataX&数据同步(全量)
1.DataX简介1.1DataX概述 DataX是阿里巴巴开源的一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、
HBase
、FTP
韩顺平的小迷弟
·
2024-01-16 11:29
大数据
数据同步
Hbase
用法总结
Hbase
用法总结一、
Hbase
命令进入
hbase
命令行在
hbase
的安装目录下bin/
hbase
shell虽然类似sql命令,但所有执行都不需要加分号结束,有SQL编写强迫症的需要注意适应1、DDL操作
天选之子123
·
2024-01-16 10:53
大数据
hbase
网络
数据库
HDFS HA
集群搭建
- 基于Quorum Journal Manager(hadoop2.7.1)
0、前置概念0.1checkpoint检查点在Hadoop分布式文件系统(HDFS)中,检查点(Checkpointing)是一个关键的过程,它涉及到将文件系统的命名空间状态持久化到磁盘。这个状态由两部分组成:EditLogs和FsImage。EditLogs:记录了自FsImage生成后对文件系统所做的所有修改。每次对文件系统的修改都会追加到EditLogs中。FsImage:包含了文件系统所有
Studying!!!
·
2024-01-16 06:36
中间件
hdfs
hadoop
大数据
Hadoop 3.2.4
集群搭建
详细图文教程
一、集群简介Hadoop集群包括两个集群:HDFS集群、YARN集群。两个集群逻辑上分离、通常物理上在一起;两个集群都是标准的主从架构集群。逻辑上分离两个集群互相之间没有依赖、互不影响物理上在一起某些角色进程往往部署在同一台物理服务器上MapReduce集群呢?MapReduce是计算框架、代码层面的组件,没有集群之说二、Hadoop集群部署方式标题三、集群安装3.1集群角色规划集群模式主要用于生
༺࿈誓言࿈༻
·
2024-01-16 05:10
hadoop
大数据
分布式
大数据技术原理与应用 第三版 林子雨 期末复习(二) Hadoop HDFS
HBase
大数据技术原理与应用第三版林子雨期末复习(二)HadoopHDFS
HBase
Hadoop生态系统HDFSHDFS结构块NameNode与SecondNameNode与DataNode数据冗余存储HDFS
头发多多,肆意生长
·
2024-01-16 05:21
大数据技术
hadoop
hdfs
hbase
大数据
大数据技术原理与应用期末复习(林子雨)
大数据技术原理与应用期末复习(林子雨)Hadoop的特性
HBase
编程实践NoSQL的四大类型键值数据库优点:缺点:列族数据库优点:缺点:文档数据库优点:缺点:图数据库优点:缺点:NoSQL的三大基石CAP
laowang357
·
2024-01-16 05:50
大数据
hadoop
spark
hive
DR-AUTO-SYNC架构
集群搭建
及主备切换手册
作者:Liuhaoao原文来源:https://tidb.net/blog/170d6d47近期有个生产系统,计划做一套dr-autosync的集群,但是之前并没有这种类型系统的生产实施经验,就一点点的摸索,好在最后是顺利搭建成功了,把搭建过程分享出来给大家参考下。1、集群架构2、规划拓扑根据集群架构规划拓扑文件global:user:"tidb"ssh_port:22deploy_dir:"/t
TiDB 社区干货传送门
·
2024-01-16 03:09
架构
java
linux
微服务
大数据
kafka使用zookeeper完成
集群搭建
本次搭建使用的是Kafka3.6.1,zookeeper3.9.1。1、zookeeper集群安装zookeeper下载:ApacheDownloadMirrors1.1、zookeeper解压修改配置文件名#1、解压到指定目录tar-zxvfapache-zookeeper-3.9.1-bin.tar.gz-C/opt/software#2、需改配置文件名称cpzoo_sample.cfgzoo
知其_所以然
·
2024-01-16 03:04
kafka
docker 下nacos
集群搭建
目录1、准备工作2、拉取镜像3、启动mysql4、导入sql脚本4.1、建立连接,新建数据库nacos4.2、导入脚本4.3、导入成功5、启动naco
SHIZHK
·
2024-01-16 01:10
后端
nacos
集群
k8s 部署 Atlas
编译Atlasmvncleanpackage-DskipTests-Dfast-Drat.skip=true-Pdist,embedded-
hbase
-solrAtlas内嵌
hbase
solr先启动
hbase
胖胖胖胖胖虎
·
2024-01-15 22:07
K8S
大数据组件
kubernetes
atlas
【安装手册】在CentOS搭建Elasticsearch集群
一、
集群搭建
3台虚拟机:192.168.59.191、192.168.59.192、192.168.59.193二、找下载链接https://www.elastic.co/cn/downloads/past-releases
衣谷PN
·
2024-01-15 21:23
数据存储
elasticsearch
大数据
【Elasticsearch】Elasticsearch
集群搭建
详细手册
一、
集群搭建
1.1.资源准备服务器192.168.X.26192.168.X.25192.168.X.24安装包elasticsearch-6.8.10.tar.gz防火墙所有服务器均开通9200,9300
以梦为馬Douglas
·
2024-01-15 21:53
组件学习文档
elasticsearch
大数据
Redis
集群搭建
1.初识Redis1.1.Redis介绍: Redis是一种基于键值对(key-value)的NoSQL数据库。 与很多键值对数据库不同的是,Redis中的值可以是由string(字符串)、hash(哈希)、list(列表)、set(集合)、zset(有序集合)等多种数据结构和算法组成,因此Redis可以满足很多的应用场景。 而且因为Redis会将所有数据都存放在内存中,所以它的读写性能非常
八分用心
·
2024-01-15 14:02
redis
redis
数据库
分布式
k8s
集群搭建
(一个master,三个node)
1.准备四台CentOSLinuxrelease7.9.2009(Core)(2核2G)系统,都安装好dockerdocker的安装https://docs.docker.com/engine/install/centos/1.卸载原来安装过的docker,如果没有安装可以不需要卸载yumremovedocker\docker-client\docker-client-latest\docker-
是文倩呀
·
2024-01-15 12:26
k8s
kubernetes
docker
运维
上一页
6
7
8
9
10
11
12
13
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他