E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
HBase集群搭建
生产环境评估机器
学习了kafka的原理知识后,还要学会如何评估生产环境集群,如果是一个大数据架构师,这个是必须要会的,比如kafka集群、
Hbase
集群、hadoop集群,评估集群的方式差不多,现在以kafka为例。
yx️
·
2023-11-03 05:32
kafka
kafka
Ubuntu18.04 部署Flink HA
flink-conf.yaml1.2.2配置slaves1.2.4配置master2.1启动Flink1.Flink安装下载地址:https://flink.apache.org/downloads.html1.1安装Flink解压
hbase
_林小凡
·
2023-11-03 03:22
bigdata
flink
ubuntu
2-18-搭建Mysql Cluster集群实现高可用
MySQL
集群搭建
实现高可用本节所讲内容:MySQL集群概述实战:MySQL
集群搭建
1MySQL集群概述和安装环境MySQLCluster是MySQL适合于分布式计算环境的高实用、高冗余版本。
chutiaoxu0053
·
2023-11-03 03:04
使用 Docker 部署高可用 MongoDB 分片集群
使用Docker部署MongoDB集群Mongodb
集群搭建
mongodb
集群搭建
的方式有三种:主从备份(Master-Slave)模式,或者叫主从复制模式。副本集(ReplicaSet)模式。
爱吃芒果的芬里尔狼
·
2023-11-03 02:09
Docker
MongoDB
综合
docker
mongodb
容器
MongoDB
Cluster
十、复制
1、复制场景1.1、现有一个SSD的
HBase
集群被业务方A访问,业务方A对
HBase
集群的延迟和可用性要求非常高。现在又收到业务方B的数据分析任务需求,每天定期对表TableX跑数据分析任务。
loukey_j
·
2023-11-02 23:31
理论学习--【Hadoop生态原理学习】
一、Hadoop原理1.核心:HDFS(存储)、MapReduce(分析)解决大量数据存储与处理的问题离线分析:hive实现查询:
hbase
BI分析:Mahout2.版本1.0mapreduce还进行资源调度
zenas_yuan
·
2023-11-02 18:31
Hadoop
hadoop
实时数仓-hologres使用总结
具备如下优势:说明分析服务一体化PointQuery(毫秒级,用于api服务,类
hbase
,redis场景
高阳很捷迅
·
2023-11-02 18:57
数据分析
IT管理
Hologres
实时数仓
Pytorch基础代码实战系列之定义一个简单的卷积神经网络
系列注:大家觉得博客好的话,别忘了点赞收藏呀,本人每周都会更新关于人工智能和大数据相关的内容,内容多为原创,PythonJavaScalaSQL代码,CVNLP推荐系统等,SparkFlinkKafka
Hbase
HiveFlume
陈万君Allen
·
2023-11-02 14:52
Python和人工智能
pytorch
cnn
人工智能
IV、
HBase
-读写流程
HBase
读数据流程
Hbase
的regionserver的内存Memstore,blockcache。Memstore作业主要是写,另一部分主要是读的。
一种依耐丶从未离开
·
2023-11-02 09:31
启动优化总结
然后调用attc
hBase
Context,在这个阶段
风月寒
·
2023-11-02 08:19
zookeeper
集群搭建
zookeeper(动物园管理员)是一个广泛应用于分布式服务提供协调服务Apache的开源框架Zookeeper从设计模式角度来理解:是一个基于观察者模式设计的分布式服务管理框架,它负责存储和管理大家都关心的数据,然后接受观察者的注册,一旦这些数据的状态发生变化,Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应。zookeeper集群特点zookeeper集群
勾勒指纹
·
2023-11-02 07:59
zookeeper
分布式
云原生
apache-zookeeper-3.7.0部署
supervisor启动安装supervisor配置zoo.ini启动总结简单介绍rZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和
Hbase
XMYX-0
·
2023-11-02 07:16
zookeeper
分布式
Zookeeper
集群搭建
一、简介Zookeeper官网二、生产
集群搭建
准备Linux服务器至少三台,且为单数,(以三台为列)服务器均已安装JDK1.8,且配置好环境变量下载准备好Zookeeper安装包,官网下载地址创建目录cd
鋆坤
·
2023-11-02 07:25
Hadoop+Hive+
HBase
+Kylin 集群维护手册(2018年5月25日)
Hadoop全家桶如果是自己手动安装的话,日常使用中会用到大量的命令和配置修改,所以特地记录在这里,方便查找和使用。插一句,再另外又使用ClouderaManagment搭建了一个集群后,发现确实快速和易用。但问题就是不能理解底层的细节和原理,也是有利有弊吧。研发人员自己搭建一套原生的Hadoop环境,对于学习和掌握还是很有必要的。Cloudera适合在产品中使用。欢迎访问原文出处(shuquan
SinanWu
·
2023-11-02 06:46
HBase
最佳实践-内存规划
线上
HBase
集群应该如何进行参数配置?
玉羽凌风
·
2023-11-02 04:16
HBASE
hbase
HBase
最佳实践-多租户机制简析
本篇文章转自两篇博客,因为
hbase
中资源的划分有三种方式,两位老师的文章都只写了其中部分。背景介绍在
HBase
1.1.0发布之前,
HBase
同一集群上的用户、表都是平等的,没有优劣之分。
窝头就辣椒
·
2023-11-02 04:44
hbase
hadoop
hbase
hbase-resource
hadoop
HBase
最佳实践-列族设计优化
随着大数据的越来越普及,
HBase
也变得越来越流行。会用
HBase
现在已经变的并不困难,然而,怎么把它用的更好却并不简单。那怎么定义‘用的好’呢?
道友,且慢
·
2023-11-02 04:14
hbase
Hbase
----读写流程分析
RegionServer中的核心组件主要是为
HBase
数据读写而设计。本文将会把这些核心组件串联起来进行介绍。
souy_c
·
2023-11-02 04:13
Hbase
hbase
分布式
Hbase
------regionServer
RegionServer是
HBase
系统中最核心的组件,主要负责用户数据写入、读取等基础操作。
souy_c
·
2023-11-02 04:43
Hbase
hbase
分布式
HBase
最佳实践-集群规划----非常详细
HBase
自身具有极好的扩展性,也因此,构建扩展集群是它的天生强项之一。在实际线上应用中很多业务都运行在一个集群上,业务之间共享集群硬件、软件资源。
lcm_linux
·
2023-11-02 04:13
hbase
hbase
hbase容量规划
hbase集群规划
《
HBase
原理与实践》阅读笔记(六)
学习笔记(13-14章)1.
HBase
系统调优1.1.
HBase
-HDFS调优1.2.
HBase
读写性能调优1.2.1.
HBase
读取性能优化1.2.2.
HBase
写入性能优化1.3.
HBase
操作系统调优
TNTZS666
·
2023-11-02 04:12
大数据学习
HBase
HBase
理论与实践-基操与实践
/bin/start-
hbase
.sh连接./bin/
hbase
shellhelp命令输入 help 然后 可以看到一列shell命令。这里的帮助很详细,要注意的是表名,行和列需要加引号。
Matrix70
·
2023-11-02 04:11
HBase
hbase
spark
数据库
常见持久层框架赏析,到底是什么让你选择 MyBatis?
在绝大多数在线应用场景中,数据是存储在关系型数据库中的,当然,有特殊要求的场景中,我们也会将其他持久化存储(如ElasticSearch、
HBase
、MongoDB等)作为辅助存储。
小熊学Java
·
2023-11-01 23:03
MyBatis
全栈学习
mybatis
持久层框架
JDBC
SpringCloud-Eureka快速入门,
集群搭建
Eureka个人主页:https://blog.csdn.net/hello_list?type=blog前言第一章:SpringCloud环境搭建—Rest使用这里博主从说更新springcloud,发了第一篇之后好久又没更新了,这里不是没有学习了,其实我都已经把文章全部写好了,整个springcloud的,几大组件,所以大家在看文章的时候可以依赖会有变动,因为比如Eureka用着没什么问题,之
学习日记
·
2023-11-01 23:47
java
springcloud
eureka
spring
cloud
java
mongodb的分片
集群搭建
最近公司的某个项目活跃越来越高,数据越来越多。目前考虑做mongodb的分片集群,虽然我只是个无关紧要的小菜鸟,这类工作肯定是老大去完成的,轮不到我去想如何做,但是还是要去主动学习一下的,参考[1]博客园shyuwu的文章首先先简单了解一下分片集群的架构以及各个部分的作用mongos,数据库集群请求的入口,所有的请求都通过mongos进行协调,不需要在应用程序添加一个路由选择器,mongos自己就
何广达
·
2023-11-01 23:54
RabbitMQ 运维 & 扩展
1、集群管理与配置1.1、
集群搭建
关于Rabbitmq集群的搭建,详见以下文章。
沿途欣赏i
·
2023-11-01 19:47
Rabbitmq
1024程序员节
rabbitmq
federeation
shovel
集群
Elasticsearch
集群搭建
、数据分片以及位置坐标实现附近的人搜索
集群搭建
、数据分片es使用两种不同的方式来发现对方:广播单播也可以同时使用两者,但默认的广播,单播需要已知节点列表来完成一广播方式当es实例启动的时候,它发送了广播的ping请求到地址224.2.2.4
不 再 熬 夜
·
2023-11-01 13:43
数据库
elasticsearch
jenkins
大数据
hbase
+hive应用场景
一.Hive应用场景本文主要讲述使用Hive的实践,业务不是关键,简要介绍业务场景,本次的任务是对搜索日志数据进行统计分析。集团搜索刚上线不久,日志量并不大。这些日志分布在5台前端机,按小时保存,并以小时为周期定时将上一小时产生的数据同步到日志分析机,统计数据要求按小时更新。这些统计项,包括关键词搜索量pv,类别访问量,每秒访问量tps等等。基于Hive,我们将这些数据按天为单位建表,每天一个表,
叫我老村长
·
2023-11-01 10:03
HBase
与 ZooKeeper 的关系
Hbase
与zookeeper的关系
HBase
主要用ZooKeeper来实现HA选举与主备集群主节点的切换、系统容错、meta-region管理、Region状态管理和分布式SplitWAL任务管理等。
SunnyZ-L
·
2023-11-01 09:55
HBase
Hbase
目录1概述1.1
HBase
数据模型1.1.1
HBase
逻辑结构1.1.2
HBase
物理存储结构1.1.3数据模型1.2
HBase
基本架构2
HBase
快速入门2.1
HBase
安装部署hadoop3.X和
Hbase
2
Int mian[]
·
2023-11-01 06:17
hbase
数据库
大数据
Hbase
- 表导出CSV数据
MR考查了
Hbase
的各种MR,没有发现哪一个是能实现的,如果有请通知我,我给他发红包。所以我们只能自己来写一个MR了,编写一个
Hbase
的MR,官方文档上也有相应的例子。
kikiki1
·
2023-11-01 06:43
二进制搭建 Kubernetes与k8s
集群搭建
(一)
目录二进制搭建Kubernetesv1.20操作系统初始化配置部署docker引擎部署etcd集群准备签发证书环境在master01节点上操作生成Etcd证书在node01节点上操作在node02节点上操作部署Master组件在master01节点上操作部署WorkerNode组件在所有node节点上操作在master01节点上操作在node01节点上操作在master01节点上操作,通过CSR请
whtqwq
·
2023-11-01 05:00
kubernetes
容器
云原生
运维
docker
互联网企业都在用的Kafka为什么可以这么快?
在数据的存储上有clickhouse、
Hbase
等大数据库来完成,在数据的分析上一般也是借助clickhouse或
hbase
的特性将数据分维度进行,而在数据的传输上,大家都不约而同使用了Kafka。
AI课工场
·
2023-11-01 02:44
Kylin大数据实战学习教程|Kylin视频教程
提取码:3ftw备用地址(腾讯微云):https://share.weiyun.com/51NMF6d密码:bu8vw6适用人群0基础学员课程概述本课程为专题课,通过全面讲解Kylin架构原理、分布式
集群搭建
以及项目案例
爱笑小哥
·
2023-11-01 02:51
RocketMq单机和
集群搭建
教程
文章目录1.rocketMQ单机版安装2.rocketMQ集群方案3.rocketMQ
集群搭建
4.Dleger搭建rokcetMQ高可用集群5.启动rockerMQ控制台界面6.rockerMQ控制台如何查看消息积压
知识分子_
·
2023-11-01 00:43
消息队列MQ
java
linux
zookeeper
rocketMq 单机及
集群搭建
,附java连接示例
本篇文章搭建环境centos7、jdk1.8、rocketmq4.8.0rocketmq官网地址:http://rocketmq.apache.org/一、单机搭建1.配置host输入命令查看hostname:hostnamectl2.vim/etc/hosts添加配置:192.168.202.221localhost.localdomain3.解压rocketMQ包放到指定目录下例如我的存放目录
Mr.乔
·
2023-11-01 00:12
java
rocketmq
rocketmq 单机、
集群搭建
rocketmq优点功能最全面性能好缺点开源功能不如云版本(花钱的版本)官网文档的版本更新跟不上程序的版本更新客户端只支持javaRocketMQ的官网地址:http://rocketmq.apache.orggithub地址是https://github.com/apache/rocketmqRocketMQ运行版本下载地址:https://www.apache.org/dyn/closer.c
染指1110
·
2023-11-01 00:42
个人学习
java
Linux环境下安装RocketMQ(单机、集群)
RocketMQ二、上传解压三、配置rocketmq的环境变量四、查看rocketmq的目录结构五、启动5.1启动nameserver5.2启动broker六、测试发送消息七、关闭八、RocketMQ
集群搭建
何苏三月
·
2023-11-01 00:11
编程环境安装
java-rocketmq
rocketmq
java
RocketMQ 安装、
集群搭建
及常见问题
文章目录1单机安装1.1安装步骤1.2目录介绍1.3启动RocketMQ2双主双从
集群搭建
2.1总体架构2.2集群工作流程2.3服务器环境2.4Host添加信息2.5防火墙配置2.6环境变量配置2.7创建消息存储路径
haptony
·
2023-11-01 00:11
Java
java
分布式
RocketMQ
三.RocketMQ单机安装及
集群搭建
RocketMQ单机安装及
集群搭建
一:安装环境1.软硬件要求2.下载RocketMQ二.安装单机MQ1.上传并解压2.目录介绍3.修改MQ启动时初始JVM内存4.启动NameServer与Broker5
醉卧雕龙舫 、
·
2023-11-01 00:40
MQ
rocketmq
离线分析:Flume+Kafka+
HBase
+Hadoop通话数据统计
文章目录项目背景项目架构系统环境系统配置框架安装JDKHadoopZookeeperKafkaFlume
HBase
项目实现项目结构表设计
HBase
Mysql功能编写公共服务生产日志服务数据存储服务协处理器服务数据分析服务
一半@java
·
2023-10-31 23:00
大数据
flume
kafka
hbase
hadoop
mapreduce
一文参透分布式存储系统Ceph的架构设计、
集群搭建
(手把手)
1.Ceph概述1.1背景Ceph是一个去中心化的分布式存储系统,提供较好的性能、可靠性和可扩展性。Ceph项目最早起源于Sage就读博士期间的工作(最早的成果于2004年发表),并随后贡献给开源社区,遵循LGPL协议(LESSERGENERALPUBLICLICENSE的简写,中文译为“较宽松公共许可证”)。在经过了数年的发展之后,目前已得到众多云计算厂商(OpenStack、CloudStac
博学谷狂野架构师
·
2023-10-31 22:19
1. 服务发现—nacos部署
服务发现—nacos部署基础介绍安装在CentOS下安装docker安装window安装
集群搭建
基础介绍Nacos是阿里巴巴推出的开源工具,提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置
啊晚
·
2023-10-31 21:51
微服务架构学习与实践总结
微服务
.net
软件框架
kafka
集群搭建
及配置参数
kafka官网及下载地址1)Kafka官网:http://kafka.apache.org/2)下载地址:http://kafka.apache.org/downloads3)客户端库:https://cwiki.apache.org/confluence/display/KAFKA/Clients4)librdkafka库:https://github.com/edenhill/librdkaf
WALLE_c4b6
·
2023-10-31 18:04
hadoop权威指南第四版
问题1磁盘损坏–备份数据HDFS问题2读取多个磁盘用于分析,数据容易出错--MR编程模型1.2衍生品1在线访问的组件是
hbase
。一种使用hdfs底层存储的模型。
春风不会绿大地
·
2023-10-31 17:11
hadoop
大数据
分布式
ElasticSearch深度解析入门篇:高效搜索解决方案的介绍与实战案例讲解,带你避坑
(mysql、oracle、mongodb、
hbase
…)2)如何解决单点故障;(lvs、F5、A10、Zookeep、MQ)3)如何保证数
汀、人工智能
·
2023-10-31 14:25
Elastic
search
elasticsearch
大数据
搜索引擎
全文检索
人工智能
语义搜索
搜索推荐系统
(四)大数据集群运维
常用命令文章目录大数据集群运维1:集群扩容均衡1.1:hdfs均衡1.2:kafka均衡1.3:es均衡2:hadoop集群服务角色汇总2.1:hdfs2.2:yarn2,3:zookeeper2.4:hive2.4:
hbase
3
猿来如此dj
·
2023-10-31 12:39
hadoop专栏
运维
hadoop
大数据
hdfs
HBase
集群的搭建
HBase
集群搭建
HBase
官网:http://
hbase
.apache.org/考虑点:版本选择企业常用的:0.96,0.98,
hbase
-2.x,这里我们选择1.2.12版本兼容问题hadoop-2.7.7
hbase
顾子豪
·
2023-10-31 10:53
云服务器安装
Hbase
文章目录1.
HBase
安装部署2.
HBase
服务的启动3.
HBase
部署高可用(可选)4.
HBase
整合Phoenix4.1安装Phoenix4.2**PhoenixShell**操作4.3表的映射4.4Phoenix
几窗花鸢
·
2023-10-31 10:59
大数据应用
hadoop
服务器
hbase
分布式
大数据
Elasticsearch基本知识-Elasticsearch
(mysql、sybase、oracle、达梦、神通、mongodb、
hbase
…)如何解决单独故障?(lvs、F5、A10、Zookeep、MQ)如何保证数据安全性?
融极
·
2023-10-31 09:21
ElasticStack
elasticsearch
数据库
分布式
上一页
29
30
31
32
33
34
35
36
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他