E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
HBase集群搭建
redis
集群搭建
redis
集群搭建
在开始redis
集群搭建
之前,我们先简单回顾一下redis单机版的搭建过程下载redis压缩包,然后解压压缩文件;进入到解压缩后的redis文件目录(此时可以看到Makefile文件)
角角_d216
·
2024-02-09 03:44
【大数据存储与处理】
目录1.任务说明1.1任务描述1.2架构设计1.3数据流动图1.4运行环境2.数据生成2.1生成数据属性说明2.2数据生成代码3.数据存储3.1数据存入
Hbase
3.1.1
hbase
存储设计3.1.2数据存入
花落随风轻飘舞
·
2024-02-08 23:20
big
data
大数据
tomcat
java
hadoop
centos7搭建集群过程
集群搭建
过程第一步:ping测试第二步:修改主机名第三步:修改IP地址与域名映射关系第四步:重启reboot第五步:关闭防火墙第六步:关闭SELinux第七步:免密登录第八步:时钟同步第九步:安装JDK
妖怪书生
·
2024-02-08 21:06
linux新手学习
linux
hadoop
centos
Zookeeper
集群搭建
(3台)
准备工作1、提前安装好hadoop102、hadoop103、hadoop104三台机器,参照:CentOS7集群环境搭建(3台)-CSDN博客2、提前下载好Zookeeper安装包并上传到/opt/software上、安装包,链接:https://pan.baidu.com/s/1Ta9DH6FHm2pO4vQw_5wC4A?pwd=6666安装Zookeeper一、解压安装1、解压Zookee
在下区区俗物
·
2024-02-08 21:35
zookeeper
linux
分布式
k8s1.20 搭建-抛弃docker使用containerd
其他相关文档:《k8s-1.21高可用
集群搭建
》文章目录前言:1.环境准备1.1关闭无用服务1.2环境和网络1.3依赖安装1.4系统优化2.安装Containerd2.1安装2.2修改配置文件2.3启动
玄德公笔记
·
2024-02-08 19:00
#
02-k8s集群安装
k8s
kubernetes
容器
运维
k8s集群安装
Docker Swarm集群仓库和可视化管理
DockerSwarm集群仓库和可视化管理1背景2环境3安装操作3.1registary部署3.1.1下载3.1.2部署3.2portainer部署3.2.1下载3.2.2部署1背景本篇是上篇《DockerSwarm
集群搭建
水步天
·
2024-02-08 16:54
服务器环境搭建
docker
容器
运维
K8s环境下rook-v1.13.3部署Ceph-v18.2.1集群
operator2.5部署Ceph集群2.6强制删除命名空间2.7验证集群3.Ceph界面1.K8s环境搭建参考:CentOS7搭建k8s-v1.28.6集群详情,把K8s集群完成搭建,再进行Ceph
集群搭建
@TangXin
·
2024-02-08 14:26
Ceph
Kubernetes
kubernetes
ceph
rook
kubernetes
集群搭建
(二进制方式)
kubeadm是官方社区推出的一个用于快速部署kubernetes集群的工具。这个工具能通过两条指令完成一个kubernetes集群的部署:#创建一个Master节点$kubeadminit#将一个Node节点加入到当前集群中$kubeadmjoin1.安装要求在开始之前,部署Kubernetes集群机器需要满足以下几个条件:一台或多台机器,操作系统CentOS7.x-86_x64硬件配置:2GB
萧兮_瑾琛
·
2024-02-08 14:59
Redis核心技术与实战【学习笔记】 - 30.番外篇:Redis学习资料、运维说明及使用规范建议
1.1经典书籍在学习Redis时,场景的需求有三个方面:日常使用操作:比如常见的命令和配置,
集群搭建
等关键技术原理:比如IO模型、AOF和RDB机制等在实际使用时的经验教训,比如Redis响应变慢了怎么办
陈建111
·
2024-02-08 10:20
Redis核心技术学习
redis
学习
Flink大状态和Checkpoint调优
,memState程序挂了状态就丢了,应该没人会在生产使用,但是涉及到一些大状态,fsState效率很低,这时候会选择rocksDbState1.RocksDb为什么效率高基于LSMTree实现,类似
Hbase
orange大数据技术探索者
·
2024-02-08 09:18
#
flink迁移
flink
大数据
高性能
hbase
配置
hbase
-env.shexportHADOOP_HOME=/export/hadoopexportHADOOP_CONF_DIR=/export/common/hadoop/confexportJAVA_HOME
不会吐丝的蜘蛛侠。
·
2024-02-08 08:59
Hadoop
hbase
数据库
大数据
Hbase
shell 基本命令大全
HRegionServer0dead:没有挂掉的0.6667averageload:平均负荷查询版本号:version1.2.6,rUnknown,MonMay2902:25:32CDT2017查询当前用户:whoami
hbase
不会吐丝的蜘蛛侠。
·
2024-02-08 08:57
Hadoop
hbase
数据库
big
data
sqoop导入数据到hdfs
Sqoop是apache旗下的一款”Hadoop和关系数据库之间传输数据”的工具导入数据:将MySQL,Oracle导入数据到Hadoop的HDFS、HIVE、
HBASE
等数据存储系统导出数据:从Hadoop
鲲鹏猿
·
2024-02-08 06:40
hdfs
sqoop
hadoop
大数据系列—数据迁移(Sqoop,Flume,DataX)对比学习(stage3)
个人大数据技术栈:DataX,Sqoop,Hadoop,Hive,Spark,Flink,
Hbase
,Kafka,Kettle,Azkaban,Airflow,Tableau…个人在学习领域:Python
道-闇影
·
2024-02-08 06:07
big
data
大数据
sqoop
flume
zookeeper安装
1.0Zookeeper教程|菜鸟教程(runoob.com)1.0Zookeeper教程2.0Zookeeper安装配置3.0Zookeeperlinux服务端
集群搭建
步骤4.0ZookeeperJava
riabai
·
2024-02-08 06:34
zookeeper
分布式
云原生
linux下
hbase
指令快使用无介绍版(一)
问题背景平常项目基本都是直接在代码里面执行
hbase
查询工作,在linux下操作
hbase
的指令总是忘记,基于此基础,写一个快速使用版的注意事项:默认已安装
hbase
,并配置环境变量
hbase
指令1登录
时间是一种毒药
·
2024-02-07 23:59
RabbitMQ之七生产集群部署
个人专题目录1.RabbitMQ
集群搭建
实际生产应用中都会采用消息队列的集群方案,出于MQ中间件本身的可靠性、并发性、吞吐量和消息堆积能力等问题的考虑,在生产环境上一般都会考虑使用RabbitMQ的集群方案
Java及SpringBoot
·
2024-02-07 21:21
【hadoop】
集群搭建
之部署mysql并远程访问(连接)
目录一、前言介绍二、什么是mysql集群三、如何进行mysql的
集群搭建
部署?步骤?
db_lcz_2014
·
2024-02-07 18:32
hadoop
mysql
大数据
Mysql
集群搭建
学习01 2018-08-29
准备centos安装1.在Hyper-V上新建虚拟机1.1创建虚拟机Hyper-V.png1.2虚拟机向导前几步直接跟着导航下一步即可开始之前.png指定名称和位置.png可使用默认值指定代数.png据说第一代是支持32位和64位。第二代是支持64位的更多高级功能分配内存根据自己电脑内存情况和所需大小进行配置配置网络后期可以设置,这里设置更方便连接虚拟硬盘安装选项选择自己的镜像文件。可后期选,此处
夏_未至
·
2024-02-07 15:54
DataX概述
1.概述DataX是阿里开源的的一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、
HBase
、FTP等各种异构数据源之间稳定高效的数据同步功能
大数据开发工程师-宋权
·
2024-02-07 14:01
DataX
hadoop
阿里云datax工具使用详解
介绍特征安装前准备工作-系统需求快速开始补充datax介绍DataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括MySQL、SQLServer、Oracle、PostgreSQL、HDFS、Hive、
HBase
王春星
·
2024-02-07 14:01
数据高效导入工具
大数据数据迁移工具选择
快速导数据工具
异构数据源导入工具
大数据工具
datax安装与使用详解
一、dataX概览1.1DataXDataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括MySQL、SQLServer、Oracle、PostgreSQL、HDFS、Hive、
HBase
jhchengxuyuan
·
2024-02-07 14:00
hadoop
大数据
datax
大数据
请问半吊子 C++选手该如何深入学习 C++?
java是典型的后台语言,能和netty、hadoop、
hbase
-、elastics
枪哥玩转嵌入式
·
2024-02-07 11:21
51单片机
智能小车
嵌入式
单片机
51单片机
单例模式
hadoop
集群搭建
踩坑实录
由于不可控以及不可知的原因我搭建的hadoop集群突然显示虚拟机出现了问题导致某一个DataNode数据丢失并且无法通过Xshell远程访问其他的DataNode主机和虚拟机无法互相ping通网上能找的解决办法基本都找了依然无法解决因此我能想到的是只能删除虚拟机重新克隆一台机器然而还是无法通过远程连接无奈之下我重启电脑发现又可以通过Xshell远程访问了具体原因尚不知晓克隆成功后发现集群先格式化集
温文尔雅的流氓
·
2024-02-07 10:39
Hadoop
Hadoop分布式计算实验踩坑实录及小结
目录Hadoop分布式计算实验踩坑实录及小结踩坑实录Hadoop学习Hadoop简介HDFSSomeconceptsMapReduce主要配置文件
集群搭建
来源与引用Hadoop分布式计算实验踩坑实录及小结踩坑实录单机
小童同学_
·
2024-02-07 10:08
HIT
hadoop
分布式
ubuntu
java
大数据命令,一文在手,全部都有(送纯净版文档)
但是对于
HBase
.....这类框架命令比较少,就不再本篇展示。望周知。其中内容包含以下,具体命令会一一介绍。现在关注微信公众号【大数据左右手】,在公众号号中回复关键字【资料】,进群可获取
大数据左右手
·
2024-02-07 09:35
大数据
大数据
zookeeper
hadoop
flink
linux
Elasticsearch三节点
集群搭建
Elasticsearch三节点
集群搭建
1、Elasticsearch简介Elasticsearch是一款近实时的分布式搜索、分析引擎,可以动态横向扩展以应对数据的增长。
TSLONG_TSL
·
2024-02-07 09:18
Elasticsearch
elasticsearch
原来还可以使用 DataX 进行数据同步
DataX实现了包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、
HBase
、TableStore(OTS)、MaxCompute(ODPS)、Hologres
lytao123
·
2024-02-07 06:16
➤
数据库
big
data
hive
java
DataX
Clickhouse
Clickhouse到
HBase
(Phoenix)数据导入 DataX
DataXDataX是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、
HBase
、FTP等各种异构数据源之间稳定高效的数据同步功能。
布尔科技技术团队
·
2024-02-07 06:44
hbase
oracle
postgresql
数据仓库
3.0 Zookeeper linux 服务端
集群搭建
步骤
本章节将示范三台zookeeper服务端
集群搭建
步骤。
二当家的素材网
·
2024-02-07 03:27
运维
Zookeeper
教程
zookeeper
linux
分布式
2024-02-06(Sqoop)
Hadoop生态包括:HDFS,Hive,
Hbase
等。RDBMS体系包括:Mysql,Oracle,DB2等。Sq
陈xr
·
2024-02-06 23:29
随记日志
sqoop
大数据
K8S
集群搭建
1.28.x
1、Kubernetes集群规划主机名IP地址说明master192.168.33.201主节点node1192.168.33.202从节点noide2192.168.33.202从节点2、准备环境1、关闭防火墙systemctlstopfirewalldsystemctldisablefirewalld2、关闭selinuxsed-i's/enforcing/disabled/'/etc/sel
程丶的摆烂日常
·
2024-02-06 18:26
k8s
kubernetes
云原生
Hbase
数据迁移
Hbase
数据迁移可选方案对比l已验证方案操作说明:nExport&importu导出命令及示例
hbase
org.apache.hadoop.
hbase
.mapreduce.Export“表名”文件路径导出至本地文件系统
运维那些事儿
·
2024-02-06 14:44
hbase
hbase
hadoop
大数据
Prometheus监控实战篇Nginx、
Hbase
一、Prometheus监控Nginx1、监控Nginx相关插件下载地址nginx_exporter下载地址Nginx_module-vts下载地址nginx-release下载地址Prometheus(8.3.3)和grafana(2.32.1)我使用的是官网最新版2、编译Nginx注意:我这边是使用rpm安装的Nginx。所以要进行编译一下,可以根据自己的实际情况进行操作2.1下载nginx-
运维那些事儿
·
2024-02-06 14:13
Prometheus
nginx
hbase
运维
redis
集群搭建
(基于redis5.0+)
一、前戏1.1下载软件去官网下载软件:https://redis.io/download,笔者使用的是5.0.12,理由就是本人公司使用的也是这个版本。1.2物理机配置本人搭建的是3主3从。使用3台虚拟机,保证主从分配不在一台机器上,避免某台机器挂掉而影响整个集群的运行。物理配置:1.192.168.37.133:63702.192.168.37.133:63803.192.168.37.130:
She_lock
·
2024-02-06 12:51
redis
redis5.0集群
redis集群常见错误
redis启动脚本
redis集群最简配置
RabbitMQ
集群搭建
rabbitMQ的两种重要特性,异步化提高系统抗峰值能力和系统及功能解耦,这两个特点决定了rabbitMQ在我们的系统中占据了重要的地位,所以为了让RabbitMQ高可用,我们今天就来讲解下RabbitMQ的集群环境搭建应用常识一般情况下,一个单机版的rabbitMQ能承受大运1000/s的消息量(跟网络和消息的大小有关,数值存在波动),但是如果是集群环境中,就可以将访问的压力分摊到集群中的其他节
AmosZhu
·
2024-02-06 10:12
minio
集群搭建
(纠删码模式)
搭一个4个节点,16块硬盘的minio集群。1.先做一些准备工作,新建了4个centos7的虚拟机,各新添加4块硬盘我用的虚拟机软件是VirtualBox,先搭建4个虚拟机,即4个节点,建虚拟机就不讲了用VirtualBox添加硬盘,这几台虚拟机硬盘我都添加过了,我用一个其他node35这个机器介绍硬盘添加添加磁盘这块我也不是特别懂,但是在搭建minio集群的过程中我是这么做的,而且成功了下一步,
hahaha 1hhh
·
2024-02-06 09:52
minio
centos
Kafka 使用手册
2.kafka基础架构3.kafka
集群搭建
4.kafka命令行操作主题命令行【topic】生产者命令行【producer】消费者命令行【consumer】5.kafka生产者生产者消息发送流程Producer
@lihewei
·
2024-02-06 08:01
kafka
分布式
ELFK日志采 - QuickStart
文章目录架构选型ELKEFLKElasticsearchES
集群搭建
常用命令Filebeat功能介绍安装步骤Filebeat配置详解filebeat常用命令Logstash功能介绍安装步骤Input插件
@lihewei
·
2024-02-06 07:25
elk
Redis(三)主从架构、Redis哨兵架构、Redis集群方案对比、Redis高可用
集群搭建
、Redis高可用集群之水平扩展
转自极客时间Redis主从架构redis主从架构搭建,配置从节点步骤:1、复制一份redis.conf文件2、将相关配置修改为如下值:port6380pidfile/var/run/redis_6380.pid#把pid进程号写入pidfile配置的文件logfile"6380.log"dir/usr/local/redis-5.0.3/data/6380#指定数据存放目录#需要注释掉bind#b
_蓝天IT_
·
2024-02-06 07:37
分布式
redis
架构
java
MongoDB分片
集群搭建
----前言mongodb分片一般用得比较少,需要较多的服务器,还有三种的角色一般把mongodb的副本集应用得好就足够用了,可搭建多套mongodb复本集mongodb分片技术mongodb副本集可以解决数据备份、读性能的问题,但由于mongodb副本集是每份数据都一模一样的,无法解决数据量过大问题mongodb分片技术能够把数据分成两份存储,假如shijiange.myuser里面有1亿条数据
ZzzkiYoumi
·
2024-02-06 06:21
MongoDB
mongodb
数据库
dba
Centos7.5+Ambari2.7.3+HDP3.1.0.0离线安装
就Ambari的作用来说,就是创建、管理、监视Hadoop集群,但是这里的Hadoop指的是Hadoop整个生态圈(例如Hive,
Hbase
,Sqoop,Zookeeper等),而并不仅是特指Had
WaiSaa
·
2024-02-06 02:53
hbase
基本命令
1、进入
hbase
的shell
hbase
提供了一个shell的终端给用户交互[root@hadoop3conf]#
hbase
shell退出使用quit或者ctrl+c需要关闭hadoop的安全模式不然进行一些操作
小月半会飞
·
2024-02-06 01:52
2.RocketMQ
集群搭建
与消息发送样例
1.RocketMQ
集群搭建
1.1各角色介绍mqGroup.png角色NameServer:Broker的管理者。Broker自己去上报NameServer自己的存在Broker:消息的存储者。
lambdaCC
·
2024-02-06 00:58
大数据之 ZooKeeper原理及其在Hadoop和
HBase
中的应用
链接:https://blog.csdn.net/zhang123456456/article/details/78008626ZooKeeper是一个开源的分布式协调服务,由雅虎创建,是GoogleChubby的开源实现。分布式应用程序可以基于ZooKeeper实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列等功能。简介ZooKeep
yangfhit
·
2024-02-05 20:29
Kafka2.13
集群搭建
并配置hosts172.17.0.2 node0172.17.0.3 node1172.17.0.4 node2在其中一台服务器中搭建Zookeeper(单机或集群都可以)Zookeeper
集群搭建
参考链接下载
咩哥无敌
·
2024-02-05 17:57
kafka
kafka
zookeeper
分布式
大数据技术应用场景
(2)
HBase
:
HBase
作为NoSQL类非关系数据库的代表性产品,从分类上可以划分到存储类别,它的底层存储也用到了HDFS。
大数据基础入门教程
·
2024-02-05 16:08
大数据
大数据应用场景
6.Linux虚拟机下的Hadoop
集群搭建
之完全分布式配置
Hadoop及相关组件搭建指导WeChat:h19396218469hadoop-3.1.3jdk-8u162-linux-x64本案例软件包:链接:https://pan.baidu.com/s/1ighxbTNAWqobGpsX0qkD8w提取码:lkjh(若链接失效在下面评论,我会及时更新)一、配置Hadoop集群主节点1.进入目标文件夹。cd/usr/local/hadoop/etc/ha
学习BigData
·
2024-02-05 13:01
关于Hadoop的学习笔记
hadoop
分布式
linux
Exception in thread “main“ java.lang.NoSuchMethodError: com.google.comon.base.Preconditions.checkArg
hadoop-3.1.3
hbase
-2.2.2-bin一、问题描述:在学习林子雨老师编写的《Spark编程基础》时使用如下命令运行jar包读取
HBase
时出现如下错误:Exceptioninthread
学习BigData
·
2024-02-05 13:01
关于Hadoop的学习笔记
java
hadoop
hive
4.Linux虚拟机下的Hadoop
集群搭建
之Xshell及Xftp的使用和SSH服务配置
Hadoop及相关组件搭建指导WeChat:h19396218469本案例软件包:链接:https://pan.baidu.com/s/1ighxbTNAWqobGpsX0qkD8w提取码:lkjh(若链接失效在下面评论,我会及时更新)一、Xshell和Xftp的使用在这里我们首先要了解两个软件,一个是Xshell另一个是Xftp。1.Xshell是一个强大的安全终端模拟软件,它支持SSH1,SS
学习BigData
·
2024-02-05 13:31
关于Hadoop的学习笔记
linux
hadoop
ssh
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他