greenplum分布式集群

elk7.10.2安装（vm版）

elk7.10.2分布式集群安装（centos7）ELK安装主机规划192.168.31.101cancer01esmaster/esdatanode/logstash192.168.31.102cancer02esmaster
leveretz·2023-12-14 22:46

GPDB - 高可用特性 - 同步复制与异步复制

GPDB-高可用特性-同步复制与异步复制GreenPlum是基于PostgreSQL的分布式数据库，master用于接收用户请求并生成执行计划与分发，当然也可以参与计算；而segment则用于存储数据，
yzs87·2023-12-14 20:58

Zookeeper系统性学习-应用场景以及单机、集群安装

在解决分布式数据一致性方面，ZooKeeper并没有直接采用Paxos算法，而是采用了名为ZAB的一致性协议ZooKeeper主要用来解决分布式集群中应用系统的一致性问题，它能提供基于类似于文件系统的目录节点树方式的数据存储
无敌少年小旋风·2023-12-14 12:05

Mysql分布式集群部署---MySQL集群Cluster将数据分成多个片段，每个片段存储在不同的服务器上

1.1目的部署MysqlCluster集群环境1.2MySQL集群Cluster原理1数据分片MySQL集群Cluster将数据分成多个片段，每个片段存储在不同的服务器上。这样可以将数据负载分散到多个服务器上，提高系统的性能和可扩展性。2.数据同步MySQL集群Cluster使用多个服务器来存储数据，因此需要确保数据在不同的服务器之间同步。MySQL集群Cluster使用多种同步机制，如异步复制、
qq_14910065·2023-12-06 09:41

Kubernetes(K8s)安全认证-10

安全认证访问控制概述Kubernetes作为一个分布式集群的管理工具，保证集群的安全性是其一个重要的任务。所谓的安全性其实就是保证对Kubernetes的各种客户端进行认证和鉴权操作。
渣渣龙_拽得很·2023-12-06 09:53

HBase 伪分布式集群模式安装md

HBase伪分布式集群模式安装（Pseudo-Distributed）1.解压hadoop到/usr/local/src路径下，改名为hbasetar-zxvf/opt/soft/hbase…tar.gz-C
会java的怪蜀黍·2023-12-06 07:52

Java零基础——RocketMQ篇

RocketMQ简介官网：http://rocketmq.apache.org/RocketMQ是阿里巴巴2016年MQ中间件，使用Java语言开发，RocketMQ是一款开源的分布式消息系统，基于高可用分布式集群技术
动力节点IT教育·2023-12-05 17:03

集群调度LSF及bsub相关命令在芯片验证中的应用

1.前言：LSF（LoadSharingFacility）是IBM旗下的一款分布式集群管理系统软件，负责计算资源的管理和批处理作业的调度。
Bug_Killer_Master·2023-12-05 16:50

OGG实现Oracle19C到postgreSQL14的实时同步

中国DBA联盟(ACDU)成员，目前服务于工业互联网擅长主流Oracle、MySQL、PG、高斯及Greenplum运维开发，备份恢复，安装迁移，性能优化、故障应急处理等。
IT邦德·2023-12-05 14:02

艺术~安全至上（SQL注入、CSRF攻击、DDoS攻击）

文章目录前言SQL注入防御方式CSRF攻击CSRF的特点防御方式同源检测附加本域DDoS攻击防御方式IP限流分布式集群防御IP轮询技术SYNFlood攻击解决思路暴力破解防御方式信息泄露前言处于现在这个互联网时代
Listen-Y（学习&踩坑笔记本）·2023-12-05 14:54

查询Greenplum的视图和存储过程，指定schema

查询视图SELECTschemaname,viewnameASview_name,definitionASview_definitionFROMpg_viewsWHEREschemaname='dcf_user';查询存储过程-查用户所有SELECTa.proname,a.prosrc,b.rolnameFROMpg_procaleftjoinpg_rolesbona.proowner=b.oid
麻花2013·2023-12-05 13:50

Ubuntu下搭建Hadoop分布式集群

应课程要求，这学期学习到了云计算与大数据，这次实验就是让我们在ubuntu中配置好hadoop分布式集群，这两天就从网上一边搜寻教程并结合课本（课本上是使用的centos，而且版本较老，不太适用）一边自己动手做
夜雨声烦ikkk·2023-12-05 08:19

一文解析ZooKeeper —ZooKeeper特性及ZooKeeper到底解决了什么问题

是用于简化分布式应用开发的，对开发者屏蔽一些分布式应用开发过程中的底层细节ZooKeeper对外暴露简单的API，用于支持分布式应用开发ZooKeeper在提供上述功能的同时，其还是一个高性能、高可用、高可靠的分布式集群上面
Java柚子·2023-12-05 06:56

分布式集群架构方案

写在前面：本文写作前景为在b站上看到的一个三高（高可用、高并发、高性能）的分布式集群架构方案，并对其中的pxc集群以及haproxy负载均衡进行了试验。如若文中出现错误，欢迎广大网友提出。
樵夫有桥·2023-12-04 16:33

基于ora2pg迁移Oracle19C到postgreSQL14

中国DBA联盟(ACDU)成员，目前服务于工业互联网擅长主流Oracle、MySQL、PG、高斯及Greenplum运维开发，备份恢复，安装迁移，性能优化、故障应急处理等。
IT邦德·2023-12-03 13:06

一、Zookeeper基本知识

主要用来解决分布式集群中应用系统的一致性问题。ZooKeeper本质上是一个分布式的小文件存储系统。提供基于类似于文件系统的目录树方式的数据存储，并且可以对树中的节点进行有效管理。
geek@z·2023-12-03 06:29

关于你对 Zookeeper 的理解

普通人Zookeeper是一种开放源码的分布式应用程序协调服务是一个分布式的小文件存储系统一般对开发者屏蔽分布式应用开发过过程种的底层细节用来解决分布式集群中应用系统的一致性问题高手对于Zookeeper
武昌库里写JAVA·2023-12-03 05:56

Zookeeper入门

本质上是一个分布式的小文件存储系统ZooKeeper作用:主要用来解决分布式集群中应用系统的一致性问题。ZooKeeper结构:采用树形层次结构，ZooKeeper树中的每个节点被称为—Znode。
Yan_bigdata·2023-12-02 19:30

Redis高可用集群架构

高可用集群架构哨兵模式缺点主从切换阶段，redis服务不可用，高可用不太友好只有单个主节点对外服务，不能支持高并发单节点如果设置内存过大，导致持久化文件很大，影响数据恢复，主从同步性能高可用集群由多个主从节点群组成的分布式集群
kk_0910·2023-12-02 06:27

三、架构设计

架构设计1技术架构图1RocketMQ架构上主要分为四部分，如上图所示:Producer：消息发布的角色，支持分布式集群方式部署。
放开那个BUG·2023-12-02 01:06

混合云案例：利用 Databend Cloud 高效加速私有 Databend 的策略与实施

目前，Databend在多个用户场景中得到广泛应用，包括：新媒体行业数据分析及大屏数据展示云上CDH替代以减少本地磁盘和资源占用性能明显提升的云上Greenplum替代方案降低用户管理复杂度的云上Clickhouse
Databend·2023-12-01 20:58

思腾云计算

思腾合力作为人工智能基础架构解决方案商，面对大规模集群系统的算力需求挑战，推出统一管理的分布式集群基础架构解决方案。
STGPU·2023-12-01 06:05

Apache Airflow (十四) ：Airflow分布式集群搭建及测试

个人主页：IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主：加入大数据技术讨论群聊，获取更多大数据资料。博主个人B栈地址：豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录1.节点规划2.airflow集群搭建步骤3.初始化Airflow4.创建管理员用户信息5.配置SchedulerHA6.启动Airflow集群7.访问A
IT贫道·2023-11-30 11:01

Hadoop-HDFS详解与HA，完全分布式集群搭建(细到令人发指的教程)

前言本篇篇幅较长，有许多集群搭建干货，和枯燥乏味但是面试可能问到的理论知识。思来想去不知道怎样才能鼓励自己加油学习，想想要面对的生活还是假吧意思打开学习视频吧。目录一、引入hdfs是什么hdfs的由来hdfs架构体系hdfs的优缺点优点缺点二、HDFS_block简介和注意事项Block拆分标准三、HDFS_block安全与管理Block数据安全Block的管理效率四、HDFS_Hadoop3完全
毫无感情的dj·2023-11-30 10:06

Spark3 on Yarn分布式集群安装部署(YARN模式)

Spark3onYarn分布式集群安装部署一、配置spark-defaults.conf二、配置spark-env.sh三、配置yarn-site.xml四、启动Hadoop和Spark集群五、基于YARN
最笨的羊羊·2023-11-30 03:57

Hadoop大数据开发__Spark on YARN模式分布式集群安装部署

1、下载解压sparkcd/home/hadoop/apptar-zxvfspark-3.3.0-bin-hadoop3.tgzrmspark-3.3.0-bin-hadoop3.tgzln-sspark-3.3.0-bin-hadoop3spark2、修改spark-env.shcd/home/hadoop/app/spark/confvispark-env.sh#追加下面的路径HADOOP_C
姚华军·2023-11-30 02:32

Spark3分布式集群安装部署（YARN模式）

Spark3分布式集群安装部署（YARN模式）一、解压Spark3二、重命名三、配置Spark3环境变量四、修改spark-defaults.conf五、配置yarn-site.xml六、从节点配置七、
最笨的羊羊·2023-11-30 02:32

大数据开源框架环境搭建(七)——Spark完全分布式集群的安装部署

前言：七八九用于Spark的编程实验大数据开源框架之基于Spark的气象数据处理与分析_木子一个Lee的博客-CSDN博客_spark舆情分析目录实验环境：实验步骤：一、解压二、配置环境变量：三、修改配置文件1.修改spark-env.sh配置文件：2.修改配置文件slaves:3.分发配置文件：四、测试：五、网页测试：六、解决能启动SparkShell但是报错：七、安装python3.6八、Ju
木子一个Lee·2023-11-30 02:31

Spark完全分布式搭建（On Yarn）

文件四、启动集群1.先起动Hadoop的HDFS和Yarn2.启动Spark五、Web查看集群启动情况六、测试例子七、集群配置介绍必读引言：本文是基于Hadoop完全分布式搭建的SparkOnYarn分布式集群
Congee小周·2023-11-30 02:00

创建一个spring cloud分布式集群过程

1.先创建一个maven父工程普通maven项目，删除其中得src等文件，只保留pom文件，然后在父项目中添加子项目模块，这里添加了一个eureka注册中心，以及连个普通业务模块（具体如何添加，后面说明）父maven项目基本目录2.创建一个子项目，先从eureka开始，选中父项目创建项目，然后选择springboot项目，创建得时候选择web依赖，创建好了之后，在pom文件添加springclou
PunkP·2023-11-30 01:49

谨慎Apache-Zookeeper-3.5.5以后在CentOS7.X安装的坑

目录前言一、现场还原二、问题诊断三、问题原因总结前言最近由于项目需要，在服务器上需要搭建Hbase完全分布式集群环境。开发环境，采用的是最小节点的方式进行搭建（即3个节点的模式）。
夜郎king·2023-11-30 00:25

详解开源大数据引擎Greenplum的架构和技术特点

作者：周雷皓，百度外卖大数据工程师，本文为《程序员》原创文章，未经允许不得转载，更多精彩文章请订阅《程序员》本文介绍了大数据引擎Greenplum的架构和部分技术特点。
腾讯开发者·2023-11-29 13:53

保姆级LLM训练教程：阿里云平台使用accelerate,deepspeed多机多卡训练Chatglm2-6B

如果之前做过分布式集群搭建的，这肯定是难不倒他们的，但是对于一个普通的小白，如何从0到1去搭建多机多卡训练是个很大的难题，我也走了不少的坑，如果对大家有帮助请给一个小小的关注。
小鸡不简单·2023-11-28 09:13

Go语言开发环境安装

由于Go语言的并发特性，非常适用于Web服务器、分布式集群计算、云计算、游戏服务端等的开发。在区块链（如以太坊，Ethereum）、容器（如Kubernetes）领域都有广泛的应用。本文介绍Go语言开
测试开发小记·2023-11-28 04:42

基于OGG实现MySQL实时同步

中国DBA联盟(ACDU)成员，目前服务于工业互联网擅长主流Oracle、MySQL、PG、高斯及Greenplum运维开发，备份恢复，安装迁移，性能优化、故障应急处理等。
IT邦德·2023-11-27 09:41

单机搭建zookeeper伪分布式集群

最近在研究Hbase的时候,说要依赖zookeeper集群,于是又花时间来研究了下zookeeper集群的搭建,希望能帮到一些童鞋.首先将zookeeper解压之后,创建了个zookeepercluser的文件夹将解压的zookeeper复制三份到zookeepercluser下现在以zookeeper0这个的配置为例子,其余两台照此配置就行1.给data文件下面添加一个myid的文件并赋值
zhangvivid·2023-11-27 04:30

zookeeper单机模式和伪分布式集群的搭建

选择版本下载并解压apache-zookeeper-3.5.7-bin.tar.gz单机模式tar-zxvfapache-zookeeper-3.5.7-bin.tar.gz-C/usr/local/zookeeper创建data目录,将conf下的zoo_sample.cfg改名为zoo.cfgmkdir/usr/local/zookeeper/datacp/usr/local/zookeepe
生气要吃糖吖·2023-11-27 04:55

[Hbase]Hbase2.2.6的分布式集群搭建(使用自带的zookeeper)

1.Hbase2.2.6分布式集群搭建1.1.前提本次示例默认你已经完成了了如下操作：JDK的配置节点间的免密登录hadoop集群的搭建集群的时间同步1.2.Hbase分布式集群的架构图首先，本次示例需要三个节点
_balabala_·2023-11-26 19:53

项目十八-Hadoop+Hbase分布式集群架构“完全篇”

本文收录在Linux运维企业架构实战系列前言：本篇博客是博主踩过无数坑，反复查阅资料，一步步搭建，操作完成后整理的个人心得，分享给大家~~~1、认识Hadoop和Hbase1.1hadoop简单介绍Hadoop是一个使用java编写的Apache开放源代码框架，它允许使用简单的编程模型跨大型计算机的大型数据集进行分布式处理。Hadoop框架工作的应用程序可以在跨计算机群集提供分布式存储和计算的环境
weixin_33724059·2023-11-26 19:52

Hadoop+Hbase 分布式集群架构“完全篇”

1.认识Hadoop和Hbase1.1Hadoop简单介绍Hadoop是一个使用Java编写的Apache开放源代码框架，它允许使用简单的编程模型跨大型计算机的大型数据集进行分布式处理。Hadoop框架工作的应用程序可以在跨计算机群集提供分布式存储和计算的环境中工作。Hadoop旨在从单一服务器扩展到数千台机器，每台机器都提供本地计算和存储。1.2Hadoop架构Hadoop框架包括以下四个模块：
架构文摘·2023-11-26 19:22

Java工程师架构学习—互联网公司分布式集群架构

一、小型公司网络架构狗子是某大学计算机专业本科应届毕业生，由于自己的技术不错，再加上互联网产业的巨大利润的驱使，狗子决定走上创业这条路，于是，狗子联合了同学二黑，鸡子，狗蛋等人花费了几个月的时间写出了一套网站，是关于足球资讯的pc端网站加上手机APP客户端。现在产品测试成功了，准备发布了，狗子想到了两个问题：1.网站需要服务器狗子之前所有的代码测试都是在本地服务器或者局域网上进行的，现在需要把产品
程序人生a·2023-11-26 18:59

常见分布式锁实现原理与使用方法

而在分布式集群工作的开发场景中，就需要一种更加高级的锁机制来处理跨机器的进程之间的数据同步问题，这种跨机器的锁就是分布式锁。大致分为两种，一种是数据库层面的锁，在一段读写期间，无其他线程侵入。
bulingbuling^_^·2023-11-26 16:13

1、分布式锁实现原理与最佳实践（一）

而在分布式集群工作的开发场景中，就需要一种更加高级的锁机制来处理跨机器的进程之间的数据同步问题，这种跨机器的锁就是分布式锁。接下来本文将为大家分享分布式锁的最佳实践。
myprince003·2023-11-26 16:05

k8s-8:Volumes(2)StatefulSet，Mysql主从集群配置

StatefulSet原理及实现2.项目：使用statefullset部署mysql主从集群1.StatefulSet原理及实现StatefulSet通过HeadlessService维持Pod的拓扑状态对于分布式集群或主从集群
LeeHoo0·2023-11-26 06:46

17 redis集群方案

1、RedisCluster分布式集群解决方案为了解决单机内存，并发等瓶颈，可使用此方案解决问题.Redis-cluster是一种服务器Sharding技术，Redis3.0以后版本正式提供支持。
水无痕simon·2023-11-26 04:46

基于OGG实现Oracle实时同步MySQL

中国DBA联盟(ACDU)成员，目前服务于工业互联网擅长主流Oracle、MySQL、PG、高斯及Greenplum运维开发，备份恢复，安装迁移，性能优化、故障应急处理等。
IT邦德·2023-11-26 02:14

Docker swarm 集群

Swarm默认内置有加密的分布式集群存储（encrypteddistributedclusterstore）、加密网络（En
我就是我，不一样的烟火·2023-11-25 21:13

kafka系列-入门篇之基础概念

特性可扩展性，kafka搭建在分布式集群服务器上，支持水平无限扩展。容错性，kafka将数据副本存放在多台服务器上，避免服务器故障影响运行。高吞吐量，使用6块7200转SATA的
马各马它·2023-11-25 17:33

基于CentOS7的CDH6.3.2完全分布式集群搭建【上】

主要参考：【CDH实战01】基于CentOS7的CDH6.3.2完全分布式集群搭建【上】【CDH实战02】基于CentOS7的CDH6.3.2完全分布式集群搭建【下】如何从0开始学习大数据技术2020年
HansBigData·2023-11-25 14:18

Greenplum pg_hba.conf entry for host "192.168.2.111", user "gpadmin", database "template1", SSL off

Greenplum客户端连接报错SSLoff报错详情：pg_hba.confentryforhost“192.168.2.111”,user“gpadmin”,database“template1”,SSLoff
春日部动感超人·2023-11-25 13:40
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他