greenplum分布式集群

rancher使用（2）

为什么需要Rancher在原来,如果我们需要做一个分布式集群我们需要学习一全套的框架并编码实现如服务发现,负载均衡等逻辑,给开发者造成很大的负担,不过
websky·2023-07-30 04:09

Memcached服务分布式集群如何实现?

Memcached服务分布式集群如何实现?在分布式系统中，为了提高可用性、性能和扩展性，通常会使用多台服务器来构建一个Memcached集群。
Blue92120·2023-07-30 00:37

产品能力|AIRIOT数据采集与控制引擎在物联网项目中的硬核应用

AIRIOT全新上线的4.0物联网平台，强大的数据采集与控制引擎在满足海量驱动接入、分布式集群、高稳定性、数据接口集成、联动报警等需求场景上，都表现出
AIRIOT·2023-07-28 10:59

k8s容器日志收集方案

背景由于以下容器本身特性和现有日志采集工具的缺陷，开发者在收集Kubernetes分布式集群日志时常常遇到困扰：容器本身特性：采集目标多：容器本身的特性导致采集目标多，需要采集容器内日志、容器stdout
only°夏至besos·2023-07-28 08:13

Kafka集群——（区别于Master/Slave架构的的分布式集群）

Kafka角色介绍：1.Producer:消息生产者：2.Broker:kafka实例，可以理解为一台kafka服务器，kafkacluster是由多个broker构成的集群。3.Topic:消息主题，理解为消息队列，kafka数据就保存在topic里。4.Partition：消息分区，一个Topic会有多个分区，分区的作用是负载均衡，同一个topic在不同分区内的数据是不重复的，目的是提高kaf
YuannaY·2023-07-26 20:43

RocketMQ重复消费的解决方案::分布式锁直击面试!

rocketmq什么时候重复消费消息丢失的问题消息在哪里丢失发送端确保发送成功并且配合失败的业务处理消费端确保消息不丢失rocketmq主从+同步刷盘场景分析分布式系统架构中,队列是分布式的,生产端是分布式集群
学废Java·2023-07-26 06:43

什么是Redis?

5.实现分布式集群和高可用。
Java攻城狮　·2023-07-25 23:45

GreenPlum (一) 初识

在开始了解GreenPlum之前，应该对这种产品的诞生有基本的了解，搭建一个基本的知识框架。对以下历史有基本了解之后应对下文术语进行基本阅读。
Amarone·2023-07-25 20:49

14.RocketMQ之高可用性机制

1.2高可用性机制RocketMQ分布式集群是通过Master和Slave的配合达到高可用性的。
然而,然而·2023-07-25 17:18

限流算法总结

单机中可用Atomic原子类实现，分布式集群中可用Redis的incr实现。代码实现//计数器限流算法Code实现publicclassCase01{//@TODO如何使用Redis
李黎明·2023-07-25 12:31

基于Greenplum+Kafka的实时数据处理

了解更多Greenplum技术干货，欢迎访问Greenplum中文社区网站在追求数据时效性的今天，如何高效处理低延时的流数据，逐渐成为大家越来越关注的问题。
Greenplum中文社区·2023-07-25 11:29

大数据学习04-Hbase分布式集群部署

系统环境：centos7软件版本：jdk1.8、zookeeper3.4.8、hadoop2.8.5一、下载HBASE官网cd/home/toolswgethttps://archive.apache.org/dist/hbase/2.2.4/hbase-2.2.4-bin.tar.gz二、解压tar-zxvfhbase-2.2.4-bin.tar.gz-C/home/local/移动目录mvhb
小火柴012·2023-07-25 10:59

什么是Redis?

5.实现分布式集群和高可用。
Java攻城狮　·2023-07-25 01:54

大数据学习05-Kafka分布式集群部署

系统环境：centos7软件版本：jdk1.8、zookeeper3.4.8、hadoop2.8.5本次实验使用版本kafka_2.12-3.0.0一、安装Kafka官网将安装包上传至linux服务器上解压tar-zxvfkafka_2.12-3.0.0.tgz-C/home/local/移动目录至kafkamvkafka_2.12-3.0.0/kafka二、部署配置Kafka环境vi/etc/p
小火柴012·2023-07-24 15:11

Hadoop 之 分布式集群配置与使用（三）

Hadoop之分布式集群一.集群实例创建二.配置1.创建三个虚拟机（Anolis）1.修改HostName2.配置免密登录，配置前2.配置命名节点1.在nd1/nd2部署hadoop2.配置3.查看集群信息三
猪悟道·2023-07-24 15:22

RocketMQ源码分析

RocketMQ源码深入剖析1RocketMQ介绍RocketMQ是阿里巴巴集团基于高可用分布式集群技术，自主研发的云正式商用的专业消息中间件，既可为分布式应用系统提供异步解耦和削峰填谷的能力，同时也具备互联网应用所需的海量消息堆积
helloworld6379·2023-07-24 01:11

Spring Session的简单使用

现在越来越流行使用分布式集群方式部署应用，这就带来一个问题，session无法共享。
Hahahahahahaha~·2023-07-23 12:04

面试被怼？高并发经验不足？阿里架构师推荐十大高并发架构实战笔记

欢迎各位Java工程师朋友投稿和关注一、如何从单体应用向分布式架构顺利过度单体应用的劣势与瓶颈点从单体到大型网站架构演变分布式负载改造分布式Session改造应用的服务化改造分布式数据存储改造分布式集群设计改造二
骑着猪追马的程序员·2023-07-23 12:27

安装单机版greenplum

gp安装准备修改主机名称为bigdatahostnamectlset-hostnamebigdata修改完之后查看uname-a添加用户组groupadd-g3030gpadmin创建目录mkdir/home/gpdata创建用户useradd-u3030gpadmin-ggpadmin-d/home/gpdata配置内核参数vim/etc/sysctl.conf以下面内容覆盖原有内容：kerne
新丨客·2023-07-19 17:54

【云原生】k8s安全机制

前言Kubernetes作为一个分布式集群的管理工具，保证集群的安全性是其一个重要的任务。APIServer是集群内部各个组件通信的中介，也是外部控制的入口。
zhangchang3·2023-07-19 13:29

Greenplum5.4.0分布式集群（4节点）安装与配置

Greenplum5.4.0分布式集群（4节点）安装与配置1、环境介绍Vmware虚拟机,4台操作系统：Centos7.4硬件资源配置：  CPU：1 内存：1Gb 磁盘空间：20Gb操作系统：centos7.4
sfrem·2023-07-19 11:55

关于greenplum(postgersql)日期为闰年闰月闰日的处理

近日有个报表端的特殊需求，遇到了闰年闰月闰日的处理，具体如下：新需求，生成一个新字段预警日期（warndate），要求在原表结束日期(enddate)基础上减一年原表（A）主要涉及三个字段:1、启始日期（startdate）2、年数(years)3、结束日期(enddate)其中：结束日期=启始日期+年数问题：启始日期含有2月29日的闰日，而年数(years)不固定，导致结束日期(enddate)
sfrem·2023-07-19 11:55

大数据学习03-Hive分布式集群部部署

系统环境：centos7软件版本：jdk1.8、zookeeper3.4.8、hadoop2.8.5、hive1.1.0一、下载安装下载hive安装包，上传到linux服务器上，解压安装包tar-zxvfapache-hive-1.1.0-bin.tar.gz-C/home/local/重命名文件mvapache-hive-1.1.0-bin/hive二、Hive部署配置Hive环境vi/etc/
小火柴012·2023-07-19 10:03

使用Quartz实现分布式集群任务调度

1.Quartz简单使用定时任务需求可以使用以下技术:(定时器)quartz:可以使用集群,使用不方便spring-task:不能使用集群,使用方便,一个注解完事xxl-job定时任务,中国人写的elastic-job开源的,功能多Quartz是Jobscheduling（作业调度）领域的一个开源项目，Quartz既可以单独使用也可以跟spring框架整合使用，在实际开发中一般会使用后者。使用Qu
小象子·2023-07-19 05:51

大数据学习02-Hadoop分布式集群部署

操作系统：centos7软件环境：jdk8、hadoop-2.8.5一、创建虚拟机1.下载VMware,建议支持正版2.安装到Widows目录下任意位置即可，安装目录自定义。打开VMware，界面如下：3.创建虚拟机创建虚拟机—>选择自定义这一步按照默认的配置就好选择系统，安装程序光盘映像文件iso，这里需要下载cenos镜像文件给虚拟机命名，选择虚拟机安装位置处理器配置内存配置配置虚拟机网络连接
小火柴012·2023-07-18 14:19

GreenPlum数据库日常维护

哈喽！大家好，我是【IT邦德】，江湖人称jeames007，10余年DBA工作经验一位上进心十足的【大数据领域博主】！中国DBA联盟(ACDU)成员，目前从事DBA及程序编程擅长主流数据Oracle、MySQL、PG运维开发，备份恢复，安装迁移，性能优化、故障应急处理等。✨如果有对【数据库】感兴趣的【小可爱】，欢迎关注【IT邦德】❤️❤️❤️感谢各位大可爱小可爱！❤️❤️❤️文章目录前言1.官方文
IT邦德·2023-07-18 13:51

大数据学习01-Zookeeper分布式集群部署

二、下载zookeeper官网，本文使用的是zookeeper3.4.8版本三、安装部署将下载好的安装包上传至linux服务器上解压安装包tar-zxvfzookeeper-3.4.8.tar.gz-C/home/localzookeeper目录重命名mvzookeeper-3.4.8zookeeper配置环境vim/etc/profile添加如下配置#zookeeperexportZOOKEEP
小火柴012·2023-07-18 12:01

RocketMQ快速使用&基础

RocketMQ是阿里巴巴集团基于高可用分布式集群技术，自主研发的云正式商用的专业消息中间件，既
Allen-xs·2023-07-18 12:22

一百二十九、Kettle——从MySQL增量导入到GreenPlum

一、目标用Kettle从MySQL增量导入数据到GreePlum二、前提准备（一）kettle已连上MySQL（二）kettle已连上GreenPlum三、实施步骤（一）打开kettle，新建转换任务。
天地风雷水火山泽·2023-07-18 07:11

使用DataX，从Greenplum将数据传输到Hive分区表中

我司使用Greenplum作为计算库，实时计算统计数据，但是数据量大了之后影响计算速度。
枫叶梨花·2023-07-17 12:11

Minio部署总结

它兼容亚马逊S3云存储服务接口，非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意大小，从几kb到最大5T不等MinIO可单点部署,可分布式集群部署
csdncjh·2023-07-17 00:29

第二节HDFS完全分布式集群搭建与配置及常见问题总结

提示：此文章内容超级全面和详细文章目录前言一、HDFS完全分布式集群是什么？
羙橘·2023-07-16 23:44

Clickhouse

MergeTreeReplacingMergeTreeSummingMergeTree二、SQL操作1.Insert2.Update和Delete3.查询操作4.alter操作5.导出数据三、基于表的分布式集群集群写入流程
Aimyon_36·2023-07-16 11:52

mongodb分布式集群架构

一、关于mongodbMongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当***能最丰富，最像关系数据库的。他支持的数据结构非常松散，是类似json的bjson格式，因此可以存储比较复杂的数据类型。Mongo最大的特点是他支持的查询语言非常强大，其语法有点类
ywb201314·2023-07-16 10:52

Mongodb分布式集群搭建

https://www.cnblogs.com/littleatp/p/8563273.htmlmongodb配置主从模式在大数据的时代，传统的关系型数据库要能更高的服务必须要解决高并发读写、海量数据高效存储、高可扩展性和高可用性这些难题。不过就是因为这些问题Nosql诞生了NOSQL有这些优势：大数据量，可以通过廉价服务器存储大量的数据，轻松摆脱传统mysql单表存储量级限制。高扩展性，Nosq
weixin_33766805·2023-07-16 10:50

MongoDB分布式集群部署（复制集）

搭建复制集创建数据目录mkdir-p/mongod/data{1,2,3}准备配置文件正常情况下复制集的每个mongod进程应该位于不同的服务器。我们现在在一台机器上运行3个进程，因此要为它们各自配置：不同的端口。示例中将使用28017/28018/28019.不同的数据目录。示例中将使用：/mongod/data1/mongod/data2/mongod/data3不同日志文件路径。示例中将使用
愤怒的怪叔叔·2023-07-16 10:17

NOSQL，MongoDB分布式集群架构

MongoDB分布式集群架构看到这里相信你已经掌握了MongoDB的大部分基本知识，现在在单机环境下操作MongoDB已经不存在问题，但是单机环境只适合学习和开发测试，在实际的生产环境中，MongoDB
夜雨流云·2023-07-16 10:15

mongodb分布式集群部署过程

docker搭建借鉴文章：https://www.jianshu.com/p/163a60aec26e非docker搭建借鉴文章：https://blog.csdn.net/kevinmcy/article/details/82712074下载镜像dockerpullmongo创建配置服务服务器1:dockerrun-d--nameconfigsvr0-p10021:27019-v/Users/z
good_boys·2023-07-16 10:44

zookeeper第一课-Zookeeper特性与节点数据类型详解

1、Zookeeper特性与节点数据类型详解ZooKeeper是一个开源的分布式协调框架，是ApacheHadoop的一个子项目，主要用来解决分布式集群中应用系统的一致性问题。
friover·2023-07-16 02:20

2019-07-09 Dapper，大规模分布式系统的跟踪系统

MikeBurrows,PatStephenson,ManojPlakal,DonaldBeaver,SaulJaspan,ChandanShanbhag概述当代的互联网的服务，通常都是用复杂的、大规模分布式集群来实现的
李绍俊·2023-07-15 22:25

ElasticSearch入门篇（1）：windows环境搭建ES集群

  近期在学习ElasticSearch，便在windows下搭建了一个分布式集群，练习一些常用的DSL（类似于SQL）和JavaAPI。
ZeroXu0·2023-07-15 19:59

怎样进行大数据的入门级学习？掌握Linux，你就已经成功了一半

1.Linux基础和分布式集群技术学完此阶段可掌握的核心能力：熟练使用Linux，熟练安装Linux上的软件，了解熟悉负载均衡、高可靠等集群相关概念，搭建互联网高并发、高可靠的服务架构；学完此阶段可解决的现实问题
taya_a·2023-07-15 19:27

Hadoop知识点记录

在集群上实现了分布式计算和任务处理，HDFS在MapReduce任务处理过程中提供了文件操作和存储等支持，MapReduce在HDFS的基础上实现了任务的分发，跟踪，执行等工作，并收集结果，二者相互作用，完成了Hadoop分布式集群的主要任务对于
benluobo·2023-07-15 16:40

墨客网java_墨客网-知识拆解+经典定时任务案例 精讲Java定时任务框架Elastic-Job和Quartz...

课程介绍精讲Elastic-job+Quartz实现企业级定时任务掌握分布式集群方式的定时任务框架，可以弥补企业中常用的单点任务的缺点，以更高的性能更好的稳定性处理分布式定时任务服务；本课程带你掌握分布式框架
weixin_39566387·2023-07-15 13:38

MySQL分区分库分表和分布式集群

目录MySQL分区表的原理分库分表垂直分表水平分表一致性哈希算法分布式分库分表的主键ID问题（雪花算法）雪花算法应用：搭建发号器MySQL并发方案：读写分离MySQL分区表的原理分区表是一个独立的逻辑表，对用户来说是透明的，底层MySQL会将其分成多个物理子表，每一个分区表都会使用一个独立的表文件。创建表的时候使用partitionby子句定义每个分区存放的数据，执行查询时，优化器会根据分区定义过
浮尘笔记·2023-07-15 11:24

kubernetes安全机制

//机制说明Kubernetes作为一个分布式集群的管理工具，保证集群的安全性是其一个重要的任务。APIServer是集群内部各个组件通信的中介，也是外部控制的入口。
R1chArd_TvT·2023-07-15 06:56

基于Redis实现的分布式锁

分布式锁的Java代码体现优化一：使用UUID防止误删除优化二：LUA保证删除原子性什么是分布式锁单体单机部署中可以为一个操作加上锁，这样其他操作就会等待锁释放才能操作但是随业务的不断发展，单机应用常会被分布式集群系统所取代在分布式集群中存在多台机器
Hpuers·2023-07-15 04:31

SpringBoot+Redis+MemCache+Nginx+Lua实现三级缓存架构（二）——Nginx环境安装和整合Lua

工欲善其事必先利其器，本片博文我们先来搭建Nginx环境以及整合LuaRedis的环境搭建我们之前的博文《Redis教程（一）——Redis安装》已经搭建好了，本文只是实现三级缓存架构，所以Redis这里我们这暂时不做分布式集群
AmosZhu·2023-07-15 00:01

Greenplum6.x新加节点

一.互信配置已经互信的集群exists_hostsdw1dw2dw3新增机器dw4,dw5new_hosts文件中配置dw4dw5配置1-n互信ssh-copy-iddw4ssh-copy-iddw5若使用ssh-copy-id失败则可以将master的公钥复制到其他新服务器的authorized_keys中#方式一：登录master操作cat~/.ssh/id_rsa.pub|sshdw4"ca
xcSpark·2023-07-14 20:05

Greenplum查询相关优化

Greenplum查询相关优化管理查询生成的溢出文件错误1.ERROR:numberofworkfilesperquerylimitexceeded可能导致文件溢出过多的原因包括:被查询的数据中倾斜太严重为该查询分配的内存量太小如果为
xcSpark·2023-07-14 20:05
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他