greenplum分布式集群

Zookeeper 分布式锁 - 图解 - 秒懂

但当我们的应用是分布式集群工作的情况下，那么就需要一种更加高级的锁机制，来处理种跨机器的进程之间的数据同步问题。这就是分布式锁。
java知路·2022-12-06 07:44

Greenplum 6.0 版本官方最强解读

PivotalGreenplum6.0已于2019年9月4日正式发布，可从PivotalNetwork中下载。
Greenplum中文社区·2022-12-06 02:04

5分钟搞定 MySQL 到 Greenplum / PostgreSQL 数据迁移同步

简述本文主要介绍如何使用CloudCanal构建一条MySQL到Greenplum/PostgreSQL的数据同步链路。
·2022-12-03 12:06

RabbitMQ集群部署

一般来说，RabbitMQ部署分布式集群架构有如下三种：1.Cluster2.Federation3.Shovel其中最常用的就是cluster模式（集群），它可以动态增加节点或减少，但只支持同一网段的局域网内的节点
一条特立独行的狗、·2022-12-03 08:28

Python千万级数据量快速写入到Greenplum库中

在我们使用Python连接greenplum时，涉及到将数据写入到greenplum中。一般都是使用dataframe封装的to_sql函数。
zkkkkkkkkkkkkk·2022-12-02 14:45

python搭建分布式集群_利用python的dask搭建分布式集群

一、dask介绍优势：dask内部自动实现了分布式调度、无需用户自行编写复杂的调度逻辑和程序；通过调用简单的方法就可以进行分布式计算、并支持部分模型的并行化处理；内部实现的分布式算法：xgboost、LR、sklearn的部分方法等用一句话说：dask就是python版本的spark,是一个用Python语言实现的分布式计算框架二、dask安装1.环境建议使用：Anaconda3工具包系统：win
weixin_39951295·2022-12-02 13:33

百度开源联邦学习框架 PaddleFL：简化大规模分布式集群部署

百度开源联邦学习框架PaddleFL：简化大规模分布式集群部署作者|钰莹近两年，联邦学习技术发展迅速。
喜欢打酱油的老鸟·2022-12-01 17:11

quarts集群 运维_精讲Elastic-job + Quartz实现企业级定时任务

掌握分布式集群方式的定时任务框架，可以弥补企业中常用的单点任务的缺点，以更高的性能更好的稳定性处理分布式定时任务服务；本课程带你掌握分布式框架Elastic-Job和Quartz，在以多种方式开发定时任务系统的同时
魔力奥·2022-12-01 16:03

矩池云｜GPU 分布式使用教程之 TensorFlow

多机多卡分布式：需要先申请开通分布式集群功能，点击这里申请开通，在租用时，请选择带有如
机器学习是魔鬼·2022-11-30 22:30

kubernetes

K8S集群安全机制：Kubernetes作为一个分布式集群的管理工具，保证集群的安全性是其一个重要的任务。APIServer是集群内部各个组件通信的中介，也是外部控制的入口。
dingchengyu·2022-11-30 09:26

04-负载均衡及Ribbon&自定义负载均衡算法

LB，即负载均衡(LoadBalance)，在微服务或分布式集群中经常用的一种应用。负载均衡简单的说就是将用户的请求平摊的分配到多个服务上，从而达到系统的HA（高可用)。
xixihaha_coder·2022-11-30 09:18

HDFS RPC限流方案实践探索

文章目录前言HDFSRPC限流方案分级RPCqueue的调参分级RPCqueue的insight前言在前面的一篇关于分布式集群下的限流方案文章里，笔者阐述了一种在HDFS集群里的RPC限流架构。
Android路上的人·2022-11-29 16:01

hadoop集群搭建和配置

hadoop的优势是分布式集群计算，即搭建hadoop集群（完全分布式Hadoop）集群由节点组成，节点构成不同角色。
木北鲜生·2022-11-29 15:46

阿里云（轻量级Ubuntu 16.04 ）服务器搭建Hadoop伪分布式集群及实现pi值的计算

环境：在ubuntu16.04jdk1.8.0_171hadoop2.8.4一.租用服务器https://www.aliyun.com/?spm=5176.2020520001.aliyun_topbar.1.69864bd3NRoSf9二.安装jdk主要有两种方式：（1）通过ppa（源）方式安装（建议选择第一种，简单）（2）通过下载官网安装包1.添加ppa(博主用的最高权限root，所以不需要s
MuuuuYi·2022-11-29 15:40

分布式文件存储系统MinIO笔记

纠删码EC（ErasureCode）6、存储形式7、存储方案二、Minio环境搭建1、介绍2、单机部署2.1单机部署2.2基于Linux部署2.3基于docker部署(推荐)3、minio纠删码模式4、分布式集群搭建
魅Lemon·2022-11-28 14:39

Hadoop分布式集群时间同步（ntp）配置

目录时间服务器配置(必须root用户)1.查看所有节点ntpd(时间服务器)服务状态和开机自启状态2.修改hadoop102的ntp.conf配置文件3.重新启动ntpd服务并设置开机自启配置其他服务器1.关闭所有节点上的ntpd服务和自启服务2.配置与时间服务器同步3.测试如果服务器在公网环境(能连接外网)，可以不采用集群时间同步。因为服务器会定期和公网时间进行校准。如果服务器在内网环境，必须要
SoRA数据家·2022-11-28 11:22

VM ware安装Ubuntu及搭建Hadoop伪分布式集群详细步骤

1.虚拟机搭建的详细过程实验前的准备：==jdk==jdk-8u11-linux-x64.tar.gz提取码：qr5l==hadoop==hadoop-2.10.1.tar.gz提取码：bfxz==VMware==官网下载==centOS-XXX…-iso==文件过大阿里云镜像下载，熟悉那种Linux内核就下载那种，这个不会影响集群的搭建。https://pan.baidu.com/s/1tFvC
_小许_·2022-11-25 19:32

【技术沙龙】“Greenplum：重新定义大数据” 全国巡讲第四站

Greenplum经过十六年的打磨，已经成长为全球最先进、最成熟、最知名的开源MPP数据库，为国内外各行各业的知名企业所应用。其强大的功能
hzbooks·2022-11-24 14:20

Springboot + Quartz 实现分布式定时任务集群

Springboot+Quartz实现分布式定时任务集群quartz概念Quartz工作原理Quartz分布式集群定时任务实现代码地址（可参考实现）Quart官方介绍：https://github.com
陌守·2022-11-24 08:55

VGG论文总结

引言：卷积网络的成功归功于大型公开图片库、高性能计算系统(多GPU、大规模分布式集群)，ILSVRC作为多代大规模图像分类系统的实验平台。
Ccendoc·2022-11-23 12:56

redis缓存击穿、穿透、雪崩

和缓存击穿不同的是缓存击穿指并发同一条数据，雪崩是指好多数据都过期了解决方法1、设置热点数据永不过期2、设置时间过期时间随机，防止大量数据同时过期3、分布式集群，数据均匀分配到每
博客小周·2022-11-22 07:55

Pytorch(十一) —— 分布式(多GPU/多卡)训练 并行 (DP & DDP)

分布式对普通用户来说比较遥远，因为搭建一个分布式集群的代价很大，使用也比较复杂。相比之下，一机多卡更现实。如果服务器
hxxjxw·2022-11-22 03:56

【新书速递】高效使用Greenplum

Greenplum数据库是基于MPP架构的开源大数据平台，具有良好的弹性和线性扩展能力，内置并行存储、并行通信、并行计算和并行优化功能，兼容SQL标准，具有强大、高效的PB级数据存储、处理和实时分析能力
hzbooks·2022-11-21 18:03

Greenplum的又一本好书

了解更多Greenplum相关内容，欢迎访问Greenplum中文社区网站随着Greenplum社区的繁荣发展，Greenplum相关中文资料、文档和书籍也如春笋般涌现。
Greenplum中文社区·2022-11-21 18:32

不容错过 Greenplum的又一本好书

Greenplum数据库是基于MPP架构的开源大数据平台，具有良好的弹性和线性扩展能力，内置并行存储、并行通信、并行计算和并行优化功能，兼容SQL标准，具有强大、高效的PB级数据存储、处理和实时分析能力
阿福Chris·2022-11-21 18:01

技术内幕 | StarRocks Pipeline 执行框架（上）

#01背景介绍—Pipeline调度与MPP调度之间存在着明显的差异，前者是单机多核调度，后者是分布式集群的多机调度。总结下来，Pi
StarRocks_labs·2022-11-21 09:06

Linux从零搭建Hadoop集群(CentOS7+hadoop 3.2.0+JDK1.8+Mapreduce完全分布式集群案例)

Linux从零搭建Hadoop集群(CentOS7+hadoop3.2.0+JDK1.8+Mapreduce完全分布式集群案例)关键字和相关配置版本关键字：LinuxCentOSHadoopJava版本
星川皆无恙·2022-11-21 00:00

大数据技术栈

职位现状和未来发展技术栈Hadoop相关基本原理和操作：hdfs，yarn，mrOLTP：mysql，oracle，pg，etc…OLAP：Kylin，clickhouse，presto，impala，TD，Greenplum
辉常努腻·2022-11-20 04:32

SpringBoot+Quartz实现动态定时任务

开源工具Quartz，分布式集群开源工具，以下两个分布式任务应该都是基于Quartz实现的，可以说是中小型公司必选，当然也视自身需求而定。分布式任务XXL-JOB，
·2022-11-17 18:03

MySQL分布式集群搭建

1准备集群搭建环境使用6台虚拟机来搭建MYSQL集群，相应的实验环境与对应的MYSQL节点之间的对应关系如下图所示：节点名称节点IP节点内存节点硬盘大小节点CPUMYSQL节点角色Ubuntu-1192.168.1.26768M20G30%管理节点（MGM）Ubuntu-2192.168.1.27768M10G30%数据节点（NDB）Ubuntu-3192.168.1.28768M10G30%数据
普通网友·2022-11-17 10:50

从零开始，手把手带你搭建MySQL高可用集群

搭建MySQL分布式集群，例如：利用MySQLcluster，MySQLproxy，MySQLreplication，drdb等等，有人会问MySQL集群意义是什么呢？
ikyrxbxfas·2022-11-17 10:18

redis实现分布式锁及其问题解决方式

通俗的说：就是你在分布式集群中，如果你上锁的话，在当单机版中咱们可以实现，但是我们集群分布式中为其中一台机器上
一起去飞~·2022-11-15 18:26

Elasticsearch分布式数据库与ELK大数据平台实战培训（20小时）

风哥特别设计的一套比较系统的ElasticStack课程（7.9最新版本，上部+下部共计20小时），本教程内容涉及Elasticsearch数据库基础知识、Elasticsearch一般规模集群/亿万级规模分布式集群
风哥2号·2022-11-15 17:58

新手浅聊大型高并发系统架构

1.大型高并发系统架构高并发的系统架构都会采用分布式集群部署，服务上层有着层层负载均衡，并提供各种容灾手段保证系统的高可用,流量也会根据不同的负载能力和配置策略均衡到不同的服务器上。
打工人-·2022-11-13 12:23

10. Spring Boot2.5 实战 Docker 容器

10.SpringBoot2.5实战Docker容器一、SpringBoot2.5.x部署方式二、SpringBoot实战Docker容器DockerHub三、阿里云Docker镜像仓库四、Docker分布式集群架构五
天空鸟_时光不老·2022-11-08 20:49

docker swarm快速部署redis分布式集群的详细过程

目录环境准备Docker搭建Swarm集群打开防火墙(Swarm需要)创建Swarm加入Swarm服务约束单机集群创建容器启动容器进入容器启动集群分布式集群部署dockercompose.ymlwait-for-it.shredis-start.sh
·2022-11-05 16:08

zookeeper介绍

Zookeeper作为一个分布式的服务框架，主要用来解决分布式集群中应用系统的一致性问题，它能提供基于类似于文件系统的目录节点树方式的数据存储，Zookeeper作用主要是用来维护和监控存储的数据
新征程，再出发·2022-11-05 10:37

Hadoop集群搭建（一）----伪分布式集群与eclipse的安装

Haoop集群搭建【一】--伪分布式集群与eclipse的安装Ⅰ前言Ⅱ搭建虚拟机准备（附带下载链接）一.VMware二.终端模拟器及文件传输软件三.虚拟机镜像四.相关组件Ⅲ.集群安装与配置教程一，创建虚拟机二
俗人的浅吟^ω^·2022-11-02 11:02

CentOS 8.2 上安装Greenplum 6.9的笔记

准备工作1，先通读了一下官方文档中的《安装指南》：InstallingandUpgradingGreenplum2，考虑到分享需要，花了一点时间，将其翻译成中文：PivotalGreenplum®6.
闫辉_13510215218·2022-11-02 00:03

Hadoop集群安装和配置(完全分布式集群搭建）

1虚拟机的环境准备1.1下载的软件1、安装Vmware-workstation主要步骤就不讲述，网上可以收到相关Linux虚拟机的相关密钥和安装步骤。2、VM网络设置打开电脑里面的控制面板——>网络和Internet——>网络和共享中心——>更改适配器设置——>VMnet8(右击鼠标，点击属性)—>IPv4(配置IP地址和DNS地址).我的电脑配置如下：3、查看虚拟机的ip地址打开VmwareWo
希光之旅·2022-10-31 15:30

Hadoop伪分布式集群配置

一、虚拟机准备工作每台服务器的配置1.配置动态ip配置文件ifcfg-ens33vim/etc/sysconfig/network-scripts/ifcfg-ens33BOOTPROTO="static"将ip改为动态IPADDR=192.168.47.130设置ip地址GATEWAY=192.168.47.2设置网关NETMASK=255.255.255.0子网掩码DNS1=192.168.4
言棖·2022-10-31 15:30

大数据集群环境搭建：Hadoop、Spark、Flink分布式集群环境

大数据集群环境搭建：Hadoop、Spark、Flink分布式集群环境一、安装虚拟机二、修改主机名三、配置hosts文件四、配置静态IP五、配置防火墙六、集群各节点禁用SELinux七、安装基本工具八、
勇敢羊羊在飞奔·2022-10-24 18:57

为何选MPP架构？

介绍像Greenplum（GPDB），ClickHouse，Impala，Presto，Tidb，Greenplum衍生物AnalyticDBPostgreSQL（adbpg）等都是采用MPP架构的，采用
·2022-10-20 22:04

【15W字长文】主从复制高可用Redis集群，完整包含Redis所有知识点

Keepalived实现Nginx高可用，一文搞懂Nginx主从复制高可用Redis集群分布式架构介绍什么是分布式架构随着越来越多的人参与到互联网的浪潮来，曾经的单体应用架构越来越无法满足需求，所以，分布式集群架构出现
maolinyuan·2022-10-19 14:28

技术内幕 | StarRocks Pipeline 执行框架（上）

#01背景介绍—Pipeline调度与MPP调度之间存在着明显的差异，前者是单机多核调度，后者是分布式集群的多机调度。总结下来，Pi
·2022-10-13 14:24

头歌Educoder——大数据Hadoop开发环境搭建

文章目录第1关：配置开发环境-JavaJDK的配置任务描述相关知识下载JDK解压配置环境变量测试编程要求实现代码第2关：配置开发环境-Hadoop安装与伪分布式集群搭建任务描述相关知识下载Hadoop配置
I'm Jie·2022-10-12 10:45

分布式集群下的RPC限流方案

文章目录前言RPC请求限流的核心本质HDFSRBF架构的RPC限流方案总结前言如今在大数据时代，面对如今规模数据体量快速增长的一个阶段，HDFS单集群模式已经无法支撑更加平稳高效的数据服务能力。多集群联合模式逐渐成为一种新的架构尝试，笔者所在公司亦是如此。我们内部目前采用了社区的RBF（Router-basedFederation）方案来做统一的数据服务。最近我们在尝试解决一个棘手的问题：多用户的
Android路上的人·2022-10-08 17:57

如何高效深入的阅读Redis的源码？《Redis5设计与源码分析》

整本书没有太多啰唆的语言，直接抽丝剥茧：从基本的数据结构类型，Redis内部每个操作命令的底层代码运行逻辑和结构，一直到整个Redis持久化技术、主从技术、分布式集群技术等，都有深入源码级别的讲解，让你领略从数据结构到整个高性能服务的全部设计之美
普通网友·2022-10-06 07:47

手把手教你搭建MinIO分布式集群

手把手教你搭建MinIO分布式集群要求：MinIO集群规格：2节点2个磁盘。
普通网友·2022-09-28 21:25

我眼中的大数据（四）——Yarn和Hive

CSDN话题挑战赛第2期参赛话题：大数据技术分享一、YarnHadoop主要是由三部分组成，除了前面我讲过的分布式文件系统HDFS、分布式计算框架MapReduce，还有一个是分布式集群资源调度框架Yarn
平 凡 程 序 猿·2022-09-28 09:22
上一页 21 22 23 24 25 26 27 28 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他