greenplum分布式集群

04-负载均衡及Ribbon&自定义负载均衡算法

LB，即负载均衡(LoadBalance)，在微服务或分布式集群中经常用的一种应用。负载均衡简单的说就是将用户的请求平摊的分配到多个服务上，从而达到系统的HA（高可用)。
xixihaha_coder·2022-11-30 09:18

HDFS RPC限流方案实践探索

文章目录前言HDFSRPC限流方案分级RPCqueue的调参分级RPCqueue的insight前言在前面的一篇关于分布式集群下的限流方案文章里，笔者阐述了一种在HDFS集群里的RPC限流架构。
Android路上的人·2022-11-29 16:01

hadoop集群搭建和配置

hadoop的优势是分布式集群计算，即搭建hadoop集群（完全分布式Hadoop）集群由节点组成，节点构成不同角色。
木北鲜生·2022-11-29 15:46

阿里云（轻量级Ubuntu 16.04 ）服务器搭建Hadoop伪分布式集群及实现pi值的计算

环境：在ubuntu16.04jdk1.8.0_171hadoop2.8.4一.租用服务器https://www.aliyun.com/?spm=5176.2020520001.aliyun_topbar.1.69864bd3NRoSf9二.安装jdk主要有两种方式：（1）通过ppa（源）方式安装（建议选择第一种，简单）（2）通过下载官网安装包1.添加ppa(博主用的最高权限root，所以不需要s
MuuuuYi·2022-11-29 15:40

分布式文件存储系统MinIO笔记

纠删码EC（ErasureCode）6、存储形式7、存储方案二、Minio环境搭建1、介绍2、单机部署2.1单机部署2.2基于Linux部署2.3基于docker部署(推荐)3、minio纠删码模式4、分布式集群搭建
魅Lemon·2022-11-28 14:39

Hadoop分布式集群时间同步（ntp）配置

目录时间服务器配置(必须root用户)1.查看所有节点ntpd(时间服务器)服务状态和开机自启状态2.修改hadoop102的ntp.conf配置文件3.重新启动ntpd服务并设置开机自启配置其他服务器1.关闭所有节点上的ntpd服务和自启服务2.配置与时间服务器同步3.测试如果服务器在公网环境(能连接外网)，可以不采用集群时间同步。因为服务器会定期和公网时间进行校准。如果服务器在内网环境，必须要
SoRA数据家·2022-11-28 11:22

VM ware安装Ubuntu及搭建Hadoop伪分布式集群详细步骤

1.虚拟机搭建的详细过程实验前的准备：==jdk==jdk-8u11-linux-x64.tar.gz提取码：qr5l==hadoop==hadoop-2.10.1.tar.gz提取码：bfxz==VMware==官网下载==centOS-XXX…-iso==文件过大阿里云镜像下载，熟悉那种Linux内核就下载那种，这个不会影响集群的搭建。https://pan.baidu.com/s/1tFvC
_小许_·2022-11-25 19:32

【技术沙龙】“Greenplum：重新定义大数据” 全国巡讲第四站

Greenplum经过十六年的打磨，已经成长为全球最先进、最成熟、最知名的开源MPP数据库，为国内外各行各业的知名企业所应用。其强大的功能
hzbooks·2022-11-24 14:20

Springboot + Quartz 实现分布式定时任务集群

Springboot+Quartz实现分布式定时任务集群quartz概念Quartz工作原理Quartz分布式集群定时任务实现代码地址（可参考实现）Quart官方介绍：https://github.com
陌守·2022-11-24 08:55

VGG论文总结

引言：卷积网络的成功归功于大型公开图片库、高性能计算系统(多GPU、大规模分布式集群)，ILSVRC作为多代大规模图像分类系统的实验平台。
Ccendoc·2022-11-23 12:56

redis缓存击穿、穿透、雪崩

和缓存击穿不同的是缓存击穿指并发同一条数据，雪崩是指好多数据都过期了解决方法1、设置热点数据永不过期2、设置时间过期时间随机，防止大量数据同时过期3、分布式集群，数据均匀分配到每
博客小周·2022-11-22 07:55

Pytorch(十一) —— 分布式(多GPU/多卡)训练 并行 (DP & DDP)

分布式对普通用户来说比较遥远，因为搭建一个分布式集群的代价很大，使用也比较复杂。相比之下，一机多卡更现实。如果服务器
hxxjxw·2022-11-22 03:56

【新书速递】高效使用Greenplum

Greenplum数据库是基于MPP架构的开源大数据平台，具有良好的弹性和线性扩展能力，内置并行存储、并行通信、并行计算和并行优化功能，兼容SQL标准，具有强大、高效的PB级数据存储、处理和实时分析能力
hzbooks·2022-11-21 18:03

Greenplum的又一本好书

了解更多Greenplum相关内容，欢迎访问Greenplum中文社区网站随着Greenplum社区的繁荣发展，Greenplum相关中文资料、文档和书籍也如春笋般涌现。
Greenplum中文社区·2022-11-21 18:32

不容错过 Greenplum的又一本好书

Greenplum数据库是基于MPP架构的开源大数据平台，具有良好的弹性和线性扩展能力，内置并行存储、并行通信、并行计算和并行优化功能，兼容SQL标准，具有强大、高效的PB级数据存储、处理和实时分析能力
阿福Chris·2022-11-21 18:01

技术内幕 | StarRocks Pipeline 执行框架（上）

#01背景介绍—Pipeline调度与MPP调度之间存在着明显的差异，前者是单机多核调度，后者是分布式集群的多机调度。总结下来，Pi
StarRocks_labs·2022-11-21 09:06

Linux从零搭建Hadoop集群(CentOS7+hadoop 3.2.0+JDK1.8+Mapreduce完全分布式集群案例)

Linux从零搭建Hadoop集群(CentOS7+hadoop3.2.0+JDK1.8+Mapreduce完全分布式集群案例)关键字和相关配置版本关键字：LinuxCentOSHadoopJava版本
星川皆无恙·2022-11-21 00:00

大数据技术栈

职位现状和未来发展技术栈Hadoop相关基本原理和操作：hdfs，yarn，mrOLTP：mysql，oracle，pg，etc…OLAP：Kylin，clickhouse，presto，impala，TD，Greenplum
辉常努腻·2022-11-20 04:32

SpringBoot+Quartz实现动态定时任务

开源工具Quartz，分布式集群开源工具，以下两个分布式任务应该都是基于Quartz实现的，可以说是中小型公司必选，当然也视自身需求而定。分布式任务XXL-JOB，
·2022-11-17 18:03

MySQL分布式集群搭建

1准备集群搭建环境使用6台虚拟机来搭建MYSQL集群，相应的实验环境与对应的MYSQL节点之间的对应关系如下图所示：节点名称节点IP节点内存节点硬盘大小节点CPUMYSQL节点角色Ubuntu-1192.168.1.26768M20G30%管理节点（MGM）Ubuntu-2192.168.1.27768M10G30%数据节点（NDB）Ubuntu-3192.168.1.28768M10G30%数据
普通网友·2022-11-17 10:50

从零开始，手把手带你搭建MySQL高可用集群

搭建MySQL分布式集群，例如：利用MySQLcluster，MySQLproxy，MySQLreplication，drdb等等，有人会问MySQL集群意义是什么呢？
ikyrxbxfas·2022-11-17 10:18

redis实现分布式锁及其问题解决方式

通俗的说：就是你在分布式集群中，如果你上锁的话，在当单机版中咱们可以实现，但是我们集群分布式中为其中一台机器上
一起去飞~·2022-11-15 18:26

Elasticsearch分布式数据库与ELK大数据平台实战培训（20小时）

风哥特别设计的一套比较系统的ElasticStack课程（7.9最新版本，上部+下部共计20小时），本教程内容涉及Elasticsearch数据库基础知识、Elasticsearch一般规模集群/亿万级规模分布式集群
风哥2号·2022-11-15 17:58

新手浅聊大型高并发系统架构

1.大型高并发系统架构高并发的系统架构都会采用分布式集群部署，服务上层有着层层负载均衡，并提供各种容灾手段保证系统的高可用,流量也会根据不同的负载能力和配置策略均衡到不同的服务器上。
打工人-·2022-11-13 12:23

10. Spring Boot2.5 实战 Docker 容器

10.SpringBoot2.5实战Docker容器一、SpringBoot2.5.x部署方式二、SpringBoot实战Docker容器DockerHub三、阿里云Docker镜像仓库四、Docker分布式集群架构五
天空鸟_时光不老·2022-11-08 20:49

docker swarm快速部署redis分布式集群的详细过程

目录环境准备Docker搭建Swarm集群打开防火墙(Swarm需要)创建Swarm加入Swarm服务约束单机集群创建容器启动容器进入容器启动集群分布式集群部署dockercompose.ymlwait-for-it.shredis-start.sh
·2022-11-05 16:08

zookeeper介绍

Zookeeper作为一个分布式的服务框架，主要用来解决分布式集群中应用系统的一致性问题，它能提供基于类似于文件系统的目录节点树方式的数据存储，Zookeeper作用主要是用来维护和监控存储的数据
新征程，再出发·2022-11-05 10:37

Hadoop集群搭建（一）----伪分布式集群与eclipse的安装

Haoop集群搭建【一】--伪分布式集群与eclipse的安装Ⅰ前言Ⅱ搭建虚拟机准备（附带下载链接）一.VMware二.终端模拟器及文件传输软件三.虚拟机镜像四.相关组件Ⅲ.集群安装与配置教程一，创建虚拟机二
俗人的浅吟^ω^·2022-11-02 11:02

CentOS 8.2 上安装Greenplum 6.9的笔记

准备工作1，先通读了一下官方文档中的《安装指南》：InstallingandUpgradingGreenplum2，考虑到分享需要，花了一点时间，将其翻译成中文：PivotalGreenplum®6.
闫辉_13510215218·2022-11-02 00:03

Hadoop集群安装和配置(完全分布式集群搭建）

1虚拟机的环境准备1.1下载的软件1、安装Vmware-workstation主要步骤就不讲述，网上可以收到相关Linux虚拟机的相关密钥和安装步骤。2、VM网络设置打开电脑里面的控制面板——>网络和Internet——>网络和共享中心——>更改适配器设置——>VMnet8(右击鼠标，点击属性)—>IPv4(配置IP地址和DNS地址).我的电脑配置如下：3、查看虚拟机的ip地址打开VmwareWo
希光之旅·2022-10-31 15:30

Hadoop伪分布式集群配置

一、虚拟机准备工作每台服务器的配置1.配置动态ip配置文件ifcfg-ens33vim/etc/sysconfig/network-scripts/ifcfg-ens33BOOTPROTO="static"将ip改为动态IPADDR=192.168.47.130设置ip地址GATEWAY=192.168.47.2设置网关NETMASK=255.255.255.0子网掩码DNS1=192.168.4
言棖·2022-10-31 15:30

大数据集群环境搭建：Hadoop、Spark、Flink分布式集群环境

大数据集群环境搭建：Hadoop、Spark、Flink分布式集群环境一、安装虚拟机二、修改主机名三、配置hosts文件四、配置静态IP五、配置防火墙六、集群各节点禁用SELinux七、安装基本工具八、
勇敢羊羊在飞奔·2022-10-24 18:57

为何选MPP架构？

介绍像Greenplum（GPDB），ClickHouse，Impala，Presto，Tidb，Greenplum衍生物AnalyticDBPostgreSQL（adbpg）等都是采用MPP架构的，采用
·2022-10-20 22:04

【15W字长文】主从复制高可用Redis集群，完整包含Redis所有知识点

Keepalived实现Nginx高可用，一文搞懂Nginx主从复制高可用Redis集群分布式架构介绍什么是分布式架构随着越来越多的人参与到互联网的浪潮来，曾经的单体应用架构越来越无法满足需求，所以，分布式集群架构出现
maolinyuan·2022-10-19 14:28

技术内幕 | StarRocks Pipeline 执行框架（上）

#01背景介绍—Pipeline调度与MPP调度之间存在着明显的差异，前者是单机多核调度，后者是分布式集群的多机调度。总结下来，Pi
·2022-10-13 14:24

头歌Educoder——大数据Hadoop开发环境搭建

文章目录第1关：配置开发环境-JavaJDK的配置任务描述相关知识下载JDK解压配置环境变量测试编程要求实现代码第2关：配置开发环境-Hadoop安装与伪分布式集群搭建任务描述相关知识下载Hadoop配置
I'm Jie·2022-10-12 10:45

分布式集群下的RPC限流方案

文章目录前言RPC请求限流的核心本质HDFSRBF架构的RPC限流方案总结前言如今在大数据时代，面对如今规模数据体量快速增长的一个阶段，HDFS单集群模式已经无法支撑更加平稳高效的数据服务能力。多集群联合模式逐渐成为一种新的架构尝试，笔者所在公司亦是如此。我们内部目前采用了社区的RBF（Router-basedFederation）方案来做统一的数据服务。最近我们在尝试解决一个棘手的问题：多用户的
Android路上的人·2022-10-08 17:57

如何高效深入的阅读Redis的源码？《Redis5设计与源码分析》

整本书没有太多啰唆的语言，直接抽丝剥茧：从基本的数据结构类型，Redis内部每个操作命令的底层代码运行逻辑和结构，一直到整个Redis持久化技术、主从技术、分布式集群技术等，都有深入源码级别的讲解，让你领略从数据结构到整个高性能服务的全部设计之美
普通网友·2022-10-06 07:47

手把手教你搭建MinIO分布式集群

手把手教你搭建MinIO分布式集群要求：MinIO集群规格：2节点2个磁盘。
普通网友·2022-09-28 21:25

我眼中的大数据（四）——Yarn和Hive

CSDN话题挑战赛第2期参赛话题：大数据技术分享一、YarnHadoop主要是由三部分组成，除了前面我讲过的分布式文件系统HDFS、分布式计算框架MapReduce，还有一个是分布式集群资源调度框架Yarn
平 凡 程 序 猿·2022-09-28 09:22

Hadoop完全分布式集群环境搭建

一、实验环境主机操作系统：Windows7以上（64位）虚拟机软件：OracleVMVirtualBox客户机操作系统：CentOS-6.8（64位）JDK：1.8（Linux版）SSH连接客户端，如：Xme5Hadoop：2.6.5二、实验步骤(1)在主节点解压hadoop安装包去官网获取Hadoop2.6.5安装包。https://archive.apache.org/dist/hadoop/
独木灬不成林·2022-09-27 16:04

Apache Hadoop 完全分布式集群搭建

软件和操作系统版本：Hadoop框架是采用Java语言编写，需要java环境（jvm）JDK版本：JDK8版本Hadoop搭建方式单机模式：单节点模式，非集群，生产不会使用这种方式单机伪分布式模式：单节点，多线程模拟集群的效果，生产不会使用这种方式完全分布式模式：多台节点，真正的分布式Hadoop集群的搭建（生产环境建议使用这种方式）本次介绍如何使用三台虚拟机，进行hadoop集群的搭建1、虚拟机
悠然予夏·2022-09-25 01:04

集群时钟同步问题

如图，并发的三个下单请求，几乎同时处理，由于服务器时钟不一致，导致入库时间不同，数据混乱2、集群时钟同步配置分布式集群中各个服务器节点都可以连接互联⽹#使⽤ntpdate⽹络时间同步命令ntpdate-untp.api.bz
小默有礼·2022-09-25 01:55

大数据ClickHouse进阶（一）：ClickHouse使用场景和集群安装

文章目录ClickHouse使用场景和集群安装一、使用场景二、ClickHouse分布式集群安装
Lansonli·2022-09-22 05:11

Greenplum-表的分布策略

Greenplum中所有的表都是必须分布存放的，这样可以充分利用MPP的并发特性。在创建表时可以指定不同的分布策略，包括三种分布策略：HASH分布、随机分布和复制表。
post_yuan·2022-09-18 12:25

分布式数据库理论知识之CAP理论、ACID原则及分布式事务一致性算法

一致性（Consistency）一致性指的是更新操作成功并返回客户端后，分布式集群中每个节点都返回相同的、最新的数据。对于一致性，可以从客户端和服务端两个不同的视角来看：从客户端来看，一致性
post_yuan·2022-09-09 16:23

大数据系列（未完，待续）

大数据架构大数据架构：搭建CDH5.5.1分布式集群环境Hive大数据：Hive常用参数调优SparkSpark基本架构及原理SparkContext原理解析SparkRDD、DataFrame原理及操作详解
weixin_30425949·2022-09-09 09:25

读完 RocketMQ 源码，我学会了如何优雅的创建线程

RocketMQ是一款开源的分布式消息系统，基于高可用分布式集群技术，提供低延时、高可靠的消息发布与订阅服务。
·2022-09-08 10:23

读完 RocketMQ 源码，我学会了如何优雅的创建线程

RocketMQ是一款开源的分布式消息系统，基于高可用分布式集群技术，提供低延时、高可靠的消息发布与订阅服务。
勇哥编程游记·2022-09-08 09:00

读完 RocketMQ 源码，我学会了如何优雅的创建线程

RocketMQ是一款开源的分布式消息系统，基于高可用分布式集群技术，提供低延时、高可靠的消息发布与订阅服务。
·2022-09-07 23:41
上一页 22 23 24 25 26 27 28 29 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他