greenplum分布式集群

hdfs通过接口退出安全模式_第四节HDFS集群命令及操作

已经搭建好HDFS分布式集群之后就可以操作一些文件了首先是将文件上传到HDFS文件系统的根目录下：hdfsdfs-put+文件+路径下载时使用命令是hadoopfs-get+文件+路径查看命令使用hdfsdfs-ls
weixin_39839478·2023-01-06 10:04

Hadoop高手之路6-ZooKeeper

文章目录Hadoop高手之路6-Zookeeper分布式协调服务一、Zookeeper简介二、Zookeeper的特性1.一致性C2.可靠性3.顺序性4.原子性A5.实时性三、Zookeeper分布式集群的部署
W_chuanqi·2023-01-03 08:08

greenplum安装_Greenplum 安装 madlib

下载madlib包选择greenplum的release版本后，会有对应的madlib包供下载，如下图所示：下载好后，将madlib包上传至Greenplum的master机器，并修改文件归属为gpadmin
weixin_39866265·2022-12-31 06:37

Greenplum 实时数据仓库实践（10）——集成机器学习库MADlib

目录10.1MADlib基本概念10.1.1MADlib是什么10.1.2MADlib的设计思想10.1.3MADlib的工作原理10.1.4MADlib的执行流程10.1.5MADlib架构10.2MADlib的功能10.2.1MADlib支持的模型类型10.2.2MADlib的主要功能模块10.3MADlib的安装与卸载10.3.1确定安装平台10.3.2安装MADlib10.3.3卸载MAD
wzy0623·2022-12-31 05:01

Hadoop3.x组件MapReduce入门

一、什么是MapReduceHadoopMapReduce，以下简称MR，是一个分布式计算框架，可以用于轻松编写分布式应用程序，使得这些程序能以可靠的、容错的、并行的方式在分布式集群机器上处理大规模的数据
文景大大·2022-12-30 11:15

十四、《大数据项目实战之用户行为分析》HBase分布式集群搭建

HBase集群建立在Hadoop集群的基础上，而且依赖于ZooKeeper，因此在搭建HBase集群之前，需要将Hadoop集群（本例使用的Hadoop集群为非HA模式，即一个NameNode）和ZooKeeper集群搭建好。Hadoop和ZooKeeper集群的搭建读者可以参考前面章节，此处不再赘述。本例仍然使用三个节点（centos01、centos02和centos03）搭建部署HBase集
大数据张老师·2022-12-28 23:52

吴恩达：AI的下一个发展方向，从大数据转向小数据

在2000年代后期，他率先使用GPU与斯坦福大学的学生一起训练深度学习模型，并于2011年创立了GoogleBrain，以通过分布式集群计算机开发超大规模的人工神经网络。
程序员对白·2022-12-28 18:58

吴恩达表示「AI 的下一个发展方向，从大数据转向小数据」，你同意他的观点吗？

在2000年代后期，他率先使用GPU与斯坦福大学的学生一起训练深度学习模型，并于2011年创立了GoogleBrain，以通过分布式集群计算机开发超大规模的人工神经网络。
王仙限·2022-12-28 18:20

分布式理论之分布式选举

写在前面一个国家需要领导人制定各种国家决策，一个军队也需要最高统领来制定各种军事决策，同理，一个分布式集群也需要一个领导，来协调整个集群的事务，比如保证数据一致性(这也是最重要的！)
wang0907·2022-12-27 17:26

分布式锁的多种实现方式详解

而随着架构演进、业务发展，我们的应用往往都不是只部署在一台服务器上，而是使用分布式集群架构，同时存在多台相同的应用。
·2022-12-27 10:53

双链路LACP实施

在当前的系统环境中，需要高屋建瓴的去设计我们整个系统各个层次的三高特性：1、在应用服务器层面，物理机器构建了主备环境的HA环境，应用服务器本身基于缓存设计技术和分布式集群构建了应用服务器集群，保障了应用服务提供者的高容错性和冗余设计
jaminwm·2022-12-26 18:16

ElasticSearch集群数据读写流程

前言本章作为ElasticSearch分布式集群的附属章节，主要讲解ElasticSearch集群环境下数据是如何读写的，既然讲到读写，那么ElasticSearch的更新就是基于二者的结合，顺带也讲一下
程序员劝退师-TAO·2022-12-24 07:35

Zookeeper简介和安装

ZooKeeper是Hadoop项目中的一个子项目，是Hadoop集群管理的一个必不可少的模块，它主要用来解决分布式集群中应用系统的一致性问题。
Charge8·2022-12-22 15:47

分布式是大数据处理的万能药？

今天叶秋学长跟大家一起探讨这个问题~使用分布式集群来处理大数据是当前的主流，将一个大任务拆分成多个子任务分布到多个节点进行处理通常能获得显著的性能提升。
叶秋学长·2022-12-21 13:03

为何选MPP架构？

介绍像Greenplum（GPDB），ClickHouse，Impala，Presto，Tidb，Greenplum衍生物AnalyticDBPostgreSQL（adbpg）等都是采用MPP架构的，采用
·2022-12-20 00:19

用三台云服务器搭建hadoop完全分布式集群

用三台云服务器搭建hadoop完全分布式集群一、硬件准备（一）集群配置（二）集群规划（三）Hadoop、Zookeeper、Java、CentOS版本二、基础环境配置（一）关闭防火墙（二）修改主机名（三
sparename·2022-12-19 17:52

第五章 Hive的安装与配置

系列文章：第一章Hadoop集群搭建的准备第二章Hadoop集群搭建第三章Zookeeper分布式集群部署（2n+1台虚拟机）第四章Hadoop高可用集群搭建（HA）第五章Hive的安装与配置待更新第九章
开朗小哥·2022-12-18 22:02

故障分析 | Cassandra 用户信息 list Error

作者：杨文DBA，负责客户项目的需求与维护，会点数据库，不限于MySQL、Redis、Cassandra、GreenPlum、ClickHouse、Elastic、TDSQL等等。
ActionTech·2022-12-16 11:34

解决Hadoop伪分布式集群jps没有datanode节点问题

1.问题现象:在启动Hadoop时，通过jps目录发现没有datanode进程。2解决方案:clusterID不匹配导致的问题1：找到你的hadoop下data/tmp/dfs，里面有name和data两个文件。2：进入name，在current里有一个version的文件，记事本打开，复制clusterID，3：再进入到data下的current的version，将复制的id覆盖到cluster
孙志攀·2022-12-15 23:11

故障分析 | Cassandra 用户信息 list Error

作者：杨文DBA，负责客户项目的需求与维护，会点数据库，不限于MySQL、Redis、Cassandra、GreenPlum、ClickHouse、Elastic、TDSQL等等。
·2022-12-15 14:31

greenplum 源码安装 - all

内容包含源码编译安装greenplum的过程gp版本：6.22.2os:centos8virtualbox+vagrant集群规划host角色dw1-cnmasterdw1-seg1segmentdw1
·2022-12-14 22:02

greenplum 安装 -4- 数据目录配置

为master及segment节点配置数据目录，因为master比较特殊，存储数据较少，目录设置和segment不同。数据目录配置master配置master节点root用户下mkdir-p/data/masterchowngpadmin:gpadmin/data/mastermaster-standby配置master节点root用户下#source/usr/local/gpdb/greenpl
·2022-12-14 22:31

greenplum 源码安装 - all

内容包含源码编译安装greenplum的过程gp版本：6.22.2os:centos8virtualbox+vagrant集群规划host角色dw1-cnmasterdw1-seg1segmentdw1
·2022-12-14 22:31

greenplum 安装 -2- 系统配置

每个node都需要进行的配置系统配置1配置gpadmin、ssh等#通过gp自带的脚本setup_gpadmin_user.bash#需要将源码包的名字修改为gpdb_src/mvgpdb-6.22.2gpdb_srcgpdb_src/concourse/scripts/setup_gpadmin_user.bash#实现动作#创建配置用户gpadmin（密码默认password）#为gpadmi
·2022-12-14 22:30

greenplum 安装 -1- 源码编译安装

参考：整体流程linux下的环境配置说明源码包https://github.com/greenplum-db/gpdb/releases安装依赖bashREADME.CentOS.bash报错：Error
·2022-12-14 22:30

greenplum 源码安装 - all

内容包含源码编译安装greenplum的过程gp版本：6.22.2os:centos8virtualbox+vagrant集群规划host角色dw1-cnmasterdw1-seg1segmentdw1
·2022-12-14 22:53

greenplum 安装 -4- 数据目录配置

为master及segment节点配置数据目录，因为master比较特殊，存储数据较少，目录设置和segment不同。数据目录配置master配置master节点root用户下mkdir-p/data/masterchowngpadmin:gpadmin/data/mastermaster-standby配置master节点root用户下#source/usr/local/gpdb/greenpl
·2022-12-14 22:22

故障分析 | Greenplum 集群 standby 故障处理

作者：杨文DBA，负责客户项目的需求与维护，没有擅长，会点数据库，不限于MySQL、Redis、Cassandra、GreenPlum、ClickHouse、Elastic、TDSQL等等。
·2022-12-14 21:21

故障分析 | Greenplum 数据状态异常处理

作者：杨文DBA，负责客户项目的需求与维护，会点数据库，不限于MySQL、Redis、Cassandra、GreenPlum、ClickHouse、Elastic、TDSQL等等。
·2022-12-14 21:50

greenplum 安装 -2- 系统配置

每个node都需要进行的配置系统配置1配置gpadmin、ssh等#通过gp自带的脚本setup_gpadmin_user.bash#需要将源码包的名字修改为gpdb_src/mvgpdb-6.22.2gpdb_srcgpdb_src/concourse/scripts/setup_gpadmin_user.bash#实现动作#创建配置用户gpadmin（密码默认password）#为gpadmi
·2022-12-14 21:50

greenplum 安装 -1- 源码编译安装

参考：整体流程linux下的环境配置说明源码包https://github.com/greenplum-db/gpdb/releases安装依赖bashREADME.CentOS.bash报错：Error
·2022-12-14 21:50

PostgreSQL 技术内幕(二) Greenplum-AO表

序言Greenplum（以下简称GP）是一种基于开源PostgreSQL基础上采用MPP架构的关系型分布式数据库，具有强大的大规模数据分析处理能力。GP有两种存储格式：Heap表和AO表。
·2022-12-14 21:49

greenplum 安装 -3- 互信配置

配置/etc/hosts172.28.128.6dw1-cn172.28.128.11dw1-seg1172.28.128.12dw1-seg2#dw1-seg1,dw1-seg2上删除127.0.1.1dw1-cndw1-cn配置互信，过程如下参考EnablingPasswordlessSSH设置环境变量master的gpadmin用户下source/usr/local/gpdb/greenpl
·2022-12-14 21:13

故障分析 | Greenplum 数据状态异常处理

作者：杨文DBA，负责客户项目的需求与维护，会点数据库，不限于MySQL、Redis、Cassandra、GreenPlum、ClickHouse、Elastic、TDSQL等等。
·2022-12-14 16:44

通过SQL一键解析表字段血缘关系

可以根据sql文件中的sql快速解析出表字段到字段的血缘关系，支持mysql、oracle、hive、impala、greenplum等数据库sql语法解析，可以在sql文件中放如多段sql解析，也可以同时解析多份
乌云雨·2022-12-14 04:37

Redis 实现分布式锁

文章目录问题描述思路分析代码实现代码优化1代码优化2代码优化3问题描述随着业务发展的需要，原单体单机部署的系统被演化成分布式集群系统后，由于分布式系统多线程、多进程并且分布在不同机器上，这将使原单机部署情况下的并发控制锁策略失效
_子栖_·2022-12-13 12:27

GreenPlum dblink实战

DBlink实战操作一：查询其他Greenplum数据库中的数据。操作二：创建基于其他Greenplum数据库表的视图，便于重复使用。操作三：对其他数据库表进行数据修改。
MyySophia·2022-12-12 10:38

基于分布式数据库集群的大数据职位信息统计

目录任务一：MongoDB分布式集群关键配置信息截图（启动参数文件、初始化参数文件、启动命令等）ch0的参数文件配置：编辑ch1的参数文件配置：编辑chconfig的参数文件配置：router的参数文件配置
中意灬·2022-12-10 21:46

【大数据】Hadoop—— 三大核心组件理论入门 | 完全分布式集群搭建 | 入门项目实战

文章目录前言大数据概述时代背景4V特点大数据思维核心技术储存计算相关技术云计算物联网Hadoop简介简介版本之分项目生态结构安装和部署HDFS简介集群结构实现目标（优点）与缺陷基本概念块名称节点（NameNode）FsImage文件块分布信息EditLog第二名称节点（SecondaryNameNode）数据节点（DataNode）HDFS体系结构运行过程命名空间通信协议局限性储存原理冗余数据策略
亦梦亦醒乐逍遥·2022-12-10 11:40

Superset【实践 01】数据可视化图表工具 Superset（Greenplum数据库连接举例+MySQL数据集+图表添加配置+仪表盘添加与设置）一文学会使用Superset

下面针对Greenplum数据库进行一次配置演示。
シ風·2022-12-09 13:47

MatrixDB 落地公安领域，助力海鑫科金构建大数据平台

15秒摘要1.公安领域当前遇到的挑战：数据种类繁多，质量参差不齐，用户业务场景多变，数据需要在多个平台之间来回同步，经常出现数据丢失的情形2.模拟业务场景，进行性能测试，性能上比Greenplum强约4
YMatrix 官方技术社区·2022-12-08 10:06

hadoop分布式集群搭建

Hadoop分布式集群环境搭建1三台节点环境设置1.1修改配置文件hostsHadoop-1作为namenode，datanode，resourcemanager，nodemanagerHadoop-2
小白叨叨·2022-12-08 08:09

一个大数据学生的HDFS完全分布式集群搭建流程与问题

目录前言一、HDFS是什么？二、搭建流程1.检查系统1.1检查各主机名1.2检查hosts文件1.3检查免密登录1.4检查JDK2.配置过程2.1创建安装目录2.2上传并解压文件2.3配置HADOOP_HOME环境变量2.4配置hadoop-env.sh2.5配置yarn-env.sh2.6配置core-site.xml2.7配置hdfs-site.xml2.8配置mapred.site.xml2
痋·2022-12-08 08:58

基于CentOS搭建hadoop-3.1.3的伪分布式集群

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML图表FLowchart流程图导出与导入导出导入开始前的一些相关
丹尼斯维奇·2022-12-08 08:58

搭建Hadoop分布式集群

搭建Hadoop分布式集群【系统配置说明】1）系统环境：CentOS-7-x86-Minimal2）集群部署：一主三从（master/slave1/slave2/slave3）3）Java环境：jdk-
AI小小白_XP·2022-12-08 08:57

MQ高级（四）MQ集群

RabbitMQ的集群有两种模式：（1）普通集群：是一种分布式集群，将队列分散到集群的各个节点，从而提高整个集群的并发能力。
来世做春风嘛·2022-12-08 07:03

零基础小白hadoop分布式集群环境搭建（超详细）

搭建集群所需要安装包虚拟机、ubuntu镜像文件、jdk安装包、hadoop安装包百度云盘地址：链接：https://pan.baidu.com/s/1ejVamlrlyoWtJRo1QQqlsA提取码：fcqm本文的环境是两台windows笔记本，在每台笔记本上安装一个虚拟机，并安装一个ubuntu系统，将其中一台主机作为master结点，另一台作为slave结点（或者使用一台主机，安装一个虚拟
资料加载中·2022-12-08 07:03

HBase分布式安装配置图文详解

《Hadoop分布式集群环境搭建》HBase需要依赖Zookeeper管理，所以确保每台机器都安装配置好了Zookeeper，可以参考之前的博文（注：可视化ZKUI为选装插件）《Zookeeper安装配置及可视化
Meyaoo·2022-12-07 08:03

5-2：Kafka入门

-他把数据存到硬盘里，同时保持高性能（读取性能的高度决定于硬盘的读取方式：顺序读取，高性能）；分布式集群部署，因此可靠，Kafka术语Brok
打哈哈哈的小菜鸟·2022-12-07 07:16

java(spring boot)通过exchange邮箱发送邮件

有同事也想使用我开发的Greenplum运维系统，想在里面增加对OpenTSDB的巡检功能，同时将巡检报告以邮件的形式发出。
zwqsir·2022-12-06 07:22
上一页 20 21 22 23 24 25 26 27 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他