数据库运维hdfs云存储

大数据处理系统的架构

Lambda架构的主要组成部分包括：批处理层（BatchLayer）：存储：使用分布式存储系统（如ApacheHadoopHDFS）
demo123567·2024-01-28 14:58

mysql 同步 工具 开源_开源数据同步工具——datax

开源数据同步工具——dataxDataX是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、
weixin_39942572·2024-01-28 12:08

Presto源码阅读——如何获取Hive中的Metadata(HMS+HDFS)

Presto源码阅读——如何获取Hive中的Metadata(HMS+HDFS)本文的Metadata定义SQLonHadoop系统在执行一个query时所需要的Metadata主要有两部分Hive中的
stiga-huang·2024-01-28 12:38

Impala元数据简介

SQL-on-Hadoop的ROLAP解决方案如Presto、SparkSQL等不同的是，Impala对元数据（Metadata/Catalog）做了缓存，因此在做查询计划生成时不再依赖外部系统（如Hive、HDFS
stiga-huang·2024-01-28 12:05

开源数据同步工具DataX

DataX实现了包括MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS
快乐江小鱼·2024-01-28 12:34

Hadoop的基础操作

Hadoop的基础操作HDFS是Hadoop的分布式文件框架，它的实际目标是能够在普通的硬件上运行，并且能够处理大量的数据。
陆卿之·2024-01-28 12:27

66.管理Hive外部表——Sentry

66.1演示环境介绍操作系统：CentOS6.5CM和CDH版本：5.12.1采用root用户操作集群运行正常，Kerberos/HDFS/Hive/Impala/Hue服务已与Sentry集成，Hive
大勇任卷舒·2024-01-28 11:57

HBase入门、基础原理介绍

1.2HBase架构二、HBase的读写删流程2.1HBase的写入流程2.2HBase的读流程2.3HBase的数据删除一、HBase介绍HBase是一个面向列式存储的分布式数据库，HBase底层存储基于HDFS
幸福右手牵·2024-01-28 09:07

HBase入门：运行机制

服务器工作原理用户读写数据的过程缓存的刷新StoreFile合并Store的工作原理HLog的工作原理HBase系统架构HBase的系统架构包括客户端、ZooKeeper服务器、Master主服务器、Region服务器HBase一般采用HDFS
缘友一世·2024-01-28 09:07

mac上搭建hbase伪集群

https://blog.csdn.net/a15835774652/article/details/135569456)但是为了模拟一把集群环境我们还是尝试搭建一个伪集群版2.环境准备jdk环境1.8+hdfs
寂夜了无痕·2024-01-28 08:15

Hive面试题

1）数据存储位置Hive存储在HDFS。数据库将数据保存在块设备或者本地文件系统中。2）数据更新Hive中不建议对数据的改写。
肿么肥四啊哈·2024-01-28 07:34

hive面试题

本质上是将SQL转换为MapReduce或者spark来进行计算，数据是存储在hdfs上，简单理解来说hive就是MapReduce的一个客户端工具。补充1：你可以说一下HQL转换为MR的任务流程吗？
韩顺平的小迷弟·2024-01-28 07:29

RHCE项目：使用LNMP搭建私有云存储

目录一、准备工作1、关闭防火墙、安全软件2、搭建LNMP环境3、上传软件4、设置nextcloud安装命令权限二、数据库1、设置数据库2、重启数据库三、配置nginx四、安装nextcloud五、内网穿透1、创建内网映射2、linux系统安装花生壳客户端3、重新打开浏览器，输入http://b.oray.com，完成账户登录，激活（SN登录）六、花生壳的域名信任七、测试一、准备工作1、关闭防火墙、
周湘zx·2024-01-28 07:58

【HDFS】一天一个RPC系列--updateBlockForPipeline

本文目标是：弄清updateBlockForPipeline这个RPC的作用。弄清updateBlockForPipelineRPC的使用场景，代码里的调用点。一、updateBlockForPipeline的作用其定义在ClientProtocol接口里，是Client与NameNode之间的接口。看其代码注释描述：为一个underconstruction状态下的block获取一个新的GS与ac
叹了口丶气·2024-01-28 06:03

【BugFix】java.lang.NoSuchMethodError: java.nio.ByteBuffer.position(I)Ljava/nio/ByteBuffer；

2022-10-2010:43:59,633ERRORorg.apache.hadoop.hdfs.server.namenode.FSEditLog:Error:startinglogsegment946759failedfor
叹了口丶气·2024-01-28 06:02

【HDFS】EC写数据时checkStreamerFailures逻辑

本文试图弄清楚以下问题：checkStreamerFailures方法主要目的是做什么的？checkStreamerFailures方法的调用点（调用时机、条件）？checkStreamerFailures及其周边函数的逻辑。RQ1：checkStreamerFailures方法主要目的是做什么的？此方法的目的是在close流或者每次写完一整个stripe时，对streamer做健康判断。因为ce
叹了口丶气·2024-01-28 06:02

【HDFS】一天一个RPC系列--updatePipeline

建议先阅读【HDFS】一天一个RPC系列–updateBlockForPipeline本文目标是弄清楚以下问题：弄清updatePipeline这个RPC的作用。
叹了口丶气·2024-01-28 06:27

Ubuntu22.04三台虚拟机Hadoop集群安装和搭建（全面详细的过程）

Ubuntu22.04Hadoop集群安装和搭建（全面详细的过程）环境配置安装安装JDK安装Hadoop三台虚拟机设置克隆三台虚拟机设置静态IP修改虚拟机hostssh免密登录关闭防火墙Hadoop配置core-site.xmlhdfs-site.xmlyarn-site.xmlmapred-site.xmlworkers
WuRobb·2024-01-28 06:41

openGauss学习笔记-206 openGauss 数据库运维-常见故障定位案例-too many clients already

文章目录openGauss学习笔记-206openGauss数据库运维-常见故障定位案例-toomanyclientsalready206.1高并发报错“toomanyclientsalready”或无法创建线程
superman超哥·2024-01-28 04:52

openGauss学习笔记-208 openGauss 数据库运维-常见故障定位案例-TPCC高并发长稳运行因脏页刷盘效率导致性能下降

文章目录openGauss学习笔记-208openGauss数据库运维-常见故障定位案例-TPCC高并发长稳运行因脏页刷盘效率导致性能下降208.1TPCC高并发长稳运行因脏页刷盘效率导致性能下降208.1.1
superman超哥·2024-01-28 04:49

6.Web服务器（2）

1.3.使用nginx的http_ssl模块建立加密认证网站1.3.1.查看1.3.2.配置文件：1.3.3.ssl配置文件的主要参数1.3.4.实验11.3.5.实验22.项目：使用LNMP搭建私有云存储
[禾火]·2024-01-28 02:49

阿里云对象存储OSS打造私人图床&私人云存储(1年仅9元)

阿里云对象存储OSS打造私人图床&私人云存储(1年仅9元)阿里云对象存储OSS（ObjectStorageService）是一款海量、安全、低成本、高可靠的云存储服务，提供99.9999999999%(
王亭_666·2024-01-28 00:30

docker-compose 搭建 nextcloud + onlyoffice 实现在线编辑，云存储等多项功能。

添加源yuminstallepel-release-y关闭防火墙，selinux。systemctlstopfirewalldsystemctldisablefirewalldsetenforce0cat/etc/selinux/config安装docker和docker-composeyuminstalldockerdocker-compose-y启动docker添加自起systemctlsta
运维知多少·2024-01-27 19:09

ClickHouse(22)ClickHouse集成HDFS表引擎详细解析

文章目录HDFS用法实施细节配置可选配置选项及其默认值的列表libhdfs3支持的ClickHouse额外的配置限制Kerberos支持虚拟列资料分享系列文章clickhouse系列文章知乎系列文章HDFS
张飞的猪大数据·2024-01-27 17:35

教你如何使用七牛云存储

七牛云官网在七牛云官网可以查看七牛的近期优惠活动，客户展示，存储和流量计费方式和评估，以及其他的一些七牛云存储的相关信息。账号注册七牛账号注册传送门身份验证详细说明请查看认证说明文档。
小小码农披荆斩棘·2024-01-27 17:33

GBase 8a 数据迁移工具2---数据加载 “SQL 接口 LOAD DATA INFILE”

支持如下功能：支持本地文件加载支持从通用数据服务器拉取数据加载；支持FTP/HTTP/HDFS/SFTP等多种协议；支持多加载机对单表的并行加载，最大化加载性能；支持普通文本、gzip压缩、snappy
Linux有意思吗·2024-01-27 14:03

uniCloud ---- 云存储

目录概念1.web界面2.客户端API或组件上传API自定义样式选择指定后缀图片，且限制选择个数手动上传应用3.云函数上传文件到云存储uni.chooseImage(OBJECT)uni.previewImage
前端 贾公子·2024-01-27 13:23

搭建大数据平台常用的端口号

50070：HDFSwebUI的端口号8485:journalnode默认的端口号9000：非高可用访问数rpc端口8020：高可用访问数据rpc8088：yarn的webUI的端口号8080：master
修勾勾L·2024-01-27 13:51

人大金仓参与起草《数据库运维管理能力成熟度模型》标准

近日，由中国信息通信研究院、中国移动通信集团有限公司、人大金仓等单位参与起草的《数据库运维管理能力成熟度模型》标准正式发布。
金仓数据库·2024-01-27 13:22

AWS免费套餐——云存储S3详解

文章目录前言一、为什么选择S3二、费用估算三、创建S3云存储注册账户登录账户创建存储桶关于官网相关文档总结前言不论个人还是企业，日常开发中经常碰到需要将文档、安装包、日志等文件数据存储到服务器的需求。
中二少年学编程·2024-01-27 13:46

YARN 工作原理

1、Hadoop2新增了YARN，YARN的引入主要有两个方面的变更：其一、HDFS的NameNode可以以集群的方式部署，增强了NameNode的水平扩展能力和高可靠性，水平扩展能力对应HDFSFederation
无羡爱诗诗·2024-01-27 13:43

深入浅出hdfs源码

1、hadoop基本介绍2、周边生态图3、hdfs读源码解析4、hdfs写源码解析5、hdfs副本机制解读6、hdfs常见管理源码解析7、hdfs高可用源码解析-ha8、hdfs监控源码解析-dnmetrics-nnmetrics
大数据之家·2024-01-27 10:39

2021-03-07

HDFS=====>解决存储问题·MapReduce=====>解决计算问题·Yarn=====>资源协调者·Zookeeper=====>分布式应用程序协调服务·Flume=====>日志收集系统·Hive
残月冷无声·2024-01-27 10:39

深入浅出hdfs-hadoop基本介绍

一、Hadoop基本介绍hadoop最开始是起源于ApacheNutch项目，这个是由DougCutting开发的开源网络搜索引擎，这个项目刚开始的目标是为了更好的做搜索引擎，后来Google发表了三篇未来持续影响大数据领域的三架马车论文：GoogleFileSystem、BigTable、Mapreduce开始掀起来了大数据的浪潮，paper原文可以参考我的这篇文章CSDN。这三篇论文介绍了如何
大数据之家·2024-01-27 10:03

云存储解决方案-华为云OBS服务的基础使用

云存储解决方案-华为云OBS云存储解决方案-华为云OBS1.简介2.开通OBS2.1进入官网2.2充值（可以不做）2.3.开通OBS3.OBS快速入门3.1创建测试工程，引入依赖3.2在测试类中创建方法上传本地文件来测试
张晗的库·2024-01-27 10:18

使用.minio实现元对象的存储学习笔记

它与AmazonS3云存储服务API兼容。使用MinIO为机器学习、分析和应用程序数据工作负载构建高性能基础架构。
IT界的_彭于晏_·2024-01-27 10:29

Hadoop三大核心组件，hadoop原理

Hadoop的三大核心组件分别是：HDFS（HadoopDistributeFileSystem）：hadoop的数据存储工具。
你敢和我比剑吗·2024-01-27 09:03

Hadoop2.0架构及其运行机制，HA原理

文章目录一、Hadoop2.0架构1.架构图2.HA1)NameNode主备切换2)watcher监听3)脑裂问题3.组件1.HDFS2.MapReduce3.Yarn1.组件2.调度流程一、Hadoop2.0
Toner_唐纳·2024-01-27 09:30

Hadoop 原理及架构详解

视频网址：01-课程内容大纲与学习目标_哔哩哔哩_bilibili一、基础概念1、版本架构变迁2、集群简介主要包括两个集群：HDFS、YARN（MapReduce是计算框架，是代码层面的）这两个集群逻辑上分离
Should·L·2024-01-27 09:25

Hive实战 —— 电商数据分析(全流程详解 真实数据)

目录前言需求概述数据清洗数据分析一、前期准备二、项目1.数据准备和了解2.确定数据粒度和有效列3.HDFS创建用于上传数据的目录4.建库数仓分层5.建表5.1近源层建表5.2.明细层建表为什么要构建时间维度表
Byyyi耀·2024-01-27 08:25

Gitlab和SonarQube的安装、集成、使用（Docker、GitFlow、IDEA）

相比起Github，他们两个都是基于Web的Git远程仓库，都提供了分享开源项目的平台，为开发团队提供了存储、分享、发布和合作开发项目的中心化云存储的场所。对于开源项目而
Fishermen_sail·2024-01-27 07:32

NTFS 磁盘管理器：NTFS Disk by Omi NTFS for Mac

它允许用户访问存储在NTFS磁盘上的文件，而无需重新格式化磁盘或使用USB驱动器或云存储等文件传输方法。OmiNTFSMac版旨在与macOS无缝协作，提供对NTFS磁盘的完全读写访问，没有任何限制。
m0_74275510·2024-01-27 04:16

[AIGC 大数据基础] 浅谈hdfs

HDFS介绍什么是HDFS？HDFS（HadoopDistributedFileSystem）是ApacheHadoop生态系统的一部分，是一个分布式文件系统。
程序员三木·2024-01-27 01:00

2021年值得关注的存储和磁盘阵列

尽管云存储越来越受欢迎，但存储阵列(尤其是全闪存阵列)是许多企业存储基础设施的重要组成部分。而顶级的存储阵列可以提供广泛的数据存储，并允许用户将关键业务工作负载存储到更能支持他们开展业务的位置。
鹤子青云上·2024-01-26 23:27

大数据开发必备工具——Hadoop及整体架构介绍

它由几个关键的组件组成，其中最核心的是Hadoop分布式文件系统（HDFS）和MapReduce计算模型。
love6a6·2024-01-26 21:03

HBase 2.3.2 集群部署

HBase2.3.2集群部署依赖服务系统优化查看ZooKeeper集群状态查看HDFS集群状态创建路径配置/etc/profile配置$HBASE_HOME/conf/hbase-env.sh配置$HBASE_HOME
JP.Hu·2024-01-26 19:07

Hadoop 3.1.1 HDFS 集群部署

Hadoop3.1.1HDFS集群部署依赖服务系统优化查看ZooKeeper集群状态创建路径配置/etc/profile配置$HADOOP_HOME/etc/hadoop/hadoop-env.sh配置
JP.Hu·2024-01-26 19:37

hadoop安装遇到的一些障碍

start-dfs.sh（开启不成功）原因：1.dadoop文件所属者与执行时登陆者不一致（权限不足）报错：WARNING:HADOOP_SECURE_DN_USERhasbeenreplacedbyHDFS_DATANODE_SECURE_USER.UsingvalueofHADOOP_SECURE_DN_USER.Startingnamenodeson
GetIdea·2024-01-26 18:30

第2章 信息技术发展——2.2 新一代信息技术及应用（上）

文章目录2.2新一代信息技术及应用（上）2.2.1物联网1.技术基础2.关键技术1)传感器技术2)传感网3)应用系统框架3.应用和发展2.2.2云计算1.技术基础2.关键技术1)虚拟化技术2)云存储技术
Mrlibai·2024-01-26 17:50

搭建Hive3.x并整合MySQL8.x存储元数据

另外一点就是HDFS上
端碗吹水·2024-01-26 16:06
上一页 5 6 7 8 9 10 11 12 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他