数据库运维hdfs云存储

HDFS的EditLog和FsImage作用详细解析，超详细！（含部分非原创图片，大部分原创总结）

Editslog：保存了以HDFS最新版本的FsImage为起点起对hdfs中文件的操作信息FsImage：某一时刻内存元数据在本地磁盘的映射，用于维护管理文件系统树，即元数据。
科班你宇哥·2024-01-20 21:08

Alist + RaiDrive 挂载各大云盘到本地，实现网盘本地化

RaiDrive支持多种云存储服务，包括但不限于GoogleDr
龙行天5·2024-01-20 20:20

使用Sqoop从Oracle数据库导入数据

Sqoop是一个用于在Hadoop生态系统（如HDFS和Hive）与关系型数据库之间传输数据的工具。它使数据工程师
晓之以理的喵~~·2024-01-20 19:27

探索图像检索：从理论到实战的应用

图像检索技术代码示例图像特征提取示例相似度计算索引技术四、图像搜索流程架构数据采集与预处理特征提取相似度计算与排名结果呈现与优化五、实际应用图像检索在电子商务领域的应用图像检索在社交媒体中的应用图像检索在云存储服务中的应用本文深入探讨了图像检索技术及其在主流
TechLead KrisChang·2024-01-20 19:21

批量文件夹上传实现，大量文件快速读取

前言本次开发对象云存储（OSS）运用到了文件上传，文件夹上传和拖拽上传这三个功能。开发基于VUE,但是其他框架的需要应用到的都可以应用。
前端 - wei·2024-01-20 19:39

大数据Hadoop入门——HDFS分布式文件系统基础

HDFS总结在现代的企业环境中，海量数据超过单台物理计算机的存储能力，分布式文件系统应运而生，对数据分区存储于若干物理主机，管理网络中跨多台计算机存储的文件系统。
nucty·2024-01-20 16:00

大数据技术之Hadoop伪分布式安装步骤及结果（Ubuntu）

环境、配置PATH环境变量；3、下载Hadoop并解压；4、修改配置文件；5、名称节点格式化；6、启动Hadoop，JPS查看是否启动成功；7、运行测试例子；8、在安装好的Hadoop伪分布式环境中操作HDFS
小嘤嘤怪学·2024-01-20 16:52

视频智能识别周界入侵检测AI智能分析网关V4如何配置ONVIF摄像机接入

算法可按需组合、按场景配置，平台支持前端设备管理、实时视频预览、录像与云存储、告警推送、取证抓拍、算法在线加载及优化、数据态势分析大屏等。
Black蜡笔小新·2024-01-20 15:27

hdfs元数据为什么分fsimage和edits，合并操作怎么进行的

在NameNode中，命名空间（namespace，指文件系统中的目录树、文件元数据等信息）是被全部缓存在内存中的，一旦NameNode重启或者宕机，内存中的所有数据将全部丢失，所以必须要有一种机制能够将整个命名空间持久化保存，并且能在NameNode重启时重建命名空间。这里就是通过fsimage（FSImage类）和edits（FSEditLog类）共同实现的。fsimage：命名空间镜像，存储
sf_www·2024-01-20 11:53

Quorum Journal实现HDFS HA配置dfs.ha.fencing.methods

1.为什么使用QuorumJournal方式实现hdfsha配置dfs.ha.fencing.methods只需要写shell(true)？
sf_www·2024-01-20 11:22

Hadoop配置文件加载

hadoop使用org.apache.hadoop.conf.Configuration类来加载配置文件2.一般我们在写客户端程序等需要连接hadoop集群时，需要自己准备好core-site.xml和hdfs-site.xml
sf_www·2024-01-20 11:52

HDFS垃圾回收源码解析

1.TrashPolicy类：所有的垃圾回收策略都需要实现该类，hdfs默认的实现方式是：TrashPolicyDefault，可通过fs.trash.classname来配置。
sf_www·2024-01-20 11:52

Hadoop基础知识

狭义上说，Hadoop指Apache这款开源框架，它的核心组件有：HDFS（分布式文件系统）：解决海量数据存储YARN（作业调度和集群资源管理的框架）：解决资源任务调度MAPREDUCE（分布式运算编程框架
坐在风口上de猪·2024-01-20 10:10

在SpringBoot应用中使用Minio作为云存储服务

在SpringBoot应用中使用Minio作为云存储服务除去阿里云之类的公有云，自己搭建一个私有云也是蛮不错的，虽然访问速率受到服务器带宽限制，但是它的存储和访问都是免费的。
JonathanYee·2024-01-20 09:36

安防监控系统EasyCVR平台用户调用设备参数，信息不返回是什么原因？

将前端海量的设备进行统一集中接入与视频汇聚管理，平台支持设备通过4G、5G、WIFI、有线等方式进行视频流的快捷传输，可以提供实时远程视频监控、视频录像、录像回放与存储、告警、语音对讲、云台控制、平台级联、磁盘阵列存储、视频集中存储、云存储等丰富的视频能力
EasyCVR·2024-01-20 06:36

hdfs命令参考1-判断文件存在后删除

#cleanoutputPathhdfsdfs-test-e$outputPathif[$?
liuzx32·2024-01-20 05:24

Kylin基础教程（一）

一、Kylin介绍1.1现状Hadoop于2006年初步实现，改变了企业级的大数据存储（基于HDFS）和批处理（主要基于MR）问题，10几年过去了，数据量随着互联网的发展井喷式增长，如何高速、低延迟的分析数据成为后续面临的挑战
GOD_WAR·2024-01-20 03:43

端智能在大众点评搜索重排序的应用实践

相比于传统的云计算，在智能手机等终端部署运行AI模块有以下几个方面的优势：首先，数据本地化可以缓解云存储的压力，也有利于用户数据的隐私保护；其次，计算的本地化可以缓解云计算过载问题；最后，端智能减少了和云端系统的请
WitsMakeMen·2024-01-20 00:13

openGauss学习笔记-200 openGauss 数据库运维-常见故障定位案例-表文件大小无变化

文章目录openGauss学习笔记-200openGauss数据库运维-常见故障定位案例-表文件大小无变化200.1VACUUMFULL一张表后，表文件大小无变化200.1.1问题现象200.1.2原因分析
superman超哥·2024-01-19 19:35

openGauss学习笔记-202 openGauss 数据库运维-常见故障定位案例-不同用户查询同表显示数据不同

文章目录openGauss学习笔记-202openGauss数据库运维-常见故障定位案例-不同用户查询同表显示数据不同202.1不同用户查询同表显示数据不同202.1.1问题现象202.1.2原因分析202.1.3
superman超哥·2024-01-19 19:35

openGauss学习笔记-201 openGauss 数据库运维-常见故障定位案例-执行修改表分区操作时报错

文章目录openGauss学习笔记-201openGauss数据库运维-常见故障定位案例-执行修改表分区操作时报错201.1执行修改表分区操作时报错201.1.1问题现象201.1.2原因分析201.1.3
superman超哥·2024-01-19 19:33

Flutter中使用minio_new库

Minio是一个开源的对象存储服务，它兼容AmazonS3云存储服务接口，可以用于存储大规模非结构化的数据。
且随疾风前行.·2024-01-19 18:19

如何在 Vultr 上部署 ONLYOFFICE 文档 v7.3

在启动了ONLYOFFICE文档实例后，您就可将ONLYOFFICE文档与云存储平台进行集成，如
ONLYOFFICE·2024-01-19 17:43

智慧校园大数据云存储和云灾备

云存储基于NCS分布式海量存储系统随着虚拟化成为基础架构主要的工作机制，数据中心的存储设计面临前所未有的挑战：第一个挑战是管理复杂、不灵活。存储一直是虚拟化架构设计中最关键的环节之一。
shawn_song1212·2024-01-19 16:20

大数据学长面试之OPPO面试题

1）技术部分（1）SparkStreaming消费方式及区别，Spark读取HDFS的数据流程（2）Kafka高性能（3）Hive调优，数据倾斜（4）Zookeeper怎么避免脑裂，什么是脑裂。
大数据小理·2024-01-19 16:01

一次简单的错误排查

问题现象，上午做了某云存储融灾备份。但是发现，某台服务器使用堡垒机连接不上了，开始以为是存储容灾备份的原因。
ajax_beijing_java·2024-01-19 12:46

百度网盘超级会员购买优惠渠道 百度网盘SVIP怎么买最最划算

百度网盘超级会员购买优惠渠道，让你最划算地购买SVIP一、引言随着互联网的快速发展，百度网盘作为一款流行的云存储服务，被广泛应用于文件存储、分享和备份。
日常购物技巧呀·2024-01-19 11:05

大数据开发之Hadoop（优化&新特征）

第1章：HDFS-故障排除注意：采用三台服务器即可，恢复到Yarn开始的服务器快照。
Key-Key·2024-01-19 10:50

centos中安装nfs实现服务器文件共享

如果一个服务使用集群方式部署，在文件读写时就需要考虑多个服务之间文件共享的问题，在共享文件时可以考虑部署一个单独的文件服务器，比如hdfs、minio、fastdfs等，也可以使用简单的文件目录共享方式实现
腊笔不小新xingo·2024-01-19 09:18

任务15：使用Hive进行全国气象数据分析

进行数据分析重点：掌握Hive基本语句熟练使用Hive对天气数据进行分析内容：使用Hive创建外部表使用Hive对数据进行统计分析任务指导1.使用Hive创建基础表将China_stn_city.csv文件上传到HDFS
Dija-bl·2024-01-19 08:44

使用 Docker 部署 KodCloud 可道云网盘

一、KodCloud介绍KodCloud简介:::info**官网：**http://www.kodcloud.com:::KodCloud是可道云推出的企业级私有云存储解决方案，旨在为中小企业提供安全可控
开源极客行·2024-01-19 08:28

Jackson标签的高阶使用样例--多继承/子类、对象id、JsonIdentityInfo、JsonTypeInfo、JsonSubTypes

我们支持的资产类型不仅有关系数据库表，也支持Kafka主题，hdfs上的文件等。
OkGogooXSailboat·2024-01-19 06:19

Spark基础学习--基础介绍

首先我们回顾一下MapReduce的架构：MR基于HDFS实现大数据存储，基于Yarn做资源调度，且MR是基于进程处理数据的总结一下MR的缺点：1.MR是基于进程进行数据处理，进程相对
Yan_bigdata·2024-01-19 06:37

恒创科技：云存储和网盘怎么区分出来？

云存储和网盘是经常被人们提及的两种存储方式，均通过网络进行数据存储和访问的服务。但，它们在技术实现、数据安全性、访问方式和数据容量等方面存在一定的差异。
海外空间恒创科技·2024-01-19 06:22

FineBI实战项目一（25）：实战项目一总结

没有集群，hdfs、hive、spark、kafka、flink等等都没有2解决方案mysql数据同步尽量和业务系统保持一致，以便后期出现问题排查。mysql同步到数仓，数仓
不死鸟.亚历山大.狼崽子·2024-01-19 02:39

HBase第一章：集群搭建

ApacheHBase™是以hdfs为数据存储的，一种分布式、可扩展的NoSQL数据库。一、环境准备再开始之前，我们要先安装
超哥--·2024-01-19 00:57

hbase学习笔记-hbase集群安装部署

tar-zxvfhbase-2.0.0-bin.tar.gz-C/opt/bigdata5、重命名解压目录mvhbase-2.0.0hbase6、修改配置文件1、需要把hadoop中的配置core-site.xml、hdfs
陈同学：·2024-01-19 00:22

HBase学习三：集群部署

>启动HBase—>关闭HBase—>关闭Hadoop1环境准备1.0环境前期准备参考基础环境配置1.1机器准备hostnameipvm1ip1vm2ip2vm3ip31.2机器分配hdfs
Studying！！！·2024-01-19 00:50

Java阿里云OSS上传文件

第一步：打开阿里云网站打开网站：阿里云OSS：对象存储OSS_云存储服务_企业数据管理_存储-阿里云(aliyun.com)第二步：创建一个Bucket容器第三步:这里可以查看自己的AccessKeyID
脆脆鲨鱼·2024-01-18 23:03

HDFS使用QJM(Quorum Journal Manager)实现的高可用性以及备份机制

目录前言1.NameNode的启动和对edits和QJM相关配置文件的解析2.使用FSImage和FSEditLog类对image和editlog文件进行读写和管理3.EditsDoubleBuffer双缓存，让flush和write同时进行，互不干扰4.AsyncLoggerSetl类代理对QJM集群的读写6.QuorumCall封装了对基于paxos算法的QJM集群的异步操作7.StandBy
麦兜和小可的舅舅·2024-01-18 22:56

Hadoop的心脏：中央异步调度器AsyncDispatcher代码和设计解析

以Yarn、HDFS和MapReduce为主要组成的Hadoop，涉及到大量复杂的、交互的事件处理、状态转换，同时，这些事件调度和状态转换又对实时性和效率提出了极高的要求。
麦兜和小可的舅舅·2024-01-18 22:56

Hadoop RPC Server基于Reactor模式和Java NIO 的架构和原理

尤其是作为Master/Slave结构的Hadoop设计，比如HDFSNameNode或者YarnResourceMan
麦兜和小可的舅舅·2024-01-18 22:26

HDFS WebHDFS 读写文件分析及HTTP Chunk Transfer Encoding相关问题探究

文章目录前言需要回答的首要问题DataNode端基于Netty的WebHDFSService的实现基于重定向的文件写入流程写入一个大文件时WebHDFS和HadoopNative的块分布差异基于重定向的数据读取流程尝试读取一个小文件尝试读取一个大文件读写过程中的
麦兜和小可的舅舅·2024-01-18 22:52

【数据采集与预处理】数据传输工具Sqoop

Sqoop原理三、Sqoop安装配置（一）下载Sqoop安装包并解压（二）修改配置文件（三）拷贝JDBC驱动（四）验证Sqoop（五）测试Sqoop是否能够成功连接数据库四、导入数据（一）RDBMS到HDFS
Francek Chen·2024-01-18 22:19

Hive入门

Hive把表和字段转换成HDFS中的文件夹和文件，并将这些元数据保持在关系型数据库中，如derby或mysql。Hive查询的数据存储在HDFS上，运行在Yarn上。Hive适合做离线数
kongxx·2024-01-18 17:11

如何搭建内网云盘

Cloudreve在底层支持不同的云存储平台，用户在实际使用时无须关心物理存储方式。你可以使用Cloudreve搭建个人用网盘、文件分享系统，亦或是针对大小团体的公有云系统。
zhoutanooi·2024-01-18 09:22

大数据小白初探Hbase从零到入门

目录1.前言2.初识Hbase2.1有了HDFS为什么还需要HBase呢？2.2HBase主要做什么的？2.3HBase架构特点？2.4HBase的适用场景？2.5HBase的数据模型和物理储存格式？
北京-景枫·2024-01-18 09:10

HBASE学习一：原理架构详解

HBase的存储是基于HDFS的，HDFS有着高容错性的特点，被设计用来部署在低廉的硬件上，基于Hadoop意味着HBase与生俱来的超强的扩展性和吞吐量。HBase采用的时ke
Studying！！！·2024-01-18 08:34

大数据分析之ClickHouse技术选型

文章目录1.快速入门2.企业应用与实践3.踩坑4.优化最近公司的战略上需要更多的数据支撑，目前在构思打造一个用户数据分析平台，由于团队人力有限，没有Hdfs生态的技术人员。
凡尘技术·2024-01-18 08:12

Spark—shell，Hbase—shell

Spark：SPARKSQLresults=spark.sql("SELECT*FROMpeople")//读取JSON文件valuserScoreDF=spark.read.json("hdfs://
꧁༺朝花夕逝༻꧂·2024-01-18 07:21
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他