数据库数据导入到HDFS

Hadoop 与 Spark：大数据处理的比较

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-23 16:50

Hive（11）：Transactional Tables事务表

且映射的数据通常存储于HDFS上，而HDFS是不支持随机修改文件数据的。
不死鸟.亚历山大.狼崽子·2025-01-23 15:48

Hadoop分布式文件系统-HDFS架构

一、HDFS的简介HDFS全称HadoopDistributedFileSystem，是分布式文件管理系统。
Fancs2024·2025-01-23 09:37

基于MRS-Hudi构建数据湖的典型应用场景介绍

一、传统数据湖存在的问题与挑战传统数据湖解决方案中，常用Hive来构建T+1级别的数据仓库，通过HDFS存储实现海量数据的存储与水平扩容，通过Hive实现元数据的管理以及数据操作的SQL化。
华为云技术精粹·2025-01-23 04:50

深入MapReduce——引入

引入前面我们已经深入了HDFS的设计与实现，对于分布式系统也有了不错的理解。但HDFS仅仅解决了海量数据存储和读写的问题。
黄雪超·2025-01-22 23:41

HUDI-0.11.0 BUCKET index on Flink 特性试用

当前环境：Flink1.13.2+Hudi0.11.0（master2022.04.11）+COW+HDFS。关键配置项：index.type=BUCKEThoodie.buc
_Magic·2025-01-22 23:06

PHP简单项目案例（改进版）

简单效果：1.打开网页呈现数据库数据：2.删除功能，添加信息功能。
小邱同志~·2025-01-22 20:16

Python学生成绩管理系统（完整代码）

本篇博客主要分为两大部分，数据库部分和Python程序设计部分，先将数据导入到数据库中，随后通过python程序
Want595·2025-01-22 15:37

Hadoop是什么，怎么部署安装？

它包括两个核心组件：Hadoop分布式文件系统（HDFS）和HadoopYARN（YetAnotherResourceNegotiator）。
狮歌~资深攻城狮·2025-01-22 15:01

Oracle数据库恢复时要建库吗_Oracle数据ASM实例不能mount怎么恢复数据

二、数据库故障分析方法数据库数据恢复工程师首先对底层的磁盘进行分析，通过分析组成ASM磁盘组的磁盘将ASM元数据提取出来进行进一步的分析。通过数据库工程师进一
weixin_39624461·2025-01-22 03:34

分布式存储的技术选型之HDFS、Ceph、MinIO对比

分布式存储的技术选型比：HDFS、Ceph、MinIO对比一文读懂分布式存储在当今数字化时代，数据呈爆炸式增长，分布式存储技术应运而生，成为大数据存储与管理的得力助手。
Linux运维老纪·2025-01-22 00:40

HDFS Disk Balancer 介绍&使用

一、介绍一句话介绍：用于HDFSDataNode单节点内多个数据盘数据均衡。
_Magic·2025-01-21 20:00

doris:阿里云 OSS 导入数据

Doris提供两种方式从阿里云OSS导入文件：使用S3Load将阿里云OSS文件导入到Doris中，这是一个异步的导入方式。使用TVF将阿里云OSS文件导入到Doris中，这是一个同步的导入方式。
向阳1218·2025-01-21 13:01

hadoop常用命令

mapreduce）看正在运行的yarn任务yarnapplication-list杀死对应的yarn任务yarnapplication-kill{application_Id}（id可以通过-list看到）hdfs
我要用代码向我喜欢的女孩表白·2025-01-21 05:54

数据库高可用方案-09-数据库的灾难恢复演练

数据库数据高可用系列数据库高可用方案-01-数据库备份还原方案数据库高可用方案-02-多机房部署数据库高可用方案-03-主备等高可用架构数据库高可用方案-04-删除策略数据库高可用方案-05-备份与恢复数据库高可用方案
老马啸西风·2025-01-21 03:56

数据库高可用方案-05-备份与恢复

数据库数据高可用系列数据库高可用方案-01-数据库备份还原方案数据库高可用方案-02-多机房部署数据库高可用方案-03-主备等高可用架构数据库高可用方案-04-删除策略数据库高可用方案-05-备份与恢复数据库高可用方案
老马啸西风·2025-01-21 03:26

数据库高可用方案-07-一致性校验

数据库数据高可用系列数据库高可用方案-01-数据库备份还原方案数据库高可用方案-02-多机房部署数据库高可用方案-03-主备等高可用架构数据库高可用方案-04-删除策略数据库高可用方案-05-备份与恢复数据库高可用方案
老马啸西风·2025-01-21 03:26

数据库高可用方案-03-主备等高可用架构

数据库数据高可用系列数据库高可用方案-01-数据库备份还原方案数据库高可用方案-02-多机房部署数据库高可用方案-03-主备等高可用架构数据库高可用方案-04-删除策略数据库高可用方案-05-备份与恢复数据库高可用方案
老马啸西风·2025-01-21 03:25

gds文件 导出_GaussDB 200使用GDS服务导入导出数据

GaussDB200支持将存在远端服务器上的TEXT、CSV和FIXED格式的数据导入到集群中。本文介绍使用GDS(GaussDataService)工具将远端服务器上的数据导入GaussDB200。
weixin_39576066·2025-01-21 01:37

Vulnhub DC-1靶机攻击实战(一)

第一步、获取靶机  我们可以从下面的连接中获取VulnhubDC-1的靶机，然后点击下载链接下载靶机https://www.vulnhub.com/entry/dc-1-1,292/第二步、将靶机导入到
nihui123·2025-01-20 16:47

flume系列之：flume落cos

一、参考文章二、安装cosjar包三、添加hadoop-cos的相关配置四、flume环境添加hadoop类路径五、使用cos路径六、启动/重启flume一、参考文章Kafka数据通过Flume存储到HDFS
快乐骑行^_^·2025-01-20 13:42

创建您的第一个Angular应用：实现路由

country.ts文件用于存储Country类定义，因此我们可以将其导入到其他文件中。country-dat
cunjie3951·2025-01-20 07:09

Hadoop 和 Spark 的内存管理机制分析

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-20 03:27

学习笔记081——如何备份服务器中MySQL数据库数据？

方法：可以通过编写sh脚本的方式，结合Linux中的crontab定时任务来实现定时备份数据的功能。sh脚本如下：#!/bin/bash#要备份的数据库DB_NAME="wms"#数据库账号DB_USER="root"#数据库密码DB_PASSWORD="123456"#数据备份存放目录BACKUP_DIR="/home/htl/backup"mkdir-p$BACKUP_DIR#备份文件名BAC
上下求索.·2025-01-19 22:46

大数据学习（五）：如何使用 Livy提交spark批量任务--转载

/bin/livy-server这里假设spark使用yarn模式，所以所有文件路径都默认位于HDFS中。
zuoseve01·2025-01-19 22:15

hive小文件合并机制_hive小文件的问题弊端以及合并

小文件的弊端1、HDFS中每个文件的元数据信息，包括位置大小分块信息等，都保存在NN内存中，在小文件数较多的情况下，会造成占用大量内存空间，导致NN性能下降；2、在读取小文件多的目录时，MR会产生更多map
做生活的创作者·2025-01-19 08:49

Java 大视界 -- 解锁 Java 与 Hadoop HDFS 交互的高效编程之道（二）

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：大数
青云交·2025-01-19 05:19

使用 Hadoop 实现大数据的高效存储与查询

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-18 23:24

vue3 + ts + vite 工程化开发Tampermonkey【油猴、篡改猴】脚本

编译后生成Tampermonkey脚本，导入到Tampermonkey插件中直接使用。
雷特130·2025-01-18 23:20

ollama教程——使用LangChain调用Ollama接口实现ReAct

ollama入门系列教程简介与目录相关文章:Ollama教程——入门：开启本地大型语言模型开发之旅Ollama教程——模型：如何将模型高效导入到Ollama框架Ollama教程——兼容OpenAIAPI
walkskyer·2025-01-18 21:25

hdfs和hive对于小文件的处理方案

一、hdfs如何处理小文件小文件问题的危害小文件问题对HDFS的性能和稳定性产生显著影响，主要包括：占用过多的存储空间：每个小文件都会占用一个独立的Block，导致存储资源的浪费。
二进制_博客·2025-01-18 19:35

大数据-257 离线数仓 - 数据质量监控 监控方法 Griffin架构

目前已经更新到了：Hadoop（已更完）HDFS（已更完）MapReduce（已更完）Hive（已更完）Flume（已更完）Sqoop（已更完）Zookeeper（已更完）HBase（已更完）Redis
武子康·2025-01-18 10:29

pyspark 中删除hdfs的文件夹

搜索了下资料，发现pyspark并没有提供直接管理hdfs文件系统的功能。寻找到一个删除的方法，是通过调用shell命令hadoopfs-rm-f来删除，这个方法感觉不怎么好，所以继续找。
TDengine （老段）·2025-01-18 09:21

Python 爬虫：获取网页数据的 5 种方法

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-18 07:35

.NET用C#导入Excel到数据库

将Excel文件中的数据导入到数据库中不仅能够提升数据处理的效率和准确性，还能极大地促进数据分析和决策制定的过程。
·2025-01-17 19:04

采用海豚调度器+Doris开发数仓保姆级教程（满满是踩坑干货细节，持续更新）

目录一、采用海豚调度器+Doris开发平替CDHHdfs+Yarn+Hive+Oozie的理由。
大模型大数据攻城狮·2025-01-17 19:56

深入HDFS——DataNode启动源码

首先，自然还是从元数据管理篇提到的DataNode类（org.apache.hadoop.hdfs.server.datanode.DataNode）开始。
黄雪超·2025-01-17 12:26

深入HDFS——NameNode启动源码

引入前面我们已经对HDFS有了很多了解，但是光说不练假把式，今天开启深入源码的纯享模式，先来看看NameNode启动流程，在代码层面，到底是如何实现的。
黄雪超·2025-01-17 12:25

保证Redis和数据库数据一致性的方法

保证Redis与数据库数据一致性的策略解析在实际应用中，Redis常被用作数据库的缓存层，以加速数据读取。然而，由于Redis与数据库的数据更新机制不同步，可能会导致数据不一致性。
·2025-01-17 10:52

Spring Boot 和微服务：快速入门指南

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-17 09:56

HDFS 在上传文件的时候，如果其中一个 DataNode 突然挂掉了怎么办？ 思维导图 代码示例（java 架构)

当在HDFS中上传文件时，如果其中一个DataNode突然挂掉，HDFS有内置的机制来确保数据的完整性和可靠性。以下是详细的处理流程、Java架构代码示例以及创建思维导图的建议。
用心去追梦·2025-01-17 03:37

数据库数据恢复—恢复丢失的Mysql表记录数据，只需要这几步

Mysql数据库数据恢复流程：1、备份损坏的数据库文件。2、使用磁盘编辑器分析数据文件MYD。3、判断表记录丢失的可能原因。4、针对不同的表记录丢失原因，使用北亚企安自主开发的软件恢复数据。
·2025-01-16 23:19

初学者如何用 Python 写第一个爬虫？

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-16 23:27

解决MySQL与Redis缓存一致性的问题

然而，缓存和数据库的同步问题常常成为瓶颈，主要体现在缓存数据与数据库数据的一致性问题。为了有效解决这一问题，我们可以采取以下几种策略：1.缓存穿透缓存穿透是指查询的数据在缓存和数据库中都不存在的情况。
·2025-01-16 16:03

nosql数据库技术与应用知识点

Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink
皆过客，揽星河·2024-09-16 08:42

mac 备份android 手机通讯录导入iphone,iphone如何导出通讯录（轻松教你iPhone备份通讯录的方法）...

在日新月异的手机更替中，换手机已经成为一个非常稀松平常的事情，但将旧手机上面的通讯录导入到新手机还是让不少小伙伴为难，本篇将给大家详细讲解这方面的知识：“苹果手机通讯录怎么导入到新手机”及“安卓手机通讯录导入到新手机
weixin_39762838·2024-09-16 06:28

浅谈MapReduce

但是Hadoop作为Apache的一个开源项目，在下面有非常多的子项目，比如HDFS，HBase,Hive，Pig,等等，要先彻底学习整个Hadoop，仅仅凭借一个的力量，是远远不够的。
Android路上的人·2024-09-16 04:40

Hadoop

Hadoop核心由四个主要模块组成，分别是HDFS（分布式文件系统）、MapReduce（分布式计算框架）、YARN（资源管理）和HadoopCommon（公共工具和库）。
傲雪凌霜，松柏长青·2024-09-16 00:16

Hadoop架构

HDFS顺应时代出现，在解决大数据存储和计算方面有很多的优势。1.2案列前置知识点1.什么是大数据大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的大量数据集合，
henan程序媛·2024-09-16 00:14

mybatis 二级缓存失效_Mybatis 缓存原理及失效情况解析

将用户经常查询的数据放在缓存(内存)中，用户去查询数据就不用从磁盘上(关系型数据库数据文件)查询，从缓存中查询，从而提高查询效率，解决了高并发系统的性能问题。2、为什么要使用缓存减少和数据库的交互次
weixin_39844942·2024-09-16 00:41
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他