HDFS实训

Hadoop 和 Spark 的内存管理机制分析

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-20 03:27

大数据学习（五）：如何使用 Livy提交spark批量任务--转载

/bin/livy-server这里假设spark使用yarn模式，所以所有文件路径都默认位于HDFS中。
zuoseve01·2025-01-19 22:15

隐私计算开源助力数据要素流通

主讲老师：李宏宇课程链接：第2讲：隐私计算开源助力数据要素流通丨隐私计算实训营第2期_哔哩哔哩_bilibili1、数据要素流转与数据内外循环这是数据的生命周期也是数据流转的链路图，我们可以发现数据流转可以分为数据采集加工和数据价值释放两个部分
HZGame.·2025-01-19 21:08

隐语安装部署

主讲老师：周爱辉讲课链接：第4讲（上）：隐语安装部署-理论篇丨隐私计算实训营第2期_哔哩哔哩_bilibili主讲老师：王祖利讲课链接：第4讲（下）：SecretFlow与Secretnote的安装部署
HZGame.·2025-01-19 21:08

数据可信流通

主讲老师：韦韬学习链接：第1讲：数据可信流通，从运维信任到技术信任丨隐私计算实训营第1期_哔哩哔哩_bilibili【一图读懂｜数据二十条】-国家发展和改革委员会(ndrc.gov.cn)“数据二十条”
HZGame.·2025-01-19 21:37

hive小文件合并机制_hive小文件的问题弊端以及合并

小文件的弊端1、HDFS中每个文件的元数据信息，包括位置大小分块信息等，都保存在NN内存中，在小文件数较多的情况下，会造成占用大量内存空间，导致NN性能下降；2、在读取小文件多的目录时，MR会产生更多map
做生活的创作者·2025-01-19 08:49

隐私计算实训营 第三讲:隐私计算框架及架构

目前世面上没有绝对优势的技术路线，所以隐语从完备性，开放性，独立性这3个角度考虑方案1.产品层产品定位：通过交互友好的可视化页面，降低终端用户使用成本通过模块化API降低技术集成商的研发成本所以根据产品定位，隐语产品类型分为白屏产品（定位1）和黑屏产品（定位2）黑屏产品：secretflow、库的形式2.算法层层级分类产品名称简介使用方式算法层隐私计算算法PSI隐私求教白屏：可视化功能黑屏：sec
weixin_39707995·2025-01-19 06:28

Java 大视界 -- 解锁 Java 与 Hadoop HDFS 交互的高效编程之道（二）

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：大数
青云交·2025-01-19 05:19

使用 Hadoop 实现大数据的高效存储与查询

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-18 23:24

“云计算+中职”：VR虚拟仿真实训室的发展前景

云计算与虚拟现实（VR）技术的结合，为中职教育提供了全新的教学模式和实训平台。一、云计算与VR虚拟仿真实训室的融合云计算技术以其高可靠性、可扩展性和灵活性，为VR虚拟仿真实训室提供了强大的技术支撑。
武汉唯众智创·2025-01-18 21:01

hdfs和hive对于小文件的处理方案

一、hdfs如何处理小文件小文件问题的危害小文件问题对HDFS的性能和稳定性产生显著影响，主要包括：占用过多的存储空间：每个小文件都会占用一个独立的Block，导致存储资源的浪费。
二进制_博客·2025-01-18 19:35

c语言实验使用什么作用,c语言实验总结与反思

c语言实验总结与反思一这个星期，我们迎来了C语言实训——一次至为重要的实训。在这个星期里，同学们都很认真的做着那20多道实训题目，遇到不懂的互相请教，或请问老师。
努力的大头兵·2025-01-18 15:04

大数据-257 离线数仓 - 数据质量监控 监控方法 Griffin架构

目前已经更新到了：Hadoop（已更完）HDFS（已更完）MapReduce（已更完）Hive（已更完）Flume（已更完）Sqoop（已更完）Zookeeper（已更完）HBase（已更完）Redis
武子康·2025-01-18 10:29

pyspark 中删除hdfs的文件夹

搜索了下资料，发现pyspark并没有提供直接管理hdfs文件系统的功能。寻找到一个删除的方法，是通过调用shell命令hadoopfs-rm-f来删除，这个方法感觉不怎么好，所以继续找。
TDengine （老段）·2025-01-18 09:21

Python 爬虫：获取网页数据的 5 种方法

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-18 07:35

采用海豚调度器+Doris开发数仓保姆级教程（满满是踩坑干货细节，持续更新）

目录一、采用海豚调度器+Doris开发平替CDHHdfs+Yarn+Hive+Oozie的理由。
大模型大数据攻城狮·2025-01-17 19:56

“大数据+技校”：VR虚拟仿真实训室的发展前景

大数据+技校"模式下的VR虚拟仿真实训室，为技校学生提供了一个创新的学习平台，预示着教育方式的深刻变革。一、大数据与技校教育的深度融合大数据技术的应用为技校教育带来了前所未有的机遇。
武汉唯众智创·2025-01-17 16:27

深入HDFS——DataNode启动源码

首先，自然还是从元数据管理篇提到的DataNode类（org.apache.hadoop.hdfs.server.datanode.DataNode）开始。
黄雪超·2025-01-17 12:26

深入HDFS——NameNode启动源码

引入前面我们已经对HDFS有了很多了解，但是光说不练假把式，今天开启深入源码的纯享模式，先来看看NameNode启动流程，在代码层面，到底是如何实现的。
黄雪超·2025-01-17 12:25

Spring Boot 和微服务：快速入门指南

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-17 09:56

HDFS 在上传文件的时候，如果其中一个 DataNode 突然挂掉了怎么办？ 思维导图 代码示例（java 架构)

当在HDFS中上传文件时，如果其中一个DataNode突然挂掉，HDFS有内置的机制来确保数据的完整性和可靠性。以下是详细的处理流程、Java架构代码示例以及创建思维导图的建议。
用心去追梦·2025-01-17 03:37

初学者如何用 Python 写第一个爬虫？

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-16 23:27

大数据技术实训：Zookeeper集群配置

一、本地模式安装部署1）安装前准备（1）安装jdk（2）拷贝Zookeeper安装包到Linux系统下（3）解压到指定目录tar-zxvfzookeeper-3.5.7.tar.gz-C/opt/module/2）配置修改（1）将/opt/module/zookeeper-3.5.7/conf这个路径下的zoo_sample.cfg修改为zoo.cfg；$mvzoo_sample.cfgzoo.c
东风无力百花残_·2025-01-16 19:56

nosql数据库技术与应用知识点

Nosql知识回顾大数据处理流程数据采集(flume、爬虫、传感器)数据存储(本门课程NoSQL所处的阶段)Hdfs、MongoDB、HBase等数据清洗(入仓)Hive等数据处理、分析(Spark、Flink
皆过客，揽星河·2024-09-16 08:42

浅谈MapReduce

但是Hadoop作为Apache的一个开源项目，在下面有非常多的子项目，比如HDFS，HBase,Hive，Pig,等等，要先彻底学习整个Hadoop，仅仅凭借一个的力量，是远远不够的。
Android路上的人·2024-09-16 04:40

Hadoop

Hadoop核心由四个主要模块组成，分别是HDFS（分布式文件系统）、MapReduce（分布式计算框架）、YARN（资源管理）和HadoopCommon（公共工具和库）。
傲雪凌霜，松柏长青·2024-09-16 00:16

Hadoop架构

HDFS顺应时代出现，在解决大数据存储和计算方面有很多的优势。1.2案列前置知识点1.什么是大数据大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的大量数据集合，
henan程序媛·2024-09-16 00:14

hbase介绍

hbase是一个分布式的、多版本的、面向列的开源数据库hbase利用hadoophdfs作为其文件存储系统，提供高可靠性、高性能、列存储、可伸缩、实时读写、适用于非结构化数据存储的数据库系统hbase利用
CrazyL-·2024-09-15 13:06

educoder实训平台python顺序结构答案_Educoder Python顺序结构习题

1.正方形与等腰三角形组成的多边形的面积square_length=4triangle_h=2.6area_square=4*4area_triangle=(2.6*4)/2area_total=area_square+area_triangleprint(area_total)2.平抛小球与抛出点的距离G=9.8v0=5t=2s=v0*th=(G*t**2)/2d=(s**2+h**2)**0.
weixin_39710660·2024-09-15 11:28

高职人工智能训练师边缘计算实训室解决方案

一、引言随着物联网（IoT）、大数据、人工智能（AI）等技术的飞速发展，计算需求日益复杂和多样化。传统的云计算模式虽在一定程度上满足了这些需求，但在处理海量数据、保障实时性与安全性、提升计算效率等方面仍面临诸多挑战。在此背景下，边缘计算作为一种新兴的计算模式应运而生，通过将计算能力推向数据生成或用户所在的网络边缘，显著降低了数据传输的延迟，提升了处理效率，并增强了数据安全性。针对高等职业院校的人工
武汉唯众智创·2024-09-15 03:32

周记15

星期二我们进行了电子技能实训期中考试。对我来说，简直不要太轻松。无非就是拿万用表测电阻值，顺带读出来
安诗雨·2024-09-15 03:33

黄狄樊实训项目1.2.3

.安装nodejs2.安装git3.下载vue-element-admin建议本项目的定位是后台集成方案，不太适合当基础模板来进行二次开发。因为本项目集成了很多你可能用不到的功能，会造成不少的代码冗余。如果你的项目不关注这方面的问题，也可以直接基于它进行二次开发。集成方案:vue-element-admin基础模板:vue-admin-template桌面终端:electron-vue-admin
明年的牛肉干·2024-09-15 01:33

HBase介绍

HBase是GoogleBigtable的开源实现，它利用HadoopHDFS作为其文件存储系统，利用HadoopMapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。
mingyu1016·2024-09-14 21:47

无题

我现在主要是在财经学校负责实训室管理工作，因为电脑较多，对计算机知识要求更高了。以我目前的能力完全不够，以前都是将就混日子。现在我就不知是继续学不喜欢的计算机知识呢？还是离职做其他的？
悦读山人·2024-09-14 17:55

虚拟现实智能家居实训系统实训解决方案

为了满足市场对智能家居专业人才日益增长的需求，虚拟现实智能家居实训系统实训解决方案旨在通过高度仿真的虚拟环境，为职业院校学生提供全面、高效、安全的智能家居系统学习与实践平台。
武汉唯众智创·2024-09-14 06:10

【HDFS】【HDFS架构】【HDFS Architecture】【架构】

目录1Introduction介绍2AssumptionsandGoals假设和目标HardwareFailure硬件故障StreamingDataAccess流式数据访问LargeDataSets大型数据集SimpleCoherencyModel简单凝聚力模型“MovingComputationisCheaperthanMovingData”“移动计算比移动数据更便宜”PortabilityAc
资源存储库·2024-09-14 04:53

Hadoop学习第三课（HDFS架构--读、写流程）

1.块概念举例1：一桶水1000ml，瓶子的规格100ml=>需要10个瓶子装完一桶水1010ml，瓶子的规格100ml=>需要11个瓶子装完一桶水1010ml，瓶子的规格200ml=>需要6个瓶子装完块的大小规格，只要是需要存储，哪怕一点点，也是要占用一个块的块大小的参数：dfs.blocksize官方默认的大小为128M官网：https://hadoop.apache.org/docs/r3.
小小程序员呀~·2024-09-14 03:53

hdfs启动流程

Namenode1.init()namenode初始化，执行加载配置文件等操作2.loadFsImage()开始加载元数据将FsImage护额徐为目录树，保存在内存中FsImage中主要包含了问价你和数据块的对应关系3.loadEditlog()加载Editlog，将Editlog中记录的元数据修改应用到内存中；4.saveCheckpoint()将内存中最新的目录树持久化为新的FsImage到磁
weixin_44352020·2024-09-14 03:52

hdfs开机启动流程

第一步：加载name目录下最新的那个fsimage_xxx019文件，将里面存储的元数据（目录树结构）维护到内存中，但是还不是关机前的状态第二步：将关机前的最后使用的edits_inprogress_xxxx0160进行重命名edits_0000000000000000160-0000000000000000169操作，然后生成一个最新的edits_inprogress_xxx170文件，并修改s
鸭梨山大哎·2024-09-14 03:51

hadoop启动HDFS命令

启动命令：/hadoop/sbin/start-dfs.sh停止命令：/hadoop/sbin/stop-dfs.sh
m0_67401228·2024-09-14 03:49

【HDFS主从集群】存在两个独立的问题和解决方案

主从集群存在两个独立的问题和解决方案单点“主”的两个独立的问题以下是解决方案HA高可用方案：解决单点故障导致集群整体不可用问题Federation联邦机制：解决NN压力过大问题总结一般很多技术都是主从结构（最简单的结构）优点：结构相对简单，主与从协作“主”是单点，好处有，缺点也有好处：单点NameNode，数据一致性好掌握  因为一个人管，说一不二的单点“主”的两个独立的问题关键词：独立：两套独立
流辉fglow·2024-09-14 03:48

【HDFS】角色的架构设计

HDFS角色的架构设计前置知识：Windows与Linux文件系统的差异HDFS中的角色及功能HDFS的架构NameNodeDataNodeNameNode元数据的持久化说明：/表示两个词是同一语义，方便你理解的前置知识
流辉fglow·2024-09-14 03:47

HDFS的启动过程

HDFS的启动过程HDFS的启动过程分为四个阶段：第一阶段：NameNode读取包含元数据信息的fsimage文件，并加载到内存；第二阶段：NameNode读取体现HDFS最新状态的edits日志文件，
ffbc2020·2024-09-14 03:47

集群hdfs启动

1）各个模块分开启动/停止（配置ssh是前提）常用（1）整体启动/停止HDFSstart-dfs.sh/stop-dfs.sh（2）整体启动/停止YARNstart-yarn.sh/stop-yarn.sh2
sxu~源·2024-09-14 03:46

spark常用命令

查看报错日志：yarnlogsapplicationIDspark2-submit--masteryarn--classcom.hik.ReadHdfstest-1.0-SNAPSHOT.jar进入$SPARK_HOME
我是浣熊的微笑·2024-09-13 10:38

编程常用命令总结

编程命令大全1.软件环境变量的配置JavaScalaSparkHadoopHive2.大数据软件常用命令Spark基本命令Spark-SQL命令Hive命令HDFS命令YARN命令Zookeeper命令
Yellow0523·2024-09-13 02:42

Hadoop常见面试题整理及解答

而Hadoop使用较为廉价的机器存储数据，且Hadoop可以将大量机器构建成一个集群，并在集群中使用HDFS文件系统统一管理数据，极大的提高了数据的存储及处理能力。
叶青舟·2024-09-12 19:24

项目实训十四

将pytorch模型封装成接口由于前面对于模型的构建、训练、评估都以完成，接下来要做的就是将按照项目要求，将模型封装成接口，供后端直接调用。我需要做的是后端直接调用系统命令pythonprase.py-img图片便可以直接得到解析结果。由于前面的测试模型的正确率都是批量处理过的图片，而现在前端只会传过来要解析的图片或者图片路径，而且图片也是未经处理过的，显然直接输入不会得到好的结果，并且性能也会比
qq_51946537·2024-09-12 11:37

hive表格统计信息不准确

存储格式，有个分区，查询selectcount(1)fromtablewheredt='yyyyMMdd'结果是0，但查询select*fromtablewheredt='yyyyMMdd'又能查到数据，去hdfs
weixin_41956627·2024-09-11 09:37

人生苦短我用Python pandas文件格式转换

1excel与csv互转常用格式的方法FlatfileExcelJSONXML示例2常用格式转换简要需求依赖export方法main方法附其它格式的方法HTMLPicklingClipboardLatexHDFStore
程序喵D·2024-09-11 08:58
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他