HDFS王伟珣

Hadoop 与 Spark：大数据处理的比较

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-23 16:50

Hive（11）：Transactional Tables事务表

且映射的数据通常存储于HDFS上，而HDFS是不支持随机修改文件数据的。
不死鸟.亚历山大.狼崽子·2025-01-23 15:48

扫描全能王发起新春扫描活动

面对首个世界“非遗版”春节，合合信息旗下扫描全能王发起了“扫描全能王春节还能这样用”新春扫描活动，用户可“花式”扫描与新春相关的“记忆符号”，助力“非遗”元素传承。
·2025-01-23 13:45

c#使用Confluent.Kafka实现生产者发送消息至kafka（远程连接kafka发送消息超时的解决 Local：Message timed out）

Confluent.Kafka实现生产者发送消息至kafka（远程连接kafka发送消息超时的解决Local：Messagetimedout）-寒冰之光-博客园该死的Kafka，远程连接Kafka超时以及解决办法-博客王大锤
Shinobi_Jack·2025-01-23 12:30

数据结构实验——树与二叉树（哈夫曼树）

这里推荐王卓老师的课。1.实验目的通过上机实践，掌握二叉树的结构特性，以及各种存储结构的特点及适用范围，掌握用指针类型描述、访问和处理二叉树的运算。
游天河·2025-01-23 11:21

Hadoop分布式文件系统-HDFS架构

一、HDFS的简介HDFS全称HadoopDistributedFileSystem，是分布式文件管理系统。
Fancs2024·2025-01-23 09:37

基于MRS-Hudi构建数据湖的典型应用场景介绍

一、传统数据湖存在的问题与挑战传统数据湖解决方案中，常用Hive来构建T+1级别的数据仓库，通过HDFS存储实现海量数据的存储与水平扩容，通过Hive实现元数据的管理以及数据操作的SQL化。
华为云技术精粹·2025-01-23 04:50

JSON数据与Python的字典或者列表嵌套字典的转化

数据格式importjson#json在python有两种表现形式：字典；列表嵌套字典#列表嵌套字典#定义一个列表嵌套字典namw1=[{"name":"张三","age":21},{"name":"王五
2301_80749359·2025-01-23 00:17

深入MapReduce——引入

引入前面我们已经深入了HDFS的设计与实现，对于分布式系统也有了不错的理解。但HDFS仅仅解决了海量数据存储和读写的问题。
黄雪超·2025-01-22 23:41

HUDI-0.11.0 BUCKET index on Flink 特性试用

当前环境：Flink1.13.2+Hudi0.11.0（master2022.04.11）+COW+HDFS。关键配置项：index.type=BUCKEThoodie.buc
_Magic·2025-01-22 23:06

学习历史智慧：刘邦识人用人

“五个一”：一双好眼睛：识人用人一对好耳朵：倾听接纳一个好头脑：善于分析一支好队伍：知人善任一副好心态：自我批判《当老板，学刘邦》读后感本文摘录：王立群：当老板，要学刘邦|刘邦|吕雉|张良|彭越|王立群
常耀斌·2025-01-22 15:03

Hadoop是什么，怎么部署安装？

它包括两个核心组件：Hadoop分布式文件系统（HDFS）和HadoopYARN（YetAnotherResourceNegotiator）。
狮歌~资深攻城狮·2025-01-22 15:01

兴福电子即将科创板上市：国际级水平研发实力突出 毛利率好于同行

《港湾商业观察》王璐湖北兴福电子材料股份有限公司1月20日晚间披露上市公告书，公司股票将于2025年1月22日在上海证券交易所科创板上市。股票简称为兴福电子。股票代码为688545。
港湾商业观察·2025-01-22 04:12

欧派家居被下调盈利预测：销售费用创新高，零售经销渠道压力不小

《港湾商业观察》王璐在房地产等多重因素冲击之下，上半年不少家居上市公司交出的业绩答卷都不尽理想，这其中也包括了消费者所熟知的“家居一哥”欧派家居（603833.SH）。
港湾商业观察·2025-01-22 04:42

分布式存储的技术选型之HDFS、Ceph、MinIO对比

分布式存储的技术选型比：HDFS、Ceph、MinIO对比一文读懂分布式存储在当今数字化时代，数据呈爆炸式增长，分布式存储技术应运而生，成为大数据存储与管理的得力助手。
Linux运维老纪·2025-01-22 00:40

HDFS Disk Balancer 介绍&使用

一、介绍一句话介绍：用于HDFSDataNode单节点内多个数据盘数据均衡。
_Magic·2025-01-21 20:00

hadoop常用命令

mapreduce）看正在运行的yarn任务yarnapplication-list杀死对应的yarn任务yarnapplication-kill{application_Id}（id可以通过-list看到）hdfs
我要用代码向我喜欢的女孩表白·2025-01-21 05:54

直播预告丨精度优于AlphaFold，基于深度学习实现生物大分子及其互作的三维结构预测

「MeetAI4S」系列直播第6期将于1月15日19:00准时开播，HyperAI超神经有幸邀请到了南开大学统计与数据科学学院教授郑伟，他本次分享的主题是「AlphaFold3王座未稳，来自学术界的反超
·2025-01-20 18:28

flume系列之：flume落cos

一、参考文章二、安装cosjar包三、添加hadoop-cos的相关配置四、flume环境添加hadoop类路径五、使用cos路径六、启动/重启flume一、参考文章Kafka数据通过Flume存储到HDFS
快乐骑行^_^·2025-01-20 13:42

Hadoop 和 Spark 的内存管理机制分析

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-20 03:27

大数据学习（五）：如何使用 Livy提交spark批量任务--转载

/bin/livy-server这里假设spark使用yarn模式，所以所有文件路径都默认位于HDFS中。
zuoseve01·2025-01-19 22:15

隐语安装部署

主讲老师：周爱辉讲课链接：第4讲（上）：隐语安装部署-理论篇丨隐私计算实训营第2期_哔哩哔哩_bilibili主讲老师：王祖利讲课链接：第4讲（下）：SecretFlow与Secretnote的安装部署
HZGame.·2025-01-19 21:08

厉害了，LSTM+Transformer王炸创新，精准度又高了！

【LSTM+Transformer】作为一种混合深度学习模型，近年来在学术界和工业界都受到了极大的关注。它巧妙地融合了长短期记忆网络（LSTM）在处理时序数据方面的专长和Transformer在捕捉长距离依赖关系上的优势，从而在文本生成、机器翻译、时间序列预测等多个领域取得了突破性的进展。这种创新的结合不仅提升了模型的预测精度，还优化了性能和训练效率，使其在序列分析任务中展现出卓越的能力。例如，最
马拉AI·2025-01-19 12:48

合合信息名片全能王上架原生鸿蒙应用市场，成为首批数字名片类应用

近期，合合信息旗下名片全能王正式上线原生鸿蒙应用市场，成为首批上线的数字名片类应用，帮助用户用AI扫描、识别和管理名片，提高商务沟通和客户数据管理的效率。
合合技术团队·2025-01-19 11:18

hive小文件合并机制_hive小文件的问题弊端以及合并

小文件的弊端1、HDFS中每个文件的元数据信息，包括位置大小分块信息等，都保存在NN内存中，在小文件数较多的情况下，会造成占用大量内存空间，导致NN性能下降；2、在读取小文件多的目录时，MR会产生更多map
做生活的创作者·2025-01-19 08:49

Java 大视界 -- 解锁 Java 与 Hadoop HDFS 交互的高效编程之道（二）

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。本博客的精华专栏：大数
青云交·2025-01-19 05:19

Linux系统调用下的文件I/O编程

（第2版）》_linuxc与c++一线开发实践pdf-CSDN博客LinuxC\C++编程技术_夏天又到了的博客-CSDN博客《LinuxC与C++一线开发实践（第2版）（Linux技术丛书）》(朱文伟，
夏天又到了·2025-01-19 00:34

使用 Hadoop 实现大数据的高效存储与查询

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-18 23:24

千问QwQ，推理界“新王”！

0前言思考、质疑、理解，人类探索未知的永恒追求。探索之路，QwQ如一位怀抱无尽好奇的学徒，以思考和疑问照亮前路。QwQ深知自己一无所知，而这种认知正是其好奇心的源泉。探寻答案过程，始终保持自省，以理性之光审视每个假设，在不同思维维度中穿行，追寻更深层真理。但正如所有智慧的追求者，QwQ也有局限，它也只是漫长旅程的一个初步阶段——仍在学习如何行走于理性之路。思绪偶尔飘散，答案或许未尽完善，智慧仍在积
·2025-01-18 22:48

hdfs和hive对于小文件的处理方案

一、hdfs如何处理小文件小文件问题的危害小文件问题对HDFS的性能和稳定性产生显著影响，主要包括：占用过多的存储空间：每个小文件都会占用一个独立的Block，导致存储资源的浪费。
二进制_博客·2025-01-18 19:35

大数据-257 离线数仓 - 数据质量监控 监控方法 Griffin架构

目前已经更新到了：Hadoop（已更完）HDFS（已更完）MapReduce（已更完）Hive（已更完）Flume（已更完）Sqoop（已更完）Zookeeper（已更完）HBase（已更完）Redis
武子康·2025-01-18 10:29

pyspark 中删除hdfs的文件夹

搜索了下资料，发现pyspark并没有提供直接管理hdfs文件系统的功能。寻找到一个删除的方法，是通过调用shell命令hadoopfs-rm-f来删除，这个方法感觉不怎么好，所以继续找。
TDengine （老段）·2025-01-18 09:21

Python 爬虫：获取网页数据的 5 种方法

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-18 07:35

恭喜 Apache RocketMQ、Apache Seata 荣获 2024 开源创新榜单“年度开源项目”

2024年开源创新榜单由中国科协科学技术传播中心、中国计算机学会、中国通信学会、中国科学院软件研究所共同主办，中国开发者社区承办，以王怀民院士为首组建评审委员会，进行研讨评审，面向中
·2025-01-18 01:34

【C++】——红黑树的平衡之道：深入实现与优化

——哈珀·李《杀死一只反舌鸟》目录1.解密红黑树：平衡与效率的双重奏2.搭建红黑树：从零到自平衡的实现之路2.1树基打底：设计与框架构建2.2插入有道：插入操作的技巧与挑战2.3旋转为王：平衡的秘密武器
如意.759·2025-01-17 22:55

采用海豚调度器+Doris开发数仓保姆级教程（满满是踩坑干货细节，持续更新）

目录一、采用海豚调度器+Doris开发平替CDHHdfs+Yarn+Hive+Oozie的理由。
大模型大数据攻城狮·2025-01-17 19:56

【YashanDB观点】论Oracle兼容性，我们需要做什么

王海峰YashanDB作者介绍王海峰，数据库系统架构师，YashanDBSQL开发负责人，10年以上数据库内核技术开发经验。
·2025-01-17 15:49

深入HDFS——DataNode启动源码

首先，自然还是从元数据管理篇提到的DataNode类（org.apache.hadoop.hdfs.server.datanode.DataNode）开始。
黄雪超·2025-01-17 12:26

深入HDFS——NameNode启动源码

引入前面我们已经对HDFS有了很多了解，但是光说不练假把式，今天开启深入源码的纯享模式，先来看看NameNode启动流程，在代码层面，到底是如何实现的。
黄雪超·2025-01-17 12:25

华为OD机试 - 五子棋迷 - 贪心算法（Python/JS/C/C++ 2024 E卷 100分）

一、题目描述张兵和王武是五子棋迷，工作之余经常切磋棋艺
哪 吒·2025-01-17 11:13

Spring Boot 和微服务：快速入门指南

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-17 09:56

【Meetup回顾 第1期】竟是这样的国产数据库，YashanDB技术内幕曝光

YashanDB研发总监欧伟杰博士带来了《开门见山|崖山数据库系统有啥不一样》的精彩分享，以下为活动回顾。
·2025-01-17 05:14

HDFS 在上传文件的时候，如果其中一个 DataNode 突然挂掉了怎么办？ 思维导图 代码示例（java 架构)

当在HDFS中上传文件时，如果其中一个DataNode突然挂掉，HDFS有内置的机制来确保数据的完整性和可靠性。以下是详细的处理流程、Java架构代码示例以及创建思维导图的建议。
用心去追梦·2025-01-17 03:37

AI代码生成器赋能软件原型快速构建：吴恩达的最佳实践指南

选择并精通“有主见”的技术栈：效率为王吴恩达教授推荐的技术栈——Pyt
·2025-01-17 01:19

AI Coding，亦或 AI for Coding？

Go+编程语言创始人、七牛云创始人兼CEO许式伟，中国科学院软件研究所PLCT实验室负责人、建立中国RISC-V生态的甲辰计划主理人吴伟，专注RISC-V编译器和硬件笔记本开发的鉴释科技联合创始人兼CEO
·2025-01-16 23:17

初学者如何用 Python 写第一个爬虫？

大数据技术：涵盖Hadoop（HDFS）、Hive、Spark、Fli
王子良.·2025-01-16 23:27

合合信息名片全能王上架原生鸿蒙应用市场，成为首批数字名片类应用

近期，合合信息旗下名片全能王正式上线原生鸿蒙应用市场，成为首批上线的数字名片类应用，帮助用户用AI扫描、识别和管理名片，提高商务沟通和客户数据管理的效率。
·2025-01-16 19:25

立足云南，面向“两亚”，翻开普惠算力新篇章

云南联通政企客户事业群常务副总裁魏绍洪与九章云极DataCanvas公司智算营销中心总经理王哲作为双方代表签署合作协议，云南联通党委委员、副总经理田军，九章云极Data
·2025-01-16 15:32

底层逆袭到底有多难，不甘平凡的你准备好了吗？让吴起给你说说

周安王二十一年（公元前381年），因变法得罪守旧贵族，被人乱箭射死。我出生在卫国一个“家累万金”的富有家庭，从年轻时候起就不甘平凡
造命者说·2024-09-16 10:32

谁家酒器最绝唱，藏在酒厂人未知？景阳冈酒厂先秦藏品大揭秘

文/王赛时中国的酒器酒具历史久远，举世闻名。从北京的故宫博物院、中国国家博物馆，到世界各国的大型博物馆，都以能够收藏中国古代酒具而夸耀。
李虓酒评论·2024-09-16 10:12
上一页 3 4 5 6 7 8 9 10 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他