大数据—Hadoop 第3页

华为MRS产品组件

MRS：MRS是一个在华为云上部署和管理Hadoop系统的服务，一键即可部署Hadoop集群。

QianJin_zixuan·2025-02-27 06:59

DataFlow 模型是什么？

前言本文隶属于专栏《100个问题搞定大数据理论体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！

Shockang·2025-02-27 05:55

如今传统企业如何做数字化转型？

“数字化转型就是利用数字化技术，如云计算、大数据、人工智能、物联网、区块链等

年少有为2025·2025-02-27 05:52

【2024软考架构案例题】你知道 Es 的几种分词器吗？Standard、Simple、WhiteSpace、Keyword 四种分词器你知道吗？

博主介绍：博主从事应用安全和大数据领域，有8年研发经验，5年面试官经验，Java技术专家，WEB架构师，阿里云专家博主，华为云云享专家，51CTO专家博主⛪️个人社区：个人社区个人主页：个人主页专栏地址

激流丶·2025-02-27 03:09

Hive SQL 使用及进阶详解

一、Hive简介Hive是建立在Hadoop之上的数据仓库基础架构，它提供了类似于SQL的查询语言HiveSQL（也称为HQL），用于对存储在Hadoop分布式文件系统（HDFS）中的大规模数据进行数据查询和分析

小四的快乐生活·2025-02-27 03:37

大数据SQL调优专题——调优切入

引入我们都知道大数据的SQL优化，并非一蹴而就的简单任务，而是一个涉及多个环节的复杂过程。从需求提出到最终交付，任何一个环节的微小偏差都可能影响最终成果。

黄雪超·2025-02-27 01:54

串口收发大数据和接收发送不定长数据

一.首先是大家想知道的接收发送不定长数据这里我仅仅推荐一种方法，虽然有很多方法STM32HALCubeMX串口IDLE接收空闲中断+DMA_idlelinedetectioninterrupt-CSDN博客但是我还是仅仅推荐我这种：利用HAL库的HAL_UARTEx_ReceiveToIdle_DMA()函数,代码简洁。在HAL里面能用回调函数直接实现功能的就别去自己写逻辑代码配置就是打开串口中断

✧˖‹gσσ∂ иιghт›✧·2025-02-26 22:01

HBase：大数据时代的“超级数据库”

HBase：大数据时代的“超级数据库”你是不是也被数据淹没过？大家有没有这样的经历，手机里存了成千上万张照片，每次想找某一张特定的照片时，都得翻半天？

狮歌~资深攻城狮·2025-02-26 22:57

如何建设开放可控的企业大数据平台？

不久前，袋鼠云成功举办了以“AI驱动，数智未来”为主题的2024年秋季发布会。此次发布会聚焦于如何借助AI技术实现企业的新一轮飞跃，重塑企业的经营管理模式，加速数智化进程。会上，袋鼠云围绕“数智基建+数智应用”进行了深入的分享，引发了与会者和业界的广泛关注和热烈讨论。为了帮助企业更好的了解该业务，袋鼠云组织了一场由资深产品经理和技术专家主讲的“数字基建+数智应用”赋能分享活动。在未来两个月内，我们

·2025-02-26 19:55

有哪些开源大数据处理项目使用了大模型

以下是一些使用了大模型的开源大数据处理项目：1.**RedPajama**：这是一个开源项目，使用了LLM大语言模型数据处理组件，对GitHub代码数据进行清洗和处理。

魔王阿卡纳兹·2025-02-26 19:02

大数据的核心要点之一，数据作为资产是怎样入表的？

**一、数据资产入表核心框架**基于《企业会计准则》及《企业数据资源相关会计处理暂行规定》，数据资产入表需满足：可控制性（企业拥有数据所有权或使用权）可计量性（成本或价值可量化）经济利益可预期性（能带来未来收益）二、数据资产入表全流程示例数据资产识别与分类场景：网城亮科技的数据资产类型：生产数据：设备传感器数据、良品率记录、工艺参数供应链数据：供应商评级、物流时效记录、库存周转率客户数据：订单历史

九张算数·2025-02-26 17:21

MongoDB私人学习笔记

一、基础知识：1、MongoDB的名称来源于HumongousDatabase，中文意思就是巨大无比的数据库，顾名思义，MongoDB就是为处理大数据而生，以解决海量数据的存储和高效查询使用为使命。

奕辰杰·2025-02-26 15:08

人工智能在fpga的具体应用_FPGA创意人工智能研发校企合作培养专业人才

FPGA英特尔®FPGA与人工智能技术培训——成都信息工程大学站人工智能在21世纪初迎来以深度学习与大数据云计算为主导的第三次浪潮，在无人驾驶、医疗保健、工业等多个领域得到广泛应用。

墨墨猪·2025-02-26 15:37

docker-compose -volumes 两种不同定义方式

学习docker-compose部署hadoop集群、看到docker-compose一种不同volumes定义方式version:"3"services:namenode:image:bde2020/

胖胖胖胖胖虎·2025-02-26 14:34

华为云FusionInsight MRS FlinkSQL 复杂嵌套Json解析最佳实践

背景说明随着流计算的发展，挑战不再仅限于数据量和计算量，业务变得越来越复杂，开发者可能是资深的大数据从业者、初学Java的爱好者，或是不懂代码的数据分析者。

华为云技术精粹·2025-02-26 14:59

Byzer：面向Data+AI的云原生低代码化语言

一、Byzer的设计哲学Byzer的核心设计理念在于简化大数据和AI平台的构建过程，降低开发成本。它通过类SQL的语言和云原生架

ITPUB-微风·2025-02-26 12:18

AIoT是什么？AIoT现状如何？

物联网产生、收集来自不同维度的海量数据并存储于云端、边缘端，再通过大数据分析以及更高形式的人工智能技术，实现万物数据化、万物智联化。

问就是想睡觉·2025-02-26 12:18

初识hadoop

关于hadoop的写入（存入）nn里面维护了一份元数据。

西门吹水之城·2025-02-26 12:45

HDFS是如何存储和管理大数据

HDFS（HadoopDistributedFileSystem，Hadoop分布式文件系统）是专为大数据处理而设计的分布式文件系统，具有高吞吐量、高容错性等特点，适用于大规模数据存储和管理。

python资深爱好者·2025-02-26 11:38

Hadoop 基础原理

Hadoop基础原理基本介绍Hadoop的必要性Hadoop核心组件Hadoop生态系统中的附加组件HDFSHDFS集群架构HDFS读写流程HDFS写流程HDFS读流程NameNode持久化机制MapReduce

disgare·2025-02-26 11:38

深入探索Spark MLlib：大数据时代的机器学习利器

随着大数据技术的迅猛发展，机器学习在各行各业的应用日益广泛。

concisedistinct·2025-02-26 10:59

Java 大视界 -- Java 大数据未来十年的技术蓝图与发展愿景（95）

一、欢迎加入【福利社群】点击快速加入：青云交灵犀技韵交响盛汇福利社群点击快速加入2：2024CSDN博客之星创作交流营（NEW)二、本博客的精华专栏：大数据新视

青云交·2025-02-26 09:59

Java 大视界 -- 5G 与 Java 大数据融合的行业应用与发展趋势（82）

一、欢迎加入【福利社群】点击快速加入：青云交灵犀技韵交响盛汇福利社群点击快速加入2：2024CSDN博客之星创作交流营（NEW)二、本博客的精华专栏：大数据新视

青云交·2025-02-26 09:28

大数据模型：技术赋能，引领未来

而如何挖掘和利用这些海量数据，为企业和社会创造价值，正是大数据模型所追求的目标。本文将从以下几个方面对大数据模型进行探讨：概述、技术原理、应用场景、挑战与发展趋势。

大模型教程·2025-02-26 09:56

Tensorflow2.x框架-神经网络八股扩展-acc曲线与loss曲线

loss/loss可视化，可视化出准确率上升、损失函数下降的过程博主微信公众号（左）、Python+智能大数据+AI学习交流群（右）：欢迎关注和加群，大家一起学习交流，共同进步！

诗雨时·2025-02-25 23:15

Spark集群架构介绍

Spark之YARN介绍一、导语二、Spark及其特性三、Spark架构总览一、导语ApacheSpark(后续简称为Spark)是一款正在点燃大数据世界的开源集群计算框架。

olifchou·2025-02-25 20:23

Spark Standalone集群架构

北风网spark学习笔记SparkStandalone集群架构SparkStandalone集群集群管理器，clustermanager：Master进程，工作节点：Worker进程搭建了一套Hadoop

htfenght·2025-02-25 20:22

大数据服务＜FastApi＞:30秒内防止同维度重复下载的功能

1.项目背景在大数据服务接口面临大量数据查询和下载得时候，我们为了控制服务得资源占用，要考虑防止同维度重复下载得功能。

叶沧ii大数据全栈呀·2025-02-25 19:18

Hadoop--NameSpace（名称空间）

1.名称空间的定义 HDFS的名称空间是一个逻辑上的文件系统目录树，类似于传统文件系统的目录结构。组成目录：用于组织文件的逻辑容器。文件：存储在HDFS中的实际数据单元。元数据：包括文件名、权限、所有者、文件大小、创建时间、修改时间等信息。2.名称空间的作用名称空间的主要作用是：组织文件通过目录树的形式组织文件，方便用户管理和访问。维护元数据记录文件和目录的元数据信息（如权限、所有者、大小等）。

Cynthiaaaaalxy·2025-02-25 18:42

编程新境界！文心快码用自然语言解释代码，助力高效研发

结合百度积累多年的编程现场大数据、外部优秀开源数据，可为开发者生成更符合实际研发场景的优秀代码，提升编码效率，释放“十倍”软件生产力。

·2025-02-25 16:40

spark程序提交到集群上_Spark集群模式&Spark程序提交

ApacheMesos—通用的集群管理，可以在其上运行HadoopMapReduce和一些服务应用。HadoopYARN—Hadoop2中的资源管理器。

毫无特色·2025-02-25 16:25

《聊聊Flink：大数据世界的神秘“小能手”》

《聊聊Flink：大数据世界的神秘“小能手”》宝子们，咱今天来唠唠一个有点神秘的东西——Flink。你要是刚听到这个名字，可能会觉得像什么魔法咒语似的。其实啊，它可没那么玄乎，但确实挺厉害的。

狮歌~资深攻城狮·2025-02-25 15:18

2025年投身Java培训的可行性分析——基于计算机科学与技术专业的视角

Java作为一种广泛应用的编程语言，在企业级应用开发、安卓应用开发、大数据处理等多个领域中占据重要位置。

车载诊断工程师-小白·2025-02-25 12:26

2025年计算机工程与大数据应用国际会议（CEBDA 2025）

2025年计算机工程与大数据应用国际会议2025InternationalConferenceonComputerEngineeringandBigDataApplications大会信息会议名称：2025

Yangxshy·2025-02-25 12:23

【大数据分析】基于Spark哔哩哔哩数据分析舆情推荐系统 b站（完整系统源码+数据库+开发笔记+详细部署教程+虚拟机分布式启动教程）

文章目录【大数据分析】基于Spark哔哩哔哩数据分析舆情推荐系统b站（完整系统源码+数据库+开发笔记+详细部署教程+虚拟机分布式启动教程）?

m0_74823471·2025-02-25 11:46

云原生时代的分布式文件系统设计与实现

在云计算和大数据时代，高效的数据管理和访问对于企业来说至关重要。Alluxio，一个开源的分布式文件系统，应运而生，为大数据和人工智能应用提供了革命性的解决方案。

ITPUB-微风·2025-02-25 08:33

Hadoop--Secondary NameNode工作机制，作用及与NameNode HA的区别

SecondaryNameNode主要用于辅助NameNode进行元数据的管理和检查点（Checkpoint）的生成。1.SecondaryNameNode的工作机制详解SecondaryNameNode的工作机制可以分为以下步骤：①SecondaryNameNode询问NameNode是否需要CheckpointSecondaryNameNode会定期（由dfs.namenode.check

Cynthiaaaaalxy·2025-02-25 08:32

streamparse，一个超强的 Python 实时流数据处理库！

Github地址：https://github.com/Parsely/streamparse在大数据处理领域，实时流数据处理变得越来越重要。

浅沫云归·2025-02-25 06:47

知识库管理中台架构：数据资产激活与企业效率跃升

基于AI驱动的语义解析技术与分布式大数据处理框架，该架构实现了非结构化数据的多模态特征提取与知识图谱映射。

Baklib-企业帮助文档·2025-02-25 04:59

Hadoop之jdk的安装

【实验目的】1.安装配置JDK1.五台独立PC机或虚拟机主机之间有有效的网络连接2.每台主机内存2G以上，磁盘剩余空间500M以上所有主机上已安装CentOS7.4操作系统3.所有主机已完成网络属性配置1.卸载原有JDK该项的所有操作步骤需要使用root用户进行。并且在集群中每台主机操作一次，发现没有，不必卸载因为我的查看没有jdk，所以不需要卸载原有的，只需直接安装即可。2.安装此项的所有操作步

快来削我吖·2025-02-25 01:11

Python的PyTorch+CNN深度学习技术在人脸识别项目中的应用

大数据：大规模数据集（如LFW、MegaFace）提升模型泛化能力。硬件加速：GPU、TPU等加速计算，提升实

mosquito_lover1·2025-02-25 01:07

逐梦深空——我与祖国共成长

我的祖国，祖国正以惊人的速度跨入数智化新时代，移动支付、智慧城市、智能制造、云计算、大数据……每一步跃进，都离不开信息技术的支撑。我有幸成为

一望无际的大草原·2025-02-24 22:16

IP代理工具在企业数据采集中拥有哪些优势？

随着大数据时代的到来，数据已成为企业决策和运营的重要支撑。然而，在进行数据采集时，企业往往会面临诸多挑战，如网络限制、数据访问权限等问题。这时，IP代理工具便成为了一种有效的解决方案。

·2025-02-24 19:36

基于SpringBoot的校园消费点评管理系统

计算机学姐·2025-02-24 18:22

2025保险与金融领域实战全解析：DeepSeek赋能细分领域深度指南（附全流程案例）

从投资分析到财富管理区块链与联邦学习的应用探索客户关系与私域运营：全球化体验升级工具与资源推荐：从入门到精通未来趋势与挑战一、DeepSeek在保险与金融中的核心价值1.1DeepSeek的核心功能智能风险建模：通过大数据分析

emmm形成中·2025-02-24 17:43

探索天气预警API：精准预测，守护安全

天气预警API的工作原理天气预警API基于先进的气象监测技术和大数据分析，通过收集全球范围内的气象卫星、雷达、地面观测站等数据源，进行实时处理和精准分析。

安静的小员·2025-02-24 15:31

Hadoop HDFS基准测试

一、测试写入速度确保HDFS集群和YARN集群成功启动hadoopjar/export/server/hadoop-3.1.4/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient

Yvonne978·2025-02-24 14:22

jmeter 与大数据生态圈中的服务进行集成

以下为你详细介绍JMeter与大数据生态圈中几种常见服务（HadoopHDFS、Spark、Kafka、Elasticsearch）集成的方法：与HadoopHDFS集成实现思路HDFS是Hadoop的分布式文件系统

小赖同学啊·2025-02-24 13:40

数据质量管理工具（Trifacta Wrangler）

2015年10月：正式推出TrifactaWrangler，让非技术用户也能通过直观的可视化工作流程来探索、转换和丰富数据，同时其旗舰产品、专注于Hadoop的Trifacta数据处理解决方案更名为TrifactaWranglerEnterprise

deepdata_cn·2025-02-24 09:46

Hadoop常用操作命令

启动HDFSsbin/start-dfs.sh启动yarnsbin/start-yarn.sh启动NodeManageryarn-daemon.shstartnodemanager启动DataNodehadoop-daemon.shstartdatanode

hzw0510·2025-02-24 07:02

推荐频道

大数据—Hadoop