大数据-Spark 第9页

有哪些开源大数据处理项目使用了大模型

以下是一些使用了大模型的开源大数据处理项目：1.**RedPajama**：这是一个开源项目，使用了LLM大语言模型数据处理组件，对GitHub代码数据进行清洗和处理。

魔王阿卡纳兹·2025-02-26 19:02

大数据的核心要点之一，数据作为资产是怎样入表的？

**一、数据资产入表核心框架**基于《企业会计准则》及《企业数据资源相关会计处理暂行规定》，数据资产入表需满足：可控制性（企业拥有数据所有权或使用权）可计量性（成本或价值可量化）经济利益可预期性（能带来未来收益）二、数据资产入表全流程示例数据资产识别与分类场景：网城亮科技的数据资产类型：生产数据：设备传感器数据、良品率记录、工艺参数供应链数据：供应商评级、物流时效记录、库存周转率客户数据：订单历史

九张算数·2025-02-26 17:21

MongoDB私人学习笔记

一、基础知识：1、MongoDB的名称来源于HumongousDatabase，中文意思就是巨大无比的数据库，顾名思义，MongoDB就是为处理大数据而生，以解决海量数据的存储和高效查询使用为使命。

奕辰杰·2025-02-26 15:08

人工智能在fpga的具体应用_FPGA创意人工智能研发校企合作培养专业人才

FPGA英特尔®FPGA与人工智能技术培训——成都信息工程大学站人工智能在21世纪初迎来以深度学习与大数据云计算为主导的第三次浪潮，在无人驾驶、医疗保健、工业等多个领域得到广泛应用。

墨墨猪·2025-02-26 15:37

华为云FusionInsight MRS FlinkSQL 复杂嵌套Json解析最佳实践

背景说明随着流计算的发展，挑战不再仅限于数据量和计算量，业务变得越来越复杂，开发者可能是资深的大数据从业者、初学Java的爱好者，或是不懂代码的数据分析者。

华为云技术精粹·2025-02-26 14:59

Byzer：面向Data+AI的云原生低代码化语言

一、Byzer的设计哲学Byzer的核心设计理念在于简化大数据和AI平台的构建过程，降低开发成本。它通过类SQL的语言和云原生架

ITPUB-微风·2025-02-26 12:18

AIoT是什么？AIoT现状如何？

物联网产生、收集来自不同维度的海量数据并存储于云端、边缘端，再通过大数据分析以及更高形式的人工智能技术，实现万物数据化、万物智联化。

问就是想睡觉·2025-02-26 12:18

HDFS是如何存储和管理大数据

HDFS（HadoopDistributedFileSystem，Hadoop分布式文件系统）是专为大数据处理而设计的分布式文件系统，具有高吞吐量、高容错性等特点，适用于大规模数据存储和管理。

python资深爱好者·2025-02-26 11:38

深入探索Spark MLlib：大数据时代的机器学习利器

随着大数据技术的迅猛发展，机器学习在各行各业的应用日益广泛。

concisedistinct·2025-02-26 10:59

Java 大视界 -- Java 大数据未来十年的技术蓝图与发展愿景（95）

一、欢迎加入【福利社群】点击快速加入：青云交灵犀技韵交响盛汇福利社群点击快速加入2：2024CSDN博客之星创作交流营（NEW)二、本博客的精华专栏：大数据新视

青云交·2025-02-26 09:59

Java 大视界 -- 5G 与 Java 大数据融合的行业应用与发展趋势（82）

一、欢迎加入【福利社群】点击快速加入：青云交灵犀技韵交响盛汇福利社群点击快速加入2：2024CSDN博客之星创作交流营（NEW)二、本博客的精华专栏：大数据新视

青云交·2025-02-26 09:28

大数据模型：技术赋能，引领未来

而如何挖掘和利用这些海量数据，为企业和社会创造价值，正是大数据模型所追求的目标。本文将从以下几个方面对大数据模型进行探讨：概述、技术原理、应用场景、挑战与发展趋势。

大模型教程·2025-02-26 09:56

Spark Streaming 容错机制详解

SparkStreaming是Spark生态系统中用于处理实时数据流的模块。它通过微批处理（micro-batch）的方式将实时流数据进行分片处理，每个批次的计算本质上是Spark的批处理作业。

goTsHgo·2025-02-26 04:20

Spark提交任务

1、Spark提交任务到Yarn1.1、DwKuduAppspark-submit--classcom.io.etl.dwkudu.DwKuduApp\--files/etl/etl-dwkudu/conf

docsz·2025-02-26 04:50

如何使用GraphX在Spark中进行图计算

GraphX是ApacheSpark的一个图计算框架，它允许开发者在分布式环境中进行大规模的图数据处理和分析。

python资深爱好者·2025-02-26 04:19

在Spark中如何配置Executor内存以优化性能

在Spark中，配置Executor内存以优化性能是一个关键步骤。

python资深爱好者·2025-02-26 04:19

什么容错性以及Spark Streaming如何保证容错性

二、SparkStreaming保证容错性的方法SparkStreaming为了保证数据的准确性和系统的可靠性，实现了多种容错机制，主要包括以下几个方面：元数据的容错性：Spar

python资深爱好者·2025-02-26 04:48

Tensorflow2.x框架-神经网络八股扩展-acc曲线与loss曲线

loss/loss可视化，可视化出准确率上升、损失函数下降的过程博主微信公众号（左）、Python+智能大数据+AI学习交流群（右）：欢迎关注和加群，大家一起学习交流，共同进步！

诗雨时·2025-02-25 23:15

Spark集群架构

文章目录Spark架构Spark执行任务流程Spark运行环境SparkonYARNSparkStandaloneSpark架构Spark可以运行在YARN上也可以运行Mesos上，无论运行在哪个集群管理架构上

情深不仅李义山·2025-02-25 20:25

四、spark集群架构

spark集群架构官方文档：http://spark.apache.org/docs/latest/cluster-overview.html集群架构我们先看这张图这张图把spark架构拆分成了两块内容

weixin_34411563·2025-02-25 20:54

Spark集群架构介绍

Spark之YARN介绍一、导语二、Spark及其特性三、Spark架构总览一、导语ApacheSpark(后续简称为Spark)是一款正在点燃大数据世界的开源集群计算框架。

olifchou·2025-02-25 20:23

Spark Standalone集群架构

北风网spark学习笔记SparkStandalone集群架构SparkStandalone集群集群管理器，clustermanager：Master进程，工作节点：Worker进程搭建了一套Hadoop

htfenght·2025-02-25 20:22

Spark----Spark 在不同集群中的架构

Spark注重建立良好的生态系统，它不仅支持多种外部文件存储系统，提供了多种多样的集群运行模式。

XiaodunLP·2025-02-25 20:22

大数据服务＜FastApi＞:30秒内防止同维度重复下载的功能

1.项目背景在大数据服务接口面临大量数据查询和下载得时候，我们为了控制服务得资源占用，要考虑防止同维度重复下载得功能。

叶沧ii大数据全栈呀·2025-02-25 19:18

编程新境界！文心快码用自然语言解释代码，助力高效研发

结合百度积累多年的编程现场大数据、外部优秀开源数据，可为开发者生成更符合实际研发场景的优秀代码，提升编码效率，释放“十倍”软件生产力。

·2025-02-25 16:40

spark1.x和spark2.x的区别

spark2.x版本相对于1.x版本，有挺多地方的修改，1Spark2ApacheSpark作为编译器:增加新的引擎Tungsten执行引擎，比Spark1快10倍2ml做了很大的改进，支持协同过滤http

xuxu1116·2025-02-25 16:56

spark程序提交到集群上_Spark集群模式&Spark程序提交

Spark集群模式&Spark程序提交1.集群管理器Spark当前支持三种集群管理方式Standalone—Spark自带的一种集群管理方式，易于构建集群。

毫无特色·2025-02-25 16:25

基于docker-compose安装spark 1+3及Spark On Yarn模式集群

基于docker-compose安装spark1+3及SparkOnYarn模式集群1、`docker-compose.yml`：2、`spark.env`：此处的样例是参考别人的，之后自己整合一套可以使用的

dh12313012·2025-02-25 15:20

《聊聊Flink：大数据世界的神秘“小能手”》

《聊聊Flink：大数据世界的神秘“小能手”》宝子们，咱今天来唠唠一个有点神秘的东西——Flink。你要是刚听到这个名字，可能会觉得像什么魔法咒语似的。其实啊，它可没那么玄乎，但确实挺厉害的。

狮歌~资深攻城狮·2025-02-25 15:18

spark vi基本使用

打开文件与创建文件是Linux的内置命令，以命令的方式来运行。命令格式：vi/路径/文件名注意以下两种情况：1.如果这个文件不存在，此时就是新建文件，编辑器的左下角会提示：newfile2.如果文件已存在，此时就打开这个文件，进入命令模式。把文本内容添加到一个全新的文件的快捷方式：echo1>>1.txt三种模式vi编辑器有三种工作模式，分别为：命令模式，输入模式，底线模式。命令模式：所敲按键编辑

Freedom℡·2025-02-25 15:47

Spark（1）

阶段性：一、单机时代特点：1.硬件资源有限：单机系统的计算能力、存储容量和内存空间都受限于单台计算机的硬件配置。例如早期的个人电脑，通常只有几百兆的内存和几GB的硬盘空间。2.数据处理能力有限：主要处理本地产生的小规模数据，数据量一般在MB级别到GB级别之间。如单机版的财务软件，只处理一个小型企业内部的少量财务数据。3.应用场景简单：主要用于个人办公、简单的游戏娱乐或小型企业的基本业务处理，如文字

Freedom℡·2025-02-25 15:45

架构师论文《论湖仓一体架构及其应用》

本项目采用Iceberg+Spark架构实现湖仓一

pccai-vip·2025-02-25 12:28

2025年投身Java培训的可行性分析——基于计算机科学与技术专业的视角

Java作为一种广泛应用的编程语言，在企业级应用开发、安卓应用开发、大数据处理等多个领域中占据重要位置。

车载诊断工程师-小白·2025-02-25 12:26

2025年计算机工程与大数据应用国际会议（CEBDA 2025）

2025年计算机工程与大数据应用国际会议2025InternationalConferenceonComputerEngineeringandBigDataApplications大会信息会议名称：2025

Yangxshy·2025-02-25 12:23

【大数据分析】基于Spark哔哩哔哩数据分析舆情推荐系统 b站（完整系统源码+数据库+开发笔记+详细部署教程+虚拟机分布式启动教程）

文章目录【大数据分析】基于Spark哔哩哔哩数据分析舆情推荐系统b站（完整系统源码+数据库+开发笔记+详细部署教程+虚拟机分布式启动教程）?

m0_74823471·2025-02-25 11:46

云原生时代的分布式文件系统设计与实现

在云计算和大数据时代，高效的数据管理和访问对于企业来说至关重要。Alluxio，一个开源的分布式文件系统，应运而生，为大数据和人工智能应用提供了革命性的解决方案。

ITPUB-微风·2025-02-25 08:33

Spark性能调优方法总结

1、资源分配优化 Spark的分配资源主要就是executor、cpuperexecutor、memoryperexecutor、drivermemory等的调节，我们在生产环境中，提交spark作业时

Cynthiaaaaalxy·2025-02-25 08:32

streamparse，一个超强的 Python 实时流数据处理库！

Github地址：https://github.com/Parsely/streamparse在大数据处理领域，实时流数据处理变得越来越重要。

浅沫云归·2025-02-25 06:47

知识库管理中台架构：数据资产激活与企业效率跃升

基于AI驱动的语义解析技术与分布式大数据处理框架，该架构实现了非结构化数据的多模态特征提取与知识图谱映射。

Baklib-企业帮助文档·2025-02-25 04:59

Python的PyTorch+CNN深度学习技术在人脸识别项目中的应用

大数据：大规模数据集（如LFW、MegaFace）提升模型泛化能力。硬件加速：GPU、TPU等加速计算，提升实

mosquito_lover1·2025-02-25 01:07

逐梦深空——我与祖国共成长

我的祖国，祖国正以惊人的速度跨入数智化新时代，移动支付、智慧城市、智能制造、云计算、大数据……每一步跃进，都离不开信息技术的支撑。我有幸成为

一望无际的大草原·2025-02-24 22:16

IP代理工具在企业数据采集中拥有哪些优势？

随着大数据时代的到来，数据已成为企业决策和运营的重要支撑。然而，在进行数据采集时，企业往往会面临诸多挑战，如网络限制、数据访问权限等问题。这时，IP代理工具便成为了一种有效的解决方案。

·2025-02-24 19:36

基于SpringBoot的校园消费点评管理系统

计算机学姐·2025-02-24 18:22

2025保险与金融领域实战全解析：DeepSeek赋能细分领域深度指南（附全流程案例）

从投资分析到财富管理区块链与联邦学习的应用探索客户关系与私域运营：全球化体验升级工具与资源推荐：从入门到精通未来趋势与挑战一、DeepSeek在保险与金融中的核心价值1.1DeepSeek的核心功能智能风险建模：通过大数据分析

emmm形成中·2025-02-24 17:43

探索天气预警API：精准预测，守护安全

天气预警API的工作原理天气预警API基于先进的气象监测技术和大数据分析，通过收集全球范围内的气象卫星、雷达、地面观测站等数据源，进行实时处理和精准分析。

安静的小员·2025-02-24 15:31

jmeter 与大数据生态圈中的服务进行集成

以下为你详细介绍JMeter与大数据生态圈中几种常见服务（HadoopHDFS、Spark、Kafka、Elasticsearch）集成的方法：与HadoopHDFS集成实现思路HDFS是Hadoop的分布式文件系统

小赖同学啊·2025-02-24 13:40

【Python爬虫(45)】Python爬虫新境界：分布式与大数据框架的融合之旅

目录一、大数据处理框架初印象1.1Hadoop：大数据处理的基石1.2

奔跑吧邓邓子·2025-02-24 05:18

使用容器部署ELK：适用于生产环境的架构

在当今的大数据时代，日志管理和实时监控对于企业的成功至关重要。Elasticsearch、Logstash和Kibana（通常被称为ELK堆栈）是一套流行的开源工具，用于实时日志聚合、分析和可视化。

ExogFix·2025-02-24 04:42

银行数据类系统建设

数据仓库建设数据仓库的概念数据仓库是大批量数据的存储系统，在如今PB级数据量的大数据时代，传统数据库由于数据量的限制，无法存储如此庞大的数据量，因此对于需求海量数据的机构大都会将数据存储在数据仓库中，用以取数和分析

奔跑的白鸥·2025-02-24 04:09

杰和推出面向人工智能应用的AI服务器

如果将大数据看作一个产业，那么数据深挖（挖掘）就是其中一项核心技术，数据深挖（挖掘）通常与计算机科学有关，如数据统计、数据检索、分析处理、机器学习等技术，而这些恰好是人工智能技术的优势。

weixin_34211761·2025-02-24 04:38

推荐频道

大数据-Spark