大数据开发实战

大数据之Spark运行流程

文章目录前言（一）SparkOnYarn集群的Client模式运行流程（二）SparkOnYarn集群的Cluster模式运行流程总结前言上篇文章有讨论到SparkOnYarn的两种部署模式，如果有不清楚的地方，可以再看看，附上对应文章的链接：Spark的部署模式，本篇文章主要讨论SparkOnYarn两种部署模式的运行流程。（一）SparkOnYarn集群的Client模式运行流程该模式的Dri
「已注销」·2025-01-27 15:17

R语言学习笔记6-数据框

DataFrame)介绍数据框用途创建数据框从矩阵创建数据框索引和切片添加和修改列数据框的预处理数据框的排序数据框的筛选处理缺失值应用函数处理数据重塑数据框使用dplyr进行数据框的管道操作数据框的时间序列操作大数据框的处理数据框的绘图数据框的文本处理数据框的连接与关联按行或列连接数据框按键值关联数据框数据框的条件处理与逻辑操作条件筛选逻辑操作数据框的汇总与统计分析
Colin♛·2025-01-27 15:17

华为OD机试C卷-- 精准核酸检测（Java & JS & Python & C）

现在根据传染病流调以及大数据分析，得到了每个人之间在时间、空间上是否存在轨迹交叉。现在给定一组确诊人员编号（X1,X2,X3,…,Xn），在所有人当中，
飞码创造者·2025-01-27 14:35

matlab大数据计算技巧（持续更新中）

在matlab中，当数据比较大时，运算起来就困难了，有时候还会outofmemory（例如4000*4000的矩阵，要算矩阵乘法都比较吃力）。此文会记录我学到的一些解决办法：1.将数据的存储类型从double转换成single在matlab中double数据类型占8个字节，single类型占4个字节。把数据类型从double类型转换成single类型可以节省一半的空间。单精度浮点数single的取
tina_lulu_21·2025-01-27 14:04

Matlab：读取和处理大数据表格文本文件

Matlab：读取和处理大数据表格文本文件在实际的数据分析应用中，往往需要处理海量数据。针对大型数据文件，Matlab提供了快速高效的读取和处理工具，可以便捷地完成数据处理任务。
追逐程序梦想者·2025-01-27 13:01

赛事 Q＆A × 培训预告：2024 年（第 17 届）中国大学生计算机设计大赛大数据主题赛正式开赛！

大赛下设不同领域的十一个大类，和鲸科技自2021年起，连续四年作为大数据应用大类中大数据主题赛的协办方倾力配合大赛组委会与各承办单位，
ModelWhale·2025-01-27 13:30

大数据StarRocks(六) ：Catalog_starroccks支持oracle外部表了吗(1)

StarRocks自2.3版本起支持Catalog（数据目录）功能，实现在一套系统内同时维护内、外部数据，方便您轻松访问并查询存储在各类外部源的数据。1.基本概念内部数据：指保存在StarRocks中的数据。外部数据：指保存在外部数据源（如ApacheHive™、ApacheIceberg、ApacheHudi、DeltaLake、JDBC）中的数据。2.Catalog当前StarRocks提供两
2401_84181975·2025-01-27 11:51

基于 PyTorch 的深度学习模型开发实战

个人主页：一ge科研小菜鸡-CSDN博客期待您的关注引言深度学习已广泛应用于图像识别、自然语言处理、自动驾驶等领域，凭借其强大的特征学习能力，成为人工智能的核心技术之一。PyTorch作为当前流行的深度学习框架，提供了灵活的张量操作和动态计算图，便于模型的快速开发和调试。本教程将通过一个完整的深度学习模型开发流程，从数据预处理、模型构建、训练与优化、评估以及部署，帮助读者深入理解深度学习的关键技术
一ge科研小菜鸡·2025-01-27 10:47

构建1688自动代采系统：PHP开发实战指南

在当今电商蓬勃发展的时代背景下，1688作为领先的批发采购平台，为众多企业和个体商户提供了丰富的商品资源。为了更高效地完成采购流程、降低采购成本并提升采购效率，开发一个1688自动代采系统成为了众多商家的迫切需求。本文将详细介绍如何使用PHP语言搭建这样一个系统，从功能需求、技术选型到系统实现，为您提供一份全面的实战指南。一、系统概述与功能请文末联系我1688自动代采系统旨在通过自动化手段，帮助用
技术猿18870278351·2025-01-27 08:58

基于SpringBoot+Vue码头船只货柜管理系统

期待与各位高校教师、企业讲师以及同行交流合作主要内容：Java项目、Python项目、前端项目、PHP、ASP.NET、人工智能与大数据、单片机开
qq_469603589·2025-01-27 08:28

推荐开源项目：WeDataSphere - 智慧数据服务平台

推荐开源项目：WeDataSphere-智慧数据服务平台去发现同类优质开源项目:https://gitcode.com/是一款由微众银行金融科技团队开发的开源大数据处理和应用框架，旨在简化数据分析流程，
劳泉文Luna·2025-01-27 07:52

Java 大视界 -- Java 大数据中的隐私增强技术全景解析（64）

一、欢迎加入【福利社群】点击快速加入：青云交灵犀技韵交响盛汇福利社群点击快速加入2：2024CSDN博客之星创作交流营（NEW)二、本博客的精华专栏：大数据新视
青云交·2025-01-27 07:51

使用Pyecharts绘制地理图表

Pyecharts是一个基于Python的强大数据可视化库，它提供了丰富的图表类型和交互功能。其中，Pyecharts能够轻松绘制地理图表，帮助我们展示地理数据的分布和变化趋势。
前端设计家·2025-01-27 05:14

大数据平台建设整体架构设计方案

《大数据平台建设整体架构设计方案》关键词：大数据平台、分布式存储、分布式计算、数据仓库、数据湖、数据安全、数据质量管理、数据治理、数据挖掘、机器学习、图计算、自然语言处理、Hadoop、Spark、Flink
AI天才研究院·2025-01-27 02:55

企业信息化5：后勤管理系统

前言：随着企业各业务板块在信息化的浪潮中积极转型升级，后勤板块往往成为了一个企业信息化的短板，后勤业务大数据无法融入企业信息化数据湖，进而影响企业整体运营的效率和质量。
mosquito_lover1·2025-01-27 02:52

大数据Lambda架构

Lambda架构介绍Lambda是用于同时处理离线和实时数据，可容错、可扩展的分布式系统架构。有批处理层、加速层、服务层。同时以流计算和批处理计算合并视图。Lambda架构的批处理层采用不可变存储模型，不断地往主数据集后追加新的数据。Lambda架构优缺点<
奋进学堂·2025-01-26 23:00

Lambda架构

原文地址：https://www.cnblogs.com/xiaodf/p/11642555.html首先我们来看一个典型的互联网大数据平台的架构，如下图所示：在这张架构图中，大数据平台里面向用户的在线业务处理组件用褐色标示出来
leveretz·2025-01-26 22:54

ES聚合分析原理与代码实例讲解

ES聚合分析原理与代码实例讲解作者：禅与计算机程序设计艺术/ZenandtheArtofComputerProgramming1.背景介绍1.1问题的由来随着大数据时代的到来，企业级应用需要处理的数据量呈爆炸式增长
AI大模型应用之禅·2025-01-26 22:21

大数据技术4：Lambda和Kappa架构区别_lambda架构和kappa架构区别

Lambda架构缺点：虽然Lambda架构使用起来十分灵活，并且可以适用于很多的应用场景，但在实际应用的时候，Lambda架构也存在着一些不足，主要表现在它的维护很复杂。（1）同样的需求需要开发两套一样的代码：这是Lambda架构最大的问题，两套代码不仅仅意味着开发困难（同样的需求，一个在批处理引擎上实现，一个在流处理引擎上实现，还要分别构造数据测试保证两者结果一致），后期维护更加困难，比如需求变
2401_84181501·2025-01-26 22:50

Redis线上阻塞要如何排查

哪些情况会让指令变慢：1.指令获取的数据很多，比如大数据量下执行keys、hgetall、smembers等指令。
思静鱼·2025-01-26 17:12

Apache Hive 聚合函数与 OVER 窗口函数：从基础到高级应用

在大数据时代，ApacheHive是处理和分析海量数据的强大工具。Hive提供了丰富的聚合函数和强大的OVER窗口函数，能够帮助我们高效地进行数据分析。
大鳥·2025-01-26 11:04

大数据治理实战指南：数据质量、合规与治理架构

个人主页：一ge科研小菜鸡-CSDN博客期待您的关注引言随着企业数字化转型的加速，大数据已成为驱动业务决策的核心资产。然而，数据治理的缺失或不完善，可能导致数据质量问题、合规风险以及业务价值的流失。
一ge科研小菜鸡·2025-01-26 11:28

Redis学习笔记

NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战，特别是大数据应用难题。NoSQL特点方便扩展（
csdn_bobo_6·2025-01-26 06:47

《Spark大数据分析与内存计算》——第三章

第三章作业及答案快捷查找：Ctrl+F在搜索框中输入题目一.单选题（共17题）1.(单选题)并不是所有企业都能自己产生数据，从而用于决策辅助，而更多的互联网企业如电商等大部分是要靠什么来抓取互联网数据进行分析A.HadoopB.pythonC.SparkD.网路爬虫正确答案:D:网路爬虫;2.(单选题)什么负责即席查询的应用A.MLlibB.SparkStreamingC.GraphXD.Spar
阿万古·2025-01-26 05:07

Vue企业开发实战——学习心得

一、Vue.js简介Vue.js是一个渐进式JavaScript框架，用于构建用户界面。它与其他大型框架的不同之处在于，Vue被设计为可以自底向上逐层应用。Vue的核心库只关注视图层，不仅易于上手，也便于与第三方库或已有项目整合。二、环境配置安装Node.js和npm：Vue.js的开发需要使用Node.js和npm（Node包管理器）。可以从Node.js的官网下载并安装Node.js，它会自动
sienn·2025-01-26 02:13

探秘FreeMovie：一个开源的电影推荐系统

技术分析FreeMovie的核心架构包括以下关键组件：数据处理-项目采用Hadoop进行大数据预处
孟振优Harvester·2025-01-26 02:39

Lambda离线实时分治架构深度解析与实战

一、引言在大数据技术日新月异的今天，Lambda架构作为一种经典的数据处理模型，在应对大规模数据应用方面展现出了强大的能力。
喜欢猪猪·2025-01-26 01:36

“大模型横扫千军”背后的大数据挖掘--浅谈MapReduce

文章目录O背景知识1数据挖掘2邦费罗尼原则3TF.IDF4哈希函数5分布式文件系统一、MapReduce基本介绍1.Map任务2.按键分组3.Reduce任务4.节点失效处理5.小测验：在一个大型语料库上有100个map任务和若干reduce任务：二、基于MapReduce的基本运算1.选择（Selection）2.交（Intersection）3.并（Union）4.补（Difference）5
绒绒毛毛雨·2025-01-26 01:35

基于大数据的电影数据分析可视化系统设计与应用

基于大数据的电影数据分析可视化系统设计与应用作者：禅与计算机程序设计艺术1.背景介绍1.1大数据时代的电影行业随着互联网技术和数字化的发展,电影行业已经进入大数据时代。
AI架构设计之禅·2025-01-26 00:02

Command Center AI

它集成了大数据处理、实时情报分析、优化调度、决策模拟等功能，为指挥官提供多维度的决策支持。
由数入道·2025-01-26 00:53

【2025优质学术推荐】征稿控制科学、仪器、智能系统、通信、计算机、电子信息、人工智能、大数据、机器学习、软件工程、网络安全方向

【2025优质学术推荐】征稿控制科学、仪器、智能系统、通信、计算机、电子信息、人工智能、大数据、机器学习、软件工程、网络安全方向【2025优质学术推荐】征稿控制科学、仪器、智能系统、通信、计算机、电子信息
努力学习的大大·2025-01-25 22:43

Github上最热门的11个Java开源项目你会了吗

2dolphinscheduler（地址见文末）ApacheDolphinScheduler是一个可视化的分布式大数据工作流任务调
Java小叮当·2025-01-25 22:37

2025年新出炉的MySQL面试题

作者简介：CSDN\阿里云\腾讯云\华为云开发社区优质创作者，专注分享大数据、Python、数据库、人工智能等领域的优质内容个人主页：长风清留杨的博客形式准则：无论成就大小，都保持一颗谦逊的心，尊重他人
长风清留扬·2025-01-25 20:00

精选了几道MySQL的大厂面试题，被提问的几率很高！

作者简介：CSDN\阿里云\腾讯云\华为云开发社区优质创作者，专注分享大数据、Python、数据库、人工智能等领域的优质内容个人主页：长风清留杨的博客形式准则：无论成就大小，都保持一颗谦逊的心，尊重他人
长风清留扬·2025-01-25 20:00

有史以来最全的异常类讲解没有之一！第二部分爆肝2万字，终于把Python的异常类写完了！最全Python异常类合集和案例演示，第二部分

最全Python异常类合集和案例演示，第一部分博客主页：长风清留扬-CSDN博客系列专栏：Python基础专栏每天更新大数据相关方面的技术，分享自己的实战工作经验和学习总结，尽量帮助大家解决更多问题和学习更多新知识
长风清留扬·2025-01-25 20:30

有史以来最全的异常类讲解没有之一！第三部分爆肝4万字，终于把Python的异常类写完了！最全Python异常类合集和案例演示，第三部分

最全Python异常类合集和案例演示，第二部分博客主页：长风清留扬-CSDN博客系列专栏：Python基础专栏每天更新大数据相关方面的技术，分享自己的实
长风清留扬·2025-01-25 20:30

还在为Python“运算符”中遇到的BUG而发愁吗？，变量相关的问题和解决办法看这篇文章就够了！

博客主页：长风清留扬-CSDN博客系列专栏：Python疑难杂症百科-BUG编年史每天更新大数据相关方面的技术，分享自己的实战工作经验和学习总结，尽量帮助大家解决更多问题和学习更多新知识，欢迎评论区分享自己的看法感谢大家点赞收藏
长风清留扬·2025-01-25 20:00

金融数据有哪些，有用的股票API接口数据

一、金融数据有哪些，有用的股票API接口行情数据金融大数据是为金融机构、个人投资者以及金融应用开发者提供专业的数据和行情报价API服务，满足不同用户在投资过程中丰富多样的行情数据分析和投资研究，以API
nance99·2025-01-25 20:28

2024 年 MathorCup 数学应用挑战赛——大数据竞赛 赛道 B：电商品类货量预测及品类分仓规划 思路和代码 持续更新中

会结合最新的chatgpt发布思路,开赛一天后恢复原价99,不代写论文,不回复私信.没有群,只需订阅一次目录问题分析与解决思路问题1：货量预测模型问题2：一品一仓分仓规划问题3：一品多仓分仓规划总结这类大数据竞赛的重点在于构建一个全面的预测和优化模型
2025年数学建模美赛·2025-01-25 20:28

基于知识图谱的用户画像构建与应用

实体节点构建2.2.2关系建模2.3用户画像生成2.3.1静态特征2.3.2动态特征2.3.3关系网络3.基于知识图谱的用户画像应用场景3.1精准营销3.2内容推荐3.3用户需求预测3.4风险控制结语前言随着大数据
cooldream2009·2025-01-25 20:56

智能运维分析决策系统：赋能数字化转型的智慧引擎

智能运维分析决策系统（AIOps，ArtificialIntelligenceforITOperations）作为这一转变的核心驱动力，通过融合大数据、机器学习、人工智能等先进技术，实现了对运维数据的深度洞察与智能决策
我的运维人生·2025-01-25 19:49

第11篇：你知道ElasticSearch聚合分析能力有多强?

除了搜索功能之外，Elasticsearch还结合Kibana、Logstash、ElasticStack还被广泛运用在大数据近实时分析领域，包括日志分析、指标监控等多个领域。
老王随聊·2025-01-25 19:47

Elasticsearch聚合分析：未来发展趋势

1.背景介绍1.1大数据时代的分析需求随着互联网、物联网、移动互联网等技术的快速发展，全球数据量呈现爆炸式增长，我们正步入一个前所未有的大数据时代。
AI天才研究院·2025-01-25 19:17

软件工程之信息系统集成

（2）数据集成（大数据）重点是系统中异构数据集的互通使用和统一管理。
我叫吴桂鑫·2025-01-25 18:11

网络安全态势感知：企业数字化转型的 “安全密钥”

它借助大数据分析、机器学习这些先进技术，就像是拥有了超级强大的“洞察力
知白守黑V·2025-01-25 17:35

Kafka：架构与核心机制

ApacheKafka是一种高吞吐量的分布式消息队列，广泛应用于实时数据流处理和大数据架构中。本文将详细探讨Kafka的架构、Replica管理、消息读取、分区策略、可靠性保障等核心机制。
J老熊·2025-01-25 11:49

车联网安全

然而车联网技术应用过程中却会带来信息安全问题，具体可分为以下三种：一、用户隐私汽车智能化是建立在车辆动态数据收集及应用上的，如车辆行驶、车体、动力、安全及环境数据等层面，尤其是车辆行驶数据一直都被视为变现的大数据金矿
黄一113530·2025-01-25 11:46

第9章 空闲任务与阻塞延时的实现--总结

整理野火《FreeRTOS内核实现与应用开发实战指南》—基于野火STM32全系列（M3/4/7）开发板文章目录第9章空闲任务与阻塞延时的实现9.1实现空闲任务9.1.1定义空闲任务的栈9.1.2定义空闲任务的任务控制块
LS·Cui·2025-01-25 10:14

【趋势】《2024—2026金融科技十大趋势预测》一览

此外，金融机构也越来越需要借助大数据和AI技术来提升业务的
学客汇·2025-01-25 09:36

【爬虫】使用 Scrapy 框架爬取豆瓣电影 Top 250 数据的完整教程

前言在大数据和网络爬虫领域，Scrapy是一个功能强大且广泛使用的开源爬虫框架。它能够帮助我们快速地构建爬虫项目，并高效地从各种网站中提取数据。
m0_74825360·2025-01-25 08:57
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他