面试spark大数据第38页

大数据平台建设整体架构设计方案

《大数据平台建设整体架构设计方案》关键词：大数据平台、分布式存储、分布式计算、数据仓库、数据湖、数据安全、数据质量管理、数据治理、数据挖掘、机器学习、图计算、自然语言处理、Hadoop、Spark、Flink

AI天才研究院·2025-01-27 02:55

Elasticsearch的经典面试题及详细解答

以下是一些Elasticsearch的经典面试题及详细解答：一、基础概念与原理什么是Elasticsearch？

codeBrute·2025-01-27 02:23

企业信息化5：后勤管理系统

前言：随着企业各业务板块在信息化的浪潮中积极转型升级，后勤板块往往成为了一个企业信息化的短板，后勤业务大数据无法融入企业信息化数据湖，进而影响企业整体运营的效率和质量。

mosquito_lover1·2025-01-27 02:52

【数仓】数据仓库高频面试题题英文版(1)

今天更新数据仓库高频面试题英文版，分为三个部分。下面是第一部分。音频文件点击下方获取。

和风与影·2025-01-27 01:13

大数据Lambda架构

Lambda架构介绍Lambda是用于同时处理离线和实时数据，可容错、可扩展的分布式系统架构。有批处理层、加速层、服务层。同时以流计算和批处理计算合并视图。Lambda架构的批处理层采用不可变存储模型，不断地往主数据集后追加新的数据。Lambda架构优缺点<

奋进学堂·2025-01-26 23:00

Lambda架构

原文地址：https://www.cnblogs.com/xiaodf/p/11642555.html首先我们来看一个典型的互联网大数据平台的架构，如下图所示：在这张架构图中，大数据平台里面向用户的在线业务处理组件用褐色标示出来

leveretz·2025-01-26 22:54

ES聚合分析原理与代码实例讲解

ES聚合分析原理与代码实例讲解作者：禅与计算机程序设计艺术/ZenandtheArtofComputerProgramming1.背景介绍1.1问题的由来随着大数据时代的到来，企业级应用需要处理的数据量呈爆炸式增长

AI大模型应用之禅·2025-01-26 22:21

大数据技术4：Lambda和Kappa架构区别_lambda架构和kappa架构区别

Lambda架构缺点：虽然Lambda架构使用起来十分灵活，并且可以适用于很多的应用场景，但在实际应用的时候，Lambda架构也存在着一些不足，主要表现在它的维护很复杂。（1）同样的需求需要开发两套一样的代码：这是Lambda架构最大的问题，两套代码不仅仅意味着开发困难（同样的需求，一个在批处理引擎上实现，一个在流处理引擎上实现，还要分别构造数据测试保证两者结果一致），后期维护更加困难，比如需求变

2401_84181501·2025-01-26 22:50

Scala简介

hadoop生态圈—>javaspark生态圈—>scala1.scala是面向对象的、面向函数的基于静态类型的编程语言。

醉游江湖·2025-01-26 18:21

spark官方配置参数详解

以下是整理的Spark中的一些配置参数，官方文档请参考SparkConfiguration。

我丶怀念的·2025-01-26 18:21

【spark床头书系列】如何在YARN上启动Spark官网权威详解说明

【spark床头书系列】如何在YARN上启动Spark官网权威详解说明点击这里看全文文章目录添加其他JAR文件准备工作配置调试应用程序Spark属性重要说明KerberosYARN特定的Kerberos

BigDataMLApplication·2025-01-26 18:20

xgboost在spark集群使用指南

简介XGBoost是一个优化的分布式梯度增强库，具有高效、灵活和可移植性。在梯度增强框架下实现了机器学习算法。XGBoost提供了一种并行树增强(也称为GBDT、GBM)，可以快速、准确地解决许多数据科学问题。相同的代码在主要的分布式环境(Hadoop、SGE、MPI)上运行，可以解决数十亿个示例的训练问题。xgb相对于gbt所做的改进：1.2.3.XGBoost可以使用R、python、java

一颗小草333·2025-01-26 17:49

C#面试题（初级篇），详细讲解，帮助你深刻理解，拒绝背话术！

Dr.勿忘·2025-01-26 17:45

Redis线上阻塞要如何排查

哪些情况会让指令变慢：1.指令获取的数据很多，比如大数据量下执行keys、hgetall、smembers等指令。

思静鱼·2025-01-26 17:12

【算法学习】归并排序算法思想的应用—求逆序对数量

如果你对算法感兴趣，或者正在准备算法面试，这篇文章一定会对你有所帮助！题目描述给定一个长度为n的整数数列，请你计算数列中的逆序对的数量。

_Huazzi·2025-01-26 15:31

【QT开发】所有控件基类QWidget类详解及实战应用

博主简介：现任阿里巴巴嵌入式技术专家，15年工作经验，深耕嵌入式+人工智能领域，精通嵌入式领域开发、技术管理、简历招聘面试。

I'mAlex·2025-01-26 14:51

Apache Hive 聚合函数与 OVER 窗口函数：从基础到高级应用

在大数据时代，ApacheHive是处理和分析海量数据的强大工具。Hive提供了丰富的聚合函数和强大的OVER窗口函数，能够帮助我们高效地进行数据分析。

大鳥·2025-01-26 11:04

华为OD机试Python - 微服务的集成测试

关于大厂机试流程、面经、面试指导等，如有任何疑问，欢迎联系我，wechat：steven_moda；email：[email protected]；备注：CSDN。

steven_my·2025-01-26 11:59

大数据治理实战指南：数据质量、合规与治理架构

个人主页：一ge科研小菜鸡-CSDN博客期待您的关注引言随着企业数字化转型的加速，大数据已成为驱动业务决策的核心资产。然而，数据治理的缺失或不完善，可能导致数据质量问题、合规风险以及业务价值的流失。

一ge科研小菜鸡·2025-01-26 11:28

华为OD机试E卷 - 最优资源分配/芯片资源占用（Java & Python& JS & C++ & C ）

算法大师·2025-01-26 10:25

华为OD机试 - 微服务的集成测试（Java & Python& JS & C++ & C ）

算法大师·2025-01-26 10:25

【秋招算法面试】面试官提问“大模型流水线并行”,我是一脸问号。。。

节前，我们邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。针对新手如何入门算法岗、该如何准备面试攻略、面试常考点、大模型技术趋势、算法项目落地经验分享等热门话题进行了深入的讨论。

大模型与自然语言处理·2025-01-26 10:52

深入解析华为OD机试：开放日活动“取出尽量少的球”题解及C++、Java、JavaScript、Python详细实现

这不仅是为了考查面试者的算法基础，还要求能够通过高效的逻辑思维解决问题。

m0_57781768·2025-01-26 09:13

Java IO流：NIO 介绍及使用

与此同时，本专栏的所有文章，也都会准备充足的代码示例和完善的知识点梳理，因此也十分适合零基础的小白和要准备工作面试的同

栗筝i·2025-01-26 08:05

华为OD机试E卷 - 最大相连男生数/学生方阵（Java & Python& JS & C++ & C ）

算法大师·2025-01-26 07:28

面试官说 “你还有什么问题想问的” ，作为一名程序员该如何回答？

前言程序员面试时经常会听到面试官说一些套话，比如“今天的面试就到这里了，回去等通知吧”，“你还有什么问题想问我的吗”，“如果这道题不会做，那么我们也可以换一道”今天我们要说的是大多数面试官都会说的一句话

Misdirection_XG·2025-01-26 07:57

性能优化案例：通过合理设置spark.default.parallelism参数的值来优化PySpark程序的性能

在PySpark中，spark.default.parallelism是一个关键参数，直接影响作业的并行度和资源利用率。

weixin_30777913·2025-01-26 06:52

Redis学习笔记

NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战，特别是大数据应用难题。NoSQL特点方便扩展（

csdn_bobo_6·2025-01-26 06:47

性能优化案例：通过合理设置spark.storage.memoryFraction参数的值来优化PySpark程序的性能

优化PySpark程序的性能时，合理设置spark.storage.memoryFraction（或相关内存参数）是关键。

weixin_30777913·2025-01-26 05:14

转：Spark RDD算子练习题

爱萨萨·2025-01-26 05:42

【后端面试总结】mysql的group by怎么用

GROUPBY是SQL中的一种用于对结果集进行分组的子句，常与聚合函数（如COUNT()、SUM()、AVG()、MAX()和MIN()等）一起使用。GROUPBY的作用是基于一个或多个列对查询结果进行分组，然后可以对每个分组执行聚合操作。以下是GROUPBY的一些关键点和用法示例：基本用法假设有一个名为employees的表，表结构如下：idnamedepartmentsalary1AliceH

ThisIsClark·2025-01-26 05:12

牛羊定位系统开发系列：硬件与软件架构的深入解析

01-面试大保健-牛羊定位-硬件1.项目背景与需求在本项目中，牛羊定位系统的目的是为农场中的牛羊提供实时定位和计步功能，确保对动物的健康进行有效监测，避免因异常行为带来的损失。

无数碎片寻妳·2025-01-26 05:39

Linux网关开发系列：从基础到进阶的完整解析

《Linux网关开发系列：从基础到进阶的完整解析》01-面试大保健-Linux-线程和进程1.异步IO与同步IO的区别在了解异步IO和同步IO之前，首先需要明白什么是IO。

无数碎片寻妳·2025-01-26 05:39

spark sql的练习题

1、使用StructuredStreaming读取Socket数据，把单词和单词的反转组成json格式写入到当前目录中的file文件夹中2、请使用StructuredStreaming读取student_info文件夹写的csv文件，2.1、统计出文件中的男女生各有多少人2.2、统计出姓“王”男生和女生的各有多少人3、请使用StructuredStreaming读取department_info文

a大数据yyds·2025-01-26 05:39

Spark>sql练习题

练习题-------------------------------以下使用StructuredStreaming：-------------------------------1、请使用StructuredStreaming读取Socket数据，统计出每个单词的个数2、请使用StructuredStreaming读取student_info文件夹写的csv文件，2.1、统计出文件中的男女生各有多

BigMoM1573·2025-01-26 05:38

《Spark大数据分析与内存计算》——第三章

(单选题)并不是所有企业都能自己产生数据，从而用于决策辅助，而更多的互联网企业如电商等大部分是要靠什么来抓取互联网数据进行分析A.HadoopB.pythonC.SparkD.网路爬虫正确答案:D:网路爬虫

阿万古·2025-01-26 05:07

[每周一更]-(第121期)：模拟面试｜微服务架构面试思路解析

这一系列针对Go面试题整理，仅供参考文章目录00｜综合服务治理方案：怎么保证微服务应用的高可用？1.**什么是微服务架构？**2.**怎么保证微服务架构的高可用？**3.**怎么判定服务是否已经健康？

ifanatic·2025-01-26 04:05

华为OD机试 -最多几个直角三角形（C++题解）

算法大师·2025-01-26 04:04

PySpark之金融数据分析（Spark RDD、SQL练习题）

目录一、数据来源二、PySparkRDD编程1、查询特定日期的资金流入和流出情况2、活跃用户分析三、PySparkSQL编程1、按城市统计2014年3月1日的平均余额2、统计每个城市总流量前3高的用户四

唯余木叶下弦声·2025-01-26 04:02

2021年Javascript最常见的面试题以及答案

区别：||和原数据是否指向同一个对象|第一层数据为基本数据类型|原数据中包含的子对象||—|—|—|—||浅拷贝|否|不会使原数据一起改变|会使原数据一起改变||深拷贝|否|不会使原数据一起改变|不会使原数据一起改变|点击对Javscript中浅拷贝和深拷贝的探索和详解查看详解项目中实现深浅拷贝常用的方法有哪些？===========================================

2401_86401365·2025-01-26 03:49

探秘FreeMovie：一个开源的电影推荐系统

技术分析FreeMovie的核心架构包括以下关键组件：数据处理-项目采用Hadoop进行大数据预处

孟振优Harvester·2025-01-26 02:39

Lambda离线实时分治架构深度解析与实战

一、引言在大数据技术日新月异的今天，Lambda架构作为一种经典的数据处理模型，在应对大规模数据应用方面展现出了强大的能力。

喜欢猪猪·2025-01-26 01:36

“大模型横扫千军”背后的大数据挖掘--浅谈MapReduce

文章目录O背景知识1数据挖掘2邦费罗尼原则3TF.IDF4哈希函数5分布式文件系统一、MapReduce基本介绍1.Map任务2.按键分组3.Reduce任务4.节点失效处理5.小测验：在一个大型语料库上有100个map任务和若干reduce任务：二、基于MapReduce的基本运算1.选择（Selection）2.交（Intersection）3.并（Union）4.补（Difference）5

绒绒毛毛雨·2025-01-26 01:35

基于大数据的电影数据分析可视化系统设计与应用

基于大数据的电影数据分析可视化系统设计与应用作者：禅与计算机程序设计艺术1.背景介绍1.1大数据时代的电影行业随着互联网技术和数字化的发展,电影行业已经进入大数据时代。

AI架构设计之禅·2025-01-26 00:02

Command Center AI

它集成了大数据处理、实时情报分析、优化调度、决策模拟等功能，为指挥官提供多维度的决策支持。

由数入道·2025-01-26 00:53

用 Docker 搭建 Spark 集群

简介Spark是Berkeley开发的分布式计算的框架，相对于Hadoop来说，Spark可以缓存中间结果到内存而提高某些需要迭代的计算场景的效率，目前收到广泛关注。

yeasy·2025-01-26 00:22

【2025优质学术推荐】征稿控制科学、仪器、智能系统、通信、计算机、电子信息、人工智能、大数据、机器学习、软件工程、网络安全方向

努力学习的大大·2025-01-25 22:43

Github上最热门的11个Java开源项目你会了吗

2dolphinscheduler（地址见文末）ApacheDolphinScheduler是一个可视化的分布式大数据工作流任务调

Java小叮当·2025-01-25 22:37

WPF常见面试题解答

以下是WPF（WindowsPresentationFoundation）面试中常见的问题及解答，涵盖基础概念、高级功能和实际应用，帮助你更好地准备面试：基础概念什么是WPF？

源之缘-OFD解决方案之道·2025-01-25 21:03

2025年新出炉的MySQL面试题

作者简介：CSDN\阿里云\腾讯云\华为云开发社区优质创作者，专注分享大数据、Python、数据库、人工智能等领域的优质内容个人主页：长风清留杨的博客形式准则：无论成就大小，都保持一颗谦逊的心，尊重他人

长风清留扬·2025-01-25 20:00

推荐频道

面试spark大数据