面试spark大数据

Redis面试题----为什么要做Redis分区？

Redis分区，也称为分片（Sharding），是将数据分散存储到多个Redis实例上的一种策略。做Redis分区主要有以下几个方面的原因：扩展性突破单机内存限制：随着业务的发展，数据量会不断增大，而单个Redis实例的内存是有限的。通过分区可以将数据分散到多个Redis实例中，理论上可以不受单机内存的限制，从而存储更多的数据。例如，一个电商平台的商品缓存数据量巨大，单台Redis服务器无法容纳，
指尖下的技术·2025-02-27 08:54

Redis面试题----MySQL 里有 2000w 数据，Redis 中只存 20w 的数据，如何保证 Redis 中的数据都是热点数据？

要保证Redis中存储的20w数据都是热点数据，可以从数据筛选和数据淘汰两个大的方面来考虑，以下是详细的实现思路和方法：数据筛选1.基于业务规则分析业务场景：不同的业务场景有不同的热点数据特征。例如，在电商系统中，热门商品、促销商品往往是热点数据；在新闻资讯系统中，最新发布、阅读量高的新闻是热点数据。根据业务的特点，确定热点数据的规则。定期同步：编写脚本或程序，根据业务规则从MySQL中筛选出符合
指尖下的技术·2025-02-27 08:24

Java 设计模式面试题

说一下开发中需要遵守的设计原则？设计模式中主要有六大设计原则，简称为SOLID，是由于各个原则的首字母简称合并的来(两个L算一个,solid稳定的)，六大设计原则分别如下：1、单一职责原则单一职责原则的定义描述非常简单，也不难理解。一个类只负责完成一个职责或者功能。也就是说在类的设计中我们不要设计大而全的类,而是要设计粒度小、功能单一的类。比如我们设计一个类里面既包含了用户的一些操作,又包含了支付
code36·2025-02-27 08:52

python基础之零基础入门【参数说明+代码实战】

本文已收录于《Python超入门指南全册》本专栏专门针对零基础和需要进阶提升的同学所准备的一套完整教学，从基础到精通不断进阶深入，后续还有实战项目，轻松应对面试，专栏订阅地址：https://blog.csdn.net
步入烟尘·2025-02-27 08:52

Python常见面试题的详解13

1.以下X是什么类型X=(iforiinrange(10))要点在Python中，变量的类型取决于其赋值的对象。下面代码中的(iforiinrange(10))是一个生成器表达式。生成器表达式是一种简洁的创建生成器的方式，它类似于列表推导式，但使用圆括号而非方括号。生成器是一种特殊的迭代器，它不会一次性生成所有的值，而是在需要时逐个生成，这在处理大量数据时可以节省内存。pythonX=(ifori
ylfhpy·2025-02-27 07:47

2020年Python最新面试题（四）：爬虫基础知识

目录1.什么是爬虫?2.爬虫的基本流程有哪些?3.Request中包含了哪些内容?4.Response中包含了哪些内容5.HTTP请求中的POST、GET有什么区别?6.HTTP、HTTPS协议有什么区别?7.Cookie和Session有什么区别？8.域名和IP之间有什么关系?如何查看某个域名对应的IP地址?9.在HTTP协议头中，keep-alive字段有什么作用?10.HTTP常用的状态码(
Amo Xiang·2025-02-27 07:17

Python常见面试题的详解7

1.内置的数据结构有哪几种Python中有多种内置的数据结构，主要分为以下几种：1.1数值类型整数（int）：用于表示整数，没有大小限制。例如：1,-5,100。浮点数（float）：用于表示小数。例如：3.14,-0.5。复数（complex）：由实部和虚部组成，虚部以j或J结尾。例如：3+4j。1.2序列类型字符串（str）：由零个或多个字符组成的不可变序列。例如："hello"。列表（lis
ylfhpy·2025-02-27 07:17

Python常见面试题的详解10

1.哪些操作会导致Python内存溢出，怎么处理？要点1.创建超大列表或字典：当我们一次性创建规模极为庞大的列表或字典时，会瞬间占用大量的内存资源。例如，以下代码试图创建一个包含10亿个元素的列表，在执行这段代码时，由于需要为这10亿个整数分配内存空间，很容易就会导致内存溢出错误。pythonhuge_list=[iforiinrange(10**9)]2.递归深度过大：递归函数在没有正确设置终止
ylfhpy·2025-02-27 07:17

Python常见面试题的详解11

1.函数调用参数的传递方式是值传递还是引用传递？要点在Python中，参数传递方式既不是纯粹的值传递，也不是纯粹的引用传递，而是“对象引用传递”。本质上传递的是对象引用的副本，对于不可变对象，函数内修改参数不会影响原对象；对于可变对象，函数内修改参数可能会影响原对象。python#不可变对象作为参数（类似值传递）defmodify_immutable(num):num=num+1returnnum
ylfhpy·2025-02-27 07:17

【前端】【面试】【功能函数】写一个JavaScript树形结构操作函数：`filter` 与 `forEach`

写一个JavaScript树形结构操作函数：filter与forEach在JavaScript开发中，处理树形结构数据是一项常见的任务。本文将详细介绍两个用于操作树形结构数据的函数：filter和forEach，包括它们的功能、使用方法以及具体示例。1.filter函数1.1功能概述filter函数用于过滤树形结构数据。它会遍历树形结构中的每个节点，根据传入的过滤函数func来决定是否保留该节点。
患得患失949·2025-02-27 07:41

利用springboot初始化机制三种实现策略模式的应用

面试时总被问，spring中使用了哪些设计模式，你在实际开发中又使用哪些设计模式。给他手指一个方向跟他说，这就是一个模式：goout!。这就是一种模式：策略模式，一个接口的多个实现方式(算法)。
π大星的日常·2025-02-27 07:08

Java集合设计模式面试题

Java集合设计模式面试题迭代器模式Q1:Java集合框架中的迭代器模式是如何实现的？迭代器模式提供了一种统一的方式来访问集合中的元素，而不需要暴露集合的内部结构。
夜游猿·2025-02-27 06:35

Python常见面试题的详解23

1.存储过程与触发器有什么区别要点定义用途：存储过程是预编译SQL语句集合，存于数据库，含逻辑控制和变量，用于特定业务，可被调用；触发器是特殊存储过程，特定数据库事件触发，用于数据完整性和审计。调用方式：存储过程需显式调用；触发器由事件自动触发，不可显式调用。参数传递：存储过程可接收输入输出参数；触发器通常无显式参数，基于触发事件表数据操作。存储过程和触发器在数据库中扮演着不同但又重要的角色。存储
ylfhpy·2025-02-27 06:34

华为MRS产品组件

MRS提供租户完全可控的一站式企业级大数据集群云服务（全栈大数据平台），轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件。
QianJin_zixuan·2025-02-27 06:59

DataFlow 模型是什么？

前言本文隶属于专栏《100个问题搞定大数据理论体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！
Shockang·2025-02-27 05:55

如今传统企业如何做数字化转型？

“数字化转型就是利用数字化技术，如云计算、大数据、人工智能、物联网、区块链等
年少有为2025·2025-02-27 05:52

【2024软考架构案例题】你知道 Es 的几种分词器吗？Standard、Simple、WhiteSpace、Keyword 四种分词器你知道吗？

博主介绍：博主从事应用安全和大数据领域，有8年研发经验，5年面试官经验，Java技术专家，WEB架构师，阿里云专家博主，华为云云享专家，51CTO专家博主⛪️个人社区：个人社区个人主页：个人主页专栏地址
激流丶·2025-02-27 03:09

Hive SQL 使用及进阶详解

Hive将SQL查询转换为MapReduce、Tez或Spark等分布式计算任务，使得不熟悉Java编程的数据分析人员也能方便地处理大规模数据。二、HiveSQL基础使用（一）环境准备在
小四的快乐生活·2025-02-27 03:37

网络安全常见面试题--含答案

本文面试题汇总：防范常见的Web攻击重要协议分布层arp协议的工作原理rip协议是什么？rip的工作原理什么是RARP？工作原理OSPF协议？
网络安全-杰克·2025-02-27 02:00

JVM 高级面试题及答案整理，最新面试题

JVM中的垃圾收集器有哪些，它们的工作原理是什么？JVM中的垃圾收集器主要包括以下几种：1、Serial收集器：它是一个单线程收集器，工作时会暂停所有其他工作线程（"Stop-The-World"），它的优点是简单高效（与其他收集器的单线程比），适用于单核处理器的环境。2、ParNew收集器：可以看作是Serial收集器的多线程版本，主要用于新生代的垃圾收集，适合多核处理器环境。3、Paralle
扫地僧009·2025-02-27 02:59

Spring Boot 面试题及答案整理，最新面试题

SpringBoot中的自动配置是如何工作的？SpringBoot的自动配置是其核心特性之一，它通过以下方式工作：1、@EnableAutoConfiguration注解：这个注解告诉SpringBoot开始查找添加了@Configuration注解的类，并自动配置它们。当应用启动时，SpringBoot会扫描项目依赖中的jar包，寻找包含spring.factories文件的项目。2、条件注解：
扫地僧009·2025-02-27 02:56

Spring Cloud 面试题及答案整理，最新面试题

SpringCloud中断路器的原理及其作用是什么？SpringCloud断路器的原理和作用基于以下几个关键点：1、故障隔离机制：在微服务架构中，断路器作为一种故障隔离机制，当某个服务实例出现问题时，断路器会“断开”这个实例，防止故障蔓延到其他服务。2、快速失败机制：当断路器打开时，对该服务的调用将会快速失败而不是等待，从而避免资源浪费和延迟。3、服务降级：在断路器打开时，可以为用户提供备选的响应
扫地僧009·2025-02-27 02:56

Spring MVC 面试题及答案整理，最新面试题

SpringMVC中的DispatcherServlet是什么，它如何工作？DispatcherServlet是SpringMVC中的核心组件，负责协调不同的请求处理器。它的工作流程包括：1、请求接收：接收HTTP请求，并将其转发到相应的处理器。2、处理器映射：根据请求查找合适的Controller。3、调用适当的处理器：执行处理器逻辑并返回ModelAndView对象。4、视图渲染：将Model
扫地僧009·2025-02-27 02:26

大数据SQL调优专题——调优切入

引入我们都知道大数据的SQL优化，并非一蹴而就的简单任务，而是一个涉及多个环节的复杂过程。从需求提出到最终交付，任何一个环节的微小偏差都可能影响最终成果。
黄雪超·2025-02-27 01:54

C++八股（面试题、手撕题）自用版

目录面试题：1.defineinline在编译的哪个阶段2.conststatic3.子函数返回结构体有什么问题，返回对象调用了哪些函数4.volatile关键字5.编译器基本原理6.预处理、编译、汇编
为了找工作开始抱佛脚·2025-02-27 01:18

设计模式学习路线

主流的设计模式共有23种，建议大家按照以下四个阶段来学习：基础学习编码实现项目实战备战面试其中第一个阶段和第二个阶段可以同时进行，即对于每个设计模式的学习都是：先了解、再编码实现。
XIAO GUOBA·2025-02-27 00:15

串口收发大数据和接收发送不定长数据

一.首先是大家想知道的接收发送不定长数据这里我仅仅推荐一种方法，虽然有很多方法STM32HALCubeMX串口IDLE接收空闲中断+DMA_idlelinedetectioninterrupt-CSDN博客但是我还是仅仅推荐我这种：利用HAL库的HAL_UARTEx_ReceiveToIdle_DMA()函数,代码简洁。在HAL里面能用回调函数直接实现功能的就别去自己写逻辑代码配置就是打开串口中断
✧˖‹gσσ∂ иιghт›✧·2025-02-26 22:01

HBase：大数据时代的“超级数据库”

HBase：大数据时代的“超级数据库”你是不是也被数据淹没过？大家有没有这样的经历，手机里存了成千上万张照片，每次想找某一张特定的照片时，都得翻半天？
狮歌~资深攻城狮·2025-02-26 22:57

AI岗位面试指南：高频文档问题解析与应答策略

一、必问文档类问题与应答模板1.简历深挖类典型问题："请详细解释简历中提到的「基于Transformer的文本生成优化项目」，你如何量化性能提升？"应答框架：背景与目标："项目源于客户需要将文本生成延迟从2秒压缩至800ms以内，同时保证BLEU分数不低于0.82"技术创新点："采用知识蒸馏+动态量化方案，设计分层注意力裁剪策略"量化成果："推理速度提升2.7倍（2150ms→780ms），内存占
阿三0812·2025-02-26 19:07

腾讯面试：大厂必问消息队列场景面试题

今天，我将那些大厂必问的消息队列的场景问题为大家整理出来,本文将跟大家一起来探讨如何回答这些问题。为什么要使用消息队列？保证消息有序，一个topic只能有一个partition吗？(消息顺序)业务突然增长，导致消息消费不过来怎么办？(消息积压)生产者收到写入成功响应后消息一定不会丢失吗？(消息丢失)高并发场景下怎么保证消息不会重复消费？(重复消费)如何保证消息的可靠性？各大消息队列中间件对比及使用
·2025-02-26 19:57

如何建设开放可控的企业大数据平台？

不久前，袋鼠云成功举办了以“AI驱动，数智未来”为主题的2024年秋季发布会。此次发布会聚焦于如何借助AI技术实现企业的新一轮飞跃，重塑企业的经营管理模式，加速数智化进程。会上，袋鼠云围绕“数智基建+数智应用”进行了深入的分享，引发了与会者和业界的广泛关注和热烈讨论。为了帮助企业更好的了解该业务，袋鼠云组织了一场由资深产品经理和技术专家主讲的“数字基建+数智应用”赋能分享活动。在未来两个月内，我们
·2025-02-26 19:55

有哪些开源大数据处理项目使用了大模型

以下是一些使用了大模型的开源大数据处理项目：1.**RedPajama**：这是一个开源项目，使用了LLM大语言模型数据处理组件，对GitHub代码数据进行清洗和处理。
魔王阿卡纳兹·2025-02-26 19:02

十年磨一剑：站在面试官角度聊聊现下大环境面试，“野生”程序员现阶段面试问题 & 学习误区

3.Hook**Hook的选择点：**静态变量和单例，因为一旦创建对象，它们不容易变化，非常容易定位。Hook过程：寻找Hook点，原则是静态变量或者单例对象，尽量Hookpublic的对象和方法。选择合适的代理方式，如果是接口可以用动态代理。偷梁换柱——用代理对象替换原始对象。多数插件化也使用的Hook技术4.内存泄漏构造单例的时候尽量别用Activity的引用；静态引用时注意应用对象的置空或者
2401_84149896·2025-02-26 18:00

Java面试题总结之Spring高频面试题

一、题目:谈谈你对Spring框架的理解1.Spring是一个开源框架，主要是为简化企业级应用可开发而生，可以实现EJB可以实现的功能，Spring是一个IOC和AOP容器框架。①控制反转(IOC):Spring容器使用了工厂模式为我们创建了所需要的对象，我们使用时不需要自己去创建，直接调用Spring为我们提供的对象即可，这就是控制反转的思想②依赖注入(DI):Spring使用JavaBean对
程恤·2025-02-26 17:27

spring security面试题

1、springsecurity所谓的全局上下文是如何实现的？ThreadLocal2、了解springsecurity哪些核心组件，并介绍？AuthenticationManagerBuilder@Configuration@EnableWebSecuritypublicclassWebSecurityConfigextendsWebSecurityConfigurerAdapter{@Over
「已注销」·2025-02-26 17:56

Java集合性能优化面试题

Java集合性能优化面试题初始化优化Q1:如何优化集合的初始化？
夜游猿·2025-02-26 17:24

腾讯SQL面试题变体实现：最长连续天数与允许1天中断的进阶解法

腾讯SQL面试题变体实现：最长连续天数与允许1天中断的进阶解法作者：某七年数据开发工程师|2025年02月23日关键词：滑动窗口、容错机制、连续区间优化一、变体题型需求分析在原题如何找出连续5天涨幅超过
数据大包哥·2025-02-26 17:22

2024腾讯最新面经总结：面试题库+实战笔记（附答案解析）

20、你们用过缓存吗没有，但是用redis做了分布式锁21、你说说下分布式锁怎么做的？分布式锁也是一个锁，需要满足几个特性，1可重入2可以识别加锁的身份防止ABA问题3考虑是否需要续约key是所需要加上的锁的业务资源唯一编码，value是当前线程的uuid，uuid存在threadLocal内加锁的时候用的jedis，先设一个过期时间，然后用ex，若不存在key则添加新key，若已经存在则直接失败
2401_84048521·2025-02-26 17:22

大数据的核心要点之一，数据作为资产是怎样入表的？

**一、数据资产入表核心框架**基于《企业会计准则》及《企业数据资源相关会计处理暂行规定》，数据资产入表需满足：可控制性（企业拥有数据所有权或使用权）可计量性（成本或价值可量化）经济利益可预期性（能带来未来收益）二、数据资产入表全流程示例数据资产识别与分类场景：网城亮科技的数据资产类型：生产数据：设备传感器数据、良品率记录、工艺参数供应链数据：供应商评级、物流时效记录、库存周转率客户数据：订单历史
九张算数·2025-02-26 17:21

21个MongoDB经典面试题

1、什么是MongoDB？MongoDB是一个文档数据库，提供好的性能，领先的非关系型数据库。采用BSON存储文档数据。BSON（）是一种类json的一种二进制形式的存储格式，简称BinaryJSON.相对于json多了date类型和二进制数组2、MySQL与MongoDB之间最基本的差别是什么?MySQL和MongoDB两者都是免费开源的数据库。MySQL和MongoDB有许多基本差别包括数据的
程序员麦冬·2025-02-26 16:14

MongoDB 面试题及答案整理，最新面试题

MongoDB中索引的工作原理及其类型MongoDB中索引的工作原理类似于传统数据库，用于加速查询操作。索引存储着文档的一个小部分字段，并按照这些字段的排序顺序进行组织。常见的索引类型包括：1、单字段索引：最基本的索引类型，只对文档中的一个字段进行索引。2、复合索引：对文档中的多个字段进行组合索引，可以支持对这些字段的查询操作。3、多键索引：用于数组字段，为数组中的每个元素创建索引项。4、全文索引
孙恒阳·2025-02-26 16:11

MongoDB私人学习笔记

一、基础知识：1、MongoDB的名称来源于HumongousDatabase，中文意思就是巨大无比的数据库，顾名思义，MongoDB就是为处理大数据而生，以解决海量数据的存储和高效查询使用为使命。
奕辰杰·2025-02-26 15:08

人工智能在fpga的具体应用_FPGA创意人工智能研发 校企合作培养专业人才

FPGA英特尔®FPGA与人工智能技术培训——成都信息工程大学站人工智能在21世纪初迎来以深度学习与大数据云计算为主导的第三次浪潮，在无人驾驶、医疗保健、工业等多个领域得到广泛应用。
墨墨猪·2025-02-26 15:37

Golang面试必问的10大难点，90%开发者栽在第三个！

本文精心梳理了一系列面试中具有一定难度的高频Golang问题，其中部分知识点可能你之前未曾深入探究，然而它们却在面试和实际工作中至关重要。包括：Golang的基础语法、并发模型、内存管理等核心知识点。
·2025-02-26 14:49

华为云FusionInsight MRS FlinkSQL 复杂嵌套Json解析最佳实践

背景说明随着流计算的发展，挑战不再仅限于数据量和计算量，业务变得越来越复杂，开发者可能是资深的大数据从业者、初学Java的爱好者，或是不懂代码的数据分析者。
华为云技术精粹·2025-02-26 14:59

Java 算法和数据结构 答案整理，最新面试题

Java中如何使用动态规划求解背包问题？1、定义子问题：首先确定动态规划状态，通常以物品数量和背包容量为变量定义子问题，例如dp[i][j]表示前i件物品放入容量为j的背包所能获得的最大价值。2、确定状态转移方程：基于是否选择当前物品，将问题分为两个子问题，即dp[i][j]=max(dp[i-1][j],dp[i-1][j-weight[i]]+value[i])，表示选择当前物品和不选择当前物
扫地僧009·2025-02-26 13:54

数据仓库面试题集锦（附答案和数仓知识体系），面试必过

3、如何构建数据仓库？数据仓库模型的选择是灵活的，不局限与某种模型方法；数据仓库数据是灵活的，以实际需求场景为导向；数仓设计要兼顾灵活性、可扩展性、要考虑技术可靠性和实现成本1）调研：业务调研、需求调研、数据调研2）划分主题域：通过业务调研、需求调研、数据调研最终确定主题域3）构建总线矩阵、维度建模总线矩阵：把总线架构列表形成矩阵形式，行表示业务处理过程，即事实，列表示一致性的维度，在交叉点上打上
m0_60635001·2025-02-26 13:20

Byzer：面向Data+AI的云原生低代码化语言

一、Byzer的设计哲学Byzer的核心设计理念在于简化大数据和AI平台的构建过程，降低开发成本。它通过类SQL的语言和云原生架
ITPUB-微风·2025-02-26 12:18

AIoT是什么？AIoT现状如何？

物联网产生、收集来自不同维度的海量数据并存储于云端、边缘端，再通过大数据分析以及更高形式的人工智能技术，实现万物数据化、万物智联化。
问就是想睡觉·2025-02-26 12:18

嵌入式面经_20届师兄谈笔试_八股文_简历_项目经验分享

大疆后端一面小红书测试三面（已意向）大疆嵌入式一面小红书测试二面凉经测开面经小红书面经(已意向书)说说我最近筛简历和面试的感受。。米哈游意向！
2301_79125431·2025-02-26 12:48
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他