数据开发面试题总结第5页

大数据开发之Hive（企业级调优）

第10章：企业级调优创建测试用例1、建大表、小表和JOIN后表的语句//创建大表createtablebigtable(idbigint,tbigint,uidstring,keywordstring,url_rankint,click_numint,click_urlstring)rowformatdelimitedfieldsterminatedby'\t';//创建小表createtable

Key-Key·2024-01-15 12:34

大数据开发之Hive（统计影音视频网站的常规指标）

第11章：Hive实战11.1数据结构1、视频表字段备注详细描述videoId视频唯一id(String)11位字符串uploader视频上传者(String)上传视频的用户名Stringage视频年龄(int)视频在平台上的整天数category视频类别(Array)上传视频指定的视频分类length视频长度(Int)整形数字标识的视频长度views观看次数(Int)视频被浏览的次数rate视频

Key-Key·2024-01-15 12:34

大数据开发之Hive(基本概念、安装、数据类型、DDL数据定义、DML数据操作)

第1章：Hive基本概念1.1Hive1.1.1Hive产生背景HDFS来存储海量的数据、MapReduce来对海量数据进行分布式并行计算、Yarn来实现资源管理和作业调度。但是面对海量的数据和负责的业务逻辑，开发人员要编写MR对数据进行统计分析难度极大，所以就产生了Hive这个数仓工具。Hive可以帮助开发人员将SQL语句转化为MapReduce在yarn上跑。1.1.2hive简介Hive是基

Key-Key·2024-01-15 12:04

大数据开发之Hive(查询、分区表和分桶表、函数)

第6章：查询6.1基本语法及执行顺序1、查询语句语法select_expr,select_expr,...FROMtable_reference[WHEREwhere_condition][GROUPBYcol_list][ORDERBYcol_list][CLUSTERBYcol_list|[DISTRIBUTEBYcol_list][SORTBYcol_list]][LIMITnumber]2

Key-Key·2024-01-15 12:04

大数据开发之HA

第1章：HadoopHA高可用1.1HA概述所谓HA（HighAvailablity），即高可用（7*24小时不间断服务）。实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。NameNode主要在以下两个方面影响HDFS集群NameNode机器发生意外，如宕机，集群将无法使用，直到管理员重启。NameNode机器需要升级，包括软件、硬件升

Key-Key·2024-01-15 12:03

大数据开发之Hive（详细版，最后有实战训练）

第1章：Hive基本概念1.1Hive1.1.1Hive产生背景HDFS来存储海量的数据、MapReduce来对海量数据进行分布式并行计算、Yarn来实现资源管理和作业调度。但是面对海量的数据和负责的业务逻辑，开发人员要编写MR对数据进行统计分析难度极大，所以就产生了Hive这个数仓工具。Hive可以帮助开发人员将SQL语句转化为MapReduce在yarn上跑。1.1.2hive简介Hive是基

Key-Key·2024-01-15 12:29

大数据开发之Zookeeper

第1章：Zookeeper入门1.1概述它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zookeeper就将负责通知这些已经在Zookeeper上注册的那些观察者做出相应的反应。1.2特点一个领导者（Leader）,多个跟随者（Follower）组成的集群。集群中只要有半数以上的节点存活，Zookeeper集群就能正常工作。所以Zookeeper适合安装奇数台

Key-Key·2024-01-15 09:25

统一OLAP查询平台之语义层

背景：数据开发过程中，如果对分析指标理解有偏差将直接导致整个数据链路的返工，如何以最小代价应对分析指标的合理变动？同时，面对海量数据分析如何提高查询性能？这些问题都可以通过统一OLAP查询平台来解决。

XianMing的博客·2024-01-14 11:27

【数据开发】HiveSQL 临时表&分步执行（with, as ）与时间函数（时间戳unix_timestamp）

1、分步执行（with…as…）HiveSQL中的WITH…AS…语句可以用于分步执行，即将一个大的查询语句拆分成多个小的查询语句，每个小的查询语句都可以使用WITH…AS…语句定义一个临时表，然后在后面的查询语句中使用这些临时表。用法1，增加一张临时表/临时步骤withtable1as(selectkeyfromsrcwherekey='5')select*fromtable1;用法2，增加并列

小哈里·2024-01-14 07:51

iOS 面试题总结

在Objective-C中，任何类的定义都是对象。类和类的实例（对象）没有任何本质上的区别。任何对象都有isa指针。isa是一个Class类型的指针。每个实例对象有个isa的指针,他指向对象的类，而Class里也有个isa的指针,指向meteClass(元类)。元类保存了类方法的列表。当类方法被调用时，先会从本身查找类方法的实现，如果没有，元类会向他父类查找该方法。同时注意的是：元类也是类，它也是

小簧魜·2024-01-14 04:08

【JavaScript】知识点总结

JavaScript面试题总结JavaScript闭包作用域，作用域链执行栈，执行上下文内存泄漏和垃圾回收机制内存泄漏垃圾回收机制深拷贝和浅拷贝单线程，同步异步为什么JS是单线程的？

一条爱学习的咸鱼·2024-01-14 00:15

某大公司-大数据开发-二面

自我介绍1.来了公司，你知道这个岗位需要做什么吗。2.你之前休息的几个月，你都干了什么。这里我回答：自己刷题，加整理简历。然后对方领导反问我一直在找工作，我说是。觉得有点傻。3.假如我是刚来的，如果我做的任务不是很好，领导和下级觉得我做的不是很满意，我该怎么办。-------------以后打死一天至多面试两场。可能是没有休息好。我觉得我思考问题的时候都慢了半拍。然后一天面试三场真的很累。发现甲方

劝学-大数据·2024-01-13 19:23

普通程序员转型大数据开发需要考虑哪些因素？

大数据工程师平均年薪达20万，在中国顶尖的互联网公司里，大数据开发人员的薪酬比同级别的其他职位高出30%以上，这也是很多程序员纷纷选择转型大数据开发的原因。

你的社交帐号昵·2024-01-13 17:57

软件测试工程师经典面试题总结

一、接口测试如何设计测试用例？首先，接口测试用例与其他测试用例是一样的，都是为了证明程序存在错误，其出发点相同；接口测试用例的对象是接口，需要验证各个系统及组件间的接口；其三是接口测试的功能，模拟用户操作，会如何调用这个接口；一个系统中最外层的接口又分为数据输入接口和输出接口，输入即需要创建一些变量参数，然后执行，最后来校验输出的状态与结果是否与预期结果一致即可。回到题目中的接口测试用例设计，接口

程序员雨果·2024-01-13 03:53

大数据开发工程师需要具备哪些技能？

在回答这个问题之前，需要充分了解一下当前大数据的几个就业方向，可以参考下主流互联网行业的部门架构、职责和JD，大数据开发工程师，总体来说有这么几类，不同的公司叫法不一样：1、数仓开发工程师2、算法挖掘工程师

郑小柒是西索啊·2024-01-12 21:58

2024安卓岗位面试题总结

文章目录数据结构ArrayListLinkedListHashMapJava7HashMapJava8HashMapThreadLocalSparseArrayJava中单例模式Java中生产者与消费者模式高级UI面试题汇总1.View的绘制原理2.View,WindowManagerGlobal,WindowManagerService之间的关系3.requestLayout和invalidat

赵健zj·2024-01-12 21:40

2024Flutter岗位面试题总结

StatelessWidget和StatefulWidget的区别是什么？StatelessWidget是一个不可变的类，充当UI布局中某些部分的蓝图，当某个组件在显示期间不需要改变，或者说没有状态（State），你可以使用它。StatefulWidget也是不可变的，但是它和一个State对象关联在一起，该对象允许你每次通过调用setState()时，使用新值重建这个widget，当UI可以动态

赵健zj·2024-01-12 20:14

案例分享 | 基于Linkis+DSS构建合合信息一站式数据开发平台

目录指引1.IDS的简介2.IDS的诞生背景3.IDS——合数据工坊的实践之路3.1用户权限3.2引擎增强3.3作业调度3.4数据治理3.5IDS中一些小的功能改造点或应用项4.总结5.参考文档1.IDS的简介IntsigDataStudio（IDS）是上海合合信息科技股份有限公司，大数据平台基于微众WDS社区开源的Linkis&DSS组件构建的一站式敏捷数据应用开发管理门户，面向的主要用户群体包

康月牙·2024-01-10 15:16

oracle 独立事务的含义和用法

下面是一个Oracle数据库独立事务的示例：主事务：UPDATEempSETjob=‘数据开发’WHEREempno=7

zz_ll9023one·2024-01-10 09:02

外包-某行大数据开发-一面

估计是因为见到过我这种简历太多了，然后面试官直接问了问题1.clickhouse熟悉吗？2.shell熟悉吗，问了两个问题。1.如何获取文件的第一行？2.shell中怎么拼接两个字符串？3.传统数据库用的多吗？然后问了薪资多少，就没有再问了，合适再聊，就直接挂了我电话。整个过程没有超过5分钟。我回答了自己有写过相关脚本，但是其实当时都是照着抄的，面试官问两个问题我就露馅了，惭愧。从以上情况可以看出

劝学-大数据·2024-01-10 07:47

面试题总结(1.8)

1.详细解释JavaScript中的事件循环机制（EventLoop）是如何工作的，包括宏任务和微任务的执行顺序。JavaScript的事件循环机制（EventLoop）是一种用于处理异步操作的执行模型。它允许JavaScript在单线程环境中处理多个任务，而不会阻塞主线程。事件循环由两个重要的概念组成：宏任务和微任务。宏任务（Macrotask）：宏任务代表一组独立的、顺序执行的操作。例如，se

@tg·2024-01-10 01:12

大数据开发：Hive基础知识点介绍

今天的大数据开发分享，我们来讲讲Hive的基础知识点。Hive简介根据官方文档的定义，Hive是一种用类SQL语句来协助读写、管理那些存储在分布式存储系统上大数据集的数据仓库软件。

加米谷大数据张老师·2024-01-09 13:52

某外包～大数据开发～项目经理二面

一面通过后，hr开始谈工资，以为外包一面就能拿下，没想到还是要我来公司聊一聊。1.介绍之前的项目2.公司是做什么业务的3.对加班的看法4.两道sql题，直接问的1.对于交易明细表中，求每个用户最大的日期的交易记录2.求学生表中，学生的最大成绩，成绩是varchar类型。答案如下：首先进行转换，然后在排序，之所以进行转换，原因是因为varchar类型比较大小时，按照的是位与位进行比较，若2与11va

劝学-大数据·2024-01-09 06:12

某大厂大数据开发-外包面试

1.自我介绍2.具体问项目流程，如项目怎么实现的3.印象最深的问题，怎么发现的，怎么解决的？4.spark用过吗，用到的开发工具5.数据量多少，服务器台数6.数仓每层做了什么事，为什么这样做？笔试题：hive-sql一个表tbl:c_idu_idscore用SQL计算每个班级top5学生的平均分表A（uid,bid)，uid代表：用户idbid代表：uid关注的用户id表数据示例：uidbid12

劝学-大数据·2024-01-09 06:42

大数据开发-某外包公司

1.用过那些组件2.说下HDFS读写流程3.说下varchar和char区别4.说下数据库的事务5.spark的部署模式有哪些6.数据库和数据仓库的区别7.内部表和外部表的区别8.说下数据中台、数据仓库和数据湖的区别9.说下公司的建模模型10.说下hadoop有那些组件面试体会：因为岗位jd上有明确的表示面试可能会问到的问题，比如数据湖，但是我几乎没有复习，所以很遗憾，说的也很糟糕。然后面试官说，

劝学-大数据·2024-01-09 06:10

面试题复习2

1.月黑雁飞高，计网全知道——精选23道计网面试题目_java冢狐的博客-CSDN博客2.前端Vue和计网面试题总结_鸭鸭:)的博客-CSDN博客3.标准盒模型与怪异盒模型的区别_俊小张的博客-CSDN

前端小臻·2024-01-09 05:30

大数据开发学习笔记——hbase的rowkey设计

写在最前面：今日都是纯文字的笔记，希望朋友们能耐心看rowkey长度原则rowkey是一个二进制码流，可以是任意字符串，最大长度64kb，实际应用中一般为10-100bytes，以byte[]形式保存，一般设计成定长。建议越短越好，不要超过16个字节，原因如下：目前操作系统都是64位系统，内存8字节对齐，控制在16个字节，8字节的整数倍利用了操作系统的最佳特性。rowkey散列原则如果rowkey

卿卿老祖·2024-01-08 21:38

pandas应用和学习

一.pandas的基本内容1.Python在数据处理上有代码灵活,开发快速的特点.尤其是Python的Pandas包,无论是在数据分析领域还是在大数据开发场景都具有显著优势:①Pandas是Python

MSJ3917·2024-01-08 16:33

数据分析之Pandas VS SQL！

对于数据开发工程师或分析师而言，SQL语言是标准的数据查询工具。本文提供了一系列的示例，说明如何使用pandas执行各种SQL操作。**Pandas简介**Pandas把结构化数据分为了三类：S

苍简·2024-01-08 07:49

Spark Core进阶知识

小知识:大数据开发人员/数据分析人员,必须要对自己统计的指标结果负责!!!

MSJ3917·2024-01-08 07:52

Java基础常见面试题总结

夜雨风云·2024-01-08 01:13

FlinkSQL中【FULL OUTER JOIN】使用实例分析（坑）

Flink版本：flink1.14最近有【FULLOUTERJOIN】场景的实时数据开发需求，想要的结果是，左右表来了数据都下发数据；左表存在的数据，右表进来可以关联下发（同样，右表存在的数据，左表进来也可以关联下发

PONY LEE·2024-01-07 20:46

面试题总结

Nginx篇【1】简述一下什么是Nginx，它有什么优势和功能？Nginx是高性能的HTTP和反向代理的服务器，处理高并发能力是十分强大的，能经受高负载的考验,有报告表明能支持高达50,000个并发连接数。Nginx主要提供功能有http服务器反向代理服务器负载均衡服务器动静分离配置缓存数据【2】简述一下什么是正向代理，什么是反向代理正向代理代理的是客户端访问服务端,比如防火墙，反向代理代理的是服

新手小菜鸟上路·2024-01-07 12:56

有用的技术分享主题

SQLServer数据库和AgentJob集成化监控工具Airflow调度工具的安装和使用Tableau报表开发网络爬虫技术开发PythonGUI应用开发基于S3的数据湖架构设计和大数据开发Hive大数据仓库超大数据集去重解决方案

weixin_30777913·2024-01-07 10:42

面试题总结第一期

下马问前程，温酒敬长空。近期参加的各种面试，对相关内容进行总结，持续更新中。。。1.箭头函数和普通函数的区别：1.箭头函数语法更为简洁、清晰2.箭头函数会捕获其所在上下文的this，作为自己的this3.箭头函数不能作为构造函数，不能使用new关键字(因为箭头函数没有自己的this，它的this其实是继承了外层执行环境中的this，且this指向永远不会改变,作为构造函数其的this要是指向创建的

小鸟哗啦啦·2024-01-06 14:28

Mysql数据库相关面试题总结（30道）

1、列举常见的关系型数据库和非关系型都有那些？关系型数据库：Oracle、DB2、MicrosoftSQLServer、MicrosoftAccess、MySQL非关系型数据库：NoSql、Cloudant、MongoDb、redis、HBase两种数据库之间的区别：关系型数据库：关系型数据库的特性1、关系型数据库，是指采用了关系模型来组织数据的数据库；2、关系型数据库的最大特点就是事务的一致性；

图灵萱萱·2024-01-06 07:20

Linux常见面试题

题目说明：LINUX类的面试题适合传统行业实施，运维以及大数据开发，运维等岗位，在以上提到的岗位面试中均会有所涉及，初级岗位大部分为基础命令考核，难度丌大，但需要准确不熟练,会编写SHELL脚本会成为此类岗位求职优势

莓是草莓的莓·2024-01-06 01:17

Hadoop面试题与python基础

python基础（面向大数据开发）如果你是面向python开发，那么我的这些应该是不够用的，我的这些只够大数据开发人员使用；每一个岗位它对一门语言的要求掌握程度是不一样的；但是我写的这些你必须要会，它是基础中的基础

中长跑路上crush·2024-01-05 23:02

2024最新Java春招高频面试题总结!精选312道(附答案PDF)

提前备战春招，不打无准备的仗！此套面试攻略真实、高频、全面、有详细答案，是我精心打磨创作，内容言简意赅、通俗易懂。非常适合正在准备面试的小伙伴临阵磨枪，以及日常学习去查漏补缺！保你稳过面试，让你成为offer收割机。最后希望大家都能圆梦大厂，加油，我命由我不由天！一、Java并发编程基础1.谈谈你对AQS的理解2.lock和synchronized区别3.线程池如何知道一个线程的任务已经执行完成4

浮生带你学Java·2024-01-05 21:14

数据分析求职-入职必备-工具篇

通常所说的数据分析岗位这个大类，细分的话还可以分为3个细类：数据研发/大数据开发：专注于数据的清洗和预处理，为后续消费数据的服务（比如数据分析

阿清陪你聊聊数据分析·2024-01-05 18:56

大数据开发-Hive-常用日期函数&&日期连续题sql套路

前面是常用日期函数总结，后面是一道连续日期的sql题目及其解法套路。1.当前日期和时间selectcurrent_timestamp--2020-12-0519:16:29.2842.获取当前日期，当前是2020-12-05SELECTcurrent_date;##ORSELECTcurrent_date();--2020-12-053.获取unix系统下的时间戳SELECTUNIX_TIMEST

Hoult-吴邪·2024-01-05 17:37

2023年网络安全十10大发展趋势发布

在建立安全可控、弹性包容的数据要素治理制度后，需有效推动数据开发利用与数据

瓦罗兰特顶级C位·2024-01-05 16:54

【亚马逊云科技】自家的AI助手 - Amazon Q

本人的技术路线从Java全栈工程师一路奔向大数据开发、数据挖掘领域，如今终有小成，愿将昔日所获与大家交流一二，希望对学习路上的你有所助益。

一头小山猪·2024-01-05 14:00

大数据开发个人简历范本（2024最新版-附模板）

大数据开发工程师个人简历范本>男22本科张三计算机科学与技术1234567890个人概述具备深入的Hadoop大数据运维工程师背景，熟悉相关技术和工具具备良好的团队合作能力，善于沟通和协作具有快速学习新知识和解决问题的能力对于数据科学和分析充满热情

itLeeyw·2024-01-05 13:53

JS实现多线程数据分片下载

在大数据开发过程中，为了提高大文件的上传速度，往往需要将大文件切割为小的数据分片，这样小分片数据可以充分利用有限的带宽，加快上传速度。

码说AI·2024-01-05 10:22

大数据开发者应该知道的分布式系统 CAP 理论

无论你是一个系统架构师，还是一个普通开发，当你开发或者设计一个分布式系统的时候，CAP理论是无论如何也绕不过去的。本文就来介绍一下到底什么是CAP理论，如何证明CAP理论，以及CAP的权衡问题。CAP理论概述CAP理论：一个分布式系统最多只能同时满足一致性（Consistency）、可用性（Availability）和分区容错性（Partitiontolerance）这三项中的两项。读者需要注意的

Hadoop技术博文·2024-01-05 09:51

2024年Java最新面试题总结（三年经验）

目录第一章、基础技术栈1.1）集合，string等基础问题1、arraylist，linkedlist的区别，为啥集合有的快有的慢2、字符串倒叙输出2.1、字符串常用方法2.2、字符串+号拼接的底层原理3、讲一下Java的集合框架4、定义线程安全的map，有哪些方法，ConcurrentHashMap原理5、equals与==6、hashtable和hashmap的区别8、什么是哈希表9、什么是哈

悲且狂·2024-01-05 08:37

大数据开发学习资料汇总

目录大数据系列HadoopHadoop权威指南Hadoop权威指南修订Hadoop实战Hadoop实战_2Hadoop源码分析大数据处理系统：Hadoop源代码情景分析Hadoop开发者入门专刊Hadoop技术内幕：深入解析MapReduce架构设计与实现原理Hadoop技术内幕：深入解析YARN架构设计与实现原理HadoopYARN权威指南Hadoop奶妈级基础入门视频课：Linux嵌入式Lin

比屋大数据·2024-01-05 08:44

大数据开发与低代码：加速数据处理与解决方案开发

随着数据量的爆炸式增长，大数据开发变得愈发重要。然而，传统的大数据开发方法往往需要复杂的编码和开发过程，消耗时间和资源。而低代码开发平台的出现为大数据开发带来了全新的解决方案。

液态不合群·2024-01-05 08:25

推荐频道

数据开发面试题总结