A大数据开发第13页

面试心经03--大数据开发工程师

一，数据质量1，定义数据的质量直接影响着数据的价值，并且直接影响着数据分析的结果以及我们以此做出的决策的质量。质量不高的数据不仅仅是数据本身的问题，还会影响着企业经营管理决策；错误的数据还不如没有数据，因为没有数据时，我们还会基于经验和基于常识的判断来做出不见得是错误的决策，而错误的数据会引导我们做出错误的决策。因此数据质量是企业经营管理数据治理的关键所在。2，维度指标（1）准确性：数据的准确性（

晓之以理的喵~~·2023-04-06 22:37

大数据开发之Apache Hive

大数据开发之ApacheHive1.概述ApacheHive是一款建立在hadoop生态之上的开源数据仓库系统，可以把储存在Hadoop文件中结构化，半结构化得到数据文件映射成一张数据库表，然后基于数据库表提供一种类似

C0oOder·2023-04-06 19:37

【ES】Elasticsearch 简介

大数据开发经常用到Elasticesearch，今天做一下介绍。

和风与影·2023-04-06 18:15

统一观测丨使用 Prometheus 监控 E-MapReduce，我们该关注哪些指标？

EMR简介开源大数据开发平台E-MapReduce（简称“EMR”）作为大数

阿里云技术·2023-04-06 04:31

Scala编程指南(快速入门)

传统业务开发，领域模型设计（面向对象开发）;大数据开发-数据集计算模型-（函数式编程）。函数编程强调的是程序对数据的运行算能力。

小中.·2023-04-05 19:50

【scala基础知识】

大数据开发技术笔记spark大数据：spark：spark--它是新一代的内存级大数据的计算框架，spark它是大数据的重要内容。

小Q要努力·2023-04-05 19:15

scala、spark

目录大数据开发复习课程10、scala10.1、scala介绍10.2、scala解释器10.3、scala的基本语法10.3.1、声明变量10.3.2、字符串10.3.3、数据类型10.3.3.1、scala

小雨光·2023-04-05 19:08

Scala 编程指南-课件版本

传统业务开发-领域模型设计（面向对象开发）;大数据开发-数据集计算模型-（函数式编程）。函数编程强调的是程序对数据的运行算能力。

麦田里的守望者··2023-04-05 19:06

大数据开发学习笔记

文章目录1.虚拟机系统环境搭建1.1安装配置1.2设置网络1.3安装增强设备1.3vim编辑器的使用1.4修改计算机名1.5配置Java1.5.1下载并解压缩安装包1.5.2配置路径1.6安装salve节点1.7网络结构选择1.7.1分组1.7.2单机运行三个虚拟节点2.Hadoop集群2.1spark、Hadoop版本选择2.2软件安装方式2.3Hadoop集群域名配置2.3.1修改计算机名2.

漩涡脆波波·2023-04-05 14:23

大数据领域的发展及其对现实世界的价值

随着市场的快速增长，大数据开发领域将出现更多的创新、人才和多样性。因此，要保持行业领先地位，开发人员需要了解大数据开发的主要发展方向和应用领域。1.大数据发展的主要领域(

c++服务器开发·2023-04-05 14:34

CDH下配置Flume进行配置传输日志文件（尚硅谷版）

CDH下配置Flume进行日志采集配置说明：许多企业目前都在使用CDH进行大数据开发，CDH具有方便，高效，一键配置，方便管理和搭建大数据组件的特点，所以下面说一下尚硅谷的Flume配合Kafka进行日志文件的采集

Jecky不姓码·2023-04-05 03:50

阿里云Big Data - dataworks和MaxCompute之间的关系与区别

和MaxCompute之间的关系与区别MaxCompute做数据存储和数据分析处理，Dataworks是集成了数据集成、数据开发调试、作业编排及运维、元数据管理、数据质量管理、数据API服务等等功能的大数据开发

天地不仁以万物为刍狗·2023-04-04 18:03

【Flink】（二）详解 Flink 运行架构

写在前面：我是「云祁」，一枚热爱技术、会写诗的大数据开发猿。昵称来源于王安石诗中一句[云之祁祁，或雨于渊]，甚是喜欢。

云祁·2023-04-04 17:46

阿里大数据-数据库总结:RDS ADS OTS Maxcompute（ODPS）

阿里云大数据开发套件的使用，主要涉及到odps、ads、rds、ots相关数据库的操作，所以针对性的做一些总结，并将阿里云中产品与实际产品对应分析。

hsabrina·2023-04-04 06:37

Apache Doris核⼼功能 | 数据模型和物化视图

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！大数据真好玩点击右侧关注，大数据真好玩！

王知无(import_bigdata)·2023-04-04 06:14

大数据开发之Hadoop学习1---从Hadoop框架讨论大数据生态

从Hadoop框架讨论大数据生态目录从Hadoop框架讨论大数据生态2.1Hadoop是什么2.2Hadoop发展历史（了解）2.3Hadoop三大发行版本（了解）2.4Hadoop的优势（4高）2.5Hadoop组成（面试重点）2.5.1HDFS架构概述2.5.2YARN架构概述2.5.3MapReduce架构概述2.6大数据技术生态体系2.7推荐系统框架图2.1Hadoop是什么2.2Hado

Lcreator·2023-04-03 20:56

【大数据开发】ES实际生产部署架构

es生产集群的部署架构是什么？每个索引的数据量大概有多少？每个索引大概有多少个分片？这个问题，包括后面的redis什么的，谈到es、redis、mysql分库分表等等技术！就是你生产环境咋部署的？说白了，这个问题没啥技术含量，就是看你有没有在真正的生产环境里干过这事儿！有些同学可能是没在生产环境中干过的，没实际去拿线上机器部署过es集群，也没实际玩儿过，也没往es集群里面导入过几千万甚至是几亿的数

这个妹妹我见过·2023-04-03 19:41

大数据开发：分布式OLAP查询引擎Presto入门

在之前的《大数据开发：OLAP开源数据分析引擎简介》一文当中，我们对主流的一些开源数据分析查询引擎做了大致的介绍，今天的大数据开发分享，我们具体来讲解其中的Presto查询引擎，是什么，为什么会出现，又能够解决什么样的数据处理需求

成都加米谷大数据·2023-04-03 18:54

大数据开发-mysql

目录标题介绍SQL语言数据处理之查询函数创建和管理表数据处理之增删改数据库事务约束和分页约束分页介绍DB:数据库（database）：存储数据的“仓库”。它保存了一系列有组织的数据。DBMS：数据库管理系统（DatabaseManagementSystem）。数据库是通过DBMS创建和操作的容器SQL：结构化查询语言（StructureQueryLanguage）：专门用来与数据库通信的语言。常见

海星？海欣！·2023-04-03 17:24

星环科技TDS 2.4.0 发布：数据开发、数据治理、数据运营套件能力再次升级

近日，星环科技大数据开发工具TranswarpDataStudio2.4.0版本重磅发布，新版本中数据开发、数据治理、数据运营三大套件能力全部升级，让数据开发更便捷、数据治理更高效、数据运营更智能。

星环科技·2023-04-03 11:06

2023秋招—大数据开发面经—多益网络

一面hr面：问个人情况，问官网投递时回答的一些问题二面——技术面1、实习的工作是什么？2、SQL调优有哪些？3、介绍一下项目，主要做什么工作？（项目介绍还不顺畅）4、为什么学大数据？5、项目里的Flume是怎么用的？6、TailDir为什么可以断点重传？（面试官说不能）7、Linux什么指令可以监听文件？8、Flume的事务是怎样的？（因为上一题提到了事务）9、Kafka的基本架构？10、RXR队

不断学习的克里斯·2023-04-03 06:58

2023秋招—大数据开发面经—蚂蚁金融

一面：电话面试1、自我介绍2、挑一个实习项目讲一讲3、项目里的数据是怎么处理的？4、数据研发选择哪一块？（数据仓库、数据平台、数据算法、数据挖掘）5、讲讲MapReduce的原理6、环形缓冲区为什么要反向？7、实习的存储计算用的是什么组件8、有金融相关知识的储备吗？反问：1、这一面算是第一面吗（是）？算专业面吗（是）？2、做什么工作的？（国外金融银行业务）3、用到哪些技术栈？4、希望候选人所具备哪

不断学习的克里斯·2023-04-03 06:27

2023秋招—大数据开发面经—网易云音乐

一面1、实习的工作内容是什么？2、有写过UDF吗？如何实现UDF？3、UDF要成为永久函数怎么做？如果不加temperory，函数下次还能用吗？4、UDTF了解吗？5、Hive的窗口函数有了解过吗？6、开窗函数Over()中有没有orderby有什么区别？7、汇总数据开发是怎么做的？（实习工作）8、Flink任务的并行度和内存怎么设置的？9、Flink的TaskManager内存模型了解吗？10、

不断学习的克里斯·2023-04-03 06:27

字节给我发感谢信，我也感谢字节（内附一面面经）

前几天面的一面，投的是大数据开发岗位，没有笔试面完感觉自己有点凉，毕竟SQL没写出来，有个数据倾斜的问题也没答出来但最后面试官问了一句最早几时可以上岗，让我感觉尚有希望，于是等了三天，就给我发信这个结局自己其实也是料到了

不断学习的克里斯·2023-04-03 06:26

ZooKeeper的一些总结

是什么二、Zookeeper用来做什么三.Zookeeper的优势是什么四.为什么用zookeeper五.zookeeper解决了什么问题总结前言Zookeeper作为一个分布式协调服务，在Java以及大数据开发中都遇到过

易逑实战数据·2023-04-03 04:44

大数据HCIE认证更新升级，要考大数据HCIE的过来看看

HCIE-BigData-DataMiningV2.0定位于数据挖掘方向的专家级别认证，适用于大数据开发和运维高级工程师以及致力于向AI领域发展的人员的技能提升。

智汇云校·2023-04-03 03:28

Java，php，运维工程师转型大数据开发怎么样？你属于哪一类？

一：java转型大数据“2019年可能会是过去十年里最差的一年，但却是未来十年里最好的一年”。市场发展的受限，不仅波及了各个行业的从业者，就连IT领域也受到了影响，很多IT人开始寻找新的出路，其中，很多java程序员将转型大数据看成是迎接“春天”的一个契机，其原因究竟是什么呢？在资本“寒冬”的影响下，互联网巨头们纷纷的传出缩招的消息，像阿里、京东等。而像华为这样的企业，也曾传出了停止社招的信息。大

大数据基础入门教程·2023-04-03 03:14

Java程序员转行大数据开发怎么样？难吗？

提到大数据，很多人会想到Java，提到Java，也会想到大数据，二者有什么关系呢？哪个发展更好？二者关系？大数据框架的编写支持很多开发语言，目前流行的大数据Hadoop框架，很多部分都是用开源的Java语言编写。Hadoop的创始人DougCutting曾说过：Java在开发者的生产率和运行效率之间取得很好的权衡。开发者可以使用广泛存在的高质量类库，切身受益于这种简洁、功能强大、类型安全的语言。谁

juan188·2023-04-03 02:34

分布式系统：数据一致性解决方案

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！大数据真好玩点击右侧关注，大数据真好玩！

王知无(import_bigdata)·2023-04-02 21:50

大数据开发可以自学吗?有哪些需要注意的地方？

我们在学习大数据开发前需要先找到适合自己的方式方法，首先需要审视一下自身的情况，是否是以兴趣为出发点，对大数据是不是自己是真的感兴趣吗，目前对大数据的了解有多少，自己的学习能力和理解能力是否适合学习。

yoku酱·2023-04-01 23:11

java和python哪个更好找工作？

1、就业现状从目前的就业现状来看，Java的工作机会肯定是更多的，如Web开发、大数据开发和移动互联网开发等都是基于Java的应用方向。

Lalalajtyy·2023-04-01 21:57

产业互联网时代有哪些软件开发任务

首先，软件开发当前的划分方式非常多，如果按照技术领域进行划分，软件开发涉及到物联网开发、云计算开发、大数据开发和人工智能开发等等，而如果按照软件自身的技术体系来划分，又可以划分为前端开发、后端（服务端）

飞翔的勇士·2023-04-01 15:39

大数据专业毕业后前景如何？能做什么职位？

大数据开发岗位是当前人才需求量比较大的岗位之一，不论是本科生还是研究生，当前选择大数据开发岗位会有相对较大的选择空间。

我想去吃ya·2023-04-01 11:19

大数据专业前景怎么样？

大数据专业毕业生未来的岗位选择空间比较大，有三大类岗位可选择分别是大数据开发岗位、大数据分析岗位和大数据运维岗位，在不同的行业和技术体系结构下这些岗位也包含很多细分的岗位。

我想去吃ya·2023-04-01 11:19

大数据就业前景怎么样?需要学会哪些技术?

智能时代的来临，我们日常生活中的很多技术都可以用大数据来实现，大数据开发行业做为IT行业中的一类更是前景无限。所以很多人想转行做大数据开发。那么现在大数据就业前景怎么样?需要学会哪些技术?

千锋教育qyf·2023-04-01 10:29

2023大数据开发就业前景怎么样？

大数据开发就业班正在火热招生中。大数据开发做什么？大数据开发分两类，编写Hadoop、Spark的应用程序和对大数据处理系统本身进行开发。

泰迪智能科技·2023-04-01 10:45

数据倾斜及一些解决方法

一、数据倾斜原理做大数据开发，很有可能会遇到数据倾斜的问题，要想解决数据倾斜，首先要理解什么是数据倾斜，以及产生数据倾斜的原因。

hunter95671·2023-04-01 02:26

大数据工程师需要学习哪些内容

大数据开发对于Java语言的依赖程度比较高，如果想尝试大数据开发，学习过Java语言就很容易上手Java是目前使用广泛的编程语言之一，具有的众多特性，特别适合作为大数据应用的开发语言。

我想去吃ya·2023-03-31 22:02

基于阿里云官网文档-大数据开发治理平台 DataWorks研读+数据质量扩展+相应的大数据组件知识扩展

网址：阿里DataWorkers网址：数据集成概述-大数据开发治理平台DataWorks-阿里云目录网址：阿里DataWorkers网址：数据集成概述-大数据开发治理平台DataWorks-阿里云一、DataWorks

ListenerDMT·2023-03-31 16:08

学习大数据的基础

目前大数据分为两大方向：大数据开发和大数据分析。这两大方向的对于基础知识的要求不同，大数据分析偏向于分析，对于编程要求不高，相较而言对于基础知识这块要求低一点。

kuntoria·2023-03-31 14:27

数据通大数据导航，助力CSDN大数据的伙伴们！

数据通大数据导航大数据网站政府类社会组织类媒体论坛类大数据开放平台国内城市开放数据统计机构（全球）国外开放数据平台国内各省市县统计机构机器学习数据源AI开源数据数据科学平台大数据交易平台大数据开发分析工具问卷调查工具大数据分析工具网站分析监测工具移动应用监测工具移动应用测试工具网站热点分析工具爬虫工具

点滴聚变·2023-03-31 07:10

数据中台05：数据中台之数据加工总线

并且数仓还是分层的，针对每一层的数据都需要进行实时计算，此时就需要开发很多实时计算程序，实时计算程序的复用性很低，针对每一种类型的数据都需要开发对应的实时计算程序，开发成本高，并且对程序员也不友好，需要专门的大数据开发工程师

做一个有趣的人Zz·2023-03-31 07:31

大数据开发：Hive分桶表及动态分区、静态分区

今天的大数据开发分享，我们就来讲讲Hive分桶表及动态分区、静态分区。一、Hive的分桶表1、分桶表原理分桶是相对分区进行更细粒度的划分，Hive表或分区表可进一步的分桶。

成都加米谷大数据·2023-03-31 04:51

Java大数据开发Hadoop MapReduce

目录1MapRedcue的介绍1.1MapReduce定义1.2MapReduce的思想1.3MapReduce优点1.4MapReduce的缺点1.5MapReduce进程1.6MapReduce-WordCount2Hadoop序列化2.1序列化的定义2.2hadoop序列化和java序列化的区别3MapReduce的原理3.1MapReduce工作的过程3.2InputFormat数据输入3

·2023-03-31 01:18

【闲聊】我用ChatGPT参加了大数据面试

问：那么为什么你要投递大数据开发这个岗位答：我对于大数据开发的岗位深感兴趣，因为我有着多年的编程经验，我熟悉分析数据、解决问题和提出创新解决方案的能力，并且拥有扎实的数据库和计算机科学的基础知识。

和风与影·2023-03-30 23:31

一文搞懂大数据开发，大数据开发体系详解

如果只有数据量大是不是太片面单一了，实际上如果你说是从事大数据开发，那么起码要满足下面

盈梓的博客小站·2023-03-30 16:03

大数据开发之Hadoop学习3--Hadoop运行模式

Hadoop运行模式目录Hadoop运行模式4.1本地运行模式（官方wordcount）4.2完全分布式运行模式4.2.1虚拟机准备4.2.2编写集群分发脚本xsync4.2.3SSH无密登录配置4.2.4集群配置4.2.5群起集群4.2.6集群启动/停止方式总结4.2.7配置历史服务器4.2.8配置日志的聚集4.2.9集群时间同步Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式

Lcreator·2023-03-30 03:37

Spark零基础入门实战（七）Spark生态系统架构

大数据开发总体架构在正式讲解Spark之前，读者首先需要了解大数据开发的总体架构，如图数据来源层在大数据领域，数据的来源往往是关系型数据库、日志文件（用户在Web网站和手机App中浏览相关内容时，服务器端会生成大量的日志文件

大数据张老师·2023-03-29 18:35

大数据算法_阿里十年大数据专家实践经验分享：离线和实时大数据分析和算法...

大数据践行者，致力于通过数据和算法的智能化来赋能商业与社会，拥有十余年大数据一线实战经验，尤其对于智能化产品的大数据开发、架构和未来数据产品设计有丰富经验及深入认识。

weixin_39962758·2023-03-29 15:50

Java就业岗位有哪些？

Java是一门典型的全场景编程语言，可以用于Web开发、大数据开发、云计算开发等多种不同的开发场景下。

Java入门到如风·2023-03-29 11:38

推荐频道

A大数据开发