04--数据开发第19页

数据仓库工具hive面试题集锦

大数据技术成为互联网发展的核心要素之一，想从事大数据开发需要掌握多种核心技术：Hadoop、Hive、Storm、Spark、Scala等等。

Blue92120·2023-04-09 00:58

大数据开发必备面试题Hive篇

1、数据建模常用的模型有哪些？（1）星型模型。星形模式(StarSchema)是最常用的维度建模方式。星型模式是以事实表为中心，所有的维度表直接连接在事实表上，像星星一样。星形模式的维度建模由一个事实表和一组维表成，且具有以下特点：A、维表只和事实表关联，维表之间没有关联；B、每个维表主键为单列，且该主键放置在事实表中，作为两边连接的外键；C、以事实表为核心，维表围绕核心呈星形分布。（2）雪花模型

技术人小柒·2023-04-09 00:26

flink sql 知其所以然：flink sql 开发企业级利器之 Dlink

搞大数据开发的同学基本都知道在HUE上面写hivesql贼爽。那么有没有写flinksql的企业级的webIDE推荐的呢？经过博

javastart·2023-04-08 20:40

大数据开发·关于虚拟机Hadoop完全分布式集群搭建教程

hadoop完全分布式集群搭建一、搭建准备1.安装VMware虚拟机2.Xshell7远程客户端及Xftp7安装3.搭建模板虚拟机hadoop100配置虚拟机网络为虚拟机普通用户配置root权限4.克隆三台虚拟机用于搭建完全分布式集群二、环境搭建1.主机地址的映射2.使用Xshell连接虚拟机3.SSH免密登录配置（另一篇文章写过，这里就直接放链接了）4.配置集群分发脚本5.配置hadoop及ja

月过枫·2023-04-08 18:36

从数据仓库到数据中台，终于有人说清楚了

作者简介：王春波，《高效使用Greenplum：入门、进阶和数据中台》作者，“数据中台研习社”号主，十年数据开发从业者，资深零售数仓项目实施专家。

weixin_44166276·2023-04-08 12:02

关于数据中台的深度思考与总结

数据采集工具Canal、DataX、Sqoop数据开发数据开发模块主要面向开发人

ITFLY8·2023-04-08 12:21

数据仓库基础1-维度模型

前言这个系列将从小白视角讲述构建数据仓库过程所需的知识和问题，主要受众是数据中台产品、数据开发、数据分析人员。引入在大学就听说过数据仓库，但是当时被书的厚度劝退。

数据产品小lee·2023-04-08 09:46

如何使用ODX描述诊断会话和安全等级

目前ODX诊断标准也已被国内各大OEM采用，但在ODX数据开发阶段，ODX诊断数据库的编辑、创建是一项庞大的工作。

SoftingChina·2023-04-08 08:26

【大数据开发】sqoop报错汇总

持续更新ing解决办法：删除该目录解决办法：cp/usr/local/hive/lib/hive-shims-*/usr/local/sqoop/lib/解决办法：cp/usr/local/hive/lib/hive-common-1.1.0-cdh5.13.2.jar/usr/local/sqoop/lib/没有hive环境，需要分发一个hive到该机器4.hive存在状态88，则说明这个名为“

这个妹妹我见过·2023-04-08 07:25

Data IDE：盘活数据，让数据发挥价值的一体化在线开发运维平台

阿里云大数据开发平台（DataIDE）是一款集数据开发、数据管理、离线调度、在线运维和数据集成工具为一体的在线大数据开发运维平台，它不仅能够解决上图中各种问题，还可以为用户节省很多的精力和资金。

weixin_33858485·2023-04-08 07:55

大数据开发面试知识点复习2

文章目录大数据开发复习课程1、Hadoop1.1、介绍Hadoop1.2、Hadoop特性优点1.3、hadoop集群中hadoop都需要启动哪些进程，他们的作用分别是什么？

爱敲代码的小黑·2023-04-08 07:52

大数据开发hive数据库常用命令汇总

今天的大数据开发分享，和大家分享Hive的基础知识点。

爱开发V·2023-04-08 07:45

【大数据开发】报错汇总

目录HadoopAttemptingtooperateonhdfsnamenodeasrootjps后没有namenodeHiveExceptioninthread"main"java.lang.NoSuchMethodError:com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Obj

岱宗夫如何、·2023-04-08 07:43

亲身经历告诉你，0基础如何转行学Python。

学科|Python+大数据开发薪资|15000时间总是在你回忆往事时才会觉得短暂，来黑马之前觉得六个月将是一段很漫长的煎熬，总是怀疑自己是否能够坚持。

骨灰级收藏家·2023-04-08 07:28

学大数据需要具备什么基础和知识点？

学大数据应具备编程开发经验，今天主要介绍学大数据应具备的基础，学员从java基础开始，学习大数据开发过程中的离线数据分析、实时数据分析和内存数据计算等重要内容；涵盖大数据体系中核心技术;Linux、Zookeeper

我想去吃ya·2023-04-08 03:23

初中毕业可以学python数据分析吗_初中毕业学大数据能学会不？

虽然大数据技术体系比较庞大，而且大数据开发、大数据分析等技术也有较大的学习难度，但是大数据领域也有很多技能型岗位，比如数据采集、数据整理、数据呈现等岗位对于从业者的要求就相对比较低，所以可以从这些岗位的相关知识开始学起

weixin_39593469·2023-04-08 03:50

新手转行学大数据开发难吗？新手学需要注意的6个方面！

现如今，随着大数据时代的来临，很多从业者开始进入大数据领域，那么对于新手而言，学习大数据开发难吗？该注意哪些因素呢？对于大数据这个新兴的IT行业，其学习难度究竟有多大呢？

小迪和夫人·2023-04-08 03:11

学大数据需要什么基础？

Python易学，人人都可以掌握，如果零基础入门数据开发行业的小伙伴，可以从Python语言入手。

我想去吃ya·2023-04-08 03:37

spark 动态预加载数据_spark便捷开发总体流程介绍

在公司做大数据开发已经四五年了，因此也积累了一些心得体会，便趁着这次机会大体描述下。

weixin_39830303·2023-04-08 01:34

大数据开发：Spark SQL数据读取

今天的大数据开发分享，我们就来讲讲SparkSQL数据读取这个环节，也会给到相应的一些示例。

成都加米谷大数据·2023-04-08 01:25

Spark SQL关于性能调优选项详解

目录Spark_SQL性能调优性能调优选项几种压缩选项的特点可选的调优选项代码示例Spark_SQL性能调优众所周知，正确的参数配置对提升Spark的使用效率具有极大助力，帮助相关数据开发、分析人员更高效地使用

·2023-04-08 01:34

大数据训练营课程大纲&项目简介

HBase模块二：大数据时代数据仓库实践：Hive模块三：更快的数据处理引擎：Spark模块四：重构现代化数据仓库：SparkSQL模块五：OLAP之争：Presto、Kylin、ClickHouse模块七：数据开发体系

greedy-hat·2023-04-07 21:45

大数据开发零基础需要学习什么内容？（1）Java、大数据基础

所以也就出现了大数据开发工程师、数仓工程师、ETL工程师

程序员老金·2023-04-07 16:45

【大数据是什么】

大数据运维工程师数据仓库开发工程师ETL工程师大数据开发工程师BI工程师算法工程师大数据平台开发工程师大数据架构师讲述一下自己的大数据学习之路大数据是做什么的？

BigDataTuTu·2023-04-07 16:11

什么是大数据及其背后的关键技术

数据工程师陈晨·2023-04-07 16:07

大数据参考架构和关键技术

数据工程师金牛·2023-04-07 16:07

数据中台选型方法

一、数据中台选型指标本文将指标分为通用指标、数据开发工具指标、数据治理工具指标、数据服务工具指标以及其他工具指标五大一级指标，以及40项二级指标。供读者根据本团队实际的需求情况进行筛选使用。

大数据食铁兽·2023-04-07 16:59

数仓实战|一文看懂数据中台接口数据采集

作者简介：王春波，《高效使用Greenplum：入门、进阶和数据中台》作者，“数据中台研习社”号主，十年数据开发从业者，资深零售数仓项目实施专家。

weixin_44166276·2023-04-07 01:35

大数据开发怎么样

就目前来看，大数据的发展前景是毋庸置疑的如果零基础入门数据开发行业的小伙伴，可以从Python语言入手。

我想去吃ya·2023-04-06 23:32

0基础跨专业参加大数据培训学习可行吗？

大数据开发课程的学习是有一定难度的，薪资水平也是一个体现。0基础可以学习大数据吗？可以。跨专业可以学习大数据吗？可以。

Hadoop998·2023-04-06 23:23

转行大数据未来发展怎么样？可行么

大数据开发做什么？大数据开发分两类，编写Hadoop、Spark的应用程序和对大数据处理系统本身进行开发。大数据开发工程师主要负责公司大数据平台的开发和维护、

我想去吃ya·2023-04-06 23:19

聚餐感想

20180726晚上leno聚餐：1:领导的压力远高于基层员工2:陈林是因为发生数据事故，且旷工工作不积极差点被开除3:数据组打C越来越难，竞争非常大，寻找自己的突破口4:建奎和义牛数据开发与底层数据管理能力非常强

感性的数据人·2023-04-06 22:10

第一次在大厂工作的感想——滴滴

这次实习岗位依然是最想做的大数据开发。在说工作感受之前，想先聊聊我是怎么收到这次面试机会的，感觉挺幸运的。清晰记得2月6日下午，牛客上那个求职助手收到一条消息，发现是有

苍夜月明·2023-04-06 22:45

一个分布式服务器集群架构方案

方案简介集群服务器解决方案，以多块核心板的组合方式，提供标准的软硬件接口，支持分布式AI运算，可用于机器学习、人工智能和大数据开发等，相对传统的集群服务器，拥有低功耗、高可管理性、高灵活性等特点。

添越智创·2023-04-06 22:42

面试心经03--大数据开发工程师

一，数据质量1，定义数据的质量直接影响着数据的价值，并且直接影响着数据分析的结果以及我们以此做出的决策的质量。质量不高的数据不仅仅是数据本身的问题，还会影响着企业经营管理决策；错误的数据还不如没有数据，因为没有数据时，我们还会基于经验和基于常识的判断来做出不见得是错误的决策，而错误的数据会引导我们做出错误的决策。因此数据质量是企业经营管理数据治理的关键所在。2，维度指标（1）准确性：数据的准确性（

晓之以理的喵~~·2023-04-06 22:37

大数据开发之Apache Hive

大数据开发之ApacheHive1.概述ApacheHive是一款建立在hadoop生态之上的开源数据仓库系统，可以把储存在Hadoop文件中结构化，半结构化得到数据文件映射成一张数据库表，然后基于数据库表提供一种类似

C0oOder·2023-04-06 19:37

【ES】Elasticsearch 简介

大数据开发经常用到Elasticesearch，今天做一下介绍。

和风与影·2023-04-06 18:15

spark 2.4.0将嵌套型JavaBean和复杂数据类型注册为表的验证

SparkSQL在日常的数据开发过程中占据着重要的地位，面对日益复杂的需求，需要建立复杂的数据结构，在将嵌套型JavaBean和复杂数据结构如Map等注册为table，以支持化腐朽为神奇，将复杂的数据结构转化为天下大同的

gfgao·2023-04-06 17:26

【面经】数据开发一面-美团暑期实习

美团数据开发工程师暑期实习生招聘一面面经。同学们一定不要等准备好了再去面试。先投递简历进行面试，将面试中每次被问到的问题都记录下来并针对性学习，可以发现自己成长非常快。下面给出面试中遇到的问题。

和风与影·2023-04-06 08:02

统一观测丨使用 Prometheus 监控 E-MapReduce，我们该关注哪些指标？

EMR简介开源大数据开发平台E-MapReduce（简称“EMR”）作为大数

阿里云技术·2023-04-06 04:31

Scala编程指南(快速入门)

传统业务开发，领域模型设计（面向对象开发）;大数据开发-数据集计算模型-（函数式编程）。函数编程强调的是程序对数据的运行算能力。

小中.·2023-04-05 19:50

【scala基础知识】

大数据开发技术笔记spark大数据：spark：spark--它是新一代的内存级大数据的计算框架，spark它是大数据的重要内容。

小Q要努力·2023-04-05 19:15

scala、spark

目录大数据开发复习课程10、scala10.1、scala介绍10.2、scala解释器10.3、scala的基本语法10.3.1、声明变量10.3.2、字符串10.3.3、数据类型10.3.3.1、scala

小雨光·2023-04-05 19:08

Scala 编程指南-课件版本

传统业务开发-领域模型设计（面向对象开发）;大数据开发-数据集计算模型-（函数式编程）。函数编程强调的是程序对数据的运行算能力。

麦田里的守望者··2023-04-05 19:06

工控系统设计（二）系统架构

以数据的流动为依据，系统架构如下图所示：整个架构有两个核心，分别是内存数据和数据库，其他模块都围绕着这两个数据开发功能。链路层负责将字节流发送到设备，以及从设备接收字节流。它不管这些数据代表什么意义。

还是叫明·2023-04-05 16:48

大数据开发学习笔记

文章目录1.虚拟机系统环境搭建1.1安装配置1.2设置网络1.3安装增强设备1.3vim编辑器的使用1.4修改计算机名1.5配置Java1.5.1下载并解压缩安装包1.5.2配置路径1.6安装salve节点1.7网络结构选择1.7.1分组1.7.2单机运行三个虚拟节点2.Hadoop集群2.1spark、Hadoop版本选择2.2软件安装方式2.3Hadoop集群域名配置2.3.1修改计算机名2.

漩涡脆波波·2023-04-05 14:23

大数据领域的发展及其对现实世界的价值

随着市场的快速增长，大数据开发领域将出现更多的创新、人才和多样性。因此，要保持行业领先地位，开发人员需要了解大数据开发的主要发展方向和应用领域。1.大数据发展的主要领域(

c++服务器开发·2023-04-05 14:34

CDH下配置Flume进行配置传输日志文件（尚硅谷版）

CDH下配置Flume进行日志采集配置说明：许多企业目前都在使用CDH进行大数据开发，CDH具有方便，高效，一键配置，方便管理和搭建大数据组件的特点，所以下面说一下尚硅谷的Flume配合Kafka进行日志文件的采集

Jecky不姓码·2023-04-05 03:50

来个大白话Vue的axios讲解

axios其实是一个网络请求库（内部封装ajax）Github开源地址：https://github.com/axios/axios常用于结合网络数据开发应用，如接受外部api开发应用等。

Incimo·2023-04-05 00:55

《大数据之路：阿里巴巴大数据实践》第一篇数据技术篇-读书笔记

数据同步策略3.2.1批量数据同步3.2.2实时数据同步3.3数据同步问题3.3.1分库分表处理3.3.2高效同步和批量同步3.3.3增量与全量同步的合并3.3.4数据同步性能3.3.5数据漂移4.离线数据开发

程序员学习圈·2023-04-04 19:59

推荐频道

04--数据开发