大数据开发常用技术第16页

干货｜数据仓库工具hive面试题集锦

与此同时大数据开发工程师的薪资也成为行业内高薪的代表。想从事大数据开发需要掌握多种核心技术：Hadoop、Hive、Storm、Spark、Scala等等。

传智播客·2023-04-09 00:31

大数据开发面试题必备20题

问答题:HDFS的组织架构？由HDFSClient、NameNode、DataNode和ScondaryNameNode四部分组成一个HDFS集群是由一个NameNode和一定数目的DataNode组成的。NameNode是一个中心服务器，负责管理文件系统的名字空间(Namespace)及客户端对文件的访问HDFS读写流程?客户端向NameNode发出文件请求检查是否存在文件，检查权限。通过检查直

㫪旧·2023-04-09 00:01

数据仓库工具hive面试题集锦

大数据技术成为互联网发展的核心要素之一，想从事大数据开发需要掌握多种核心技术：Hadoop、Hive、Storm、Spark、Scala等等。

Blue92120·2023-04-09 00:58

大数据开发必备面试题Hive篇

1、数据建模常用的模型有哪些？（1）星型模型。星形模式(StarSchema)是最常用的维度建模方式。星型模式是以事实表为中心，所有的维度表直接连接在事实表上，像星星一样。星形模式的维度建模由一个事实表和一组维表成，且具有以下特点：A、维表只和事实表关联，维表之间没有关联；B、每个维表主键为单列，且该主键放置在事实表中，作为两边连接的外键；C、以事实表为核心，维表围绕核心呈星形分布。（2）雪花模型

技术人小柒·2023-04-09 00:26

flink sql 知其所以然：flink sql 开发企业级利器之 Dlink

搞大数据开发的同学基本都知道在HUE上面写hivesql贼爽。那么有没有写flinksql的企业级的webIDE推荐的呢？经过博

javastart·2023-04-08 20:40

大数据开发·关于虚拟机Hadoop完全分布式集群搭建教程

hadoop完全分布式集群搭建一、搭建准备1.安装VMware虚拟机2.Xshell7远程客户端及Xftp7安装3.搭建模板虚拟机hadoop100配置虚拟机网络为虚拟机普通用户配置root权限4.克隆三台虚拟机用于搭建完全分布式集群二、环境搭建1.主机地址的映射2.使用Xshell连接虚拟机3.SSH免密登录配置（另一篇文章写过，这里就直接放链接了）4.配置集群分发脚本5.配置hadoop及ja

月过枫·2023-04-08 18:36

动力节点王鹤SpringBoot3笔记——远程访问@HttpExchange[SpringBoot 3]

6.1.1.3Http服务接口的方法定义6.1.1.4组合使用注解6.1.1.5JavaRecord6.1.1.6定制HTTP请求服务第六章远程访问@HttpExchange[SpringBoot3]远程访问是开发的常用技术

Java编程_yyds·2023-04-08 15:43

【大数据开发】sqoop报错汇总

持续更新ing解决办法：删除该目录解决办法：cp/usr/local/hive/lib/hive-shims-*/usr/local/sqoop/lib/解决办法：cp/usr/local/hive/lib/hive-common-1.1.0-cdh5.13.2.jar/usr/local/sqoop/lib/没有hive环境，需要分发一个hive到该机器4.hive存在状态88，则说明这个名为“

这个妹妹我见过·2023-04-08 07:25

Data IDE：盘活数据，让数据发挥价值的一体化在线开发运维平台

阿里云大数据开发平台（DataIDE）是一款集数据开发、数据管理、离线调度、在线运维和数据集成工具为一体的在线大数据开发运维平台，它不仅能够解决上图中各种问题，还可以为用户节省很多的精力和资金。

weixin_33858485·2023-04-08 07:55

大数据开发面试知识点复习2

文章目录大数据开发复习课程1、Hadoop1.1、介绍Hadoop1.2、Hadoop特性优点1.3、hadoop集群中hadoop都需要启动哪些进程，他们的作用分别是什么？

爱敲代码的小黑·2023-04-08 07:52

大数据开发hive数据库常用命令汇总

今天的大数据开发分享，和大家分享Hive的基础知识点。

爱开发V·2023-04-08 07:45

【大数据开发】报错汇总

目录HadoopAttemptingtooperateonhdfsnamenodeasrootjps后没有namenodeHiveExceptioninthread"main"java.lang.NoSuchMethodError:com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Obj

岱宗夫如何、·2023-04-08 07:43

亲身经历告诉你，0基础如何转行学Python。

学科|Python+大数据开发薪资|15000时间总是在你回忆往事时才会觉得短暂，来黑马之前觉得六个月将是一段很漫长的煎熬，总是怀疑自己是否能够坚持。

骨灰级收藏家·2023-04-08 07:28

学大数据需要具备什么基础和知识点？

学大数据应具备编程开发经验，今天主要介绍学大数据应具备的基础，学员从java基础开始，学习大数据开发过程中的离线数据分析、实时数据分析和内存数据计算等重要内容；涵盖大数据体系中核心技术;Linux、Zookeeper

我想去吃ya·2023-04-08 03:23

初中毕业可以学python数据分析吗_初中毕业学大数据能学会不？

虽然大数据技术体系比较庞大，而且大数据开发、大数据分析等技术也有较大的学习难度，但是大数据领域也有很多技能型岗位，比如数据采集、数据整理、数据呈现等岗位对于从业者的要求就相对比较低，所以可以从这些岗位的相关知识开始学起

weixin_39593469·2023-04-08 03:50

新手转行学大数据开发难吗？新手学需要注意的6个方面！

现如今，随着大数据时代的来临，很多从业者开始进入大数据领域，那么对于新手而言，学习大数据开发难吗？该注意哪些因素呢？对于大数据这个新兴的IT行业，其学习难度究竟有多大呢？

小迪和夫人·2023-04-08 03:11

学大数据需要什么基础？

并且大数据开发

我想去吃ya·2023-04-08 03:37

spark 动态预加载数据_spark便捷开发总体流程介绍

在公司做大数据开发已经四五年了，因此也积累了一些心得体会，便趁着这次机会大体描述下。

weixin_39830303·2023-04-08 01:34

大数据开发：Spark SQL数据读取

今天的大数据开发分享，我们就来讲讲SparkSQL数据读取这个环节，也会给到相应的一些示例。

成都加米谷大数据·2023-04-08 01:25

大数据开发零基础需要学习什么内容？（1）Java、大数据基础

所以也就出现了大数据开发工程师、数仓工程师、ETL工程师

程序员老金·2023-04-07 16:45

【大数据是什么】

大数据运维工程师数据仓库开发工程师ETL工程师大数据开发工程师BI工程师算法工程师大数据平台开发工程师大数据架构师讲述一下自己的大数据学习之路大数据是做什么的？

BigDataTuTu·2023-04-07 16:11

什么是大数据及其背后的关键技术

数据工程师陈晨·2023-04-07 16:07

大数据参考架构和关键技术

数据工程师金牛·2023-04-07 16:07

程序员怎么接私活

Hacker_2020·2023-04-07 00:37

大数据开发怎么样

就目前来看，大数据的发展前景是毋庸置疑的如果零基础入门数据开发行业的小伙伴，可以从Python语言入手。Python语言简单易懂，适合零基础入门，在编程语言排名上升最快，能完成数据挖掘、机器学习、实时计算在内的各种大数据集成任务。Python优势明显应用领域超多如果要推荐一种人人都能掌握的编程语言，应该没有比Python更合适的了。Python简单易学，用途广泛，不仅可以在日常办公中提高大家的职场

我想去吃ya·2023-04-06 23:32

0基础跨专业参加大数据培训学习可行吗？

大数据开发课程的学习是有一定难度的，薪资水平也是一个体现。0基础可以学习大数据吗？可以。跨专业可以学习大数据吗？可以。

Hadoop998·2023-04-06 23:23

转行大数据未来发展怎么样？可行么

大数据开发做什么？大数据开发分两类，编写Hadoop、Spark的应用程序和对大数据处理系统本身进行开发。大数据开发工程师主要负责公司大数据平台的开发和维护、

我想去吃ya·2023-04-06 23:19

第一次在大厂工作的感想——滴滴

这次实习岗位依然是最想做的大数据开发。在说工作感受之前，想先聊聊我是怎么收到这次面试机会的，感觉挺幸运的。清晰记得2月6日下午，牛客上那个求职助手收到一条消息，发现是有

苍夜月明·2023-04-06 22:45

一个分布式服务器集群架构方案

方案简介集群服务器解决方案，以多块核心板的组合方式，提供标准的软硬件接口，支持分布式AI运算，可用于机器学习、人工智能和大数据开发等，相对传统的集群服务器，拥有低功耗、高可管理性、高灵活性等特点。

添越智创·2023-04-06 22:42

面试心经03--大数据开发工程师

一，数据质量1，定义数据的质量直接影响着数据的价值，并且直接影响着数据分析的结果以及我们以此做出的决策的质量。质量不高的数据不仅仅是数据本身的问题，还会影响着企业经营管理决策；错误的数据还不如没有数据，因为没有数据时，我们还会基于经验和基于常识的判断来做出不见得是错误的决策，而错误的数据会引导我们做出错误的决策。因此数据质量是企业经营管理数据治理的关键所在。2，维度指标（1）准确性：数据的准确性（

晓之以理的喵~~·2023-04-06 22:37

大数据开发之Apache Hive

大数据开发之ApacheHive1.概述ApacheHive是一款建立在hadoop生态之上的开源数据仓库系统，可以把储存在Hadoop文件中结构化，半结构化得到数据文件映射成一张数据库表，然后基于数据库表提供一种类似

C0oOder·2023-04-06 19:37

【ES】Elasticsearch 简介

大数据开发经常用到Elasticesearch，今天做一下介绍。

和风与影·2023-04-06 18:15

统一观测丨使用 Prometheus 监控 E-MapReduce，我们该关注哪些指标？

EMR简介开源大数据开发平台E-MapReduce（简称“EMR”）作为大数

阿里云技术·2023-04-06 04:31

平凡中的伟大

常用技术有按摩，拔罐

风铃李·2023-04-05 23:35

Scala编程指南(快速入门)

传统业务开发，领域模型设计（面向对象开发）;大数据开发-数据集计算模型-（函数式编程）。函数编程强调的是程序对数据的运行算能力。

小中.·2023-04-05 19:50

【scala基础知识】

大数据开发技术笔记spark大数据：spark：spark--它是新一代的内存级大数据的计算框架，spark它是大数据的重要内容。

小Q要努力·2023-04-05 19:15

scala、spark

目录大数据开发复习课程10、scala10.1、scala介绍10.2、scala解释器10.3、scala的基本语法10.3.1、声明变量10.3.2、字符串10.3.3、数据类型10.3.3.1、scala

小雨光·2023-04-05 19:08

Scala 编程指南-课件版本

传统业务开发-领域模型设计（面向对象开发）;大数据开发-数据集计算模型-（函数式编程）。函数编程强调的是程序对数据的运行算能力。

麦田里的守望者··2023-04-05 19:06

大数据开发学习笔记

文章目录1.虚拟机系统环境搭建1.1安装配置1.2设置网络1.3安装增强设备1.3vim编辑器的使用1.4修改计算机名1.5配置Java1.5.1下载并解压缩安装包1.5.2配置路径1.6安装salve节点1.7网络结构选择1.7.1分组1.7.2单机运行三个虚拟节点2.Hadoop集群2.1spark、Hadoop版本选择2.2软件安装方式2.3Hadoop集群域名配置2.3.1修改计算机名2.

漩涡脆波波·2023-04-05 14:23

大数据领域的发展及其对现实世界的价值

随着市场的快速增长，大数据开发领域将出现更多的创新、人才和多样性。因此，要保持行业领先地位，开发人员需要了解大数据开发的主要发展方向和应用领域。1.大数据发展的主要领域(

c++服务器开发·2023-04-05 14:34

Java服务-常用技术-logback中totalSizeCap和maxHistory无效的解决办法

最近接入的安全日志项目较多，由于数据量贼大，导致日志输出过多，然后服务器不断报警，经过排查发现logbook中配置的totalSizeCap和maxHistory均没有生效，本来配置的7天，结果发现服务器上日志文件存了60多天，导致服务器磁盘扛不住。特此记录寻找到的解决办法，如下，供同行一起学习交流；totalSizeCap无效升级logbackjar包到1.1.8版本，最好升级到1.2.0版本，

狂飙的高启强·2023-04-05 13:47

CDH下配置Flume进行配置传输日志文件（尚硅谷版）

CDH下配置Flume进行日志采集配置说明：许多企业目前都在使用CDH进行大数据开发，CDH具有方便，高效，一键配置，方便管理和搭建大数据组件的特点，所以下面说一下尚硅谷的Flume配合Kafka进行日志文件的采集

Jecky不姓码·2023-04-05 03:50

阿里云Big Data - dataworks和MaxCompute之间的关系与区别

和MaxCompute之间的关系与区别MaxCompute做数据存储和数据分析处理，Dataworks是集成了数据集成、数据开发调试、作业编排及运维、元数据管理、数据质量管理、数据API服务等等功能的大数据开发

天地不仁以万物为刍狗·2023-04-04 18:03

【Flink】（二）详解 Flink 运行架构

写在前面：我是「云祁」，一枚热爱技术、会写诗的大数据开发猿。昵称来源于王安石诗中一句[云之祁祁，或雨于渊]，甚是喜欢。

云祁·2023-04-04 17:46

日志存储系统方案设计

日志存储系统常用技术方案有两种：一是log4j/logback+mongodb的方式，一种是基于ELK的日志存储系统。日志一般存储在数据库和文件系统中。

xmh-sxh-1314·2023-04-04 08:11

阿里大数据-数据库总结:RDS ADS OTS Maxcompute（ODPS）

阿里云大数据开发套件的使用，主要涉及到odps、ads、rds、ots相关数据库的操作，所以针对性的做一些总结，并将阿里云中产品与实际产品对应分析。

hsabrina·2023-04-04 06:37

Apache Doris核⼼功能 | 数据模型和物化视图

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！大数据真好玩点击右侧关注，大数据真好玩！

王知无(import_bigdata)·2023-04-04 06:14

大数据开发之Hadoop学习1---从Hadoop框架讨论大数据生态

从Hadoop框架讨论大数据生态目录从Hadoop框架讨论大数据生态2.1Hadoop是什么2.2Hadoop发展历史（了解）2.3Hadoop三大发行版本（了解）2.4Hadoop的优势（4高）2.5Hadoop组成（面试重点）2.5.1HDFS架构概述2.5.2YARN架构概述2.5.3MapReduce架构概述2.6大数据技术生态体系2.7推荐系统框架图2.1Hadoop是什么2.2Hado

Lcreator·2023-04-03 20:56

【大数据开发】ES实际生产部署架构

es生产集群的部署架构是什么？每个索引的数据量大概有多少？每个索引大概有多少个分片？这个问题，包括后面的redis什么的，谈到es、redis、mysql分库分表等等技术！就是你生产环境咋部署的？说白了，这个问题没啥技术含量，就是看你有没有在真正的生产环境里干过这事儿！有些同学可能是没在生产环境中干过的，没实际去拿线上机器部署过es集群，也没实际玩儿过，也没往es集群里面导入过几千万甚至是几亿的数

这个妹妹我见过·2023-04-03 19:41

大数据开发：分布式OLAP查询引擎Presto入门

在之前的《大数据开发：OLAP开源数据分析引擎简介》一文当中，我们对主流的一些开源数据分析查询引擎做了大致的介绍，今天的大数据开发分享，我们具体来讲解其中的Presto查询引擎，是什么，为什么会出现，又能够解决什么样的数据处理需求

成都加米谷大数据·2023-04-03 18:54

推荐频道

大数据开发常用技术