【大数据开发】第13页

【大数据开发】sqoop报错汇总

持续更新ing解决办法：删除该目录解决办法：cp/usr/local/hive/lib/hive-shims-*/usr/local/sqoop/lib/解决办法：cp/usr/local/hive/lib/hive-common-1.1.0-cdh5.13.2.jar/usr/local/sqoop/lib/没有hive环境，需要分发一个hive到该机器4.hive存在状态88，则说明这个名为“

这个妹妹我见过·2023-04-08 07:25

Data IDE：盘活数据，让数据发挥价值的一体化在线开发运维平台

阿里云大数据开发平台（DataIDE）是一款集数据开发、数据管理、离线调度、在线运维和数据集成工具为一体的在线大数据开发运维平台，它不仅能够解决上图中各种问题，还可以为用户节省很多的精力和资金。

weixin_33858485·2023-04-08 07:55

大数据开发面试知识点复习2

文章目录大数据开发复习课程1、Hadoop1.1、介绍Hadoop1.2、Hadoop特性优点1.3、hadoop集群中hadoop都需要启动哪些进程，他们的作用分别是什么？

爱敲代码的小黑·2023-04-08 07:52

大数据开发hive数据库常用命令汇总

今天的大数据开发分享，和大家分享Hive的基础知识点。

爱开发V·2023-04-08 07:45

【大数据开发】报错汇总

目录HadoopAttemptingtooperateonhdfsnamenodeasrootjps后没有namenodeHiveExceptioninthread"main"java.lang.NoSuchMethodError:com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Obj

岱宗夫如何、·2023-04-08 07:43

亲身经历告诉你，0基础如何转行学Python。

学科|Python+大数据开发薪资|15000时间总是在你回忆往事时才会觉得短暂，来黑马之前觉得六个月将是一段很漫长的煎熬，总是怀疑自己是否能够坚持。

骨灰级收藏家·2023-04-08 07:28

学大数据需要具备什么基础和知识点？

学大数据应具备编程开发经验，今天主要介绍学大数据应具备的基础，学员从java基础开始，学习大数据开发过程中的离线数据分析、实时数据分析和内存数据计算等重要内容；涵盖大数据体系中核心技术;Linux、Zookeeper

我想去吃ya·2023-04-08 03:23

初中毕业可以学python数据分析吗_初中毕业学大数据能学会不？

虽然大数据技术体系比较庞大，而且大数据开发、大数据分析等技术也有较大的学习难度，但是大数据领域也有很多技能型岗位，比如数据采集、数据整理、数据呈现等岗位对于从业者的要求就相对比较低，所以可以从这些岗位的相关知识开始学起

weixin_39593469·2023-04-08 03:50

新手转行学大数据开发难吗？新手学需要注意的6个方面！

现如今，随着大数据时代的来临，很多从业者开始进入大数据领域，那么对于新手而言，学习大数据开发难吗？该注意哪些因素呢？对于大数据这个新兴的IT行业，其学习难度究竟有多大呢？

小迪和夫人·2023-04-08 03:11

学大数据需要什么基础？

并且大数据开发

我想去吃ya·2023-04-08 03:37

spark 动态预加载数据_spark便捷开发总体流程介绍

在公司做大数据开发已经四五年了，因此也积累了一些心得体会，便趁着这次机会大体描述下。

weixin_39830303·2023-04-08 01:34

大数据开发：Spark SQL数据读取

今天的大数据开发分享，我们就来讲讲SparkSQL数据读取这个环节，也会给到相应的一些示例。

成都加米谷大数据·2023-04-08 01:25

大数据开发零基础需要学习什么内容？（1）Java、大数据基础

所以也就出现了大数据开发工程师、数仓工程师、ETL工程师

程序员老金·2023-04-07 16:45

【大数据是什么】

大数据运维工程师数据仓库开发工程师ETL工程师大数据开发工程师BI工程师算法工程师大数据平台开发工程师大数据架构师讲述一下自己的大数据学习之路大数据是做什么的？

BigDataTuTu·2023-04-07 16:11

什么是大数据及其背后的关键技术

数据工程师陈晨·2023-04-07 16:07

大数据参考架构和关键技术

数据工程师金牛·2023-04-07 16:07

大数据开发怎么样

就目前来看，大数据的发展前景是毋庸置疑的如果零基础入门数据开发行业的小伙伴，可以从Python语言入手。Python语言简单易懂，适合零基础入门，在编程语言排名上升最快，能完成数据挖掘、机器学习、实时计算在内的各种大数据集成任务。Python优势明显应用领域超多如果要推荐一种人人都能掌握的编程语言，应该没有比Python更合适的了。Python简单易学，用途广泛，不仅可以在日常办公中提高大家的职场

我想去吃ya·2023-04-06 23:32

0基础跨专业参加大数据培训学习可行吗？

大数据开发课程的学习是有一定难度的，薪资水平也是一个体现。0基础可以学习大数据吗？可以。跨专业可以学习大数据吗？可以。

Hadoop998·2023-04-06 23:23

转行大数据未来发展怎么样？可行么

大数据开发做什么？大数据开发分两类，编写Hadoop、Spark的应用程序和对大数据处理系统本身进行开发。大数据开发工程师主要负责公司大数据平台的开发和维护、

我想去吃ya·2023-04-06 23:19

第一次在大厂工作的感想——滴滴

这次实习岗位依然是最想做的大数据开发。在说工作感受之前，想先聊聊我是怎么收到这次面试机会的，感觉挺幸运的。清晰记得2月6日下午，牛客上那个求职助手收到一条消息，发现是有

苍夜月明·2023-04-06 22:45

一个分布式服务器集群架构方案

方案简介集群服务器解决方案，以多块核心板的组合方式，提供标准的软硬件接口，支持分布式AI运算，可用于机器学习、人工智能和大数据开发等，相对传统的集群服务器，拥有低功耗、高可管理性、高灵活性等特点。

添越智创·2023-04-06 22:42

面试心经03--大数据开发工程师

一，数据质量1，定义数据的质量直接影响着数据的价值，并且直接影响着数据分析的结果以及我们以此做出的决策的质量。质量不高的数据不仅仅是数据本身的问题，还会影响着企业经营管理决策；错误的数据还不如没有数据，因为没有数据时，我们还会基于经验和基于常识的判断来做出不见得是错误的决策，而错误的数据会引导我们做出错误的决策。因此数据质量是企业经营管理数据治理的关键所在。2，维度指标（1）准确性：数据的准确性（

晓之以理的喵~~·2023-04-06 22:37

大数据开发之Apache Hive

大数据开发之ApacheHive1.概述ApacheHive是一款建立在hadoop生态之上的开源数据仓库系统，可以把储存在Hadoop文件中结构化，半结构化得到数据文件映射成一张数据库表，然后基于数据库表提供一种类似

C0oOder·2023-04-06 19:37

【ES】Elasticsearch 简介

大数据开发经常用到Elasticesearch，今天做一下介绍。

和风与影·2023-04-06 18:15

统一观测丨使用 Prometheus 监控 E-MapReduce，我们该关注哪些指标？

EMR简介开源大数据开发平台E-MapReduce（简称“EMR”）作为大数

阿里云技术·2023-04-06 04:31

Scala编程指南(快速入门)

传统业务开发，领域模型设计（面向对象开发）;大数据开发-数据集计算模型-（函数式编程）。函数编程强调的是程序对数据的运行算能力。

小中.·2023-04-05 19:50

【scala基础知识】

大数据开发技术笔记spark大数据：spark：spark--它是新一代的内存级大数据的计算框架，spark它是大数据的重要内容。

小Q要努力·2023-04-05 19:15

scala、spark

目录大数据开发复习课程10、scala10.1、scala介绍10.2、scala解释器10.3、scala的基本语法10.3.1、声明变量10.3.2、字符串10.3.3、数据类型10.3.3.1、scala

小雨光·2023-04-05 19:08

Scala 编程指南-课件版本

传统业务开发-领域模型设计（面向对象开发）;大数据开发-数据集计算模型-（函数式编程）。函数编程强调的是程序对数据的运行算能力。

麦田里的守望者··2023-04-05 19:06

大数据开发学习笔记

文章目录1.虚拟机系统环境搭建1.1安装配置1.2设置网络1.3安装增强设备1.3vim编辑器的使用1.4修改计算机名1.5配置Java1.5.1下载并解压缩安装包1.5.2配置路径1.6安装salve节点1.7网络结构选择1.7.1分组1.7.2单机运行三个虚拟节点2.Hadoop集群2.1spark、Hadoop版本选择2.2软件安装方式2.3Hadoop集群域名配置2.3.1修改计算机名2.

漩涡脆波波·2023-04-05 14:23

大数据领域的发展及其对现实世界的价值

随着市场的快速增长，大数据开发领域将出现更多的创新、人才和多样性。因此，要保持行业领先地位，开发人员需要了解大数据开发的主要发展方向和应用领域。1.大数据发展的主要领域(

c++服务器开发·2023-04-05 14:34

CDH下配置Flume进行配置传输日志文件（尚硅谷版）

CDH下配置Flume进行日志采集配置说明：许多企业目前都在使用CDH进行大数据开发，CDH具有方便，高效，一键配置，方便管理和搭建大数据组件的特点，所以下面说一下尚硅谷的Flume配合Kafka进行日志文件的采集

Jecky不姓码·2023-04-05 03:50

阿里云Big Data - dataworks和MaxCompute之间的关系与区别

和MaxCompute之间的关系与区别MaxCompute做数据存储和数据分析处理，Dataworks是集成了数据集成、数据开发调试、作业编排及运维、元数据管理、数据质量管理、数据API服务等等功能的大数据开发

天地不仁以万物为刍狗·2023-04-04 18:03

【Flink】（二）详解 Flink 运行架构

写在前面：我是「云祁」，一枚热爱技术、会写诗的大数据开发猿。昵称来源于王安石诗中一句[云之祁祁，或雨于渊]，甚是喜欢。

云祁·2023-04-04 17:46

阿里大数据-数据库总结:RDS ADS OTS Maxcompute（ODPS）

阿里云大数据开发套件的使用，主要涉及到odps、ads、rds、ots相关数据库的操作，所以针对性的做一些总结，并将阿里云中产品与实际产品对应分析。

hsabrina·2023-04-04 06:37

Apache Doris核⼼功能 | 数据模型和物化视图

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！大数据真好玩点击右侧关注，大数据真好玩！

王知无(import_bigdata)·2023-04-04 06:14

大数据开发之Hadoop学习1---从Hadoop框架讨论大数据生态

从Hadoop框架讨论大数据生态目录从Hadoop框架讨论大数据生态2.1Hadoop是什么2.2Hadoop发展历史（了解）2.3Hadoop三大发行版本（了解）2.4Hadoop的优势（4高）2.5Hadoop组成（面试重点）2.5.1HDFS架构概述2.5.2YARN架构概述2.5.3MapReduce架构概述2.6大数据技术生态体系2.7推荐系统框架图2.1Hadoop是什么2.2Hado

Lcreator·2023-04-03 20:56

【大数据开发】ES实际生产部署架构

es生产集群的部署架构是什么？每个索引的数据量大概有多少？每个索引大概有多少个分片？这个问题，包括后面的redis什么的，谈到es、redis、mysql分库分表等等技术！就是你生产环境咋部署的？说白了，这个问题没啥技术含量，就是看你有没有在真正的生产环境里干过这事儿！有些同学可能是没在生产环境中干过的，没实际去拿线上机器部署过es集群，也没实际玩儿过，也没往es集群里面导入过几千万甚至是几亿的数

这个妹妹我见过·2023-04-03 19:41

大数据开发：分布式OLAP查询引擎Presto入门

在之前的《大数据开发：OLAP开源数据分析引擎简介》一文当中，我们对主流的一些开源数据分析查询引擎做了大致的介绍，今天的大数据开发分享，我们具体来讲解其中的Presto查询引擎，是什么，为什么会出现，又能够解决什么样的数据处理需求

成都加米谷大数据·2023-04-03 18:54

大数据开发-mysql

目录标题介绍SQL语言数据处理之查询函数创建和管理表数据处理之增删改数据库事务约束和分页约束分页介绍DB:数据库（database）：存储数据的“仓库”。它保存了一系列有组织的数据。DBMS：数据库管理系统（DatabaseManagementSystem）。数据库是通过DBMS创建和操作的容器SQL：结构化查询语言（StructureQueryLanguage）：专门用来与数据库通信的语言。常见

海星？海欣！·2023-04-03 17:24

星环科技TDS 2.4.0 发布：数据开发、数据治理、数据运营套件能力再次升级

近日，星环科技大数据开发工具TranswarpDataStudio2.4.0版本重磅发布，新版本中数据开发、数据治理、数据运营三大套件能力全部升级，让数据开发更便捷、数据治理更高效、数据运营更智能。

星环科技·2023-04-03 11:06

2023秋招—大数据开发面经—多益网络

一面hr面：问个人情况，问官网投递时回答的一些问题二面——技术面1、实习的工作是什么？2、SQL调优有哪些？3、介绍一下项目，主要做什么工作？（项目介绍还不顺畅）4、为什么学大数据？5、项目里的Flume是怎么用的？6、TailDir为什么可以断点重传？（面试官说不能）7、Linux什么指令可以监听文件？8、Flume的事务是怎样的？（因为上一题提到了事务）9、Kafka的基本架构？10、RXR队

不断学习的克里斯·2023-04-03 06:58

2023秋招—大数据开发面经—蚂蚁金融

一面：电话面试1、自我介绍2、挑一个实习项目讲一讲3、项目里的数据是怎么处理的？4、数据研发选择哪一块？（数据仓库、数据平台、数据算法、数据挖掘）5、讲讲MapReduce的原理6、环形缓冲区为什么要反向？7、实习的存储计算用的是什么组件8、有金融相关知识的储备吗？反问：1、这一面算是第一面吗（是）？算专业面吗（是）？2、做什么工作的？（国外金融银行业务）3、用到哪些技术栈？4、希望候选人所具备哪

不断学习的克里斯·2023-04-03 06:27

2023秋招—大数据开发面经—网易云音乐

一面1、实习的工作内容是什么？2、有写过UDF吗？如何实现UDF？3、UDF要成为永久函数怎么做？如果不加temperory，函数下次还能用吗？4、UDTF了解吗？5、Hive的窗口函数有了解过吗？6、开窗函数Over()中有没有orderby有什么区别？7、汇总数据开发是怎么做的？（实习工作）8、Flink任务的并行度和内存怎么设置的？9、Flink的TaskManager内存模型了解吗？10、