003-数据开发

全链路数据湖开发治理解决方案2.0重磅升级，全面增强数据入湖、调度和治理能力

解决方案包含开源大数据平台E-MapReduce(EMR)，一站式大数据数据开发治理平台DataWorks，数据湖构建DLF，对象存储OSS等核心产品。
·2023-08-22 10:13

2019秋招面经大汇总 - 数据分析

【字节跳动】字节数据分析面经https://www.nowcoder.com/discuss/344423【阿里、腾讯、美团、拼多多、华为、网易游戏、滴滴、网易严选、小米、京东】面经分享数据开发/数据研发
ba4e8e38b4f6·2023-08-22 02:04

使用 Terraform 与事件驱动的 Amazon CodeBuild 提升云上数据应用运维效率

背景信息企业客户在云上部署的一系列数据应用的过程中，数据开发团队往往负责脚本内容，而其背后一系列云上资源的管理通常由一支云运维职能团队通过IaC（InfrastructreasCode）实现。
亚马逊云开发者·2023-08-22 01:15

大数据背景和概念

一、背景1.岗位现状大数据在一线互联网已经爆发了好多年，2015年-2020年（国内互联网爆发期）那时候的大数据开发，刚毕业能写HiveSQL配置个离线任务、整个帆软报表都20K+起步。
2301_77342543·2023-08-22 00:29

使用 Terraform 与事件驱动的 Amazon CodeBuild 提升云上数据应用运维效率

背景信息企业客户在云上部署的一系列数据应用的过程中，数据开发团队往往负责脚本内容，而其背后一系列云上资源的管理通常由一支云运维职能团队通过IaC（InfrastructreasCode）实现。
·2023-08-21 22:18

Hive的计算引擎，你知道哪几种？

作为大数据开发工程师来说，Hive数据库的开发还是比较重要的，所以我们需要知道hive数据库的计算引擎有哪些，这样在做hive调优的时候，也是有一定的辅助作用。
晓之以理的喵~~·2023-08-21 21:45

【2023年11月第四版教材】《第5章-信息系统工程（合集篇）》

5章-信息系统工程（合集篇）》章节说明1软件工程1.1架构设计1.2需求分析1.3软件设计1.4软件实现［补充第三版教材内容］1.5部署交付2数据工程2.1数据建模2.2数据标准化2.3数据运维2.4数据开发利用
Ealser·2023-08-21 04:23

揭开神秘面纱，会stream流就会大数据

如果你会任意一门语言的stream流，没道理不会大数据开发。俗话说男追女隔座山，女追男隔层纱。
2301_76429513·2023-08-20 15:44

这个时代，毕业生将很难找Java程序员的工作

因为目前信息化时代，计算机专业不仅是挣钱最多的专业，而且还是接触科技最前沿技术的专业，无论是现在的AI人工智能，还是大数据开发以及云计算等等热门的岗位，都跟计算机有着千丝万缕的直接关系。
半圆学社·2023-08-19 13:31

大数据开发之Hive篇6-Hive函数详解

备注:Hive版本2.1.1一.Hive函数概述1.1Hive函数分类函数/UDF输入一行记录，输出一行记录示例：upper/lower/length聚集函数/UDAF输入多行记录，输出一行记录示例：sum/count/avg表生成函数/UDTF输入一行记录，输出多行记录示例：explode1.2查看Hive函数1.2.1showfunctions命令showfunctions命令是查询当前hiv
只是甲·2023-08-19 08:10

饿了么大数据开发凉经

1一个mapreduce进程会启动多少map进程多少reduce进程*1）map数量由处理的数据分成的block数量决定default_num=total_size/split_size;2）reduce数量为job.setNumReduceTasks(x)中x的大小。不设置的话默认为1。2讲下shuffle的过程shuffle分为map端和reduce端的工作。MapTask工作机制（1）Rea
TIM33470348·2023-08-18 20:39

❤️大数据开发必备:推荐7款大数据开发神器工作效率提升1000%【推荐收藏】

在这里插入图片描述manor学习大数据开发满打满算也有一年了,其中也发现不少好用的大数据开发提升效率的软件,推荐给刚入门/入行的你:适用windows系统，mac用户可根据名称自行查找~~在这里插入图片描述文末可一键获取
咸鱼在简书·2023-08-18 19:15

零基础学习大数据分析难吗？

在这里列一下：（来源是《2021年互联网人才招聘白皮书》）无论是DBA还是大数据分析师，和java前端后端相比，都不算是最卷的，甚至还算是挺好的，你看下面这张图，一年以下的Java工程师139竞争1个岗位，大数据开发工程师只有
我想去吃ya·2023-08-18 18:02

2023.8.8巨人网络数据开发工程师面试复盘

1概述问题一览总体感觉良好，通过面试官的介绍可知这个岗位偏向离线数仓。1.自我介绍2.询问了其中一段实习经历3.讲下你说用过的Linux命令4.讲下HIVE的内部表和外部表有什么不同*5.讲下你使用过的Hive函数（好好在复习下多准备几个吧）*6.请讲下维度建模和范式建模的区别（自上而下，自底而上，关系-实体，事实-维度）*7.为什么关系型数据库更适合范式建模而数仓适合维度建模8.讲下数据倾斜*9
TIM33470348·2023-08-18 09:38

大数据开发：数仓建模常见数据模型

今天的大数据开发分享，我们来聊聊数仓建模常见的几种数据模型。目前来说，市场上主流的数据建模，主要是四种类型：维度模型、范式模型、DataVault模型，以及Anchor模型。
加米谷大数据张老师·2023-08-17 12:22

携程应用系统整体架构学习

5.hive只能说是一个数据仓库工具，反而归类到数据源层这样的架构水平，要么携程不想透露太多真实实力，要么就是携程派了一个大数据开发工程
warrah·2023-08-17 10:03

【hadoop】windows上hadoop环境的搭建步骤

文章目录前言基础环境下载hadoop安装包下载hadoop在windows中的依赖配置环境变量Hadoophdfs搭建创建hadfs数据目录修改JAVA依赖修改配置文件初始化hdfsnamenode启动hdfs前言在大数据开发领域中
小沈同学呀·2023-08-17 03:01

基于Doris实时数据开发的一些注意事项

300万字！全网最全大数据学习面试社区等你来！最近Doris的发展大家是有目共睹的。例如冷热分离等新特性的持续增加。使得Doris在易用和成本上都有大幅提升。基于Doris的一些存储实时数仓在越来越多的场景中开始有一些实践。大家也看到了这种方案频繁出现在社区分享中。但是我们得客观看待这种方案，基于存储的实时数仓有优势也有他的劣势，生产环境中我们要谨慎评估个人的业务场景。这篇文章我结合个人的实践和思
王知无(import_bigdata)·2023-08-16 18:02

Spark操作Hive表幂等性探索

前言旁边的实习生一边敲着键盘一边很不开心的说：做数据开发真麻烦，数据bug排查太繁琐了，我今天数据跑的有问题，等我处理完问题重新跑了代码，发现报表的数据很多重复，准备全部删了重新跑。
SunnyRivers·2023-08-16 01:16

恭喜又一白鲸开源成员成为 Apache SeaTunnel PMC Member

个人简介王海林白鲸开源研发工程师GitHubID：hailin0做过性能监控、数据开发平台等，目前聚焦在数据集成同步及其周边生态的研发问：作为白鲸开源的一员，您为社区做出过哪些贡献？
·2023-08-15 16:48

想在DataGrip里写SQL般丝滑的写FlinkSQL？安装它就完事儿了

版本日期备注1.02023.8.8文章首发本文首发于泊浮目的掘金:https://juejin.cn/user/1468603264665335“FlinkSQL对于大数据开发者们来说是一个很常见的API
·2023-08-15 16:08

字节电商大数据开发一面，已过，面试题已配答案

面试题答案参考大数据面试题V3.0，523道题，679页，46w字1、实习经历这点不多说了，根据自己的来就行2、工作中最难的点一般都会提前回顾之前自己遇到的问题，根据自己的来3、如何保证数据质量这里主要是阿里对数仓的一些数据质量保证原则1、数据质量保障原则阿里对数据仓库主要从四个方面评估数据质量1）完整性确保数据不存在缺失2）准确性确保数据不存在异常或错误3）一致性体现在从业务仓库加工到数据仓库，
蓦然_·2023-08-15 01:36

大数据开发基础-环境配置篇-Hadoop集群安装

鼠鼠接下来将更新一系列自己在学习大数据开发过程中收集的资源、和自己的总结、以及面经答案、LeetCode刷题分析题解。
葡萄成熟时_·2023-08-14 01:19

【数据中台商业化】数据中台微前端实践

一，需求背景1业务背景在以往的业务场景中，用户进入五花八门的菜单体系中，往往会产生迷茫情绪，难以理解平台名称及具体作用，导致数据开发与管理学习成本较高，降低工作效率。
2301_76429513·2023-08-13 12:15

基于DETR (DEtection TRansformer)开发构建MSTAR雷达影像目标检测系统

相关的实践在之前的文章中很详细地介绍过，感兴趣的话可以自行移步阅读即可：《DETR(DEtectionTRansformer)基于自建数据集开发构建目标检测模型超详细教程》《书接上文——DETR评估可视化》基于MSTAR雷达影像数据开发构建目标检测系统
Together_CZ·2023-08-12 18:51

Kettle构建Hadoop ETL实践（一）：ETL与Kettle

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！大数据真好玩点击右侧关注，大数据真好玩！‍‍‍‍‍‍‍‍‍‍‍‍‍
王知无(import_bigdata)·2023-08-12 13:51

如何学习大数据

前言大数据依然是当下热门的技术之一，就犹如之前的移动开发刚开始火的时候一样，之前写了一系列的大数据开发所需的组件安装，但还从来没想
想你依然心痛·2023-08-12 12:19

恭喜又一白鲸开源成员成为 Apache SeaTunnel PMC Member

个人简介王海林白鲸开源研发工程师GitHubID：hailin0做过性能监控、数据开发平台等，目前聚焦在数据集成同步及其周边生态的研发问：作为白鲸开源的一员，您为社区做出过哪些贡献？
SeaTunnel·2023-08-12 04:02

Spark2.x精通：Master端循环消息处理源码剖析（二）

微信公众号：大数据开发运维架构关注可了解更多大数据相关的资讯。
大数据开发运维架构·2023-08-11 02:05

滴滴数据服务体系建设实践

什么是数据服务化大数据开发的主要流程分为数据集成、数据开发、数据生产和数据回流四个阶段。
滴滴技术·2023-08-10 20:45

滴滴实时数据链路建设组件选型实践篇

但同时我们也发现，大部分实时开发同学在做实时数据建设过程中会笼统的把实时数据建设等同于flink数据开发，常常把实时数据处理过程中的其他相关组件放在边缘位置，无法高效的整合数据处理组件来完成不同业务场景的实时需求
滴滴技术·2023-08-10 20:14

大数据开发：Hive列式存储ORC、Parquet的优点

今天的大数据开发学习分享，我们就主要来讲讲，Hive列式存储ORC、Parquet的优点。
成都加米谷大数据·2023-08-10 10:12

大数据开发：Flink如何设计容错

前面我们讲了Hadoop和spark的容错设计，今天的大数据开发学习分享，我们继续来讲Flink又是如何设计容错的？
成都加米谷大数据·2023-08-10 07:57

一站式Flink&Spark平台解决方案——StreamX

随着Flink&Spark生态的不断完善，越来越多的企业选择这两款组件，或者其中之一作为离线&实时的大数据开发工具，但是在使用他们进行大数据的开发中我们会遇到一些问题，比如：任务运行监控怎么处理？
产品经理自我修养·2023-08-10 06:00

【数据向】（四）什么是数据洞察？

写在前面相信有很多朋友和我一样，之前听过数据分析，数据挖掘，数据开发等等概念或者角色，但是却对于数据洞察没有概念。本文尝试通过较为全面地讲述，让大家能够迅速建立起数据洞察的相关认知。
千杉沐雪·2023-08-10 02:33

大数据开发教程——Apache Hive实战

Hive建表高阶语句CTASandCTE（重点）CTAS–CreateTableAsSelectCREATETABLEctas_employeeasSELECT*FROMemployee（基于select查询的结果生成表）CTASCANNOTcreateapartition,external,orbuckettable（不能生成分区表，外部表，桶表）Createtablelikeothertabl
比屋大数据·2023-08-09 23:26

案例 | 看某国有大行如何构建内部数据安全风险管控核心能力

某国有大行省分行近年来不断加大信息化业务发展力度，提高大数据开发利用程度，随着数据使用部门的扩大化，以及
数据库安全·2023-08-09 21:41

Debezium系列之：记录一次快速处理生产环境debezium connector故障，并使用debezium补缺失的数据

debeziumconnector故障，并使用debezium补缺失的数据一、背景二、快速恢复connector三、使用debezium补缺失的数据一、背景debezium生产环境connector故障了，需要快速处理才能不影响后续数据开发任务
最笨的羊羊·2023-08-09 03:33

数据开发常见问题

目录环境变量过多或者参数值过长时，为什么提交作业失败？为什么Shell作业状态和相关的YARNApplication状态不一致？创建作业和执行计划的区别是什么？如何查看作业运行记录？如何在OSS上查看日志？读写MaxCompute时，报错java.lang.RuntimeException.Parseresponsefailed:‘…’多个ConsumerID消费同一个Topic时为什么TPS不一
首席撩妹指导官·2023-08-08 19:32

苏宁数据治理实战方法论和三字经

大数据到达一定的规模，其所需承载的集群资源成本、数据开发维护成本和数据管理成本，将会呈几何式增长，同样也将会带来一笔巨额的开销。如果缺少科学有效的治理管控，就会出现大量的“负”数
产品经理自我修养·2023-08-08 19:39

pandas学习之开发利器anaconda与Jupyter安装(mac)

什么是anaconda一句话:她是一个包管理器和环境管理器,包含了很多数据开发的工具,数据分析必备安装anaconda安装包地址:https://docs.anaconda.com/anaconda/install
Antg·2023-08-07 13:39

003-得像和画得好是一回事吗？

这一讲顾衡老师主要是围绕画得像和画的好进行讨论，加深这个问题的理解，有利于理解后面中世纪的美术以及整个西方美术都有帮助。“不为”还是“不能”埃及艺术家画人体，会把下zhengwei肢和脸庞画成侧面像，同时却把躯干和眼睛画成正面像。这个画法被称为“正身侧面律”。埃及艺术家认为，把重要的东西交待清楚最要紧。而至于眼睛看上去是什么样子，这根本不重要。古埃及的艺术家并不是没有能力画得像，而是认为用绘画和雕
AmberShao·2023-08-07 12:21

大数据开发：Oozie调度框架简介

今天的大数据开发分享，我们就先来讲讲这个Oozie调度框架的一些基础知识。ApacheOozie是一个用来管理Hadoop任务的工作流调度系统，基于有向无环图的模型（DAG）。
成都加米谷大数据·2023-08-06 19:26

读后感系列003-《愿你慢慢长大》

作为父母的你，对孩子有什么期望？你希望培养孩子那些能力？你希望孩子成为什么样的人？在育儿的过程中，你有困扰和烦恼吗？孩子不想上学，你怎么办？一定要去学校上学吗？为什么要读书？应该读什么样的书？如果你也遇到过这些问题，并且也在探索思考，那么来看看这本《愿你慢慢长大》。这本书，以父母的视角收集了古今中外名人在育儿上的文章，一些是家书，一些是写给孩子的。总之，有共同的身份，那就是父母。不管他们自己有多大
草味·2023-08-06 04:18

[最新安全稳定，自带haddop生态]Hadoop伪分布式ubuntu虚拟镜像

网上现有的教学用的大数据开发环境镜像主要有林子雨老
yasuo626·2023-08-05 01:34

大数据开发的前景怎么样？该怎么学习？

猎聘大数据研究院发布了《2022未来人才就业趋势报告》从排名来看，2022年1-4月各行业中高端人才平均年薪来看，人工智能行业中高端人才平均年薪最高，为31.04万元；金融行业中高端人才以27.69万元的平均年薪位居第二；通信、大数据行业中高端人才平均年薪分别为27.51万元、25.23万元，位列第三、第四；IT/互联网行业中高端人才平均年薪23.02万元，位列第七。图表来源：《2022未来人才就
我想去吃ya·2023-08-04 17:17

大数据开发的学习路线是什么样的

大数据技术的体系庞大且复杂，每年都会涌现出大量新的技术，目前大数据行业所涉及到的核心技术主要就是：数据采集、数据存储、数据清洗、数据查询分析和数据可视化。学习大数据需要掌握什么语言基础？1、Java基础大数据框架90%以上都是使用Java开发语言，所以如果要学习大数据技术，首先要掌握Java基础语法以及JavaEE方向的相关知识。2、MySQL数据库这是学习大数据必须掌握的知识之一。数据的操作语言
我想去吃ya·2023-08-04 17:47

大数据开发：数据仓库建模方法与模型

今天的大数据开发分享，我们主要来讲讲数据仓库建模方法与模型。数仓建模方法数据仓库中几种经典的数据模型，包括关系建模、维度建模、DataVault模型。
成都加米谷大数据·2023-08-04 13:24

什么是大数据开发？

♥️大数据开发是干什么的？大数据作为时下火热的IT行业的词汇，随之而来的数据开发、数据仓库、数据安全、数据分析、数据挖掘等等围绕大数据的商业价值的利用逐渐成为行业人士争相追捧的利润焦点。
yoku酱·2023-08-04 13:19

3、大数据技术架构：核心原理与应用实践（下）

4、大数据的开发实践这一章节，主要是描述了大数据开发的几个场景和优化的技巧。
朗如行玉山_5b30·2023-08-04 06:27
上一页 10 11 12 13 14 15 16 17 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他