04--数据开发

数据仓库_数仓常见的数据模型

转载自：大数据开发：数仓建模常见数据模型-腾讯云开发者社区-腾讯云在数据仓库搭建的过程当中，根据需求合理地选择数据模型，是非常关键的一个环节。
高达一号·2023-08-30 08:59

基于轻量级yolov5的手部X光骨骼实例分割检测识别分析系统

在前文中基于X光手部骨骼数据开发构建了目标检测应用，这里主要是基于同样的数据集尝试开发构建实例分割系统，因为本身yolov5目前已经内置支持了实例分割应用，话不多说，直接来看效果图：数据集跟前文一样这里就不再多介绍了
Together_CZ·2023-08-29 23:27

NineData X SelectDB 联合发布会，即将上线！

本次发布会将聚焦于实时数据仓库技术和数据开发能力，展示SelectDB新一代实时数据仓库产品如何解决实时数据分析的行业痛点，以及「NineData如何提供高效、智能、安全的数据管理能力」。
·2023-08-29 12:16

大数据HIve+Sqoop实训报告（中）

（一）分析“数据分析”、“大数据开发工程师”、“数据采集”等岗位的平均工资、最高工资、最低工资，并作条形图将结果展示出来；1、将“数据分析”、“大数据开发工程师”、“数据采集”等岗位表的信息分别提取出来
地球层次�·2023-08-29 08:12

如何精通大数据开发技术

如何精通掌握大数据开发技术要精通大数据开发，以下是一些建议：学习核心概念：深入理解大数据的核心概念，包括分布式计算、分布式存储、数据处理、数据挖掘等。
岁月的眸·2023-08-28 10:03

大数据（三）大数据相关的职位

不同企业规模高校毕业生CIER指数2.3、高校毕业生供求TOP15城市2.4、一季度景气指数较高和较低的行业排名2.5、一季度景气指数较高和较低的职业排名2.6、开发人员类型划分的薪水三、大数据相关的职位3.1、大数据开发工程师
逆境清醒·2023-08-28 08:41

伴鱼数据质量平台实践+DolphinScheduler调度

日常工作中，数据开发、数仓开发工程师开发上线完一个任务后并不是就可以高枕无忧了，时常会因为上游链路数据异常或者自身处理逻辑的BUG导致产出的数据结果不可信。
secretWHD·2023-08-27 13:34

数仓建模综述

数据建模是数据开发工作中的核心与基石，好的模型体系好处很多：•降低成本：优秀的模型设计能够提升数据复用性，减少计算/存储资源浪费•提升开发效率：优秀的模型设计能够降低数据使用门槛，减少工作量•提升质量：
精品资料学习库·2023-08-26 23:31

大数据学习之路

、在职、零基础）五、推荐书单六、Q&A一、开篇致辞我今年大四，大二的时候先后在厦门的两家小公司实习Java，大三的时候在ApcheKylin的贡献团队Kyligence实习，现在在一家西班牙集团就职大数据开发
程序员峰哥·2023-08-26 17:28

大数据开发要学习什么？学完又能做什么

学习大数据需要掌握什么语言基础？1、Java基础大数据框架90%以上都是使用Java开发语言，所以如果要学习大数据技术，首先要掌握Java基础语法以及JavaEE方向的相关知识。2、MySQL数据库这是学习大数据必须掌握的知识之一。数据的操作语言是SQL，因此很多工具的开发目标就是能够在Hadoop上使用SQL。3、Linux系统大数据的框架都是安装在Linux操作系统上，因此熟练掌握Linux相
我想去吃ya·2023-08-26 12:07

大数据领域都有什么发展方向

大数据开发做什么？大数据开发分两类，编写Hadoop、Spark的应用程序和对大数据处理系统本身进行开发。大数据开发工程师主要负责公司大数据平台的开发和维护、
我想去吃ya·2023-08-26 12:36

使用 Terraform 与事件驱动的 Amazon CodeBuild 提升云上数据应用运维效率

背景信息企业客户在云上部署的一系列数据应用的过程中，数据开发团队往往负责脚本内容，而其背后一系列云上资源的管理通常由一支云运维职能团队通过IaC（InfrastructreasCode）实现。
·2023-08-26 00:32

2019秋招面经大汇总 - 数据开发及挖掘

【招银网络、平安产险、上海银行】秋招经历总结~分享给牛客小伙伴https://www.nowcoder.com/discuss/348938【米哈游】米哈游（数据开发）凉面面经https://www.nowcoder.com
ba4e8e38b4f6·2023-08-25 15:53

Flink集成Iceberg在同程艺龙的实践

简介：本文由同城艺龙大数据开发工程师张军分享，主要介绍同城艺龙Flink集成Iceberg的生产实践。本文由同城艺龙大数据开发工程师张军分享，主要介绍同城艺龙Flink集成Iiceberg的生产实践。
阿里开发者·2023-08-25 07:37

注解和反射04--类加载

类加载Java内存分析了解类的加载过程类的加载与ClassLoader的理解什么时候会发生类的初始化类加载器类加载器的作用Java内存分析了解类的加载过程当程序主动使用某个类是，如果该类害未被加载到内存中，啧系统会通过下面三个步骤来对该类进行初始化类的加载与ClassLoader的理解1、加载：将class文件字节码内容加载到内存中，并将这些静态数据转换成方法区的运行时数据结构，然后生成一个代表这
夕珩·2023-08-25 05:18

分布式可视化 DAG 任务调度系统 Taier 的整体流程分析

旨在降低ETL开发成本，提高大数据平台稳定性，让大数据开发人员可以在Taier直接进行业务逻辑的开发，而不用关心任务错综复杂的依赖关系与底层的大数据平台的架构实现，将工作的重心更多地聚焦在业务之中。
袋鼠云数栈·2023-08-23 17:10

前端开发进阶：前端开发中如何高效渲染大数据量？

渲染大数据量时遇到的问题在离线的数据开发模块，用户可以在SQL编辑器中编写SQL，再通过整段运行/分段运行来执行SQL。在点击整段运行后，从运行成功日志打印后到
袋鼠云数栈·2023-08-23 17:38

程序员：大数据培训分享Spark基础都有哪些

作为大数据主流框架之一的Spark，也是大数据开发人员必须要掌握的重要技术框架，在企业招聘当中，掌握Spark框架的大数据人才，也更加具备竞争优势。那么Spark需要什么基础？
程序猿分享·2023-08-23 05:49

GIS大数据开发框架一张图

文章目录1前言2一张图3参考资料1前言由于自己经验并不丰富，理解也不深刻，但是被hadoop、spark、flink、geospark、sedona之间的关系搞得头晕，于是搜集了网络资料。因为并非亲自体验，不对之处，欢迎指正！！！HadoopEcosystem2一张图所有的资料汇集成一张图如下3参考资料各自辨别吧https://baike.baidu.com/item/Hadoop/3526507
leemraz·2023-08-23 05:45

基于微信小程序的美食系统/基于微信小程序的美食网站/基于springboot的美食宣传平台

微信小程序美食天下采用Java语言，Springboot框架，基于mysql数据开发，小程序实现了管理员对用户、美食分类、美食信息、美食分享等内容进行管理，本
一枚小小程序员哈·2023-08-23 04:06

哪些人适合参加大数据培训班？

大数据培训班有大数据分析培训班、大数据开发培训班，JAVA培训班大数据班适学人群：大三大四应届学生、零基础的社会人员、有基础的在职人员、有计划转行的人员大数据培训班特色：1、完成全真项目案例学习，相当于
泰迪智能科技·2023-08-22 21:04

全链路数据湖开发治理解决方案2.0重磅升级，全面增强数据入湖、调度和治理能力

解决方案包含开源大数据平台E-MapReduce(EMR)，一站式大数据数据开发治理平台DataWorks，数据湖构建DLF，对象存储OSS等核心产品。
·2023-08-22 10:13

2019秋招面经大汇总 - 数据分析

【字节跳动】字节数据分析面经https://www.nowcoder.com/discuss/344423【阿里、腾讯、美团、拼多多、华为、网易游戏、滴滴、网易严选、小米、京东】面经分享数据开发/数据研发
ba4e8e38b4f6·2023-08-22 02:04

使用 Terraform 与事件驱动的 Amazon CodeBuild 提升云上数据应用运维效率

背景信息企业客户在云上部署的一系列数据应用的过程中，数据开发团队往往负责脚本内容，而其背后一系列云上资源的管理通常由一支云运维职能团队通过IaC（InfrastructreasCode）实现。
亚马逊云开发者·2023-08-22 01:15

大数据背景和概念

一、背景1.岗位现状大数据在一线互联网已经爆发了好多年，2015年-2020年（国内互联网爆发期）那时候的大数据开发，刚毕业能写HiveSQL配置个离线任务、整个帆软报表都20K+起步。
2301_77342543·2023-08-22 00:29

使用 Terraform 与事件驱动的 Amazon CodeBuild 提升云上数据应用运维效率

背景信息企业客户在云上部署的一系列数据应用的过程中，数据开发团队往往负责脚本内容，而其背后一系列云上资源的管理通常由一支云运维职能团队通过IaC（InfrastructreasCode）实现。
·2023-08-21 22:18

Hive的计算引擎，你知道哪几种？

作为大数据开发工程师来说，Hive数据库的开发还是比较重要的，所以我们需要知道hive数据库的计算引擎有哪些，这样在做hive调优的时候，也是有一定的辅助作用。
晓之以理的喵~~·2023-08-21 21:45

【2023年11月第四版教材】《第5章-信息系统工程（合集篇）》

5章-信息系统工程（合集篇）》章节说明1软件工程1.1架构设计1.2需求分析1.3软件设计1.4软件实现［补充第三版教材内容］1.5部署交付2数据工程2.1数据建模2.2数据标准化2.3数据运维2.4数据开发利用
Ealser·2023-08-21 04:23

揭开神秘面纱，会stream流就会大数据

如果你会任意一门语言的stream流，没道理不会大数据开发。俗话说男追女隔座山，女追男隔层纱。
2301_76429513·2023-08-20 15:44

这个时代，毕业生将很难找Java程序员的工作

因为目前信息化时代，计算机专业不仅是挣钱最多的专业，而且还是接触科技最前沿技术的专业，无论是现在的AI人工智能，还是大数据开发以及云计算等等热门的岗位，都跟计算机有着千丝万缕的直接关系。
半圆学社·2023-08-19 13:31

大数据开发之Hive篇6-Hive函数详解

备注:Hive版本2.1.1一.Hive函数概述1.1Hive函数分类函数/UDF输入一行记录，输出一行记录示例：upper/lower/length聚集函数/UDAF输入多行记录，输出一行记录示例：sum/count/avg表生成函数/UDTF输入一行记录，输出多行记录示例：explode1.2查看Hive函数1.2.1showfunctions命令showfunctions命令是查询当前hiv
只是甲·2023-08-19 08:10

饿了么大数据开发凉经

1一个mapreduce进程会启动多少map进程多少reduce进程*1）map数量由处理的数据分成的block数量决定default_num=total_size/split_size;2）reduce数量为job.setNumReduceTasks(x)中x的大小。不设置的话默认为1。2讲下shuffle的过程shuffle分为map端和reduce端的工作。MapTask工作机制（1）Rea
TIM33470348·2023-08-18 20:39

❤️大数据开发必备:推荐7款大数据开发神器工作效率提升1000%【推荐收藏】

在这里插入图片描述manor学习大数据开发满打满算也有一年了,其中也发现不少好用的大数据开发提升效率的软件,推荐给刚入门/入行的你:适用windows系统，mac用户可根据名称自行查找~~在这里插入图片描述文末可一键获取
咸鱼在简书·2023-08-18 19:15

零基础学习大数据分析难吗？

在这里列一下：（来源是《2021年互联网人才招聘白皮书》）无论是DBA还是大数据分析师，和java前端后端相比，都不算是最卷的，甚至还算是挺好的，你看下面这张图，一年以下的Java工程师139竞争1个岗位，大数据开发工程师只有
我想去吃ya·2023-08-18 18:02

2023.8.8巨人网络数据开发工程师面试复盘

1概述问题一览总体感觉良好，通过面试官的介绍可知这个岗位偏向离线数仓。1.自我介绍2.询问了其中一段实习经历3.讲下你说用过的Linux命令4.讲下HIVE的内部表和外部表有什么不同*5.讲下你使用过的Hive函数（好好在复习下多准备几个吧）*6.请讲下维度建模和范式建模的区别（自上而下，自底而上，关系-实体，事实-维度）*7.为什么关系型数据库更适合范式建模而数仓适合维度建模8.讲下数据倾斜*9
TIM33470348·2023-08-18 09:38

大数据开发：数仓建模常见数据模型

今天的大数据开发分享，我们来聊聊数仓建模常见的几种数据模型。目前来说，市场上主流的数据建模，主要是四种类型：维度模型、范式模型、DataVault模型，以及Anchor模型。
加米谷大数据张老师·2023-08-17 12:22

携程应用系统整体架构学习

5.hive只能说是一个数据仓库工具，反而归类到数据源层这样的架构水平，要么携程不想透露太多真实实力，要么就是携程派了一个大数据开发工程
warrah·2023-08-17 10:03

【hadoop】windows上hadoop环境的搭建步骤

文章目录前言基础环境下载hadoop安装包下载hadoop在windows中的依赖配置环境变量Hadoophdfs搭建创建hadfs数据目录修改JAVA依赖修改配置文件初始化hdfsnamenode启动hdfs前言在大数据开发领域中
小沈同学呀·2023-08-17 03:01

基于Doris实时数据开发的一些注意事项

300万字！全网最全大数据学习面试社区等你来！最近Doris的发展大家是有目共睹的。例如冷热分离等新特性的持续增加。使得Doris在易用和成本上都有大幅提升。基于Doris的一些存储实时数仓在越来越多的场景中开始有一些实践。大家也看到了这种方案频繁出现在社区分享中。但是我们得客观看待这种方案，基于存储的实时数仓有优势也有他的劣势，生产环境中我们要谨慎评估个人的业务场景。这篇文章我结合个人的实践和思
王知无(import_bigdata)·2023-08-16 18:02

Spark操作Hive表幂等性探索

前言旁边的实习生一边敲着键盘一边很不开心的说：做数据开发真麻烦，数据bug排查太繁琐了，我今天数据跑的有问题，等我处理完问题重新跑了代码，发现报表的数据很多重复，准备全部删了重新跑。
SunnyRivers·2023-08-16 01:16

恭喜又一白鲸开源成员成为 Apache SeaTunnel PMC Member

个人简介王海林白鲸开源研发工程师GitHubID：hailin0做过性能监控、数据开发平台等，目前聚焦在数据集成同步及其周边生态的研发问：作为白鲸开源的一员，您为社区做出过哪些贡献？
·2023-08-15 16:48

想在DataGrip里写SQL般丝滑的写FlinkSQL？安装它就完事儿了

版本日期备注1.02023.8.8文章首发本文首发于泊浮目的掘金:https://juejin.cn/user/1468603264665335“FlinkSQL对于大数据开发者们来说是一个很常见的API
·2023-08-15 16:08

字节电商大数据开发一面，已过，面试题已配答案

面试题答案参考大数据面试题V3.0，523道题，679页，46w字1、实习经历这点不多说了，根据自己的来就行2、工作中最难的点一般都会提前回顾之前自己遇到的问题，根据自己的来3、如何保证数据质量这里主要是阿里对数仓的一些数据质量保证原则1、数据质量保障原则阿里对数据仓库主要从四个方面评估数据质量1）完整性确保数据不存在缺失2）准确性确保数据不存在异常或错误3）一致性体现在从业务仓库加工到数据仓库，
蓦然_·2023-08-15 01:36

大数据开发基础-环境配置篇-Hadoop集群安装

鼠鼠接下来将更新一系列自己在学习大数据开发过程中收集的资源、和自己的总结、以及面经答案、LeetCode刷题分析题解。
葡萄成熟时_·2023-08-14 01:19

【数据中台商业化】数据中台微前端实践

一，需求背景1业务背景在以往的业务场景中，用户进入五花八门的菜单体系中，往往会产生迷茫情绪，难以理解平台名称及具体作用，导致数据开发与管理学习成本较高，降低工作效率。
2301_76429513·2023-08-13 12:15

基于DETR (DEtection TRansformer)开发构建MSTAR雷达影像目标检测系统

相关的实践在之前的文章中很详细地介绍过，感兴趣的话可以自行移步阅读即可：《DETR(DEtectionTRansformer)基于自建数据集开发构建目标检测模型超详细教程》《书接上文——DETR评估可视化》基于MSTAR雷达影像数据开发构建目标检测系统
Together_CZ·2023-08-12 18:51

Kettle构建Hadoop ETL实践（一）：ETL与Kettle

点击上方蓝色字体，选择“设为星标”回复”资源“获取更多资源大数据技术与架构点击右侧关注，大数据开发领域最强公众号！大数据真好玩点击右侧关注，大数据真好玩！‍‍‍‍‍‍‍‍‍‍‍‍‍
王知无(import_bigdata)·2023-08-12 13:51

如何学习大数据

前言大数据依然是当下热门的技术之一，就犹如之前的移动开发刚开始火的时候一样，之前写了一系列的大数据开发所需的组件安装，但还从来没想
想你依然心痛·2023-08-12 12:19

恭喜又一白鲸开源成员成为 Apache SeaTunnel PMC Member

个人简介王海林白鲸开源研发工程师GitHubID：hailin0做过性能监控、数据开发平台等，目前聚焦在数据集成同步及其周边生态的研发问：作为白鲸开源的一员，您为社区做出过哪些贡献？
SeaTunnel·2023-08-12 04:02

Spark2.x精通：Master端循环消息处理源码剖析（二）

微信公众号：大数据开发运维架构关注可了解更多大数据相关的资讯。
大数据开发运维架构·2023-08-11 02:05
上一页 9 10 11 12 13 14 15 16 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他