003-数据开发

鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目

摘要：本文整理自鹰角大数据开发工程师，ApacheHudiContributor朱正军老师在FlinkForwardAsia2024生产实践（二）专场中的分享。
·2025-04-17 04:47

QuickAPI 核心能力解析：构建数据服务化的三位一体生态

在企业数据资产化运营的进程中，如何打破数据开发与共享的效率瓶颈，实现从“数据可用”到“数据好用”的跨越？麦聪软件的QuickAPI给出了系统性答案。
King.624·2025-04-16 18:25

大数据开发必备技能_第二阶段17_Oracle 索引技术详解

如果你对大数据开发充满好奇，但苦于零基础不知从何入手，这系列文章就是为你量身定制的！零门槛入门：无需编程经验，从最基础的SQL查询讲起，手把手带你理解数据操作的核心逻辑。
数据小塔·2025-04-16 09:57

数据管理DMS支持托管Dify正式开始公测啦！

提供全域数据资产管理、数据治理、数据库设计开发、数据集成、数据开发和数据消费等功能，同时DMS内置的数据灾备（DBS）还提供了低成本、高可靠的备份恢复能力，致力于帮助企业高效、安全地挖掘数据价值，助力企业数字化转型
·2025-04-16 02:33

职业院校大数据开发与运维实训室建设可行性分析

一、大数据开发与运维实训室建设背景1.1大数据技术发展现状大数据技术正以迅猛的势头发展，成为推动各行业数字化转型的关键力量。
武汉唯众智创·2025-04-14 19:45

Python网络爬虫深度教程

技术实现和最佳实践，分为多个章节进行系统化讲解：Python网络爬虫深度教程1、Python爬虫+JS逆向，进阶课程，破解难题https://pan.quark.cn/s/9ad78f3f71162、Python+大数据开发
jijihusong006·2025-04-14 14:43

最全大数据学习路线指南：大数据知识点汇总保姆级教程（2万字长文）

基础学习第二章数据采集与存储技术2.1Hadoop基础及实战2.2Hive与Hbase技术2.3ETL流程及原理第三章数据管理与查询技术3.1数据仓库体系搭建3.2数据治理体系方法论3.3OLAP查询技术第四章大数据开发工具与平台
大模型大数据攻城狮·2025-04-14 06:17

DataWorks智能体Agent发布！基于MCP实现数据

在传统的数据开发工作中，企业用户或者开发者常常需要进行繁琐的配置、复杂的代码撰写、反复的性能调优和大量重复性的操作，才能实现数据开发、数据集成和数据治理等工作，效率十分低下。
·2025-04-12 18:23

基于MCP实现数据开发与治理自动化运行

在传统的数据开发工作中，企业用户或者开发者常常需要进行繁琐的配置、复杂的代码撰写、反复的性能调优和大量重复性的操作，才能实现数据开发、数据集成和数据治理等工作，效率十分低下。
·2025-04-12 17:18

大数据开发必备技能_第二阶段08_动态 SQL 技术分享文档

如果你对大数据开发充满好奇，但苦于零基础不知从何入手，这系列文章就是为你量身定制的！零门槛入门：无需编程经验，从最基础的SQL查询讲起，手把手带你理解数据操作的核心逻辑。
数据小塔·2025-04-10 10:20

最新【Rust指南】快速入门 开发环境 hello world_rust开发是啥，大数据开发开发入门与实战

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！C/C++性能很好，但是系统类型和内存都不太安全。Ja
2401_84167086·2025-04-10 06:29

大数据开发-Spark-RDD实操案例-http日志分析

1.在生产环境下，如何处理配置文件&&表的数据处理配置文件，或者配置表，一般是放在在线db，比如mysql等关系型数据库，或者后台rd直接丢给你一份文件，数据量比起整个离线数据仓库的大表来说算很小，所以这种情况下，一般的做法是将小表，或者小文件广播出去，那么下面一个例子来看，广播表的使用解决ip地址映射问题数据地址：链接：https://pan.baidu.com/s/1FmFxSrPIynO3u
Hoult-吴邪·2025-04-10 05:17

基于ISO13400 (DoIP) 实现车辆刷写

当前，风丘诊断工具链，从诊断数据开发到诊断测试，已涵
WINDHILL风丘科技·2025-04-10 00:43

Spark修炼之道（基础篇）——Linux大数据开发基础：第十一节：Shell编程入门（三)

本节主要内容shell数组shell命令别名时间操作1.Shell数组同C、C++等语言一样，shell脚本也提供了数组这样一个重要的数据结构，shell中的数组有两种，一种为普通数组，另外的一种称为关联数组。普通数据的存取通过整数进行，关联数组的存取通过字符串进行。具体如下://用()定义一个数组，注意数组元素间不能用,否则达不到预期目的root@sparkmaster:~/ShellLearn
zhouzhihubeyond·2025-04-09 05:14

（五）Spark大数据开发实战：豆瓣电影数据处理与分析（python版）

目录一、PySpark二、数据介绍三、PySpark大数据开发实战1、数据文件上传HDFS2、导入模块及数据3、数据统计与分析①、计算演员参演电影数②、依次罗列电影番位前十的演员③、按照番位计算演员参演电影数
小楼一夜听春雨258·2025-04-08 01:09

String结构之首页热点数据开发实战

我们实现首页热点数据开发的思路是，首先检查缓存是否有存在热点数据，如果缓存不存在则查询数据库，并把查询结果放到缓存，设置过期时间，下次访问则命中缓存。下面我们来实现首页热点数据开发！
哈哈哈hhhh·2025-04-04 21:55

架构师之路：数据中台产品策略与规划

数据中台的主要作用在于提升数据仓库、数据湖、数据应用三者之间的数据价值，建立统一的业务域数据模型，以及统一的数据开发流程、数据服务接口及标准化。
AI天才研究院·2025-04-03 12:18

重磅活动！3.14，与数智领袖共探 NoETL 指标平台最佳实践无标题】

NoSQL指标定义、NoETL指标开发、统一指标管理，一举解决了指标“开发周期长、口径不统一、分析不灵活、冗余成本高”等顽疾，并在金融、消费零售、制造、ICT、能源、航空、医疗等多行业打造了标杆案例，为企业数据开发
Aloudata·2025-04-01 15:07

大数据必学免费、开源分布式数据库——Apache Hive

Hive是大数据开发、分析领域无法绕开的一个话题。我将分认识Hive、快速部署、快速入门等几个模块为同学们详细地介绍Hive，期望可以为刚刚接触大数据领域的同学们建立一个初步的认知。
遇码·2025-03-29 04:56

数据开发 - 中科智泓 - 一面面经（已OC）

有转正机会面试流程：自我介绍第一个项目中的成员分工数据规模是多少数据模型是怎样考虑的项目中有没有遇到过什么问题，是如何解决的当时考虑接外部软件是吧，为什么没有考虑在数据可视化部分自己做一些定制化的开发第二个项目是部署上线的，可使用的项目是吧SQL中做行列转换如何操作如何找到脏数据中十条重复数据并删除如果直接筛，可能导致被锁住，有其他办法么SQL中几种删除方式的区别索引有了解吗，有哪些索引的类型什么
糖醋_诗酒·2025-03-29 02:46

DeepSeek，PowerBI一般有哪些问题？

DeepSeek又给我出乎意料的回答整体上比较真实可靠提示词你是资深的数据分析师，现在需要汇报powerbi存在的问题，我想从权限管理（包括功能权限、数据行权限）、数据开发工程师离职导致数据重新接管刷新
快乐IT号·2025-03-27 01:50

数据库总结

由于近期实习涉及到阿里云大数据开发套件的使用，主要涉及到odps、ads、rds、ots相关数据库的操作，所以针对性的做一些总结，并将阿里云中产品与实际产品对应分析。
wzz87·2025-03-26 20:09

袋鼠云+DeepSeek，提供大模型私有化部署与一站式大模型运维服务

近期，DeepSeek凭借自身技术实力在市场中迅速崛起，为剖析数据开发应用市场提供了视角。
·2025-03-26 12:04

中电金信25/3/18面前笔试（需求分析岗+数据开发岗）

部分相同题目在第二次数据开发岗中不做解析，本次解析来源于豆包AI，正确与否有待商榷，本文只提供一个速查与知识点的补充。一、需求分析第1题，单选题,Hadoop的核心组件包括HDFS和以下哪个？
苍曦·2025-03-19 12:43

题解 | 牛客周赛 Round 49 DEF Java题解

面试又黄了反正不是什么喜欢的工作[牛泪]面试又黄了反正不是什么喜欢的工作2024秋招数据开发第一波面试题露出#字节##滴滴##大数据##面经##秋招#引流字节阿里巴巴腾讯百度美团美团后端暑期实习体验——
han_xue_feng·2025-03-19 08:05

大数据开发之Kubernetes篇----安装部署Kubernetes&dashboard

Kubernetes简介由于公司有需要，需要将外后的服务外加Tensorflow模型部署加训练全部集成到k8s上，所以特意记录下这次简单部署的过程。k8s安装部署首先，我们在部署任何大型的组件前都必须要做的事情就是关闭防火墙和设置hostname了vi/etc/hostsk8s001xxx.xxx.xxx.xxk8s002xxx.xxx.xxx.xx...systemctlstopfirewall
豆豆总·2025-03-18 06:02

Dinky × Jiron：打造高效智能的数据处理平台

github.com/642933588/jiron-cloudhttps://gitee.com/642933588/jiron-cloud将基于ApacheFlink的实时计算平台Dinky成功集成至Jiron数据开发平台
jiron开源·2025-03-15 09:26

25年大数据开发省赛样题第一套，离线数据处理答案

省赛样题一，数据抽取模块这一模块的作用是从mysql抽取数据到ods层进行指标计算，在题目中要求进行全量抽取，并新增etl-date字段进行分区，日期为比赛前一天importorg.apache.spark.sql.SparkSessionimportjava.util.PropertiesobjectTask1{defmain(args:Array[String]):Unit={valspark
Tometor·2025-03-15 00:01

一文理清：阿里系数据中台-数据治理工具集(傻傻也能分清楚）

一、核心产品定位与功能DataWorks定位：一站式大数据开发治理平台，提供数据集成、开发、调度、治理、服务等全链路能力。核心功能：数据集成：支持异构数据源（如数据库、OSS、
Debug_Snail·2025-03-11 14:09

大数据计算框架深入：Spark SQL、DataFrame、RDD 性能优化

如何优化Spark作业的性能，是大数据开发者必须掌握的关键技能。本文将深入探讨SparkSQL、DataFrame和RDD的性能优化方法，并结合实际案例进行分析。
晴天彩虹雨·2025-03-08 10:48

集团公司数字化转型及数据资源中心建设方案：蓝图规划、总体流程、数据模型设计、数据区定位与数据模型设计流程、基础区数据模型设计、用户标签数据模型设计、数据开发体系框架、数据统一调度管理、ETL调度平台

集团公司数字化转型及数据资源中心建设方案集团公司数字化转型及数据资源中心建设方案蓝图规划数字化转型战略目标数据资源中心定位与功能整体架构与技术选型实施路径与时间表总体流程业务流程梳理与优化数据流程规划与设计技术实施步骤与要点风险评估与应对措施数据模型设计概念数据模型构建逻辑数据模型转换物理数据模型实现模型验证与优化方法数据区定位与数据模型设计流程数据区划分原则及策略各类数据区功能定义数据模型设计流
数智化领地·2025-03-07 10:15

《DataWorks：为人工智能算法筑牢高质量数据根基》

阿里巴巴的DataWorks，作为一款强大的大数据开发治理平台，在
·2025-03-04 19:16

京东Hive SQL面试题实战：APP路径分析场景解析与幽默生存指南

京东HiveSQL面试题实战：APP路径分析场景解析与幽默生存指南“数据开发工程师的终极浪漫，就是把用户路径写成诗——用HiveSQL押韵。”
数据大包哥·2025-03-02 07:13

腾讯SQL面试题解析：如何找出连续5天涨幅超过5%的股票

腾讯SQL面试题解析：如何找出连续5天涨幅超过5%的股票作者：某七年数据开发工程师|2025年02月23日关键词：SQL窗口函数、连续问题、股票分析、腾讯面试题一、问题背景与难点拆解在股票量化分析场景中
数据大包哥·2025-03-02 07:43

重磅活动！3.14，与数智领袖共探 NoETL 指标平台最佳实践

NoSQL指标定义、NoETL指标开发、统一指标管理，一举解决了指标“开发周期长、口径不统一、分析不灵活、冗余成本高”等顽疾，并在金融、消费零售、制造、ICT、能源、航空、医疗等多行业打造了标杆案例，为企业数据开发
·2025-02-28 20:34

大数据、云计算系统高级架构师课程学习路线图

大数据之Linux+大数据开发篇大数据的前景和意义也就不言而喻了，未来，大数据能够对大量、动态、能持续的数据，通过运用新系统、新工具、新模型的挖掘，从而获得具有洞察力和新价值的东西。
juan188·2025-02-28 12:09

腾讯SQL面试题变体实现：最长连续天数与允许1天中断的进阶解法

腾讯SQL面试题变体实现：最长连续天数与允许1天中断的进阶解法作者：某七年数据开发工程师|2025年02月23日关键词：滑动窗口、容错机制、连续区间优化一、变体题型需求分析在原题如何找出连续5天涨幅超过
数据大包哥·2025-02-26 17:22

鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目

摘要：本文整理自鹰角大数据开发工程师，ApacheHudiContributor朱正军老师在FlinkForwardAsia2024生产实践（二）专场中的分享。
·2025-02-21 19:13

笔记：DataSphere Studio安装部署流程

支持的功能有：数据开发IDE-Scriptis工作流实时执行信号功能和邮件功能数据可视化-Visualis数据质量-Qualitis(单机版)工作流定时调度-Azkaban(单机版)Linkis管理台二
右边com·2025-02-19 13:15

【国产自研-神软大数据平台3.4.10】

产品介绍：北京神舟航天软件技术股份有限公司自研全栈式大数据平台神软大数据平台是数据全生命周期一站式数据治理开发平台，提供数据采集、数据集成、数据开发、数据治理、数据服务等功能，支持大数据存储、大数据计算分析引擎等数据底座
王旭亮_·2025-02-18 13:24

给你的智能数据开发加满 buff

DataWorksCopilot，作为一站式智能数据开发治理平台DataWorks的智能助手，借助AI推理和自然语言处理能力，通过提供代码辅助和智能应用开发功能，为开发者和企业用户带来便捷高效的数据开发体验
·2025-02-17 15:16

Doris实战——工商信息查询平台的湖仓一体建设

AllinApacheDoris四、架构3.0：基于DorisMulti-Catalog的湖仓一体架构五、实践经验5.1引入Merge-on-Write，百亿级单表查询提速近三倍5.2部分列数据更新，数据开发效率提升
吵吵叭火·2025-02-14 14:06

大数据开发语言Scala入门

大数据开发语言Scala的详解一、引言在大数据和云计算时代，数据的处理和分析变得尤为重要。为了有效地处理和分析这些数据，需要一种强大的编程语言。
编程小郭·2025-02-11 22:04

关于阿里云DataWorks的20道面试题

阿里云DataWorks是一个全链路的大数据开发治理平台，其主要功能包括数据集成、数据建模与开发、数据地图、数据质量和数据服务等。
编织幻境的妖·2025-02-11 01:31

计算机专业毕业

接java开发，小程序开发，Python开发，大数据开发，网站设计，文档编写，原型设计可接大学生作业，各种项目给要求就行，可附赠报告~可针对小白辅导，诚信服务，咨询问题免费。
m0_73641845·2025-02-09 00:05

顺丰大数据开发面试题及参考答案

Flink的提交过程是怎样的？Flink的提交过程通常包含以下步骤：代码编写与打包：开发人员首先使用Flink提供的API编写数据处理逻辑，包括定义数据源、转换操作和数据sink等。完成代码编写后，将项目打包成可执行的JAR文件，其中包含了所有依赖的库和资源。选择提交方式：Flink支持多种提交方式，如命令行提交、WebUI提交和通过客户端API提交。命令行提交适用于在终端中进行快速部署，用户可以
大模型大数据攻城狮·2025-02-07 19:15

数据开发八股文整理- Hadoop

什么是hadoopHadoop是一个分布式系统基础架构，主要解决海量数据的存储和海量数据的分析计算问题Hadoop运行模式本地模式和为分布式模式都是单机运行完全分布模式即是多台服务器组成分布式环境Hadoop集群中的组件NameNode-负责存储文件的元数据，例如文件位置，文件目录结构DataNode-负责存储文件块数据SecondaryNameNode-负责对NameNode的数据进行备份Nod
兔子宇航员0301·2025-02-06 18:59

SLINT：基于模式独立的关联数据的互联系统

由于不同的数据开发者频繁的使用不同的模式来存储资源，因此我们的目标是开发一个模式独立的互连系统。我们的系统自动选择重要的谓词和有效的谓词（比）对作为块和实例匹配的关键。
ykyorky·2025-02-06 10:34

为什么我的CDH不用Hue，改用Scriptis了？

理性谈谈Hue的优缺点平时做数据开发用的比较多的是CDH的Hue，Hue提供了对接Hadoop平台的UI界面，可以对Hbase数据进行直接操作，执行Mapreducer任务时有可视化的执行界面，进行数据报表和
兔子那么可爱·2025-02-05 09:58

2024年最全Doris：读取Doris数据的N种方法_访问 doris，阿里大牛教你自己写大数据开发第三方库

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！arrow-memory-netty${arrow.v
2401_84181108·2025-02-04 08:49
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他