04--数据开发

数据系统架构-9.统一查询服务one-service

统一查询服务one-service1.背景在日常的数据开发过程中，我们会把数据结果存储在各类数据库中或者导入到OLAP查询引擎中供上层应用使用。
·2022-07-29 11:43

阿里云云原生一体化数仓 — 湖仓一体新能力解读

简介：本文主要介绍如何通过湖仓一体，打通MaxCompute与Hadoop、DLF/OSS数据湖，以及Hologres、MySQL等数据平台，并通过DataWorks做统一数据开发和治理。
·2022-07-28 18:42

Hadoop总结

目录大数据概述Hadoop大数据开发平台资源管理YARN分布式文件系统HDFS非关系型数据库NOSQL分布式数据库HBASE批处理和MapReduce数据仓库查询分析和Hive基于内存计算的Spark流计算和
m0_54853420·2022-07-28 11:51

数仓建模宽表设计

宽表的设计其实宽表是数仓里面非常重要的一块，前面我们介绍过了维度表事实表，今天我们介绍一下宽表，前面我们说过了数仓是分层的，这是技术进步和时代变化相结合的产物，数仓的分层式为了更好地管理数仓以及更加高效地进行数据开发
000X000·2022-07-28 10:48

数仓建模和业务建模对比总结

数仓建模和业务建模对比总结1.背景在大数据开发中，整个流程是数据采集，数据存储，数据传输，数据计算，数据展示。在这个过程中数据存储和数据计算是最关键2个环节。
闻香识代码·2022-07-28 10:47

数仓建模—宽表的设计

宽表的设计其实宽表是数仓里面非常重要的一块，前面我们介绍过了维度表事实表，今天我们介绍一下宽表，前面我们说过了数仓是分层的，这是技术进步和时代变化相结合的产物，数仓的分层式为了更好地管理数仓以及更加高效地进行数据开发
不二人生·2022-07-28 10:09

SaaS数据驱动浅谈

本篇文章来自网易智慧企业数据开发工程师章毅鹏。转载请注明来源及作者。
网易云信·2022-07-26 10:34

小海豚“变身”全新智能调度引擎，深入浅出在DDS的实践开发应用

这次在7月Meetup为大家带来的是基于DolphinScheduler的智能调度引擎在DDS的应用，这场演讲主要会跟大家介绍宇动源-DDS（自研的图形化数据开发工作室）、大数据架构、DDS产品和使用中遇到的问题
·2022-07-22 16:29

当我们在聊「开源大数据调度系统Taier」的数据开发功能时，到底在讨论什么？

原文链接：当我们在聊「开源大数据调度系统Taier」的数据开发功能时，到底在讨论什么？
·2022-07-21 16:13

python sql模板_数据开发_SQL模板引擎

SQL模板引擎动态拼接SQL，替换变量，填充数据解析SQL命令动态拼接sql字符方案一：String/StringBuffer/StringBuilder缺点：Java不支持多行字符串，也不能自动解析字符串里的变量一种是利用%操作符实现，另外一种是格式化字符串format实现方案二：基于XML配置文件生成SQL语句YamlisinmanywayssimilartoJSON方案三:采用一种模板引擎，
投资人股海明灯·2022-07-21 07:15

阿里云云原生一体化数仓 — 数据治理新能力解读

简介：本文介绍大数据开发治理平台DataWorks在数据治理领域的最新产品进展，包括基于事前、事中、事后的全链路理念构建的核心产品功能和数据治理量化评估机制解读，以及围绕降本增效的成本治理最佳实践。
·2022-07-20 11:02

搞了三年，再看数据中台的价值与解决方案

原因数据开发A给运营出的报表，按照业务的口径以设备ID去重，数据开发B，给财务出的报表是按照userID(注册会员id)统计，存多设备登录的情况。2.数据质量差指标表现异常，业务第一反应就是“是不是数
云 祁·2022-07-20 08:46

国家加强网络数据安全管控 中信国安鸿联九五助力企业保障数据安全

中华人民共和国网络安全法》《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》，2021年11月14日，国家互联网信息办公室发布了《网络数据安全管理条例（征求意见稿）》，该文件指出“国家统筹发展和安全，坚持促进数据开发利用与保障数据安全并重
普通网友·2022-07-19 13:36

大数据入门（一）—— 数据仓库（数仓）基本概念

以及，了解下大数据开发的一些基本流程。一、什么是数仓？数据仓库，由数据仓库之父比尔·恩门（BillInmon）于1990年提出的。
齐舞647·2022-07-18 19:22

活动预告｜Apache Doris x Apache SeaTunnel 联合 Meetup 开启报名！

如何应对高并发的点查询场景以及高吞吐的复杂分析场景...这些都是数据开发工程师切实关心的痛点问题，在这样迫切的需求下，数据
·2022-07-15 11:38

2022年python大数据开发学习路线

python大数据开发学习路线如下：10天精通MySQL教程资料链接：https://pan.baidu.com/s/1zQ0AQn68WaLvihEEiX312A?
测试小扎·2022-07-15 07:22

python编程初学者的良言警句_送给大数据开发初学者的良言，有兴趣的可以看看...

经常有初学者在博客和QQ问我，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高。如果自己很迷茫，为了这些原因想往大数据方向发展，也可以，那么我就想问一下，你的专业是什么，对于计算机/软件，你的兴趣是什么？是计算机专业，对操作系统、硬件、网络、服务器感兴趣？是软件专业，对软件开发、编程、写代码感兴趣？还是数学、统计学专业，对数据和数字特别感兴趣……其实这就
weixin_39752352·2022-07-14 14:40

不能再low的初级练手项目【学生信息管理系统】登录 + 注册 + 列表展示

题外话： 此次文章的输出动力来源，是拉勾教育的大数据开发训练营课程（没有推销的意思，也没有广告费，纯粹是记录一下这个过程，陪伴我走过来的一些重要的人或事） 虽然我的学习进度并不理想，但是好在他们提供的线上班级学习氛围很给力
迟到_啦·2022-07-13 19:48

腾讯离职领导的建议：如果可以，去做大数据，不要做报表

就好比，我有一腾讯的哥们，之前面试的时候说的是做大数据开发，但是入职之后，就突然变成了写sql，做做数据库、报表和数据系统了，这之间的差距肉眼可见。
Leo.yuan·2022-07-12 12:25

常见大数据面试话术(建议收藏)

我叫xxx，毕业于xxx，之前在xxx公司待了1年多，期间⼀直从事的是IT行业，刚开始的时候做的是Java开发后来转岗到大数据方向做大数据开发;刚转行到大数据开发时开始比较困难的，大数据并不像Java那样
无精疯·2022-07-12 12:48

我是程序媛，从事大数据开发两年，我有话说

前言开头感谢峰哥，平时愿意和我谈论工作遇到的难题，包括最近的求职准备、简历书写，也帮我对接了几个猎头和HR，让我顺利拿到了一些offer。这次主要分享我硕士毕业两年从事大数据的经历，面经我会在下期进行分享。很开心，自己选择了计算机这个行业，从事大数据工作这个方向，本人是毕业于重庆某一本大学的硕士一枚，目前已有两年的开发经验，不敢说对大数据有很深刻的见解，但对于一个从学校0开发经验到快速熟悉编程，熟
无精疯·2022-07-12 12:48

【大数据面经系列】大数据开发（实时计算方向）面试题（一）

得物一面自我介绍实时数仓相关项目介绍flink集群规模与版本多流join有哪些？connect原理与实现flink状态后端有哪些？FSMemory和RocksDBstate有什么区别？flink反压机制如何检测和解决？多个算子的单一算子链如何检测反压？kafkaack机制kafkarebalance二面自我介绍实时模型特征值工程介绍？重点项目介绍频繁查询维表如何处理？频繁update外存如何处理？
阿烦大64·2022-07-12 12:48

大数据开发写sql写烦了，要不要转？

瞅瞅方向：如数据分析师、大数据开发工程师、大数据分析师、数据开发工程师、大数据架构师、大数据运维工程师、ELT工程师、数据仓库工程师、大数据BI工程师等。丰富自己的能力，到处都机会。
测试小扎·2022-07-12 12:47

面经1：字节跳动：22年实习生大数据开发面试（一面凉经）

本人是一个双非硕士在读地研二狗，非科班出身，最近也是参加了大数据开发地面试，已拿到了哔哩哔哩和顺丰的大数据开发岗实习offer，现在把自己的面试经历分拨记录下来，记录了面试各个公司的问题和心经，给正在面试的你做一些适当的参考如果这篇文章对你有所帮助
牧码文·2022-07-12 09:22

面经2：22年实习生大数据开发面试（第一家凉了，第二家拿了offer）

本人是一个双非硕士在读地研二狗，非科班出身，最近也是参加了大数据开发地面试，已拿到了哔哩哔哩和顺丰的大数据开发岗实习offer，现在把自己的面试经历分拨记录下来，记录了面试各个公司的问题和心经，给正在面试的你做一些适当的参考如果这篇文章对你有所帮助
牧码文·2022-07-12 09:22

开源大数据调度系统Taier技术公开课——Taier数据开发介绍

一键直达直播间一、直播介绍之前的内容，我们为大家分享了Taier入门及控制台，以及Taier的Web前端架构介绍，本期我们为大家分享Taier数据开发介绍。
·2022-07-11 19:32

从数据集成到分析实践开发，Apache SeaTunnel & Apache Doris7月联合Meetup

应对数据采集多场景和工具的拓展性等，都是数据开发工程师关心的切实痛点问题，而对于企业来说，海量数据如何更好更快的分析应用，数据如何驱动业务更好的发展，成为相当重要的一环。
·2022-07-11 16:45

首个先进级！阿里云大数据+AI平台通过信通院数据平台整体解决方案最高等级评测

全方位覆盖大数据平台的数据存储、数据集成、数据管理与治理、数据开发、数据处理及分析、数据服务、高可用、平台管理、系统运维、数据安全等能力。参与此次评测的
·2022-07-08 11:35

三、GPIO介绍

（二）STM32引脚分类电源管脚、晶振管脚、复位管脚、下载管脚、BOOT管脚、GPIO管脚（三）如何查找GPIO功能在STM32的数据开发手册进行查看
并不傻的狍子·2022-07-07 14:54

数据仓库理论与实践

通用数据采集框架2.2日志服务器日志采集工具(Flume)三、Hive离线数仓实践3.1数仓分层与意义3.2ODS层3.3DWD层3.3DWS层3.4ADS层四、用户画像系统五、Hive优化相关Java、大数据开发学习要点
oahaijgnahz·2022-07-04 12:51

接口测试工具Apifox 基础篇：简介

前端根据mockjsMock出来的数据开发完，后端根据Swagger定义的接口文档开发完，各自都试测试通过了，本以为可以马上上
进击的雷神·2022-07-03 15:39

Hadoop总结

目录大数据概述Hadoop大数据开发平台资源管理YARN分布式文件系统HDFS非关系型数据库NOSQL分布式数据库HBASE批处理和MapReduce数据仓库查询分析和Hive基于内存计算的Spark流计算和
ArimaMisaki·2022-07-03 13:55

流批一体在京东的探索与实践

它能够有效地支撑离线和实时的数据开发需求，但它流和批两条数据链路割裂所导致的高开发维护成本以及数据口径不一致是无法忽视的缺陷。通过一套数据链路来同时满
·2022-06-30 16:06

Flink简介

第一章初识Flink大数据开发总体架构大数据开发总体架构数据传输层：常用的数据传输工具有Flume、Sqoop、Kafka。
日落_3d9f·2022-06-29 18:14

云音乐FeatureStore建设与实践

他通过存储和管理ML过程中的数据集和数据管道，减少特征工程的重复工作，以实现高效率的特征数据开发，缩短模型迭代周期。
·2022-06-29 15:57

IDC：阿里云获2021中国数据治理平台市场份额第一

分析师评价：阿里云在数据治理领域主要提供自主研发的全链路大数据开发治理平台DataWorks。DataWorks是中国市场上较早的数据治理平台型产品，从2009开始在阿里
·2022-06-28 17:38

A8（K8)模式,哈希竞猜游戏开发案例分析和应用

哈希是一种通过对数据进行压缩,从而提高效率的一种解决方法，但由于哈希函数有限，数据增大等缘故，哈希冲突成为数据开发（KFZ433）有效压缩的一个难题。
·2022-06-27 17:08

图解大数据 | 大数据分析挖掘-Spark初步

：http://www.showmeai.tech/article-detail/173声明：版权所有，转载请联系平台与作者并注明出处收藏ShowMeAI查看更多精彩内容1.Spark是什么学习或做大数据开发的同学
ShowMeAI·2022-06-25 07:34

Apache基金会正式宣布Apache InLong成为顶级项目

这个最初由腾讯捐献给Apache社区的一站式海量数据集成框架，可以为大数据开发者提供百万亿级数据流高性能处理能力，以及千亿级数据流高可靠服务。
开源头条·2022-06-24 15:31

Apache基金会正式宣布Apache InLong成为顶级项目

这个最初由腾讯捐献给Apache社区的一站式海量数据集成框架，可以为大数据开发者提供百万亿级数据流高性能处理能力，以及千亿级数据流高可靠服务。
CSDN资讯·2022-06-23 10:34

入行大数据学习路线分享 学习不迷路

以往的数据开发，需要一定的Java基础和工作经验，门槛高入门难。如果零基础入门数据开发行业的小伙伴可以从Python语言入手。
我想去吃ya·2022-06-22 12:18

大数据开发内容太多了，我到底应该怎么学？（附应届生学习路线）

背景：有很多小伙伴找老刘讨论大数据开发相关内容，第一句往往是：”大数据内容太多了，我到底应该怎么学习大数据开发“。
小刘讲大数据·2022-06-21 07:29

jupyter notebook设置标题折叠

时间：2021/12/9背景：jupyternotebook作为python数据开发者喜爱的一款交互式开发平台，有许多强大便捷的功能。
scnu_yanghaizhen·2022-06-16 20:51

Java码农是否有必要转型大数据开发

没有什么是亘古不变的，就像手机软件的不断更新迭代一样，陈旧的事物终将会被取代。相比于十年前程序员“高需求、高薪资、高难度”的三高状态，到如今，也开始逐渐被打破。虽然在科技时代，码农几乎永远不会失业，但随着新技术的产生，如果不去提升自己，那么你将会被取代。从去年开始，相信很多的码农，都看到了各类关于大数据的信息。新闻、自媒体、科技媒体等都在对它进行解读。各个大型的互联网公司，像BAT也已经快速的实施
bobo79888·2022-06-09 15:13

数栈技术分享前端篇：TS，看你哪里逃~

数栈是—站式大数据开发平台，我们在github和gitee上有一个有趣的开源项目：FlinkX，FlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，也可以采集实时变化的数据，
数栈DTinsight·2022-06-07 18:28

数栈产品分享：Kafka—实时离不开的那个TA

一、前言随着技术不断的成熟及市场需求的日益旺盛，实时开发已经成为当前大数据开发不可或缺的一部分。在整个实时开发的链路中，数据采集需要写入到Kafka，数据处理也需要使用到Kafka。
数栈DTinsight·2022-06-07 18:57

Java大数据学习路线图

Java大数据学习路线图准备篇适用/适合人群：适合基础小白在这里还是要推荐下我自己建的大数据学习群:199427210，群里都是学大数据开发的，如果你正在学习大数据，小编欢迎你加入,大家都是软件开发党，
铁拳虎·2022-06-05 15:19

大数据学习路线总结

背景引入考虑到有对大数据开发感兴趣的同学，因为找资料方向上特别迷茫，不知道大数据具体需要学习什么组件。为了让大家少走弯路，我就把之前的学习笔记发一遍在自己博客，本文就是提供这个博客的链接。
默主归沙·2022-06-05 15:45

云开发+低代码+可视化+微服务+大数据开发平台

正在开发一套基于java的云开发+低代码+可视化+微服务+大数据开发平台，简单点取名为DUO大数据开发平台。
yonsin·2022-05-31 19:26

LVS--基础--04--实践--TUNNEL模式

LVS–基础–04–实践–TUNNEL模式1、原理1.1、数据处理在IP隧道模式中，代理主机将数据包经过自己打包之后，将IP转化成公网可传递的IP，并将消息经过自己又一次的打包，发送给真实服务器，真实服务器对这个请求作出响应，这样就达到一个可以跨地区的传输。并且也避免了DR模式中代理机与真实服务机必须在同一局域网的不便。1.2、说明当用户请求到达DirectorServer，此时请求的数据报文会先
单身贵族男·2022-05-31 18:08
上一页 26 27 28 29 30 31 32 33 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他